授权环境下Selenium反检测思路与代理改写概述

一、前言与合规提示

本文所有技术讨论仅适用于已获得目标站点明确书面授权的测试、调试或合规数据采集场景。未经授权对他人服务实施自动化访问可能违反网站服务条款及相关法律法规，请务必在合法框架内使用以下内容。

在自动化采集项目中，Selenium 等浏览器自动化工具常因 WebDriver 特征暴露而被目标站点的反爬脚本识别并拦截。理解反检测的核心逻辑——即 JavaScript 如何读取运行环境中的特殊属性并回传服务端——是制定应对方案的前提。本文将从检测原理出发，介绍一种基于代理拦截、改写响应脚本的思路，帮助读者在授权环境下完成特征隐藏与验证。

二、检测原理：WebDriver 特征如何暴露

主流浏览器自动化工具在启动受控浏览器时，会向页面注入若干可被 JavaScript 读取的标识。其中最核心的是 navigator.webdriver 属性：正常浏览器中该值为 undefined 或 false，而在自动化控制环境下会被设置为 true。

除此之外，还有大量衍生特征可能被检测脚本使用，包括但不限于：

• __driver_evaluate、__webdriver_evaluate、__selenium_evaluate、__fxdriver_evaluate
• __driver_unwrapped、__webdriver_unwrapped
• _Selenium_IDE_Recorder、_WEBDRIVER_ELEM_CACHE
• ChromeDriverw、driver-evaluate、webdriver-evaluate-response
• __webdriverFunc、__webdriver_script_fn
• $cdc_asdjflasutopfhvcZLmcfl_

不同版本、不同浏览器与工具组合下，暴露的特征并不完全相同。攻击性较强的检测脚本会遍历特征列表，只要命中任意一项即标记为自动化环境。部分站点还会进一步检查 window.chrome 完整性、权限弹窗行为等运行时特征。因此，单一修改 navigator.webdriver 往往不够，需要对多个暴露点统一处理。

三、常见应对思路对比

面对上述检测，在授权环境下可考虑以下几种技术路径：

方案	优点	缺点	适用场景
启动参数屏蔽	配置简单，对低强度检测有效	无法覆盖 JS 运行时暴露的特征	快速原型验证
注入预处理脚本	灵活可控	需处理执行时机，部分属性不可枚举	轻量级项目
代理拦截与响应改写	不改动浏览器环境，精确控制目标文件	增加网络链路，HTTPS 需证书信任	中高强度检测
专业反检测驱动	底层隐藏较彻底	版本适配、授权限制	长期生产项目

需要特别说明的是，每种方案都应在获得授权的前提下评估使用，本文重点介绍第三种思路的技术要点。

四、代理拦截方案的整体架构

代理拦截的核心思想是：让浏览器流量经过本地可编程代理，代理实时检查响应内容，对确认的检测脚本进行关键字符串改写后再返回给浏览器。整体流程如下：

1. 在本地启动可编程代理服务并监听指定端口。
2. 将浏览器 HTTP 与 HTTPS 代理指向该服务地址。
3. 浏览器请求目标站点时，流量经代理转发。
4. 代理匹配响应 URL，命中规则时对响应体执行改写。
5. 改写后的 JavaScript 在浏览器中运行，检测逻辑失效。
6. 采集程序在授权范围内执行登录与数据抓取。

该方案的优势在于不修改 Selenium 本身，也不注入额外脚本；劣势是增加了网络链路与调试成本。

五、环境准备与代理启动

以 Python 为例，建议使用 mitmproxy 7.0 及以上版本（Python 3.8+），通过 pip 安装：

pip install "mitmproxy>=7.0"

启动代理静默模式并监听端口：

mitmdump -p 8001

配置浏览器代理为 127.0.0.1:8001。HTTPS 流量需安装代理生成的根证书并导入系统信任区：证书通常位于用户目录下的 .mitmproxy 文件夹中，Windows 下可双击 .pem 文件导入，macOS/Linux 可使用系统钥匙串或 certutil 命令导入。导入后浏览器不再报证书错误。

六、定位具体检测脚本

代理配置完成后，打开目标站点登录页，通过开发者工具 Network 面板定位检测脚本。推荐以下方法：

• 特征字符串搜索：在已加载 JS 资源中全局搜索 navigator.webdriver、__driver_evaluate 等关键词，密集出现的文件大概率为检测脚本。
• 资源命名观察：部分站点检测脚本包含 yoda、risk、security 等字段，可辅助排查。
• 断点调试：在 Sources 面板对可疑脚本设断点，观察调用栈是否涉及属性读取逻辑。

确认检测脚本路径后（例如包含 /js/yoda.），即可针对性编写改写规则。

七、改写规则编写要点

需要强调的是，直接对压缩或混淆后的 JavaScript 进行简单字符串替换并不可靠。实际操作中应遵循以下原则：

第一，先解码再处理。 代理工具通常会自动解压 gzip/br 编码的响应，但若响应头异常，需手动解码后再执行替换，否则匹配失败。

第二，使用正则或 AST 精准定位。 不同站点检测脚本的变量命名与字符串格式各异，应根据实际抓到的脚本内容，用正则表达式匹配目标模式（如 "webdriver"、'webdriver'），而非盲目全文替换。示例思路如下：

import re
from mitmproxy import ctx
def response(flow):
    if '/js/yoda.' in flow.request.url:
        # 示例：用正则匹配带引号的特征名
        pattern = re.compile(r'["\']webdriver["\']')
        flow.response.text = pattern.sub('"NO-SUCH-ATTR"', flow.response.text)
        # 需根据实际脚本补充更多正则规则

第三，修正 Content-Length。 改写后响应体长度变化，代理工具一般会自动修正 Content-Length 响应头；若页面加载异常，应检查此字段是否一致。

第四，避免过度改写。 仅针对确认的检测脚本执行替换，保留日志以便回溯，防止破坏其他正常脚本逻辑。

八、启动代理并加载规则

将改写脚本保存为 DriverPass.py，通过以下命令启动代理并注入规则：

mitmdump -p 8001 -s DriverPass.py

启动后重新运行采集程序。若规则生效，代理日志中会出现类似 Remove "webdriver" from https://... 的输出，表明目标字符串已被替换。

九、验证与排错检查表

建议按以下步骤逐一排查：

现象	可能原因	排查方向
控制台 navigator.webdriver 仍为 true	改写未命中或脚本已更新	检查代理日志是否有输出，确认 URL 匹配关键字
代理日志为空	URL 路径不匹配或响应被压缩	核实请求路径，确认响应是否已解压
页面加载异常或白屏	Content-Length 未修正或改写破坏逻辑	检查响应头，缩小替换范围
仍被拦截	检测分散到多文件或引入行为检测	扩大检测范围，结合行为模拟优化

在浏览器控制台输入 console.log(navigator.webdriver)，若输出为 undefined 或 false，说明基础特征已被隐藏；但高阶防护还需结合行为层优化。

十、方案局限与合规提醒

代理拦截改写存在明确边界：目标站点更新检测脚本后规则需重新适配；动态拼接或加密的特征字符串简单替换无法覆盖；更高阶的鼠标轨迹、键盘节奏等行为检测需从操作模拟层面入手，例如引入合规的轨迹模拟库进行优化。

生产环境建议采用”分层处理”策略：先通过代理改写解决属性暴露，再优化行为模拟，必要时配合代理轮换与风控机制提升稳定性。

再次强调：所有自动化采集行为必须获得目标站点明确授权，严格遵守服务条款与法律法规，不得对他人服务造成不必要的压力或损害。