BOT 功能设置
如果您的业务存在因自动化工具(例如脚本、模拟器等)造成网站数据被爬取、业务作弊或欺诈、撞库或垃圾注册、恶意秒杀或薅羊毛、短信接口滥刷等情况,您可以开通Web 应用防火墙 WAF(Web Application Firewall)SAAS WAF 企业版,制定有针对性的Bot防护策略,缓解核心数据资产泄露和业务营销活动风险,降低服务器带宽费用和负载。
功能介绍
Bot规则为您提供如下功能,尽可能的帮助您快速识别机器流量,防御爬虫风险,避免您的业务数据被爬取。
* Bot行为识别:
AI智能防护:基于百度搜索等全系场景多年防爬规则应用,对访问流量进行分析和自动学习,生成针对性的防护规则或黑名单。
自定义限速:支持IP和会话自定义限速,可自定义访问频率限制条件,有针对性地对访问频率过高的爬虫请求进行过滤,有效缓解Bot攻击。
* 自定义Bot策略:
支持自定义多种复杂策略配置,包括 IP地域情报库、IP动态情报库、设备情报库、Referer、Cookie、User Agent、IP等多种条件Bot策略配置,对多个用户有多次恶意爬取行为的攻击源IP进行处置。
前提介绍
- 在Web应用防火墙控制台,购买Saas WAF企业版
- 已在接入配置页面完成Web业务接入
Bot规则配置
1.在Web应用防火墙控制台左侧导航栏,【配置中心】-【Bot规则】,在规则列表中,点击【设置】
2.填写Bot生效路径
生效路径可以是一个路径,也可以是一个页面。
3.配置相关Bot防护能力
4.查看Bot统计报表
Bot行为识别
配置项 | 说明 |
---|---|
AI智能防护 | 勾选AI智能防护后,需要设置识别的Bot行为为观察、滑块或回源标记。如果设置为回源标记,您还需要设置回源时标记的Header名称、Header内容。 勾选后策略将生效,防爬规则会通过AI智能防护引擎对访问流量进行分析和自动学习,自动对常见典型的异常爬虫流量做检出。 |
自定义限速 | 开启此开关后,可自定义访问频率限制条件,有针对性地对访问频率过高的爬虫请求进行过滤,可以按需对特定的请求来源做访问频率限制。 IP限速:(默认)在统计时长(秒)内,来自同一IP地址的访问次数超过指定阈值(次)时,在限速时间(秒)内,对来自该IP的访问请求执行观察、滑块或拦截的限速动作。最多可以设置3个限制规则,且规则之间为或关系。 自定义会话限速:在统计时长(秒)内,对指定的会话类型的访问次数超过指定阈值(次)时,在限速时间(秒)内,对该会话的请求执行观察、滑块或拦截的限速动作。最多可以设置3个限制规则,且规则之间为或关系。会话类型支持自定义header、自定义参数、自定义cookie、Session。 |
处置动作 | 选择当请求命中该规则时,要执行的防护动作。可选项: 拦截:表示拦截命中规则的请求,并向发起请求的客户端返回拦截响应页面。说明WAF默认使用统一的拦截响应页面,您可以通过自定义响应功能,自定义拦截响应页面。 观察:表示不拦截命中规则的请求,只通过日志记录请求命中了规则。您可以通过WAF日志,查询命中当前规则的请求,分析规则的防护效果(例如,是否有误拦截等)。观察模式方便您试运行首次配置的规则,待确认规则没有产生误拦截后,再将规则设置为拦截模式。 滑块:表示WAF向客户端返回滑动验证页面。如果客户端成功执行滑动验证,则WAF在一段时间(默认30分钟)内放行该客户端的所有请求(不需要重复验证),否则拦截请求。 严格滑块:表示WAF向客户端返回滑动验证页面。如果客户端成功执行滑动验证,则WAF放行本次请求,否则拦截请求。严格滑块验证模式下,客户端的每次请求都需要验证。 回源标记:用户可以自定义Header及内容,WAF不会直接处理,而是会通过新增Header的方式将命中信息返回给源站,用户可以与后端风控系统结合做业务侧处理。 |
自定义Bot策略
支持自定义多种复杂BOT高级防护策略配置,包括 IP地域情报库、IP动态情报库、IDC设备情报库、Referer、Cookie、User Agent、IP等多种复杂条件Bot策略配置,多个用户有多次恶意爬取行为的攻击源IP进行处置。
- 情报策略:情报策略支持『IP情报』和『设备情报』。
IP情报:包括 IP地域情报库 和 IP动态情报库。
1)IP地域情报包括:海外IP情报、IDC IP情报、基站IP情报。
2)IP动态情报包括:高危IP情报、爬虫IP情报、NAT出口IP情报。设备情报:用户唯一设备指纹,持续维护跟踪。
多条基础策略的组合,支持语法,支持与或,支持条件嵌套。
匹配条件 | 说明 | 逻辑符 |
---|---|---|
P地域及静态情报库 | 收录一段时间内在百度云上对多个用户不同地域多次恶意爬取行为的攻击源IP,并对其执行观察、拦截、滑块、严格滑块或回源标记处置。 海外IP:来自海外攻击源IP 基站IP:来自基站攻击源IP IDC内IP:来自IDC内部攻击源IP |
属于、不属于 |
IP动态情报库 | 公共出口 IP:这些 IP 普遍有较多的正常用户共享的出口,如小区运营商、办公网络、活跃基站等共享 NAT 或代理的出口。这些 IP 建议站长做一定的多维度策略,防止对正常用户的打扰。 搜索引擎:搜索引擎的请求来源。如果客户是希望各搜索引擎来抓取的场景,建议针对此情报命中的请求加白。 高危 IP:根据历史行为存在高安全风险的IP地址,这些IP地址可能与恶意活动、网络攻击、钓鱼网站或其他不安全的行为有关。多数场景下这些请求来源的流量可以直接做处置 |
属于、不属于 |
设备情报 | 对不同时间段的新旧的设备进行异常行为,对其执行观察、拦截、滑块、严格滑块或回源标记处置。包括: 1小时以内的新设备 1天以上的旧设备 7天以上的旧设备 |
属于、不属于 |
IP | 请求的来源IP,即发起请求的客户端的IP地址。 匹配内容填写要求如下: 支持使用IPv4地址(例如,1.XX.XX.1)、IPv6地址(例如,2001:db8:ffff:ffff:ffff:ffff:ffff:ffff)。 支持使用IP网段格式(例如,1.XX.XX.1/16)。 |
属于、不属于; 等于、不等于; 包含、不包含; 前缀匹配、后缀匹配 |
Referer | 请求的来源网址,即该请求从哪个页面跳转产生。 | 等于、不等于; 包含、不包含; 前缀匹配、后缀匹配 |
User-Agent | 发起请求的客户端的浏览器标识、渲染引擎标识和版本信息等浏览器相关信息。 | 同上 |
Cookie | 请求中的Cookie信息。 | 同上 |
Get Patam | 在编程和软件开发中获取所需参数的过程或操作 | 同上 |
处置动作 | 选择当请求命中该规则时,要执行的防护动作。可选项: 拦截:表示拦截命中规则的请求,并向发起请求的客户端返回拦截响应页面。说明WAF默认使用统一的拦截响应页面,您可以通过自定义响应功能,自定义拦截响应页面。 观察:表示不拦截命中规则的请求,只通过日志记录请求命中了规则。您可以通过WAF日志,查询命中当前规则的请求,分析规则的防护效果(例如,是否有误拦截等)。观察模式方便您试运行首次配置的规则,待确认规则没有产生误拦截后,再将规则设置为拦截模式。 滑块:表示WAF向客户端返回滑动验证页面。如果客户端成功执行滑动验证,则WAF在一段时间(默认30分钟)内放行该客户端的所有请求(不需要重复验证),否则拦截请求。 严格滑块:表示WAF向客户端返回滑动验证页面。如果客户端成功执行滑动验证,则WAF放行本次请求,否则拦截请求。严格滑块验证模式下,客户端的每次请求都需要验证。 回源标记:用户可以自定义Header及内容,WAF不会直接处理,而是会通过新增Header的方式将命中信息返回给源站,用户可以与后端风控系统结合做业务侧处理。 |
/ |
Bot统计报表
1、防护总览
通过折线图,展示在指定时间范围内,Bot管理防护策略中已配置的【规则动作】和【规则命中】情况。
单击具体的规则动作或规则,显示或隐藏该折线图。将光标放置在折线图上的某一点,可以查看该时刻的具体数据。纵轴为次,横轴为时间可拖动缩放时间线。
规则动作包括:请求次数、拦截、观察、滑块、严格滑块、回源标记
命中规则包括:自定义Bot策略、业务安全、AI智能防护、IP限速、会话限速
2、规则命中统计
通过列表,展示已配置的防护规则的规则ID、防护域名、包含观察模式的命中次数情况。 列表每页最多展示10条,超过翻页显示。 通过切换tap展示被拦截、滑块、严格滑块、回源标的Top 10攻击源IP及其攻击次数。
3、攻击详情
通过列表,展示在指定时间范围内(时间同Bot报表顶部时间保持一致),命中Bot管理防护规则的IP情况,包括攻击IP、IP所属区域、URL、规则ID、规则名称、规则动作等信息。