外观
搜索引擎爬虫
搜索引擎爬虫功能用于正确识别主流搜索引擎的抓取请求，避免正常的收录抓取被 CC 防护误拦截。
版本说明
搜索引擎爬虫功能自 V1.0.1 起持续完善，V1.0.2 版本进一步补齐了引擎覆盖范围。
内置引擎
GinWAF 内置以下主流搜索引擎的爬虫 IP 段：
| 引擎 | 标识 |
|---|---|
| 百度 | baidu |
| 搜狗 | sogou |
| 360 | so360 |
| 神马 | shenma |
| 必应 | bing |
| 谷歌 | google |
| 今日头条 | toutiao |
处置策略
对识别到的搜索引擎爬虫，支持三种策略：
| 策略 | 说明 |
|---|---|
| 未设置 | 不启用爬虫识别 |
| 放行 | 命中爬虫 IP 段的请求直接放行 |
| 拦截 | 命中爬虫 IP 段的请求直接拦截 |
建议
正常业务建议设置为放行，以保证搜索引擎正常收录，避免因 CC 防护导致站点排名下降。
配置方式
- 进入站点编辑页 → CC 防护分区
- 将「搜索引擎爬虫」策略设置为「放行」
- 勾选需要放行的引擎（默认已全选内置引擎）
新建站点时，默认即为「放行 + 全选内置引擎」。