主機層 SEO 診斷 · 01
Bot Fight Mode 封咗 Googlebot?免費版冇得例外,呢個就係問題
你開 Bot Fight Mode 係想擋壞 bot。但 Cloudflare 免費版嘅設計係「一刀切、冇得例外」——連 Googlebot 都可能被挑戰,而你冇辦法用 WAF 規則放行佢。

👀 一、客戶實際見到嘅現象
- Search Console「網址審查 → 測試實際網址」見到嘅 HTML 只有一小段挑戰頁,唔係你嘅內容
- 收錄頁數無故下跌,但網站明明冇改過任何東西
- 「已探索 – 目前未建立索引」數量暴增
- Cloudflare → Security → Analytics → Events,見到大量請求被標記
Bot Fight Mode - 主機 access log 見到 Googlebot 嘅 IP 收到 403/503,或者回應 0 bytes
如果你中咗兩項以上,唔使再猜——直接做下面嘅自查。
🧨 二、點解免費版特別容易出事(官方文件已寫明)
Cloudflare 對 Bot Fight Mode 嘅說明有幾個關鍵限制,呢幾點直接決定咗你嘅 SEO 風險:
| 設計 | 對 SEO 嘅含義 |
|---|---|
| 用 CPU-intensive challenge(要求訪客做運算) | 唔執行 JavaScript 嘅爬蟲永遠過唔到 |
| 保護整個網域,冇路徑限制 | 連你嘅文章頁、產品頁都一齊被挑戰 |
| 唔可以用 WAF 自訂規則或 Page Rules bypass | 你冇辦法單獨放行 Googlebot |
| JavaScript Detections 自動開啟、不可關閉 | 額外一層 JS 檢查,爬蟲更難通過 |
換句話講:Bot Fight Mode 係一個「全有或全無」嘅開關。想有例外,一定要 Super Bot Fight Mode(Pro 或以上),因為佢行 Ruleset Engine,可以用 Skip 規則放行指定流量。
🕒 三、3 分鐘自查(唔使等 SEO 公司報價)
第 1 步:睇 Google 見到咩
Search Console → 網址審查 → 貼上你最重要嘅一頁 → 測試實際網址 → 睇「HTML」分頁。
見到完整內容 = 正常;見到空白或者一段 script = 被挑戰。
第 2 步:用指令假扮 Googlebot
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://你的網域.com/
注意:呢個測試只證明「UA 層面」嘅反應,唔等於 Google 真實 IP 嘅體驗,但已經足以發現一刀切規則。
第 3 步:喺 Cloudflare 搵證據
Dashboard → Security → Analytics → Events,用 Service 篩選,睇有冇 Bot Fight Mode。再篩 User Agent 含 Googlebot,如果兩者同時出現,就係實錘。
第 4 步:對 Google 官方 IP
Google 公開 Googlebot 嘅 IP 段(googlebot.json)。如果被挑戰嘅 IP 唔在名單內,可能係冒充者——擋得好;如果在名單內,就係你擋錯咗真 Googlebot。
📉 四、對 SEO 同 GEO 嘅實際損失
- 索引停滯:Googlebot 每次嚟都拎到挑戰頁,等於白行一次,新內容上得好慢甚至唔上
- Crawl budget 被浪費:你嘅網站每秒只可以承受有限嘅抓取,全部用喺挑戰頁上面
- AI 爬蟲全滅:GPTBot、ClaudeBot、PerplexityBot 都唔執行 JavaScript,一律見唔到你
- 排名唔會即刻跌,但會慢慢跌:因為 Google 手上嘅資料越嚟越舊
✅ 五、正確設定(唔等於唔保護)
| 設定項 | 免費 Bot Fight Mode | Super Bot Fight Mode(建議) |
|---|---|---|
| 可否例外放行 | ❌ 完全唔可以 | ✅ WAF 自訂規則 + Skip |
| Verified bots(Googlebot 等) | 冇得揀 | 設定為 Allow |
| Definitely automated | 全球挑戰 | 設定為 Managed Challenge(唔好用 Block) |
| 靜態資源保護 | 冇 | 可開(圖片/CSS 被盜用時有用) |
| 出事後處理 | 只可以整個關閉 | 加一條 Skip 規則即刻解決 |
實務建議:如果只係想擋掃描器同垃圾 bot,用 WAF Rate Limiting(每 IP 每分鐘 60 次)已經足夠,而且唔會誤殺搜尋引擎——呢個正正係我們幫客戶做嘅設定。
🛠️ 六、Timway 幫你做嘅三步
- 查——核對 Cloudflare 設定、抓取日誌同 Search Console 數據,確認邊個爬蟲被擋
- 改——按你嘅方案關閉或降級 Bot Fight Mode,改用 WAF 規則 + Rate Limiting + 爬蟲白名單
- 驗——用真實 UA 同 IP 段實測,確認 Googlebot、GPTBot、PerplexityBot 全部返到 200,再交報告
懷疑 Bot Fight Mode 封咗你嘅 Googlebot?
打一個電話,我們幫你查 Cloudflare 設定、對抓取日誌,確認搜尋引擎同 AI 爬蟲係唔係真係見得到你。
Timway 添達 · 講「Bot Fight Mode」即可
