GEO KNOWLEDGE / 品牌工作

品牌官網的 AI 爬蟲設定：搜尋、訓練與讀取權限分開管理

品牌投入 GEO 前，先確認主推商品與比較頁能被目標搜尋服務讀取。把搜尋曝光、訓練用途與使用者主動開頁分開設定，網站團隊才有明確的修改範圍。

網站存取與內容用途5 分鐘首次發布：2026-10-12

內容更新：2026-10-12 · 官方文件查閱：2026-10-12 · inanswer 編輯

先選服務，再決定開放範圍

「開放 AI」太籠統。品牌可以先用這張表列出想保留的入口，再交給網站負責人核對目前設定。

OpenAI 將搜尋與訓練設定分開：品牌可允許 OAI-SearchBot，同時拒絕 GPTBot。ChatGPT-User 是使用者觸發的讀取，並非搜尋收錄開關，robots.txt 規則也未必適用。OpenAI：爬蟲用途與設定

Google-Extended 的官方用途涵蓋 Gemini Apps、Vertex AI API for Gemini 的訓練，以及 Gemini Apps 與 Vertex AI 部分搜尋查資料功能。它沒有獨立的 HTTP User-Agent，也不是 Google 搜尋排名訊號；在紀錄中找不到同名爬蟲，不能據此判斷設定失效。Google：Google-Extended 的適用範圍

Google 搜尋的 AI 參與設定則要另外核對。Search Console 可設定包含、排除或繼承上層資源；有搜尋收錄，仍要查這個設定是否符合品牌選擇。這項控制影響指定搜尋 AI 功能的連結與內容使用；Google 另將這些搜尋答案模型的訓練限制指向 Google-Extended，兩種控制要分開核對。Google：Search generative AI 設定

讓主推頁面經得起實際讀取檢查

先選一個主推商品頁、一個選購比較頁與一個使用指南。不要直接把整站設定套成同一種開放程度。

請網站團隊逐頁留下以下紀錄：

Google 明確把 robots.txt、CDN 與主機的可讀取性列入網站基礎檢查。Google 搜尋中的 AI 支援連結也需要頁面已收錄並符合摘要資格；符合條件後，頁面是否被採用仍由搜尋系統決定。Google：AI 功能的網站條件、Google：最新 AI 搜尋網站指南

防護調整要根據可核對的請求處理。工程團隊可比對官方 IP 清單；Google 也提供正反向 DNS 核對方法。只改成某個爬蟲名稱測試，不能證明請求來自該服務。Google：驗證爬蟲請求

若要處理公開頁面的誤擋，工單應指定服務、頁面與命中的規則，保留網站其他防護。

把公開內容與會員資料分開

商品規格、比較內容與公開使用指南，可以依品牌的搜尋目標設定。會員資料、私人詢價與未公開文件則由登入與存取權限保護，不把 robots.txt 當成保密機制。

Google 說明，被 robots.txt 擋住的網址仍可能因其他網站連結而出現在搜尋結果。若目的是不讓公開頁出現在搜尋，應選擇對應的索引控制；若資料本來就不該公開，應限制存取。使用 noindex 時，要讓爬蟲能讀到該規則，別同時把頁面擋住。Google：索引控制規則。爬蟲規則與內容保密各有不同的工作。Google：robots.txt 的用途與限制

可直接交給網站團隊的工單

本輪目標：讓指定的公開商品、比較與指南頁可被品牌選定的搜尋服務讀取。

網址清單：附三個實際頁面，以及各頁的商品或內容負責人。

用途選擇：附品牌核定的 OAI-SearchBot、GPTBot、Google-Extended 與 Google 搜尋 AI 參與設定。

修改範圍：只處理已確認的誤擋、轉址與頁面可見性問題；保留會員與私人資料權限。

驗收附件：修改前後設定、可核對的讀取結果、頁面正文、Google URL 檢查與參與設定。

變更紀錄：留下上線日期、修改位置與負責人，供下一次觀測對照。

這份工單驗收的是指定頁面可被讀取、設定符合品牌選擇。後續再看官網連結曝光與精選 AI 答案；某一次回答沒有引用官網，不能單憑這點判定設定失敗。

inanswer 可把品牌提供的頁面檢查結果與精選 AI 原句並列，整理商品資訊缺漏、需要交給網站團隊的問題，以及本輪內容修改清單。網站存取檢查、商品核對與答案觀測各留自己的紀錄，方便團隊安排下一步工作。