發現 01・掃描結果,也就是無聊的那一部分。
五家中型供應商,每家六道採購問題,四個引擎:120 次檢測裡只有 2 次推薦,自家網站被引用兩次。分引擎來看:ChatGPT 30 題中 0 題,Google AI 概覽 30 題中 0 題,Claude 30 題中 0 題,Perplexity 30 題中 2 題。
問題本身都被很有把握地回答了——用的是各品類裡最大的名字。問中小企業的貨運承攬,回來的是 DHL・FedEx 和 UPS(各被點名 15 次)。問薄膜過濾,回來的是 Toray(8 次)。自行車零組件:KMC・Giant・Merida(各 4 次)。橫跨五個品類,被引用最多的單一來源是 Wikipedia,36 次——贏過所有的供應商・名錄與產業媒體。
發現 02・五個網站裡有三個在拒絕 AI 爬蟲。他們的 robots.txt 說的卻剛好相反。
我們從同一台機器反覆請求每一家供應商的首頁,只輪流更換 user-agent 字串:先是一般的 Chrome 字串,接著是 GPTBot,再來是 ClaudeBot,每次之間間隔幾秒。
| 網站 | 瀏覽器被拒 | GPTBot 被拒 | ClaudeBot 被拒 |
|---|---|---|---|
| 自行車零組件供應商 | 0 / 6 | 5 / 6 | 2 / 6 |
| 貨運承攬業者 | 0 / 6 | 1 / 6 | 6 / 6 |
| 車隊監控系統廠商 | 0 / 6 | 4 / 6 | 4 / 6 |
| 對照組:AI 有引用的兩家供應商 | 0 / 12 | 0 / 12 | 0 / 12 |
被拒絕時回來的是 429 Too Many Requests——而幾秒鐘前,同一個 IP 位址才剛以瀏覽器的身分拿到完整的頁面。這三個受影響的網站掛在同一個 CDN 上,由當初幫他們建站的代理商營運。
讓這件事看起來像 bug 而不是政策的,是這個部分:三家的 robots.txt 都是允許爬蟲的,只擋掉兩條內部路徑。有人在大家都會去查看的那份檔案裡刻意把門打開,而擋在它前面的基礎設施,卻正依照 user agent 把門關上。
發現 03・讓爬蟲進門的網站會被讀到,偶爾也會被推薦。
我們掃描了三家對照供應商——同一個規模級距・同樣的產業,之所以選中它們,是因為 AI 在回答第一組問題時引用過它們。
| 分組 | 自家網域被引用 | 被推薦 |
|---|---|---|
| 拒絕 AI 爬蟲的網站 | 0–1 次 | 24 次中 0–2 次 |
| 正常回應爬蟲的網站 | 4–17 次 | 24 次中 1–3 次 |
請注意這代表什麼、又不代表什麼。回應爬蟲並不會讓一家中型供應商變得常被推薦——對照組大多數時候一樣缺席,一樣輸給 Toray 和 DHL。它做到的,只是讓這家公司至少進得了語料。拒絕爬蟲,則是把這個可能性整個拿掉。
發現 04・三分之一的 B2B 答案完全沒有引用任何來源。
120 個答案中有 40 個沒有附帶任何來源——33%,而我們十三個品牌的消費品研究裡是 16%。B2B 問題把引擎送回記憶的頻率是兩倍,而記憶正好就是中型供應商從來沒有被寫進去的地方。
方法,以及這份研究沒有證明的事
五家台灣 B2B 供應商,每家六道採購問題,四個引擎,每格執行一次:共 120 個計分答案,時間為 2026 年 9 月 13–14 日。問題由各公司自己的首頁生成,並在掃描前對照該公司實際在賣什麼逐題人工檢查。爬蟲測試的部分:每個網站・每個 user agent 各跑 6 輪,所有請求從同一個 IP 交錯發出,因此任何共用的流量限制也應該會打到瀏覽器的請求;但並沒有。
五個值得直說的限制。一:五家供應商加三家對照是小樣本,而且不是隨機抽的——它們來自兩家代理商的公開案例頁。二:429 是一個流量限制的回應,不是明確的封鎖——我們能觀察到的是行為,不是行為背後的設定,而且我們在發表前並沒有聯繫這些網站的營運方。三:這個行為是間歇性的,不是絕對的:同一個網站在某一輪 6 次中拒絕了 GPTBot 4 次,在另一輪則是 6 次中 0 次,而 PerplexityBot 多數時候是被正常回應的。四:我們是從台灣的單一網路測的;從 OpenAI 或 Anthropic 自己的 IP 範圍發出的爬蟲,可能會被以不同的方式對待,而且兩個方向都有可能。五:每格只跑一次的掃描,無法區分真實的落差與執行之間的飄移——隔天重新掃描其中一家供應商,推薦次數就從 0 變成了 2。
我們有信心的是:在反覆交錯的請求下,三個供應商網站每一次都正常回應瀏覽器,卻在多數時候拒絕 AI 爬蟲的 user agent,而對照組的網站則是誰來都回應。我們沒有主張的是:這就是那些供應商缺席的全部原因,或者代理商是故意這麼做的。那幾份 robots.txt 反而指向相反的意圖。
先檢查那件無聊的事。
貼上你的網站——一道真實的買家問題,橫跨五個引擎,免費,不需要留 email。如果答案是 AI 從來沒看過你,那就值得先弄清楚:它到底有沒有被允許看。