OpenAI 在沒有正式宣布的情況下，發表了一項網站爬蟲規範。
網路爬蟲通常用於掃描網站內容以訓練其大型語言模型 (LLM)，OpenAI 在一篇新的部落格文章中表示：「使用 GPTBot 使用者代理抓取的網頁可能會用於改進未來的模型」，特別是 GPT-4 和潛在的 GPT-5。
Breaking
— Shubham Saboo (@Saboo_Shubham_) August 7, 2023
OpenAI just launched GPTBot, a web crawler designed to automatically scrape data from the entire internet.
This data will be used to train future AI models like GPT-4 and GPT-5!
GPTBot ensures that sources violating privacy and those behind paywalls are excluded. pic.twitter.com/oR3kY4buaU
在此之前，OpenAI 剛申請了「GPT-5」商標。三周之後，該公司推出了新的爬蟲以及使用規範。OpenAI 在部落格文章中表示，內容發表者和網站所有者可以據此拒絕為其提供素材。
網站需要加強防禦
目前還不清楚 OpenAI 的爬蟲在網上潛伏了多久，儘管有些人懷疑 OpenAI 可能已經有一個機器人在數月或數年時間裡一直在秘密收集每個人的線上資料。現在該公司宣布了一種阻止 GPTBot 的方法，最新發表的技術文件描述了如何透過使用者代理權杖和字串來辨識 OpenAI 的網路爬蟲 GPTBot。在發送至伺服器進行網頁請求的 HTTP 標頭中，OpenAI 公司的軟體會明確使用這些權杖與字串。
因此，內容發表者可以在自己 Web 伺服器的 robots.txt 檔案中加入新條目，告知爬蟲可以做什麼、不能做什麼。當然，這是假設 GPTBot 會老老實實遵守機器人排除協議，畢竟也有不少機器人會對規則熟視無睹。例如，以下 robts.txt 鍵 / 值對就會指示 GPTBot 遠離 root 目錄和網站上的其他全部內容。
User-agent: GPTBotDisallow: /
對此，搜尋引擎最佳化顧問 Prasad Dhumal 本周在 Twitter 上寫道：「最後，在吸收了所有受版權保護的內容來構建他們的專有產品之後，OpenAI 為你提供了一種方法來防止你的內容被用來進一步改進他們的產品。」
另外，值得注意的是，一旦被大模型爬蟲爬取，也意味著你的資料無法從公共資料集中刪除。例如比較有名的公共資料集 Common Crawl，常被用於訓練 OpenAI 的 ChatGPT、Google的 Bard 或 Meta 的 LLaMA，專家表示，如果你的資料或內容被爬取進去，那意味著它永久成為了該訓練集的一部分。但 CommonCrawl 等服務確實允許類似的 robots.txt，但網站所有者需要在資料被收集之前實施這些更改。
We are now blocking another one of OpenAI's scraping bots. You can too. (I don't know if this is the secret one we couldn't block before or if that one is still in use.)https://t.co/qJqlmTZzAN
— clarkesworld (@clarkesworld) August 7, 2023