连锁效应!亚马逊、彭博效仿纽时封锁OpenAI 的GPTBot – 人工智慧 – TechNice科技岛-掌握科技与行销最新动态

编译/庄闵棻

包括亚马逊和《纽约时报》等在内的数十家大公司都开始禁止 OpenAI 用来在网路上抓取数据的GPTBot。专门检查内容是否由人工智慧(AI)生成或抄袭的Originality.ai公司就发现,在过去两周内,在100 个最受欢迎的网站中,就有超过 15% 决定封锁 GPTBot。

包括亚马逊和《纽约时报》等在内的数十家大公司都开始禁止 OpenAI 用来在网路上抓取数据的GPTBot。(图/123RF)

亚马逊、彭博社、CNN都加入

据外媒报导, GPTBot 於 14 天前才刚推出,阻止该机器人网站的比例就一直在逐步增加。全球前 1000 个网站中,已经有 70 个封锁GPTBot,包括亚马逊(amazon.com)、《纽约时报》(nytimes.com)、CNN(cnn.com)、Wiki How(wikihow.com)、美国图片库、图片素材、图片音乐和编辑工具供应商Shutterstock(shutterstock.com )、《彭博社》(Bloomberg.com)和线上问答网站Quora(quora.com)等。

更多新闻:《纽时》封锁OpenAI网路爬虫 AI巨头计画受挫

利用robots.txt来禁止

这些网站阻止 GPTBot 的方法相对简单粗暴,只是将GPTBot 添加到其robots.txt的禁止列表中。创建於 20 世纪 90 年代的Robots.txt 旨在用来阻止网路爬虫,如 Google 或 Bing 的搜寻爬虫从网站提取数据和资讯。 OpenAI 在公开GPTBot时就表示,它将遵守 robots.txt,并不会抓取被禁止的网站。

OpenAI非法抓取资料引众怒

从技术上讲,网路上的大部分内容,包括文本和图像都受到版权保护。而像 GPTBot 这样的爬虫不需要要求许可或付费就可以获得这些数据和资讯。因此,目前唯一阻止它们方法就是透过 robots.txt。为训练GPT-3.5 和 GPT-4 等语言模型,OpenAI 透过网路资料抓取机器人,从网路收集第三方数据训练 GPT 模型。但问题是,OpenAI 使用的不只有免费、无版权的内容,其中还包括受版权保护的内容,这让版权所有者感到愤怒。

纽时开出第一枪

随着 ChatGPT 等工具在科技领域的迅猛发展,人们对版权和训练AI资料来源的意识越来越强。早在8月初,《纽约时报》就先发制人,更新其服务条款,禁止其内容,包括文本、照片、图像、音频/影片、外观和感觉、後设资料或合集,被用於开发「任何软体程式,包括但不限於训练机器学习或AI系统」。并在其 robots.txt 上封锁GPTBot。

其他封锁GPTBot的网站

目前已知封锁GPTBot的网站包括:amazon.com、quora.com、nytimes.com、shutterstock.com、wikihow.com、cnn.com、foursquare.com、healthline.com、scribd.com、businessinsider.com、reuters.com、medicalnewstoday.com、amazon.co.uk、insider.com、yourdictionary.com、slideshare.net、amazon.de、bloomberg.com、amazon.in、studocu.com、ikea.comuol.com.br、amazon.fr、geeksforgeeks.org、pcmag.com、theverge.com、nextdoor.com、amazon.ca、amazon.co.jp、airbnb.com、vulture.com、polygon.com、prnewswire.com、mashable.com、nymag.com、detik.com、theatlantic.com、trulia.com、amazon.es、eater.com、picclick.com、bustle.com、etymonline.com、teacherspayteachers.com、archiveofourown.org、vox.com、kumparan.com、theathletic.com、amazon.it、alltrails.com、thrillist.com、amazon.com.br、usmagazine.com、pikiran-rakyat.com、city-data.com、hellomagazine.com、stern.de、chicagotribune.com、spanishdict.com、lonelyplanet.com、inverse.com、actu.fr、fool.com、coursera.org、france24.com、myfitnesspal.com、dotesports.com、theglobeandmail.com、axios.com。

参考资料:Insider

※更多ChatGPT相关讯息,请参考【生成式AI创新学院】。