本站 4 月 6 日消息，一項(xiàng)新研究似乎為 OpenAI 至少使用部分受版權(quán)保護(hù)內(nèi)容來(lái)訓(xùn)練其人工智能模型的指控提供了依據(jù)。

本站注意到，OpenAI 正面臨由作家、程序員以及其他版權(quán)持有者提起的訴訟，這些原告指責(zé)該公司在未經(jīng)許可的情況下，使用他們的作品 —— 包括書(shū)籍、代碼庫(kù)等，來(lái)開(kāi)發(fā)其模型。盡管 OpenAI 一直聲稱(chēng)其享有合理使用的抗辯理由，但原告方則認(rèn)為美國(guó)版權(quán)法中并無(wú)針對(duì)訓(xùn)練數(shù)據(jù)的豁免條款。

該研究由華盛頓大學(xué)、哥本哈根大學(xué)和斯坦福大學(xué)的研究人員共同撰寫(xiě)，提出了一種新方法，用于識(shí)別像 OpenAI 這樣通過(guò)應(yīng)用程序接口（API）提供服務(wù)的模型所“記憶”的訓(xùn)練數(shù)據(jù)。

AI 模型本質(zhì)上是預(yù)測(cè)引擎，通過(guò)大量數(shù)據(jù)訓(xùn)練，它們能夠?qū)W習(xí)各種模式，從而生成文章、照片等。雖然大多數(shù)輸出并非訓(xùn)練數(shù)據(jù)的逐字復(fù)制，但由于模型的“學(xué)習(xí)”方式，部分內(nèi)容不可避免地會(huì)被模型記憶下來(lái)。此前已有研究發(fā)現(xiàn)，圖像模型會(huì)重復(fù)生成其訓(xùn)練數(shù)據(jù)中電影的截圖，而語(yǔ)言模型則被觀察到存在剽竊新聞文章的行為。

該研究的核心方法依賴(lài)于研究人員提出的“高意外性”詞匯，即在大量作品中顯得不常見(jiàn)的詞匯。例如，在句子“Jack and I sat perfectly still with the radar humming”中，“radar”（雷達(dá)）一詞被認(rèn)為是高意外性的，因?yàn)閺慕y(tǒng)計(jì)學(xué)角度來(lái)看，它出現(xiàn)在“humming”（嗡嗡作響）之前的可能性比“engine”（引擎）或“radio”（收音機(jī)）等詞要低。

共同作者對(duì)包括 GPT-4 和 GPT-3.5 在內(nèi)的幾種 OpenAI 模型進(jìn)行了測(cè)試，通過(guò)從虛構(gòu)小說(shuō)片段和《紐約時(shí)報(bào)》文章中移除高意外性詞匯，然后讓模型嘗試“猜測(cè)”被屏蔽的詞匯，來(lái)尋找記憶跡象。研究人員認(rèn)為，如果模型能夠成功猜出這些詞語(yǔ)，則很可能表明該模型在訓(xùn)練過(guò)程中記憶了這些片段。

根據(jù)測(cè)試結(jié)果，GPT-4 顯示出記住了流行小說(shuō)書(shū)籍的部分內(nèi)容，包括一個(gè)包含受版權(quán)保護(hù)電子書(shū)樣本的數(shù)據(jù)集 BookMIA 中的書(shū)籍。結(jié)果還表明，該模型記住了《紐約時(shí)報(bào)》文章的部分內(nèi)容，盡管比例相對(duì)較低。

華盛頓大學(xué)的博士生、該研究的共同作者阿比拉沙?拉維奇漢德（Abhilasha Ravichander）對(duì) TechCrunch 表示，這些發(fā)現(xiàn)揭示了模型可能接受訓(xùn)練的“有爭(zhēng)議的數(shù)據(jù)”。

長(zhǎng)期以來(lái)，OpenAI 一直倡導(dǎo)放寬對(duì)使用受版權(quán)保護(hù)數(shù)據(jù)開(kāi)發(fā)模型的限制。盡管該公司已經(jīng)達(dá)成了一些內(nèi)容許可協(xié)議，并提供了允許版權(quán)所有者標(biāo)記不希望其用于訓(xùn)練的內(nèi)容的退出機(jī)制，但該公司一直在游說(shuō)多個(gè)**將圍繞人工智能訓(xùn)練方法的“合理使用”規(guī)則編入法典。