文|三易生活
如今，人工智能毫無疑問已經(jīng)是科技行業(yè)最為熱門的賽道之一，甚至幾乎所有叫得上名號(hào)的科技企業(yè)都卷入了這場競賽。而在AI大模型的相關(guān)市場競爭中，除了底層的算法、架構(gòu)外，“語料”則是一個(gè)被反復(fù)提及的關(guān)鍵要素。但圍繞“語料”這一AI大模型的生產(chǎn)資料，在過去一年間，整合行業(yè)也上演了一系列光怪陸離的故事。
那么訓(xùn)練AI大模型的語料從何而來呢？自然是從書籍、報(bào)刊、雜志、視頻、音頻、代碼等，一系列凝聚了人類智慧的產(chǎn)物中來，但是由于AI不是人類，他們認(rèn)識(shí)世界的方式與人類不同，所以蘊(yùn)含在這些作品中的信息還需要經(jīng)過一道處理工序，才能轉(zhuǎn)化為可以被AI大模型利用的語料，而這就是所謂的“數(shù)據(jù)標(biāo)注”了。
比如OpenAI旗下的ChatGPT，就是靠著2美元時(shí)薪的海外外包數(shù)據(jù)清洗人員，完成了史無前例的1750億參數(shù)量、45TB的訓(xùn)練數(shù)據(jù)。
如果把人工智能比作一棟大樓，那么標(biāo)注的數(shù)據(jù)就是一塊塊的磚，如果將人工智能比作一碗飯，那么標(biāo)注的數(shù)據(jù)自然也就是大米了。從某種意義上來說，現(xiàn)階段的人工智能在實(shí)質(zhì)上其實(shí)就是字面上的意義，也就是50%的人工+50%的智能。如果沒有人工數(shù)據(jù)標(biāo)注的存在，那么當(dāng)下的AI大模型競爭恐怕是要直接“熄火”。
有鑒于此，谷歌方面近期表示要讓人工智能更智能一些。
日前，Google Research的最新研究提出了AI反饋強(qiáng)化學(xué)習(xí)（RLAIF），用來代替基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）。事實(shí)上，RLHF正是ChatGPT等同類產(chǎn)品表現(xiàn)出比Siri等上一代人工智能產(chǎn)品更聰明，表達(dá)更接近人類的關(guān)鍵驅(qū)動(dòng)因素之一，它可以借助人類反饋信號(hào)來直接優(yōu)化語言模型，數(shù)據(jù)標(biāo)注人員則通過給大模型產(chǎn)出的結(jié)果打分，由他們來負(fù)責(zé)判斷大模型生成的文本是否優(yōu)質(zhì)（迎合人類偏好）。
根據(jù)谷歌方面的研究結(jié)果顯示，RLAIF可以在不依賴人類標(biāo)注員的情況下，產(chǎn)生與RLHF相當(dāng)?shù)母倪M(jìn)效果。具體來說，當(dāng)被要求直接比較RLAIF與RLHF的結(jié)果時(shí)，人類對兩者的偏好大致相同，同時(shí)RLAIF和RLHF都優(yōu)于傳統(tǒng)的監(jiān)督微調(diào)（SFT）基線策略。這也就意味著谷歌的研究證明了用AI訓(xùn)練AI大模型并非空話，也代表著如今的人工智能行業(yè)很有可能會(huì)迎來一次大規(guī)模的洗牌。
眾所周知，語料是AI大模型的基礎(chǔ)，而AI大模型之所以比以往的同類產(chǎn)品表現(xiàn)得更“聰明”，單純就是因?yàn)檎Z料的規(guī)模更大。例如GPT-3就擁有的1750億的參數(shù)量、45TB的訓(xùn)練數(shù)據(jù)，GPT-4的參數(shù)規(guī)模則達(dá)到了驚人的1.8萬億。但要將基礎(chǔ)數(shù)據(jù)轉(zhuǎn)化為AI可識(shí)別的語料，無疑是個(gè)巨大的工程。
數(shù)據(jù)標(biāo)注就是把各種圖片、文本、視頻等數(shù)據(jù)集打上標(biāo)簽，成為計(jì)算機(jī)可以理解識(shí)別的技術(shù)。這一工作在2007年之前是由程序員來負(fù)責(zé)完成，但畢竟有限的程序員群體與AI對于語料的無止境需求極其不匹配，所以這也導(dǎo)致了AI在本世紀(jì)第二個(gè)十年以前一直都曲高和寡。直到2007年，計(jì)算機(jī)科學(xué)家李飛飛通過亞馬遜眾包平臺(tái)雇傭了167個(gè)國家共計(jì)5萬人，來給10億張圖片篩選、排序、打標(biāo)簽，最終構(gòu)建了ImageNet數(shù)據(jù)集。
自此之后，大量科技企業(yè)發(fā)現(xiàn)數(shù)據(jù)標(biāo)注并不需要程序員來參與，只要是受過一定教育的普通人即可完成，這也成為了為什么AI在近十年來突飛猛進(jìn)的原因之一。其實(shí)數(shù)據(jù)標(biāo)注從某種意義上來說，就與流水線上工人干的活沒什么區(qū)別，而對著電腦屏幕根據(jù)給定的規(guī)則來給數(shù)據(jù)打上各式各樣的標(biāo)注這一工作，完全可以稱得上是“賽博搬磚”。
相關(guān)廠商顯然不會(huì)將自己寶貴的人力資源浪費(fèi)在這樣機(jī)械化的工作上，所以數(shù)據(jù)標(biāo)注目前基本就是一個(gè)以外包為主導(dǎo)的行業(yè)，并且通過BPO的形式將數(shù)據(jù)標(biāo)注工作交付給外包公司，確實(shí)也在一定程度上為AI廠商節(jié)約了成本，但從客觀上來說，數(shù)據(jù)標(biāo)注本身還是很費(fèi)錢的。雖然0.25元/條是過去兩年數(shù)據(jù)標(biāo)注行業(yè)的均價(jià)，但別看單價(jià)沒多少，可數(shù)以億計(jì)的規(guī)模就直接讓數(shù)據(jù)集的總價(jià)變得可觀了起來。
看到這里，有的朋友可能會(huì)有這樣的疑問，如果谷歌提出的RLAIF真的可行，數(shù)據(jù)標(biāo)注人員是不是要失業(yè)了？畢竟數(shù)據(jù)標(biāo)注人員一天能完成800到1000條的數(shù)據(jù)標(biāo)注就已經(jīng)是優(yōu)秀水平了，但比起不眠不休、不會(huì)疲勞的AI，血肉構(gòu)成的人類還是沒得比。更有效率、更穩(wěn)定的情況下，一旦再證明了RLAIF的效果不輸RLHF，人類進(jìn)行數(shù)據(jù)標(biāo)注顯然將會(huì)不再有經(jīng)濟(jì)性。
如果單純從商業(yè)層面出發(fā)，RLAIF肯定要比RLHF更好，但問題是AI廠商作為人類社會(huì)的一份子，同樣也具有社會(huì)性，并且AI廠商打造的大模型不僅要有性能，更重要的是還要合規(guī)。如今ChatGPT、New Bing在性能上比它們剛亮相時(shí)有所衰退的原因，已經(jīng)不僅僅來自用戶的體感，更得到了研究人員的證實(shí)。
其實(shí)這一現(xiàn)象并非是因?yàn)镺penAI、微軟的技術(shù)退步了，反而是兩者技術(shù)迭代的結(jié)果，因?yàn)樗麄儽仨氁贏I倫理問題上合規(guī)。由此也衍生出了一個(gè)控制AI的概念“AI對齊”，即要求AI系統(tǒng)的目標(biāo)要與人類的價(jià)值觀與利益對齊，不會(huì)產(chǎn)生意外的有害后果，比如說暴力、歧視等。例如現(xiàn)在向文心一言提出幫你想一個(gè)罵人的話，文心一言就只會(huì)直接回答，“作為一個(gè)人工智能語言模型，我不會(huì)提供或使用任何形式的臟話或粗俗語言。”
但問題也就來了，網(wǎng)絡(luò)上大家互相攻擊的言論可謂是數(shù)不勝數(shù)，文心一言怎么可能會(huì)做不到罵人呢？但它確實(shí)可以很“正能量”，這其實(shí)就是“AI對齊”在發(fā)揮作用?？蓮?qiáng)行讓AI遵守人類的價(jià)值觀本身就是反直覺的，在微軟研究院發(fā)布的一篇論文中就已經(jīng)證實(shí)，對AI大模型所進(jìn)行的任何AI對齊行為，都會(huì)損失大模型的準(zhǔn)確性和性能。
所以現(xiàn)在的情況，就是谷歌提出的RLAIF本質(zhì)上是剝離了AI大模型訓(xùn)練中的人類參與，但這與“AI對齊”的思路是相悖的。雖然在谷歌的相關(guān)論文中，RLAIF與人類判斷呈現(xiàn)出高度相似，但目前在圍繞AI的爭議如此巨大的情況下，真的有企業(yè)敢于去用RLAIF來代替RLHF嗎？