文|另鏡 劉雨婷
編輯|陳彥旭
科技技術在改變人與工具的交互方式。PC時代的Apple Lisa電腦,是首次采用圖形用戶界面和鼠標的個人電腦;到智能手機時代,iPhone定義了觸控交互。下一步,ChatGPT類的多模態(tài)大模型又將影響未來AI的發(fā)展方向和人類的工作方式。
未來科技產業(yè)注定是變革和顛覆的一年,新時代屬于造夢者、勇闖者,甚至是孤獨者。在外界看來,新的科技也許在不久的將來會打破現(xiàn)有的商業(yè)格局。大浪淘沙,敢為者先。
新浪潮下,另鏡推出「Tech潮向」專題系列報道,洞察當下前沿科技新變革和發(fā)展趨勢,報道前沿科技企業(yè)新戰(zhàn)略、新思維,提供更多具有前瞻思考的價值信息。此篇為該系列報道第三篇,聚焦新一輪新科技ChatGPT開啟。
4月7日,阿里版GPT官宣內測,自研大模型“通義千問”開始邀請用戶測試體驗,現(xiàn)階段主要定向邀請企業(yè)用戶進行體驗測試。
最近一段時間以來,ChatGPT成了互聯(lián)網領域最大的風口,國內受追捧熱度同樣高漲,百度文心一言率先發(fā)布,美團聯(lián)合創(chuàng)始人王慧文早已宣布入場,360集團創(chuàng)始人周鴻祎也公開演示了其公司的聊天機器人。
ChatGPT的出現(xiàn)引領新一輪技術創(chuàng)新,各行各業(yè)將會如何被顛覆是2023年外界最關心的話題。
阿里此次發(fā)布的通義千問是達摩院自主研發(fā)的超大規(guī)模語言模型,可以回答問題、創(chuàng)作文字,以及表達觀點、撰寫代碼。
另鏡拿到“通義千問”首批邀測資格,在登陸“通義千問”后,其主頁頁面主要突出了四個功能:職場助理、撰寫短文、寫封郵件和電影腳本。
在二級入口“百寶袋”中,通義千問舉例了更多應用場景,包括提升工作效率的寫提綱、SWOT分析、商品描述生成;生活類的菜譜、小學生作文、接文續(xù)寫;以及娛樂類的彩虹屁、情書、寫詩。
另鏡通過邀測碼對通義千問進行了體驗,從問題回答、觀點表達、邏輯計算等多個方面對“通義千問”進行測試,并與文心一言、ChatGPT(GPT-4)的回答進行對比。
能寫英文推薦信
首先,另鏡測試了幾個大模型對于最新熱點的了解,提問其是否了解最近剛剛成為網絡熱點的熊貓“花花”。
通義千問給出了回答,識別出提問者是想了解具體熊貓個體“花花”,但可惜或受限于語料資料,并未能給出正確介紹。
通義千問答案
正確信息:花花,本名和花,雌性大熊貓,2020年7月4日出生在成都大熊貓繁育研究基地月亮產房。
文心一言、ChatGPT則是未能理解提問者的具體意圖,均未能將問題回答落實到具體個體上。
文心一言答案
ChatGPT答案
這也在一定程度上體現(xiàn)了幾個大模型對于新聞熱點的滯后捕捉問題。作為國外的語言大模型,ChatGPT在中英文互譯過程中的信息理解偏差也是使用者要面臨的問題。
之后,另鏡測試了通義千問對于問題的邏輯理解能力。另鏡用一個藏有邏輯“陷阱”的問題進行測試:眼鏡沒發(fā)明出來之前,眼鏡蛇叫什么?
在首次測試中,通義千問未能正確解答問題,但在第二次重新回答后,其回答眼鏡蛇有另一個名字——眼鏡王蛇,以及該名稱來源,但這也并未能避開“眼鏡”這個問題。
通義千問答案
文心一言則是給出了眼鏡蛇的其他名稱,避開了“眼鏡”字眼。
文心一言答案
ChatGPT則是成功理解了問題邏輯,解開了文字矛盾,并介紹了眼鏡蛇的命名方式。
ChatGPT答案
在接下來的提問中,另鏡特意測試了“通義千問”對于中文詩句的理解:“云渺渺,水茫茫。征人歸路許多長。相思本是無憑語,莫向花箋費淚行”是什么意思?
通義千問答案
與百度文心一言、ChatGPT相比,通義千問的回答要更簡潔一些,文心一言、ChatGPT詳細解釋了每句詩詞的意思和情感表達。
文心一言答案
ChatGPT答案
接下來,另鏡測試了通義千問對中文詩句的更深層理解,細化到具體詩句詞語:“凄凄慘慘戚戚中”的戚戚是什么意思?
在這個問題上,通義千問并未能識別詩句出處,在中文文學理解方面還略有不足。
通義千問答案
文心一言回答出了詩句原文,但并沒能對具體詞語進行解釋。
文心一言答案
ChatGPT雖然回答出了具體詞語意思,但也并未回答詩句出處,并將“凄凄慘慘戚戚”錯誤理解成了四個形容詞。
ChatGPT答案
除中文語料測試外,另鏡也測試了通義千問的英文輸出能力。另鏡要求通義千問用英文寫一封推薦信,推薦學生申請碩士,通義千問給出了相應推薦信模板。
通義千問答案
有理科生氣質
在觀點表達方面,通義千問、文心一言、ChatGPT體現(xiàn)了不同的分析框架。
另鏡要求三者評價馬斯克和他的登月計劃:
通義千問從技術才華、商業(yè)才華、人品道德三方面,分條展現(xiàn)了評價馬斯克的角度,這個評價框架具有一定的通用性、
通義千問答案
與通義千問偏“理科生”的邏輯性回答不同,文心一言的回答更像是一篇“文科生”的感性作文。
文心一言答案
ChatGPT則是回答了大眾對于馬斯克的看法,直接介紹了馬斯克的身上的標簽,更加有針對性。
ChatGPT答案
在評價馬斯克后,另鏡要求三者分析其太空移民計劃能否成功。與上個問題相似,通義千問分條回答了該問題,文心一言寫了一段小作文。
通義千問答案
文心一言答案
ChatGPT則是深入分析了太空移民計劃目前面對的困難,有針對性的分析了能否成功的具體因素,回答也更實際。
ChatGPT答案
還不能替小學生寫作業(yè)
在數(shù)學邏輯方面,通義千問、文心一言、ChatGPT都遇到了困難。另鏡挑選了兩道小學六年級奧數(shù)題,在回答第一道邏輯判斷題問題時,通義千問和ChatGPT回答正確,文心一言則出現(xiàn)判斷錯誤。
通義千問和ChatGPT通過語言邏輯解答了問題,但在更具體的數(shù)學公式搭建上卻遇到困難。
在回答第二道數(shù)學計算問題時,通義千問、文心一言、ChatGPT都出現(xiàn)錯誤。三者給出了解答公式,進行推算,但是都未能給出正確答案。
正確答案是:20小時。
寫在最后
目前,各個大模型的表現(xiàn)都不算完美。但正如通義千問所介紹的,語言大模型的未來是非常廣闊的。
隨著人工智能技術的不斷發(fā)展和普及,語言大模型將被越來越多的應用于自然語言處理領域的各種任務。例如,語言大模型可以用于翻譯、問答系統(tǒng)、智能客服、機器翻譯、文本分類等。
同時,語言大模型也將促進人工智能技術在其他領域的應用,例如智能駕駛、醫(yī)療健康、金融服務等。未來,語言大模型將會持續(xù)發(fā)展和創(chuàng)新,為人類社會帶來更多的便利和效益。
無論現(xiàn)在OpenAI、百度、阿里旗下的聊天機器人表現(xiàn)如何,這也只是AI技術迭代的最開始,未來的路還有很長。