正在閱讀:

實測阿里版ChatGPT:回答問題注重邏輯,比想象中更聰明

掃一掃下載界面新聞APP

實測阿里版ChatGPT:回答問題注重邏輯,比想象中更聰明

ChatGPT的出現(xiàn)引領新一輪技術創(chuàng)新,各行各業(yè)將會如何被顛覆是2023年外界最關心的話題。

圖片來源:界面新聞 范劍磊

文|另鏡 劉雨婷

編輯|陳彥旭

科技技術在改變人與工具的交互方式。PC時代的Apple Lisa電腦,是首次采用圖形用戶界面和鼠標的個人電腦;到智能手機時代,iPhone定義了觸控交互。下一步,ChatGPT類的多模態(tài)大模型又將影響未來AI的發(fā)展方向和人類的工作方式。

未來科技產業(yè)注定是變革和顛覆的一年,新時代屬于造夢者、勇闖者,甚至是孤獨者。在外界看來,新的科技也許在不久的將來會打破現(xiàn)有的商業(yè)格局。大浪淘沙,敢為者先。

新浪潮下,另鏡推出「Tech潮向」專題系列報道,洞察當下前沿科技新變革和發(fā)展趨勢,報道前沿科技企業(yè)新戰(zhàn)略、新思維,提供更多具有前瞻思考的價值信息。此篇為該系列報道第三篇,聚焦新一輪新科技ChatGPT開啟。

4月7日,阿里版GPT官宣內測,自研大模型“通義千問”開始邀請用戶測試體驗,現(xiàn)階段主要定向邀請企業(yè)用戶進行體驗測試。

最近一段時間以來,ChatGPT成了互聯(lián)網領域最大的風口,國內受追捧熱度同樣高漲,百度文心一言率先發(fā)布,美團聯(lián)合創(chuàng)始人王慧文早已宣布入場,360集團創(chuàng)始人周鴻祎也公開演示了其公司的聊天機器人。

ChatGPT的出現(xiàn)引領新一輪技術創(chuàng)新,各行各業(yè)將會如何被顛覆是2023年外界最關心的話題。

阿里此次發(fā)布的通義千問是達摩院自主研發(fā)的超大規(guī)模語言模型,可以回答問題、創(chuàng)作文字,以及表達觀點、撰寫代碼。

另鏡拿到“通義千問”首批邀測資格,在登陸“通義千問”后,其主頁頁面主要突出了四個功能:職場助理、撰寫短文、寫封郵件和電影腳本。

在二級入口“百寶袋”中,通義千問舉例了更多應用場景,包括提升工作效率的寫提綱、SWOT分析、商品描述生成;生活類的菜譜、小學生作文、接文續(xù)寫;以及娛樂類的彩虹屁、情書、寫詩。

另鏡通過邀測碼對通義千問進行了體驗,從問題回答、觀點表達、邏輯計算等多個方面對“通義千問”進行測試,并與文心一言、ChatGPT(GPT-4)的回答進行對比。

能寫英文推薦信

首先,另鏡測試了幾個大模型對于最新熱點的了解,提問其是否了解最近剛剛成為網絡熱點的熊貓“花花”。

通義千問給出了回答,識別出提問者是想了解具體熊貓個體“花花”,但可惜或受限于語料資料,并未能給出正確介紹。

通義千問答案

正確信息:花花,本名和花,雌性大熊貓,2020年7月4日出生在成都大熊貓繁育研究基地月亮產房。

文心一言、ChatGPT則是未能理解提問者的具體意圖,均未能將問題回答落實到具體個體上。

文心一言答案

ChatGPT答案

這也在一定程度上體現(xiàn)了幾個大模型對于新聞熱點的滯后捕捉問題。作為國外的語言大模型,ChatGPT在中英文互譯過程中的信息理解偏差也是使用者要面臨的問題。

之后,另鏡測試了通義千問對于問題的邏輯理解能力。另鏡用一個藏有邏輯“陷阱”的問題進行測試:眼鏡沒發(fā)明出來之前,眼鏡蛇叫什么?

在首次測試中,通義千問未能正確解答問題,但在第二次重新回答后,其回答眼鏡蛇有另一個名字——眼鏡王蛇,以及該名稱來源,但這也并未能避開“眼鏡”這個問題。

通義千問答案

文心一言則是給出了眼鏡蛇的其他名稱,避開了“眼鏡”字眼。

文心一言答案

ChatGPT則是成功理解了問題邏輯,解開了文字矛盾,并介紹了眼鏡蛇的命名方式。

ChatGPT答案

在接下來的提問中,另鏡特意測試了“通義千問”對于中文詩句的理解:“云渺渺,水茫茫。征人歸路許多長。相思本是無憑語,莫向花箋費淚行”是什么意思?

通義千問答案

與百度文心一言、ChatGPT相比,通義千問的回答要更簡潔一些,文心一言、ChatGPT詳細解釋了每句詩詞的意思和情感表達。

文心一言答案

ChatGPT答案

接下來,另鏡測試了通義千問對中文詩句的更深層理解,細化到具體詩句詞語:“凄凄慘慘戚戚中”的戚戚是什么意思?

在這個問題上,通義千問并未能識別詩句出處,在中文文學理解方面還略有不足。

通義千問答案

文心一言回答出了詩句原文,但并沒能對具體詞語進行解釋。

文心一言答案

ChatGPT雖然回答出了具體詞語意思,但也并未回答詩句出處,并將“凄凄慘慘戚戚”錯誤理解成了四個形容詞。

ChatGPT答案

除中文語料測試外,另鏡也測試了通義千問的英文輸出能力。另鏡要求通義千問用英文寫一封推薦信,推薦學生申請碩士,通義千問給出了相應推薦信模板。

通義千問答案

有理科生氣質

在觀點表達方面,通義千問、文心一言、ChatGPT體現(xiàn)了不同的分析框架。

另鏡要求三者評價馬斯克和他的登月計劃:

通義千問從技術才華、商業(yè)才華、人品道德三方面,分條展現(xiàn)了評價馬斯克的角度,這個評價框架具有一定的通用性、

通義千問答案

與通義千問偏“理科生”的邏輯性回答不同,文心一言的回答更像是一篇“文科生”的感性作文。

文心一言答案

ChatGPT則是回答了大眾對于馬斯克的看法,直接介紹了馬斯克的身上的標簽,更加有針對性。

ChatGPT答案

在評價馬斯克后,另鏡要求三者分析其太空移民計劃能否成功。與上個問題相似,通義千問分條回答了該問題,文心一言寫了一段小作文。

通義千問答案

文心一言答案

ChatGPT則是深入分析了太空移民計劃目前面對的困難,有針對性的分析了能否成功的具體因素,回答也更實際。

ChatGPT答案

還不能替小學生寫作業(yè)

在數(shù)學邏輯方面,通義千問、文心一言、ChatGPT都遇到了困難。另鏡挑選了兩道小學六年級奧數(shù)題,在回答第一道邏輯判斷題問題時,通義千問和ChatGPT回答正確,文心一言則出現(xiàn)判斷錯誤。

通義千問和ChatGPT通過語言邏輯解答了問題,但在更具體的數(shù)學公式搭建上卻遇到困難。

在回答第二道數(shù)學計算問題時,通義千問、文心一言、ChatGPT都出現(xiàn)錯誤。三者給出了解答公式,進行推算,但是都未能給出正確答案。

正確答案是:20小時。

寫在最后

目前,各個大模型的表現(xiàn)都不算完美。但正如通義千問所介紹的,語言大模型的未來是非常廣闊的。

隨著人工智能技術的不斷發(fā)展和普及,語言大模型將被越來越多的應用于自然語言處理領域的各種任務。例如,語言大模型可以用于翻譯、問答系統(tǒng)、智能客服、機器翻譯、文本分類等。

同時,語言大模型也將促進人工智能技術在其他領域的應用,例如智能駕駛、醫(yī)療健康、金融服務等。未來,語言大模型將會持續(xù)發(fā)展和創(chuàng)新,為人類社會帶來更多的便利和效益。

無論現(xiàn)在OpenAI、百度、阿里旗下的聊天機器人表現(xiàn)如何,這也只是AI技術迭代的最開始,未來的路還有很長。

本文為轉載內容,授權事宜請聯(lián)系原著作權人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

實測阿里版ChatGPT:回答問題注重邏輯,比想象中更聰明

ChatGPT的出現(xiàn)引領新一輪技術創(chuàng)新,各行各業(yè)將會如何被顛覆是2023年外界最關心的話題。

圖片來源:界面新聞 范劍磊

文|另鏡 劉雨婷

編輯|陳彥旭

科技技術在改變人與工具的交互方式。PC時代的Apple Lisa電腦,是首次采用圖形用戶界面和鼠標的個人電腦;到智能手機時代,iPhone定義了觸控交互。下一步,ChatGPT類的多模態(tài)大模型又將影響未來AI的發(fā)展方向和人類的工作方式。

未來科技產業(yè)注定是變革和顛覆的一年,新時代屬于造夢者、勇闖者,甚至是孤獨者。在外界看來,新的科技也許在不久的將來會打破現(xiàn)有的商業(yè)格局。大浪淘沙,敢為者先。

新浪潮下,另鏡推出「Tech潮向」專題系列報道,洞察當下前沿科技新變革和發(fā)展趨勢,報道前沿科技企業(yè)新戰(zhàn)略、新思維,提供更多具有前瞻思考的價值信息。此篇為該系列報道第三篇,聚焦新一輪新科技ChatGPT開啟。

4月7日,阿里版GPT官宣內測,自研大模型“通義千問”開始邀請用戶測試體驗,現(xiàn)階段主要定向邀請企業(yè)用戶進行體驗測試。

最近一段時間以來,ChatGPT成了互聯(lián)網領域最大的風口,國內受追捧熱度同樣高漲,百度文心一言率先發(fā)布,美團聯(lián)合創(chuàng)始人王慧文早已宣布入場,360集團創(chuàng)始人周鴻祎也公開演示了其公司的聊天機器人。

ChatGPT的出現(xiàn)引領新一輪技術創(chuàng)新,各行各業(yè)將會如何被顛覆是2023年外界最關心的話題。

阿里此次發(fā)布的通義千問是達摩院自主研發(fā)的超大規(guī)模語言模型,可以回答問題、創(chuàng)作文字,以及表達觀點、撰寫代碼。

另鏡拿到“通義千問”首批邀測資格,在登陸“通義千問”后,其主頁頁面主要突出了四個功能:職場助理、撰寫短文、寫封郵件和電影腳本。

在二級入口“百寶袋”中,通義千問舉例了更多應用場景,包括提升工作效率的寫提綱、SWOT分析、商品描述生成;生活類的菜譜、小學生作文、接文續(xù)寫;以及娛樂類的彩虹屁、情書、寫詩。

另鏡通過邀測碼對通義千問進行了體驗,從問題回答、觀點表達、邏輯計算等多個方面對“通義千問”進行測試,并與文心一言、ChatGPT(GPT-4)的回答進行對比。

能寫英文推薦信

首先,另鏡測試了幾個大模型對于最新熱點的了解,提問其是否了解最近剛剛成為網絡熱點的熊貓“花花”。

通義千問給出了回答,識別出提問者是想了解具體熊貓個體“花花”,但可惜或受限于語料資料,并未能給出正確介紹。

通義千問答案

正確信息:花花,本名和花,雌性大熊貓,2020年7月4日出生在成都大熊貓繁育研究基地月亮產房。

文心一言、ChatGPT則是未能理解提問者的具體意圖,均未能將問題回答落實到具體個體上。

文心一言答案

ChatGPT答案

這也在一定程度上體現(xiàn)了幾個大模型對于新聞熱點的滯后捕捉問題。作為國外的語言大模型,ChatGPT在中英文互譯過程中的信息理解偏差也是使用者要面臨的問題。

之后,另鏡測試了通義千問對于問題的邏輯理解能力。另鏡用一個藏有邏輯“陷阱”的問題進行測試:眼鏡沒發(fā)明出來之前,眼鏡蛇叫什么?

在首次測試中,通義千問未能正確解答問題,但在第二次重新回答后,其回答眼鏡蛇有另一個名字——眼鏡王蛇,以及該名稱來源,但這也并未能避開“眼鏡”這個問題。

通義千問答案

文心一言則是給出了眼鏡蛇的其他名稱,避開了“眼鏡”字眼。

文心一言答案

ChatGPT則是成功理解了問題邏輯,解開了文字矛盾,并介紹了眼鏡蛇的命名方式。

ChatGPT答案

在接下來的提問中,另鏡特意測試了“通義千問”對于中文詩句的理解:“云渺渺,水茫茫。征人歸路許多長。相思本是無憑語,莫向花箋費淚行”是什么意思?

通義千問答案

與百度文心一言、ChatGPT相比,通義千問的回答要更簡潔一些,文心一言、ChatGPT詳細解釋了每句詩詞的意思和情感表達。

文心一言答案

ChatGPT答案

接下來,另鏡測試了通義千問對中文詩句的更深層理解,細化到具體詩句詞語:“凄凄慘慘戚戚中”的戚戚是什么意思?

在這個問題上,通義千問并未能識別詩句出處,在中文文學理解方面還略有不足。

通義千問答案

文心一言回答出了詩句原文,但并沒能對具體詞語進行解釋。

文心一言答案

ChatGPT雖然回答出了具體詞語意思,但也并未回答詩句出處,并將“凄凄慘慘戚戚”錯誤理解成了四個形容詞。

ChatGPT答案

除中文語料測試外,另鏡也測試了通義千問的英文輸出能力。另鏡要求通義千問用英文寫一封推薦信,推薦學生申請碩士,通義千問給出了相應推薦信模板。

通義千問答案

有理科生氣質

在觀點表達方面,通義千問、文心一言、ChatGPT體現(xiàn)了不同的分析框架。

另鏡要求三者評價馬斯克和他的登月計劃:

通義千問從技術才華、商業(yè)才華、人品道德三方面,分條展現(xiàn)了評價馬斯克的角度,這個評價框架具有一定的通用性、

通義千問答案

與通義千問偏“理科生”的邏輯性回答不同,文心一言的回答更像是一篇“文科生”的感性作文。

文心一言答案

ChatGPT則是回答了大眾對于馬斯克的看法,直接介紹了馬斯克的身上的標簽,更加有針對性。

ChatGPT答案

在評價馬斯克后,另鏡要求三者分析其太空移民計劃能否成功。與上個問題相似,通義千問分條回答了該問題,文心一言寫了一段小作文。

通義千問答案

文心一言答案

ChatGPT則是深入分析了太空移民計劃目前面對的困難,有針對性的分析了能否成功的具體因素,回答也更實際。

ChatGPT答案

還不能替小學生寫作業(yè)

在數(shù)學邏輯方面,通義千問、文心一言、ChatGPT都遇到了困難。另鏡挑選了兩道小學六年級奧數(shù)題,在回答第一道邏輯判斷題問題時,通義千問和ChatGPT回答正確,文心一言則出現(xiàn)判斷錯誤。

通義千問和ChatGPT通過語言邏輯解答了問題,但在更具體的數(shù)學公式搭建上卻遇到困難。

在回答第二道數(shù)學計算問題時,通義千問、文心一言、ChatGPT都出現(xiàn)錯誤。三者給出了解答公式,進行推算,但是都未能給出正確答案。

正確答案是:20小時。

寫在最后

目前,各個大模型的表現(xiàn)都不算完美。但正如通義千問所介紹的,語言大模型的未來是非常廣闊的。

隨著人工智能技術的不斷發(fā)展和普及,語言大模型將被越來越多的應用于自然語言處理領域的各種任務。例如,語言大模型可以用于翻譯、問答系統(tǒng)、智能客服、機器翻譯、文本分類等。

同時,語言大模型也將促進人工智能技術在其他領域的應用,例如智能駕駛、醫(yī)療健康、金融服務等。未來,語言大模型將會持續(xù)發(fā)展和創(chuàng)新,為人類社會帶來更多的便利和效益。

無論現(xiàn)在OpenAI、百度、阿里旗下的聊天機器人表現(xiàn)如何,這也只是AI技術迭代的最開始,未來的路還有很長。

本文為轉載內容,授權事宜請聯(lián)系原著作權人。