文｜巴比特資訊  

你還在感嘆生成式AI 帶來的革命性改變？感嘆 GPT-4 的強大？還在猜測 GPT-5 會有哪些新功能？OpenAI 已經(jīng)看到了更遠的地方，而且已經(jīng)在行動。

OpenAI團隊昨天發(fā)布了他們的最新動向，成立了一個新團隊 Superalignment，由 Ilya Sutskever（OpenAI 聯(lián)合創(chuàng)始人兼首席科學家）和 Jan Leike（對齊負責人）共同領導。這是一個關于超級智能（Superintelligence）的團隊，專注于超級智能對齊問題研究。OpenAI 聲稱將在未來四年內(nèi)將 20% 的計算資源用于解決超級智能對齊問題，足以見得 OpenAI 的重視程度。

什么是超級智能（Superintelligence）？

超級智能是指一種擁有超越人類智能的智能系統(tǒng)，它不僅僅是簡單的計算機程序，而是一個智能體，具有認知能力、情感能力、自我意識和意圖等特征，能夠獨立思考、判斷和決策，甚至在一定程度上能夠超越人類的智能。超級智能的概念是相對于目前的人工智能系統(tǒng)而言的，它是指一種更加先進的人工智能，能夠在更廣泛的領域和復雜環(huán)境中應用。

目前，超級智能仍然是一個理論上的概念，尚未被實現(xiàn)。實現(xiàn)超級智能需要解決許多技術上的問題，包括機器學習、自然語言處理、計算機視覺、推理和決策等方面的挑戰(zhàn)。另外，超級智能的出現(xiàn)也會帶來許多倫理、社會和政治等方面的問題，如超級智能的控制權、安全和隱私等問題。

超級智能是一種令人興奮和引人注目的概念，因為它能夠在各個領域產(chǎn)生各種重要的應用，比如醫(yī)療診斷、新藥研發(fā)、智能交通、自動化生產(chǎn)和安全防御等。同時，超級智能也具備一些風險和挑戰(zhàn)，如果失去控制，可能會對人類帶來巨大的威脅。

實現(xiàn)超級智能需要解決許多技術上的問題。其中最重要的問題之一是如何讓智能系統(tǒng)擁有自主學習的能力，即不斷從數(shù)據(jù)和經(jīng)驗中學習新知識和技能，從而不斷提高自己的智能水平。同時，超級智能還需要具備強大的推理、決策和創(chuàng)新能力，能夠自主思考和解決各種復雜問題。

“當我們接近超級智能時”，我們需要更多地考慮人工智能的存在風險?！瞬?/p>

超級智能將在十年內(nèi)成為現(xiàn)實？至少 OpenAI 如此認為

OpenAI認為，超級智能將是人類發(fā)明的最具影響力的技術，可以幫助我們解決世界上許多最重要的問題。 但超級智能的巨大力量也可能非常危險，并可能導致人類喪失權力，甚至導致人類滅絕。雖然超級智能現(xiàn)在看來還很遙遠，但我們相信它可能在十年內(nèi)實現(xiàn)。

如何解決超級智能存在的風險？

超級智能雖然能量巨大，但風險同樣巨大。OpenAI表示，管理這些風險將需要新的治理機構并解決超級智能協(xié)調(diào)的問題，即如何確保人工智能系統(tǒng)比人類聰明得多但同時還能遵循人類意圖？

OpenAI并沒有給出答案，他們認為人類目前無法可靠地監(jiān)督那些比人類還聰明的人工智能系統(tǒng)，當前的對齊技術無法擴展到超級智能，因此需要尋求新的科學技術突破。

不過，OpenAI解決超級智能對齊問題的路徑已經(jīng)很明確，即建立一個大致達到人類水平的自動對齊研究員，提高人工智能系統(tǒng)從人類反饋中學習并協(xié)助人類評估人工智能的能力。 目標是建立一個足夠對齊的人工智能系統(tǒng)，可以幫助我們解決所有其他對齊問題。

在去年，OpenAI 已經(jīng)發(fā)布一篇闡明他們關于對齊研究路線的博文：

https://openai.com/blog/our-approach-to-alignment-research

OpenAI 的新團隊 Superalignment 這個團隊將由頂尖機器學習研究人員和工程師組成的團隊，目標是在四年內(nèi)解決超級智能對齊的核心技術挑戰(zhàn)，包括開發(fā)新方法到擴大規(guī)模再到部署。

OpenAI首席科學家 Ilya Sutskever已經(jīng)將超級智能對齊問題作為核心研究重點。超級智能對齊從根本上來說是一個機器學習問題，OpenAI 正在招募優(yōu)秀的機器學習專家。

參考資料：https://openai.com/blog/introducing-superalignment