零一萬物發(fā)布首個大模型Yi-34B，李開復(fù)稱可處理200K上下文窗口

11月6日消息，界面新聞獲悉，成立僅5個月后，李開復(fù)的大模型初創(chuàng)公司零一萬物發(fā)布了其首個模型Yi-34B，這是一個雙語基礎(chǔ)模型，訓(xùn)練參數(shù)達(dá)到340億，顯著小于其他開源模型，如Falcon-180B和Meta LlaMa2-70B，根據(jù)Hugging Face的排名，Yi-34B在預(yù)訓(xùn)練LLM模型中名列前茅。據(jù)李開復(fù)所述，Yi-34B可以處理上下文窗口長度達(dá)200K，這意味著40萬字的文本處理量，是目前全球最長。李開復(fù)解釋稱，盡管更大的模型需要大量高質(zhì)量數(shù)據(jù)的良好訓(xùn)練，但他們?nèi)匀幌嘈?，?xùn)練得當(dāng)?shù)母竽Ｐ蛯⑹冀K明顯優(yōu)于質(zhì)量和技術(shù)相當(dāng)?shù)妮^小模型。