正在閱讀:

從解剖結(jié)構(gòu)到手術(shù)指導(dǎo),香港試水醫(yī)療多模態(tài)大模型

掃一掃下載界面新聞APP

從解剖結(jié)構(gòu)到手術(shù)指導(dǎo),香港試水醫(yī)療多模態(tài)大模型

對(duì)比其他垂類大模型,醫(yī)療類大模型的商用仍要經(jīng)過(guò)漫長(zhǎng)過(guò)程。

圖片來(lái)源:視覺(jué)中國(guó)

界面新聞?dòng)浾?| 張熹瓏

人工智能及機(jī)器人技術(shù)風(fēng)頭正盛,正在打造創(chuàng)科中心的香港,試圖從醫(yī)療垂直領(lǐng)域把握這一藍(lán)海。

3月28日,中國(guó)科學(xué)院香港創(chuàng)新院AI中心(簡(jiǎn)稱“AI中心”)旗下聯(lián)合實(shí)驗(yàn)室首次公開(kāi)展示了三項(xiàng)成果:GI-SoftTech內(nèi)窺鏡機(jī)器人、ESSENCE微創(chuàng)手術(shù)觸覺(jué)反饋技術(shù),以及外科手術(shù)規(guī)劃軟件 EpiNav。

三項(xiàng)成果均與醫(yī)療多模態(tài)大模型相關(guān)。GI-SoftTech搭載了AI智能,實(shí)現(xiàn)內(nèi)鏡檢查的數(shù)字化和智能化;ESSENCE能在微型手術(shù)工具的末端部署分布式高密度觸點(diǎn),首次實(shí)現(xiàn)人手級(jí)的觸覺(jué)感知能力。EpiNav則結(jié)合CARES Copilot手術(shù)大模型,在神經(jīng)外科手術(shù)中為醫(yī)生提供最佳的手術(shù)規(guī)劃方案,大幅減少手術(shù)規(guī)劃時(shí)間。

早在兩周前,AI中心發(fā)布了醫(yī)療垂直領(lǐng)域的AI多模態(tài)大模型CARES Copilot 1.0,目前可以在手術(shù)階段自動(dòng)識(shí)別病灶和解剖結(jié)構(gòu)。

相比單模態(tài),多模態(tài)大模型可以同時(shí)處理多個(gè)類型信息,從而實(shí)現(xiàn)更靈活地人機(jī)交互。

中國(guó)科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任劉宏斌接受界面新聞采訪時(shí)表示,CARES Copilot 1.0實(shí)現(xiàn)了圖像、文本、語(yǔ)音、視頻、MRI、CT、超聲等多模態(tài)的手術(shù)數(shù)據(jù)理解,可以進(jìn)行關(guān)鍵解剖結(jié)構(gòu)的識(shí)別以及手術(shù)中危險(xiǎn)區(qū)域的提示。

“很多神經(jīng)科醫(yī)生手術(shù)時(shí),也希望現(xiàn)場(chǎng)有人指導(dǎo)、做判斷,以往是不可能的。但是AI大模型跟機(jī)器人的操作結(jié)合起來(lái)可以打破這個(gè)壁壘?!眲⒑瓯笳f(shuō)。

目前,該大模型已經(jīng)與香港威爾士親王醫(yī)院神經(jīng)外科合作,把系統(tǒng)應(yīng)用于內(nèi)窺鏡手術(shù)中,實(shí)時(shí)分析手術(shù)過(guò)程,并提示醫(yī)生現(xiàn)在手術(shù)的階段和下一步需要注意什么,例如“清除腫瘤”、“硬腦膜修復(fù)”等。今年4月份,也會(huì)開(kāi)始應(yīng)用于北京協(xié)和醫(yī)院手術(shù)室進(jìn)行技術(shù)臨床實(shí)驗(yàn)。

手術(shù)機(jī)器人擔(dān)任助手

腦手術(shù)是全球風(fēng)險(xiǎn)最高的手術(shù)。在香港,該手術(shù)的死亡率低于5%,需要腦手術(shù)的港人逐年按上升。據(jù)介紹,有兩種病人需要接受腦手術(shù),第一種包括腦出血的新病例,第二種是大腦出現(xiàn)腫瘤,其中有一種癌癥干細(xì)胞病癥主要出現(xiàn)于兒童,而該腫瘤的出現(xiàn)率在香港屬全球最高。劉宏斌提到,這也是其中一個(gè)驅(qū)使其研發(fā)新微創(chuàng)手術(shù)的原因。

“神經(jīng)外科醫(yī)生最關(guān)心的首先就是安全性,在手術(shù)過(guò)程中,他需要這個(gè)技術(shù)能夠告訴他相關(guān)的解剖學(xué),重要的神經(jīng)、血管在什么位置?!眲⒑瓯笾?,“同時(shí)會(huì)有一個(gè)助手進(jìn)行輔助,幫忙拿器械、鏡頭,助手也在觀察主刀醫(yī)生,預(yù)判需要怎樣的協(xié)助。我覺(jué)得未來(lái)手術(shù)機(jī)器人,例如CARES Copilot,是可以擔(dān)任這個(gè)助手角色的?!?/span>

AI中心所使用的基礎(chǔ)大模型是由中國(guó)科學(xué)院自動(dòng)化所開(kāi)發(fā)的“紫東·太初”。劉宏斌告訴界面新聞,紫東·太初為多模態(tài)的通用大模型,AI中心在這個(gè)基礎(chǔ)上進(jìn)一步研發(fā)了一個(gè)垂直領(lǐng)域類模型,“我們聚焦醫(yī)療健康的研發(fā),在這個(gè)原始架構(gòu)上又搭了一層,這一層是一個(gè)可追溯和解釋的結(jié)構(gòu)。另外,也給這個(gè)大模型研發(fā)了很多專屬的小模型。垂直領(lǐng)域的任務(wù),必須是一個(gè)大模型配合一個(gè)小模型。”

CARES Copilot就采用了大模型加小模型的方式,將其識(shí)別的圖片和視頻進(jìn)行語(yǔ)義提取,運(yùn)用語(yǔ)言大模型的能力進(jìn)行更高級(jí)的理解,最終形成手術(shù)報(bào)告工程、手術(shù)質(zhì)量評(píng)估等面向臨床專家的服務(wù)。按照設(shè)想,Copilot 2.0版本將延伸到手術(shù)指導(dǎo),像教練一樣提醒和指導(dǎo)醫(yī)生哪個(gè)階段應(yīng)該如何操作。

劉宏斌提到,中科院自動(dòng)化所跟AI中心是一種互補(bǔ)的模式,包括研究領(lǐng)域和應(yīng)用領(lǐng)域上各有互補(bǔ):“我們聚焦在醫(yī)療器械,自動(dòng)化所的應(yīng)用領(lǐng)域就比較廣。一個(gè)健康問(wèn)題,需要很多領(lǐng)域合作,既要有醫(yī)療器械,也要對(duì)數(shù)據(jù)進(jìn)行分析,又涉及到AI技術(shù)。”

香港盡管整體產(chǎn)業(yè)生態(tài)上不及內(nèi)地,但優(yōu)勢(shì)在于科研實(shí)力。劉宏斌表示,不僅跟紫東·太初大模型團(tuán)隊(duì)合作,也跟香港高校教授、海外AI團(tuán)隊(duì)和開(kāi)源公司有合作,“香港高校老師的研究能力其實(shí)是世界級(jí)的,但是香港缺少產(chǎn)業(yè),他們的成果沒(méi)有一個(gè)出口,沒(méi)有商業(yè)模式輸出,研究也是不太可持續(xù)的?!?/span>

隨著人工智能內(nèi)容自動(dòng)生成技術(shù)的發(fā)展,所需算力也水漲船高,特別是智能算力。2月28日,香港財(cái)政司司長(zhǎng)陳茂波發(fā)表最新的財(cái)政預(yù)算案,表示將撥款30億元推行為期三年的人工智能資助計(jì)劃,資助本地大學(xué)、研發(fā)機(jī)構(gòu)及企業(yè)等運(yùn)用算力。

3月27日,香港創(chuàng)新科技及工業(yè)局局長(zhǎng)孫東表示,香港人工智能超算中心首階段設(shè)施最早在下半年啟用。這將填補(bǔ)香港無(wú)領(lǐng)先水平高性能計(jì)算平臺(tái)的空白。

尚未實(shí)現(xiàn)商用

不過(guò),對(duì)比其他垂類大模型,如生產(chǎn)力工具、營(yíng)銷類等,醫(yī)療類大模型的商用似乎仍遙遙無(wú)期。

2023年以來(lái),有超過(guò)50個(gè)平臺(tái)公開(kāi)發(fā)布了醫(yī)療大模型,但真正落地到臨床診斷的寥寥無(wú)幾。以科大訊飛為例,醫(yī)療板塊曾是其重點(diǎn)發(fā)力的兩個(gè)業(yè)務(wù)之一,但由于發(fā)展不及預(yù)期,營(yíng)收占比僅2.45%,科大訊飛在赴港上市時(shí)甚至分拆了醫(yī)療板塊。

劉宏斌分析道,垂直大模型難以落地臨床的痛點(diǎn)在于,很多大模型研發(fā)過(guò)程中沒(méi)有醫(yī)院的參與,缺乏臨床方面的因素,導(dǎo)致一些看上去很炫酷的技術(shù),實(shí)際上并不能滿足醫(yī)生的需求。另一方面,醫(yī)生通常會(huì)使用大量文本、影像、視頻等數(shù)據(jù),很多大模型還是僅以文本語(yǔ)言為主。

即便是CARES Copilot,也只是1.0版本,主要以識(shí)別和輔助醫(yī)生的功能為主,尚未進(jìn)入商業(yè)化落地階段。劉宏斌表示,現(xiàn)在仍處于科研測(cè)試階段,技術(shù)已經(jīng)有原型機(jī),可供醫(yī)生使用,但還需要跟臨床合作伙伴進(jìn)行測(cè)試,進(jìn)一步拓展新功能、提高參數(shù)精確度,“不過(guò)雖然是實(shí)驗(yàn)室的產(chǎn)品階段,已經(jīng)從研發(fā)中心的實(shí)驗(yàn)室進(jìn)入了醫(yī)生的實(shí)驗(yàn)室?!?/span>

劉宏斌認(rèn)為,醫(yī)療大模型首先會(huì)在“醫(yī)生很容易判斷對(duì)錯(cuò)”的環(huán)節(jié)上落地應(yīng)用,例如手術(shù)路徑規(guī)劃,原本需要花兩個(gè)小時(shí)制定的手術(shù)方案,通過(guò)大模型可以縮減至半個(gè)小時(shí),但最終決策權(quán)在醫(yī)生手上。這個(gè)環(huán)節(jié)中,AI擔(dān)任了一個(gè)提建議的角色。

“另外,大模型下人機(jī)互動(dòng)的能力會(huì)更強(qiáng),體現(xiàn)在手術(shù)室里的器械上?!笔中g(shù)室里的無(wú)影燈對(duì)醫(yī)生來(lái)說(shuō)就是一個(gè)痛點(diǎn),醫(yī)生抓無(wú)影燈時(shí)會(huì)把手弄臟,而助手有時(shí)候夠不到無(wú)影燈的位置?!斑@種情況下,機(jī)器人能夠提供一些輔助工作,應(yīng)該也是最快落地的應(yīng)用?!?/span>

至于CARES Copilot的商用前景,目前有兩種可能性較大的轉(zhuǎn)化模式,一種是將大模型嵌入醫(yī)院的管理流程中,通過(guò)為醫(yī)院降本增效獲得回報(bào);另一種商業(yè)模式是與醫(yī)院的設(shè)備供應(yīng)商合作,利用人工智能大為醫(yī)療器械賦能,提升其醫(yī)療器械的附加值。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

從解剖結(jié)構(gòu)到手術(shù)指導(dǎo),香港試水醫(yī)療多模態(tài)大模型

對(duì)比其他垂類大模型,醫(yī)療類大模型的商用仍要經(jīng)過(guò)漫長(zhǎng)過(guò)程。

圖片來(lái)源:視覺(jué)中國(guó)

界面新聞?dòng)浾?| 張熹瓏

人工智能及機(jī)器人技術(shù)風(fēng)頭正盛,正在打造創(chuàng)科中心的香港,試圖從醫(yī)療垂直領(lǐng)域把握這一藍(lán)海。

3月28日,中國(guó)科學(xué)院香港創(chuàng)新院AI中心(簡(jiǎn)稱“AI中心”)旗下聯(lián)合實(shí)驗(yàn)室首次公開(kāi)展示了三項(xiàng)成果:GI-SoftTech內(nèi)窺鏡機(jī)器人、ESSENCE微創(chuàng)手術(shù)觸覺(jué)反饋技術(shù),以及外科手術(shù)規(guī)劃軟件 EpiNav。

三項(xiàng)成果均與醫(yī)療多模態(tài)大模型相關(guān)。GI-SoftTech搭載了AI智能,實(shí)現(xiàn)內(nèi)鏡檢查的數(shù)字化和智能化;ESSENCE能在微型手術(shù)工具的末端部署分布式高密度觸點(diǎn),首次實(shí)現(xiàn)人手級(jí)的觸覺(jué)感知能力。EpiNav則結(jié)合CARES Copilot手術(shù)大模型,在神經(jīng)外科手術(shù)中為醫(yī)生提供最佳的手術(shù)規(guī)劃方案,大幅減少手術(shù)規(guī)劃時(shí)間。

早在兩周前,AI中心發(fā)布了醫(yī)療垂直領(lǐng)域的AI多模態(tài)大模型CARES Copilot 1.0,目前可以在手術(shù)階段自動(dòng)識(shí)別病灶和解剖結(jié)構(gòu)。

相比單模態(tài),多模態(tài)大模型可以同時(shí)處理多個(gè)類型信息,從而實(shí)現(xiàn)更靈活地人機(jī)交互。

中國(guó)科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任劉宏斌接受界面新聞采訪時(shí)表示,CARES Copilot 1.0實(shí)現(xiàn)了圖像、文本、語(yǔ)音、視頻、MRI、CT、超聲等多模態(tài)的手術(shù)數(shù)據(jù)理解,可以進(jìn)行關(guān)鍵解剖結(jié)構(gòu)的識(shí)別以及手術(shù)中危險(xiǎn)區(qū)域的提示。

“很多神經(jīng)科醫(yī)生手術(shù)時(shí),也希望現(xiàn)場(chǎng)有人指導(dǎo)、做判斷,以往是不可能的。但是AI大模型跟機(jī)器人的操作結(jié)合起來(lái)可以打破這個(gè)壁壘。”劉宏斌說(shuō)。

目前,該大模型已經(jīng)與香港威爾士親王醫(yī)院神經(jīng)外科合作,把系統(tǒng)應(yīng)用于內(nèi)窺鏡手術(shù)中,實(shí)時(shí)分析手術(shù)過(guò)程,并提示醫(yī)生現(xiàn)在手術(shù)的階段和下一步需要注意什么,例如“清除腫瘤”、“硬腦膜修復(fù)”等。今年4月份,也會(huì)開(kāi)始應(yīng)用于北京協(xié)和醫(yī)院手術(shù)室進(jìn)行技術(shù)臨床實(shí)驗(yàn)。

手術(shù)機(jī)器人擔(dān)任助手

腦手術(shù)是全球風(fēng)險(xiǎn)最高的手術(shù)。在香港,該手術(shù)的死亡率低于5%,需要腦手術(shù)的港人逐年按上升。據(jù)介紹,有兩種病人需要接受腦手術(shù),第一種包括腦出血的新病例,第二種是大腦出現(xiàn)腫瘤,其中有一種癌癥干細(xì)胞病癥主要出現(xiàn)于兒童,而該腫瘤的出現(xiàn)率在香港屬全球最高。劉宏斌提到,這也是其中一個(gè)驅(qū)使其研發(fā)新微創(chuàng)手術(shù)的原因。

“神經(jīng)外科醫(yī)生最關(guān)心的首先就是安全性,在手術(shù)過(guò)程中,他需要這個(gè)技術(shù)能夠告訴他相關(guān)的解剖學(xué),重要的神經(jīng)、血管在什么位置?!眲⒑瓯笾?,“同時(shí)會(huì)有一個(gè)助手進(jìn)行輔助,幫忙拿器械、鏡頭,助手也在觀察主刀醫(yī)生,預(yù)判需要怎樣的協(xié)助。我覺(jué)得未來(lái)手術(shù)機(jī)器人,例如CARES Copilot,是可以擔(dān)任這個(gè)助手角色的。”

AI中心所使用的基礎(chǔ)大模型是由中國(guó)科學(xué)院自動(dòng)化所開(kāi)發(fā)的“紫東·太初”。劉宏斌告訴界面新聞,紫東·太初為多模態(tài)的通用大模型,AI中心在這個(gè)基礎(chǔ)上進(jìn)一步研發(fā)了一個(gè)垂直領(lǐng)域類模型,“我們聚焦醫(yī)療健康的研發(fā),在這個(gè)原始架構(gòu)上又搭了一層,這一層是一個(gè)可追溯和解釋的結(jié)構(gòu)。另外,也給這個(gè)大模型研發(fā)了很多專屬的小模型。垂直領(lǐng)域的任務(wù),必須是一個(gè)大模型配合一個(gè)小模型?!?/span>

CARES Copilot就采用了大模型加小模型的方式,將其識(shí)別的圖片和視頻進(jìn)行語(yǔ)義提取,運(yùn)用語(yǔ)言大模型的能力進(jìn)行更高級(jí)的理解,最終形成手術(shù)報(bào)告工程、手術(shù)質(zhì)量評(píng)估等面向臨床專家的服務(wù)。按照設(shè)想,Copilot 2.0版本將延伸到手術(shù)指導(dǎo),像教練一樣提醒和指導(dǎo)醫(yī)生哪個(gè)階段應(yīng)該如何操作。

劉宏斌提到,中科院自動(dòng)化所跟AI中心是一種互補(bǔ)的模式,包括研究領(lǐng)域和應(yīng)用領(lǐng)域上各有互補(bǔ):“我們聚焦在醫(yī)療器械,自動(dòng)化所的應(yīng)用領(lǐng)域就比較廣。一個(gè)健康問(wèn)題,需要很多領(lǐng)域合作,既要有醫(yī)療器械,也要對(duì)數(shù)據(jù)進(jìn)行分析,又涉及到AI技術(shù)?!?/span>

香港盡管整體產(chǎn)業(yè)生態(tài)上不及內(nèi)地,但優(yōu)勢(shì)在于科研實(shí)力。劉宏斌表示,不僅跟紫東·太初大模型團(tuán)隊(duì)合作,也跟香港高校教授、海外AI團(tuán)隊(duì)和開(kāi)源公司有合作,“香港高校老師的研究能力其實(shí)是世界級(jí)的,但是香港缺少產(chǎn)業(yè),他們的成果沒(méi)有一個(gè)出口,沒(méi)有商業(yè)模式輸出,研究也是不太可持續(xù)的。”

隨著人工智能內(nèi)容自動(dòng)生成技術(shù)的發(fā)展,所需算力也水漲船高,特別是智能算力。2月28日,香港財(cái)政司司長(zhǎng)陳茂波發(fā)表最新的財(cái)政預(yù)算案,表示將撥款30億元推行為期三年的人工智能資助計(jì)劃,資助本地大學(xué)、研發(fā)機(jī)構(gòu)及企業(yè)等運(yùn)用算力。

3月27日,香港創(chuàng)新科技及工業(yè)局局長(zhǎng)孫東表示,香港人工智能超算中心首階段設(shè)施最早在下半年啟用。這將填補(bǔ)香港無(wú)領(lǐng)先水平高性能計(jì)算平臺(tái)的空白。

尚未實(shí)現(xiàn)商用

不過(guò),對(duì)比其他垂類大模型,如生產(chǎn)力工具、營(yíng)銷類等,醫(yī)療類大模型的商用似乎仍遙遙無(wú)期。

2023年以來(lái),有超過(guò)50個(gè)平臺(tái)公開(kāi)發(fā)布了醫(yī)療大模型,但真正落地到臨床診斷的寥寥無(wú)幾。以科大訊飛為例,醫(yī)療板塊曾是其重點(diǎn)發(fā)力的兩個(gè)業(yè)務(wù)之一,但由于發(fā)展不及預(yù)期,營(yíng)收占比僅2.45%,科大訊飛在赴港上市時(shí)甚至分拆了醫(yī)療板塊。

劉宏斌分析道,垂直大模型難以落地臨床的痛點(diǎn)在于,很多大模型研發(fā)過(guò)程中沒(méi)有醫(yī)院的參與,缺乏臨床方面的因素,導(dǎo)致一些看上去很炫酷的技術(shù),實(shí)際上并不能滿足醫(yī)生的需求。另一方面,醫(yī)生通常會(huì)使用大量文本、影像、視頻等數(shù)據(jù),很多大模型還是僅以文本語(yǔ)言為主。

即便是CARES Copilot,也只是1.0版本,主要以識(shí)別和輔助醫(yī)生的功能為主,尚未進(jìn)入商業(yè)化落地階段。劉宏斌表示,現(xiàn)在仍處于科研測(cè)試階段,技術(shù)已經(jīng)有原型機(jī),可供醫(yī)生使用,但還需要跟臨床合作伙伴進(jìn)行測(cè)試,進(jìn)一步拓展新功能、提高參數(shù)精確度,“不過(guò)雖然是實(shí)驗(yàn)室的產(chǎn)品階段,已經(jīng)從研發(fā)中心的實(shí)驗(yàn)室進(jìn)入了醫(yī)生的實(shí)驗(yàn)室?!?/span>

劉宏斌認(rèn)為,醫(yī)療大模型首先會(huì)在“醫(yī)生很容易判斷對(duì)錯(cuò)”的環(huán)節(jié)上落地應(yīng)用,例如手術(shù)路徑規(guī)劃,原本需要花兩個(gè)小時(shí)制定的手術(shù)方案,通過(guò)大模型可以縮減至半個(gè)小時(shí),但最終決策權(quán)在醫(yī)生手上。這個(gè)環(huán)節(jié)中,AI擔(dān)任了一個(gè)提建議的角色。

“另外,大模型下人機(jī)互動(dòng)的能力會(huì)更強(qiáng),體現(xiàn)在手術(shù)室里的器械上?!笔中g(shù)室里的無(wú)影燈對(duì)醫(yī)生來(lái)說(shuō)就是一個(gè)痛點(diǎn),醫(yī)生抓無(wú)影燈時(shí)會(huì)把手弄臟,而助手有時(shí)候夠不到無(wú)影燈的位置?!斑@種情況下,機(jī)器人能夠提供一些輔助工作,應(yīng)該也是最快落地的應(yīng)用?!?/span>

至于CARES Copilot的商用前景,目前有兩種可能性較大的轉(zhuǎn)化模式,一種是將大模型嵌入醫(yī)院的管理流程中,通過(guò)為醫(yī)院降本增效獲得回報(bào);另一種商業(yè)模式是與醫(yī)院的設(shè)備供應(yīng)商合作,利用人工智能大為醫(yī)療器械賦能,提升其醫(yī)療器械的附加值。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。