NEWS CENTER
發(fā)布時間:2025-07-11瀏覽量:150
近日,中科院軟件所與瑞金醫(yī)院聯(lián)合研究的《外科腹腔鏡手術(shù)動作分析數(shù)據(jù)集》成功發(fā)表于國際頂級學術(shù)期刊Nature(《Scientific Data》IF 5.8;JCR Q1)。
該研究由上海交通大學醫(yī)學院瑞金醫(yī)院陸灣分院普外科、中國科學院大學杭州高級研究院、中國科學技術(shù)大學網(wǎng)絡(luò)空間與技術(shù)學院、中國科學院軟件研究所、廣西華醫(yī)人工智能醫(yī)療科技有限公司研發(fā)中心等聯(lián)合完成。
梵晨博生醫(yī)藥集團旗下華醫(yī)MedAI精準醫(yī)療(廣西華醫(yī)智能醫(yī)用軟件有限公司),是與中科院軟件所、瑞金醫(yī)院盧灣分院和多家頂尖臨床醫(yī)療機構(gòu)聯(lián)合出品的AI醫(yī)療平臺,從事AI大模型三維醫(yī)用軟件的研發(fā)與運營。為數(shù)據(jù)集構(gòu)建提供了關(guān)鍵技術(shù)支撐,標志著集團在AI醫(yī)療-腹腔臟器全自動智能識別技術(shù)板塊的實力獲得了全球頂尖學術(shù)機構(gòu)的權(quán)威認證。
研究中文摘要:
腹腔鏡手術(shù)因其微創(chuàng)和快速恢復(fù)的優(yōu)點,在各個外科領(lǐng)域得到了廣泛的應(yīng)用。然而,這需要外科醫(yī)生具備高水平的技術(shù)專長。雖然計算機視覺和深度學習的進步對手術(shù)動作識別做出了重大貢獻,但這些技術(shù)的有效性受到現(xiàn)有公開數(shù)據(jù)集的局限性的阻礙,例如它們的規(guī)模小、同質(zhì)性高、標注質(zhì)量不一致。為了解決上述問題,我們開發(fā)了SLAM數(shù)據(jù)集(腹腔鏡手術(shù)運動),其中包括各種手術(shù)類型,如腹腔鏡膽囊切除術(shù)和闌尾切除術(shù)。該數(shù)據(jù)集包括七個關(guān)鍵動作的注釋:腹腔進入、使用夾子、鉤切、縫合、全景視圖、局部全景視圖和吸引。總共有4097個視頻片段,每個片段都標有相應(yīng)的動作類別。此外,我們使用ViViT模型對數(shù)據(jù)集進行了全面驗證,實驗結(jié)果表明,該數(shù)據(jù)集在腹腔鏡手術(shù)動作識別方面表現(xiàn)出卓越的訓練和測試能力,分類準確率最高為85.90%。作為公開可用的基準資源,SLAM數(shù)據(jù)集旨在促進腹腔鏡手術(shù)動作識別和人工智能驅(qū)動手術(shù)的發(fā)展,支持智能手術(shù)機器人和手術(shù)自動化。
文章引用:Ye, Z., Zhou, R., Deng, Z. et al. A Comprehensive Video Dataset for Surgical Laparoscopic Action Analysis. Sci Data 12, 862 (2025). https://doi.org/10.1038/s41597-025-05093-7
文章網(wǎng)址:https://www.nature.com/articles/s41597-025-05093-7
數(shù)據(jù)網(wǎng)址:https://doi.org/10.6084/m9.figshare.28104782.v3
該數(shù)據(jù)集具備三大突破性價值:
1、多樣性:整合數(shù)十例患者手術(shù)視頻,涵蓋多種術(shù)式,突破傳統(tǒng)數(shù)據(jù)集同質(zhì)化局限。
2、高質(zhì)量標注:由資深外科醫(yī)師雙盲標注及高年資醫(yī)師復(fù)核,標注一致性達99%。
3、兼容性強:提供標準化視頻片段及訓練-驗證-測試劃分方案,支持高效模型開發(fā) 數(shù)據(jù)集已通過Figshare平臺開源(DOI:10.6084/m9.figshare.28104782),為手術(shù)機器人智能決策、術(shù)者技能評估、手術(shù)流程優(yōu)化提供關(guān)鍵基礎(chǔ),推動人工智能驅(qū)動的手術(shù)自動化進入新階段。
未來,將進一步擴大數(shù)據(jù)集的規(guī)模,提高數(shù)據(jù)多樣性;引入更多的客觀評價指標和方法,提高評估結(jié)果的準確性和可靠性;拓展測評數(shù)據(jù)集的應(yīng)用場景,為腹腔鏡領(lǐng)域大模型發(fā)展做出更多貢獻。(來源:瑞金醫(yī)院盧灣分院)
腹腔臟器全自動智能識別技術(shù)的價值
在外科手術(shù)領(lǐng)域,精準識別手術(shù)視頻中的關(guān)鍵步驟并評估操作規(guī)范性,是提升手術(shù)質(zhì)量與安全性的核心需求。傳統(tǒng)手術(shù)技能評估依賴專家主觀評分,存在耗時、易受主觀偏差影響等局限。隨著人工智能技術(shù)的發(fā)展,基于手術(shù)視頻的自動化分析成為突破方向。
所謂腹腔鏡手術(shù),就是在腹部的不同部位做數(shù)個直徑5~12毫米的小切口,通過這些小切口插入攝像鏡頭以及各種特殊的手術(shù)器械,將插入腹腔內(nèi)的攝像頭所拍攝的腹腔內(nèi)各種臟器的圖像傳輸?shù)斤@示屏幕上,外科醫(yī)生通過觀察圖像,用各種手術(shù)器械在體外進行操作來完成手術(shù)。
隨著電子科學的發(fā)展,近數(shù)十年來,腹腔鏡顯示屏已基本完成由模擬信號向數(shù)字化、高清化的轉(zhuǎn)型,這也為圖像數(shù)字處理創(chuàng)造了條件。近年來,AI已經(jīng)在革新醫(yī)學圖像分析的領(lǐng)域中展示出前所未有的潛力,腹腔鏡圖像中器官自動識別是日后全自動手術(shù)的前提。
未來,該類系統(tǒng)有望成為術(shù)中實時質(zhì)量控制的核心工具,推動外科手術(shù)從“經(jīng)驗驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)型。結(jié)合多模態(tài)數(shù)據(jù)融合與AI分析技術(shù),深化AI與臨床醫(yī)學交叉合作,拓展智能手術(shù)系統(tǒng)在多科室的應(yīng)用,實現(xiàn)跨學科融合。也能為臨床教育賦能,利用AI輔助系統(tǒng),加速年輕醫(yī)生手術(shù)技能培養(yǎng),縮短學習曲線,提升整體醫(yī)療隊伍的專業(yè)水平。