近年來，黨中央、國務(wù)院高度重視以大模型為代表的人工智能技術(shù)，《2024年政府工作報告》中強調(diào)要積極推動人工智能在各行各業(yè)深度賦能，培育新質(zhì)生產(chǎn)力，促進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型和智能化升級。為促進人工智能與醫(yī)療健康的跨界融合，中國信息通信研究院在行業(yè)主管部門指導(dǎo)下，按照“標(biāo)準(zhǔn)先行”的工作路徑，聯(lián)合產(chǎn)學(xué)研用醫(yī)各方，共同搭建醫(yī)療健康行業(yè)大模型標(biāo)準(zhǔn)體系，已形成技術(shù)要求、測試方法及成熟度評估三大系列。
·技術(shù)要求系列：包含總體技術(shù)要求、應(yīng)用技術(shù)要求、合成服務(wù)治理總體要求、安全能力總體要求四個方面。重點關(guān)注大模型的基礎(chǔ)設(shè)施、數(shù)據(jù)處理、安全治理等通用技術(shù)規(guī)范；同時聚焦醫(yī)療健康領(lǐng)域的特定需求，如醫(yī)院測醫(yī)療服務(wù)、患者側(cè)醫(yī)療服務(wù)、智慧醫(yī)保、公共衛(wèi)生、臨床科研、醫(yī)學(xué)教育、健康管理、傳統(tǒng)中醫(yī)等；
·測試方法系列：制定大模型性能評估和應(yīng)用效果驗證的標(biāo)準(zhǔn)方法；
·成熟度評估系列：研究面向不同用戶提供特定服務(wù)的醫(yī)療健康行業(yè)大模型成熟度模型架構(gòu)，包含咨詢、預(yù)防、診斷、治療、康復(fù)等場景。
同時，中國信通院依托系列標(biāo)準(zhǔn)，為多家技術(shù)廠商提供醫(yī)療健康大模型的能力符合性驗證，持續(xù)完善評價細則，提升標(biāo)準(zhǔn)實用性和適用性，助力行業(yè)大模型規(guī)范化、集約化發(fā)展。
2024年6月起，中國信通院選取GPT4、GPT-4O等國外通用大模型，文心一言、通義千問、混元和智譜清言ChatGLM等國內(nèi)通用大模型，靈醫(yī)Bot、夸克健康助手、訊飛星火醫(yī)療大模型和華佗GPT II等醫(yī)療健康行業(yè)大模型展開效能評估。通過構(gòu)建測試數(shù)據(jù)集、開展符合性驗證和模擬實際應(yīng)用場景，邀請醫(yī)療健康、人工智能領(lǐng)域十余位專家形成評估小組，對參測大模型的多輪問詢結(jié)果進行準(zhǔn)確性、完整性、流暢性、可解釋性等維度的綜合評分，考察大模型在多學(xué)科知識問答、多形式語言理解、多場景文書生成、多環(huán)節(jié)輔助診療、多輪對話交互、多模態(tài)支持等六大方向的實際應(yīng)用效能，助力醫(yī)療健康行業(yè)大模型的規(guī)范化發(fā)展，支持醫(yī)療機構(gòu)選取可信大模型產(chǎn)品，協(xié)助技術(shù)廠商加快能力提升。
結(jié)果顯示，通用大模型在醫(yī)學(xué)知識廣度方面具有一定優(yōu)勢，醫(yī)療健康行業(yè)大模型在特定醫(yī)療任務(wù)上表現(xiàn)優(yōu)異。
以訊飛星火醫(yī)療大模型為例，在個人畫像、健康干預(yù)方案、病歷文書生成及質(zhì)控、檢驗檢查報告解讀、體檢報告單解讀、藥盒解讀等細分任務(wù)中表現(xiàn)均處于領(lǐng)先，在健康常識、疾病百科、用藥知識、電子病歷結(jié)構(gòu)化、專業(yè)知識生活化、考試輔助智能化、導(dǎo)醫(yī)導(dǎo)診便民化、輔助首診及推薦檢驗檢查、輔助確診、疾病輔助診斷、用藥安全指導(dǎo)等方向上均展現(xiàn)高度專業(yè)性。
下一步，中國信通院將繼續(xù)聯(lián)合醫(yī)療機構(gòu)、科研院所、技術(shù)廠商等各界力量，結(jié)合動態(tài)效能評價工作經(jīng)驗，持續(xù)推進醫(yī)療健康行業(yè)大模型成熟度系列標(biāo)準(zhǔn)研制，建立針對不同醫(yī)療任務(wù)的大模型成熟度評價細則，確保標(biāo)準(zhǔn)貼合實際應(yīng)用需求，促進能力提升和應(yīng)用落地。通過優(yōu)化評估數(shù)據(jù)集、構(gòu)建自動化測試平臺，打造可信、互信的產(chǎn)業(yè)生態(tài)，樹立產(chǎn)業(yè)發(fā)展風(fēng)向標(biāo)，加強人工智能在醫(yī)療健康領(lǐng)域創(chuàng)新應(yīng)用，釋放數(shù)字健康經(jīng)濟新動能。
聯(lián)系人：
蔡劍飛 15724708092
caijianfei@caict.ac.cn
宋薇珊 13021285662
songweishan@caict.ac.cn
