中醫大附醫揭露MedLM應用新進展，瞄準AI護理輔助3場景

中醫大附醫今日（2/21）揭露使用Google MedLM醫療生成式AI系列模型最新進展，用來打造AI輔助護理師應用，並在現場展示3種初期應用情境，比如判斷傷口照片、產出護理文字描述與建議，以及判讀病人表情、評估疼痛指數並產出文字說明，還有一種是協助護理師分析病人飲食，如根據食物照片和文字指令，來分析食物組成與熱量等。除了這3種情境，中醫大附醫還正嘗試其他應用領域，如判斷患者手術傷口、體液等，來產出文字報告和建議，同時，他們也計畫優化醫院醫療資訊系統（HIS），來整合純文字記錄與照片，便於護理師交班、快速理解病人狀況。

探索Google MedLM應用潛力，這次要減輕護理師工作負荷

Google MedLM是指醫療領域專用的多模態基礎模型服務，不只有Med PaLM 2大模型驅動，還包含最新的多模態模型Gemini，可處理一系列醫學相關的文字、影像和聲音等資訊，比如根據醫學影像產出文字報告，或進行重點摘要等。MedLM提供2種方案，一是較大的MedLM模型，可處理複雜的任務，另一是中等模型，可讓使用者用自己的資料微調，以便在不同任務間擴展。

去年中，中醫大附醫副院長李光申赴美國Google總部參訪時，就決定展開合作，要讓醫院使用MedLM、優化臨床工作流程。去年12月，中醫大附醫揭露Google MedLM第一波應用方向，要打造AI輔助醫師，來協助醫護診斷疾病、規畫治療方案、病患教育和醫學教育研究等。

今日，中醫大附醫進一步揭露另一大MedLM應用方向，鎖定繁重的護理師工作，打造AI輔助護理師。MedLM是多模態模型，可處理影像、文字、聲音等資訊，中醫大附醫人工智慧中心副主任王韋竣解釋，MedLM應用於護理領域有幾項優勢，比如系統可分析病人或傷口照片，並生成初步評估，來提供護理師更全面的描述。同理，MedLM也能用來補足因工作負荷而未能詳盡記錄的案例，此外還能根據圖片自動產生護理記錄，來減少護理師手動輸入的時間。

他以展示的應用情境為例，當護理師進行床邊照護時，可用手機拍攝患者狀況，如患者壓瘡傷口，上傳照片至「AI輔助護理師」並下文字指令（像是評估壓瘡分級、描述壓瘡外觀、給予照護建議和衛教建議等），MedLM會分析傷口、給出回覆，如三級壓瘡、外觀為皮膚完整性喪失等，以及護理師照護和患者衛教建議。（如下圖）

圖為傷口照片，右側上方則為文字指令。

將上圖照片和文字指令輸入AI輔助護理師後，即可得到相對應的回答。

另一種圖片分析情境，是由護理師拍攝疼痛患者臉部照片，上傳至AI輔助護理師後下文字指令（如根據頭痛患者表情評估疼痛指數並描述表情，接著給予照護建議和衛教資訊），系統便會產出相應的答案。（如下圖）

護理師可拍攝痛疼患者表情，並上傳至AI輔助護理師，以文字指令詢問疼痛指數評估與建議。

AI輔助護理師可分析圖片和文字指令，產出相對應的回答。

還有一種情境是分析病人飲食，在拍攝便當照片、上傳後，可下「這份餐點有296克，分析食物組成並估算熱量」的文字指令，MedLM便會產出相應答案，如食物組成可給出「雞胸肉100公克、紫米飯100公克、水煮蛋50公克、花椰菜20公克等」，熱量估算部分則能根據公克數回覆，如「雞胸肉100公克x165大卡/100公克=165大卡、水煮蛋50公克x78大卡/100公克=39大卡」。

AI輔助護理師還可分析飲食，包括食物組成與熱量估算（未拍攝到此部分）。

持續探索其他護理領域應用場景，還要優化HIS

目前，中醫大附醫採用MedLM服務中的大模型版本，先來探索不同應用場景與成效，也因此還未使用自家資料來微調模型，這些應用情境也還在初期嘗試階段。王韋竣表示，目前MedLM護理應用的準確率還在可接受範圍，接下來將繼續優化並嘗試其他護理場景的應用可能，如判斷病人痰液等體液照片、手術傷口照片，或是兒童糞便照片等，並產出相對應的文字描述供護理人員參考。

他也提到，中醫大附醫正在思考如何整合HIS，來讓病歷系統包含圖文資料。因為，過去病歷記錄系統是將文字與圖片分開，等於一套系統是文字記錄、另一套系統記錄影像，於是護理師查看時，多以文字記錄為主。而MedLM應用包含圖文，「若能整合圖片和文字資料、同時顯示，對護理師交班的資訊掌握就更清楚，也更客觀，」王韋竣說。