AI趨勢周報第260期：能偵測又能修正LLM幻覺內容，微軟預覽新功能Correction

重點新聞(0920～0927)

 微軟     Correction     幻覺  

微軟推出預覽版新功能Correction，可偵測並修正LLM幻覺內容

最近，微軟預覽一款Azure AI內容安全功能Correction，由2種模型驅動，可用來偵測、修正LLM產出的內容。進一步來說，首先會有一個分類器找出潛在錯誤、捏造或不相關的文字段落，並標註這些字句、顯示被標註的原因，讓使用者理解問題所在。接著由一款語言模型，根據特定文件，來重寫這些被標註的內容，而非如常見的工具，直接刪掉有問題的段落。

微軟解釋，傳統工具僅過濾內容的作法，並非最好的解決方法，因為過度過濾，可能導致輸出文本不連貫，影響使用者體驗。再來，AI幻覺問題讓生成式AI和Copilot難以應用於講求真實性的領域，如醫學、科學等，但Correction修正功能有望克服這個挑戰。（詳全文）

AI人才    認證     臺灣人工智慧學校  

臺灣人工智慧學校年底前開辦工程級AI認證

在今年度臺灣人工智慧學校年會中，臺灣人工智慧學校校務長蔡明順揭露臺灣AI人才培育進展，也預告今年底前將開辦的工程級認證AITCE。進一步來說，臺灣人工智慧學校盤點，臺灣AI職缺目前每月約有2.9萬個職缺，最缺AI人才的產業包括電子資訊業、軟體業、半導體業和傳產製造，占近9成，其他產業如文法商、金融、批發零售、設計和服務的產業的AI人才職缺，約占13%。蔡明順認為，臺灣AI人才需求會持續增加，每年職缺數預計將增加約7%。

而臺灣人工智慧學校從去年第四季，展開全民AI素養的推動計畫，將推出三個等級的AI人才認證，包括素養級認證AITCL、工程級認證AITCE和管理級認證AITCM。AITCL認證用來評估是否具備基本的AI素養，像是AI基礎知識，生成式AI使用、倫理和規範等。AITCE工程級認證則評估，是否具備程式設計基礎能力、資料處理分析、機器學習和深度學習演算法和應用能力。AITCM則要衡量，是否有能力在實際情境中建立安全、效能優良的AI系統，以及管理治理能力。

素養級認證AITCL已在今年7月正式開辦，測驗範圍包括9大項，像是AI概念、機器學習和深度學習、遷移學習、聯邦學習、雲端運算、邊緣運算、AI輔助數位孿生、生成式AI和AI安全。統計到今年9月，已有110家企業參與素養級認證，240人通過取得認證，通過率約93%。而工程級認證AITCE預計於今年年底前開辦，不只要培養更多技術型工程師，也希望吸引更多非技術人員，具備工程級AI能力。（詳全文）

  生成式AI     國泰金控     GAIA  

國泰金控揭露生成式AI技術發展框架

日前，國泰金控在自家技術年會上，正式宣布AIaaS戰略目標，並揭露生成式AI技術發展框架GAIA。進一步來說，這個AIaaS包含3大策略，也就是AI Ready、AI Native和AI Empower，其中AI Ready是要打造集團統一技術發展框架，同步子公司間的策略和技術。

AI Native則要將AI嵌入不同業務運作，國泰金控今年還因此設立AI卓越中心，負責排序集團AI資源和決策AI開發場景。AI Empower則是要提升集團全員工AI和雲端思維，比如今年初，國泰金控和子公司成立AI專責單位，全集團共有近千名雲端、AI和數據專業人員，要為全集團5萬名員工提供AI服務。

與此同時，國泰金控也說明自家生成式AI開發框架GAIA，包含三大模組：知識庫、Model hub和護欄。其中，知識庫可降低AI幻覺，也有助於模型微調和RAG應用，分為對內和對外兩種，如HR知識庫、授信知識庫，又或是貸款產品知識、理財產品知識等。Model hub模組則提供多種模型選擇，含雲端、地端、開源或閉源模型，也提供API接口，能介接各種服務。護欄模組則能用來過濾資訊、提供防護，確保模型產出內容是安全合規的。（詳全文）

  AI爬蟲    Cloudflare      AI治理  

可阻擋AI爬蟲了，Cloudflare釋出免費工具

為了讓網站能管理AI網路爬蟲的資料蒐集，Cloudflare最近發表一系列工具，包括可用來察看AI爬蟲具體活動的AI Audit、可一鍵封鎖所有AI爬蟲的Block AI Scrapers and Crawlers，還準備推出新元件，來讓網站管理者設定特定內容價格、向模型供應商收費。

這款AI Audit可用來察看AI爬蟲的各種行為，包括爬蟲類型、造訪頻率，或是所掃描的內容，好讓網站管理者準確了解AI爬蟲行為，決定是否控制它們。若不確定該如何處理這些AI爬蟲，網站管理員可採用Block AI Scrapers and Crawlers功能，一鍵封鎖所有的AI爬蟲。除了這兩個免費功能，網站管理員也能使用既有的Web Application Firewall（WAF）功能，更精細地控制所要允許或封鎖的爬蟲。（詳全文）

  聯邦學習     金融     防詐  

國泰聯手中信、玉山、新光驗證聯邦學習架構

日前，國泰金控在自家技術年會上，揭露金融防詐聯邦學習成果。他們透過金融科技創新園區FinTechSpace聯合自主實證機制，在今年上半年與中國信託、玉山和新光金控展開為期5個月的聯邦學習（Federated Learning）防詐實證計畫，並採用國泰金控自建的技術架構CaFe。

國泰金控數數發中心暨國泰世華銀行副總經理梁明喬表示，國泰金控從2021年就投入發展聯邦學習技術，也在集團內部進行多次場景POC驗證。今年，CaFe聯邦學習框架構越來越成熟，涵蓋模型訓練、環境監控，並在這次實驗中納入國泰世華銀行所蒐集的詐騙樣態，以及友行的案例補充，來加強各自內部潛在的犯罪案件的識別機會。以國泰為例，在精準度維持下，可提升20%異常帳戶捕捉率。（詳全文）

  Llama 3.2     多模態     Meta  

Meta釋出Llama新模型，開始支援多模態了

最近，Meta發表Llama 3.2，包括視覺語言模型Llama 3.2 11B和Llama 3.2 90B，以及輕量級、只支援文字的Llama 3.2 1B和Llama 3.2 3B，鎖定行動裝置和邊緣裝置需求，目前已開放使用者下載。

其中，Llama 3.2 11B與Llama 3.2 90B主要支援圖像推論應用，可理解圖表、圖形和圖說在內的文件，也能透過自然語言描述，在圖像中精確定位物件位置等視覺定位任務。例如使用者可詢問企業在去年哪個月的業績最好，Llama即可根據圖表回答。至於輕量的Llama 3.2 1B及Llama 3.2 3B，則具備強大的文字生成和工具調用功能，能讓開發者建置個人化的裝置端代理應用程式，好讓資料保存在裝置上而不外流。（詳全文）

  Gemini 1.5     Google     圖文理解  

Google更新Gemini 1.5模型，也調降Pro版價格

9月24日，Google更新了兩款模型，釋出Gemini-1.5-Pro-002和Gemini-1.5-Flash-002，提高模型的輸出速度，也調降了Gemini 1.5 Pro的價格。Gemini 1.5是個多模態模型，支援200萬個Token的脈絡長度，能處理長達1,000頁的PDF檔案、從超過1萬行程式碼的儲存庫中回答問題，也可從1小時的影片中擷取重要資訊。不只如此，新版在MMLU-Pro、MATH和HiddenMath等基準測試上都有明顯的進步，在視覺理解和生成Python程式碼也表現得更好。

同時，Google也宣布調降Gemini 1.5 Pro價格，前提是提示少於12.8萬個Token，那麼其輸入Token價格調降64%，輸出Token則調降52%，新增快取Token價格亦降低了64%，且自今年的10月1日起生效。（詳全文）

圖片來源／微軟、臺灣人工智慧學校、國泰金控、Cloudflare、Google

  AI近期新聞 

1. Google的AI筆記助理NotebookLM可輸入YouTube影片和聲音檔案了

2. OpenAI公布多語言資料集和基準測試

3. 普林斯頓和約翰霍普金斯大學研究發現，COT提示對數學、邏輯問題最有效

資料來源：iThome整理，2024年9月