AI趨勢周報第217期：Meta發表LLaMA小而美版本LIMA，只用了1千個提示但媲美主流LLM

重點新聞(0519～0525)

  Meta     LIMA     LLaMA  

Meta發表LLaMA小而美版本LIMA

Meta AI聯手南加大、卡內基美隆大學和以色列特拉維夫大學共同打造一款650億參數的模型LIMA，只用了1,000個精心設計的提示和回應微調LLaMA而成，沒使用任何人工回饋的優化方法和強化學習，可說是小而美版的LLaMA，且表現相當好。

進一步來說，大型語言模型可分為兩階段來訓練，一是利用原始文本進行無監督式預訓練，來學習通用表徵（Representation），二是大規模進行指令調整和強化學習，來確保模型最終任務的表現和使用者偏好是一致的（也就是對齊兩者）。而團隊思考，能否不用進行第二階段，也能讓LLM有良好的表現，於是他們開發出LIMA，只在1,000個提示和回應使用標準監督損失函數，來微調LLaMA，並未使用任何強化學習和人工回饋資料。

經測試，團隊表示，LIMA性能非常強大，可從訓練資料中的少數範例，學習遵從特定的回應格式，比如複雜的旅行計畫。此外，LIMA也具有良好的泛化能力，也就是能處理訓練資料集中未見過的任務。在一項人工評測研究中，LIMA產出的回應，在43%的案例裡，不是相當於GPT-4就是比它還好。與Bard相比，這個數字來到58%，與經過人工回饋訓練的Davinci003相比，這個數字則是65%。團隊認為，LLM所學的所有知識幾乎源於預訓練期間，而且只需有限的指令微調資料，就能教模型產出高品質答案。（詳全文）

  LLM     微軟     Copilot  

微軟開發者大會揭露更多Copliot助理，AI外掛生態系成形

微軟在年度Build開發人員大會上，一口氣宣布多項LLM驅動的新功能，包括擴大Copilot助理至更多產品，如PowerBI Copilot、Windows Copilot，甚至是新產品分析整合平臺的Fabric Copilot。此外，微軟還要將自家的Bing Chat、Copilot與OpenAI的ChatGPT互通，形成AI擴充套件生態系。

微軟先在2年前和OpenAI聯手推出GitHub Copilot，今年又接連將Copilot整合至多項產品，像是Microsoft 365、Dynamic 365、Viva、Sharepoint和安全工具。這次則進一步擴大，將分別推出內建在PowerBI、Power Pages和分析平臺Fabric的Copilot助理預覽版。微軟也預計在6月推出Windows Copilot for Windows 11預覽版，並讓使用者透過Windows Copilot和Bing外掛與ChatGPT互動。

此外，微軟還推出AI開發框架和外掛，讓開發者用來打造Copilot助理，也能用來與第三方服務互動，開發者可透過該平臺，建立擴充套件來銜接客戶與業務端應用。同時，微軟也開放自家各產品的Copilot助理與ChatGPT互通，包括Bing、Dynamics 365、M365與Windows Copilot。另外，微軟的Bing也將成為ChatGPT的預設搜尋工具。（詳全文）

  暗網    BERT    資安  

有望揪出暗網勒索軟體交易！韓國研究員開發解讀暗網專用語言模型DarkBERT

一群韓國研究員用暗網資料，訓練出一款預訓練語言模型DarkBERT，可用來理解暗網用語，相當於暗網的導航工具，未來可用於資安領域，來偵測暗網的勒索軟體交易和暗網論壇非法訊息交換。

進一步來說，團隊採用Meta在2019年釋出的預訓練語言模型RoBERTa，並自建訓練資料集來訓練模型，包括從Tor網路上爬梳大量資料，並進行數據過濾等一系列資料清理工作來打造暗網語料庫。他們也用去年自行開發的暗網語料庫CoDA來訓練DarkBERT，來理解暗網的特殊用語與結構。後來，團隊進行測試，並用RoBERTa和其他模型來對比DarkBERT的表現，他們發現，DarkBERT表現優於其他主流模型，更能理解暗網用語，可作為深入的暗網研究資產與資安偵測工具。（詳全文）

 BLOOMChat     BLOOM     商用  

可商用的大型語言模型BLOOMChat來了

AI晶片設計公司SambaNova聯手AI技術新創Together，以BLOOM為基礎，共同打造一款可商用的大型語言模型BLOOMChat，支援多語言任務，如翻譯、問答、摘要等。自ChatGPT問世以來，許多功能強大的大型語言模型（LLM）也隨之出現，如GPT-4、LLaMA和PaLM 2，但這些模型並未開放商用，因此許多開發者轉向有商用授權的BLOOM，以它來打造所需的模型。

於是，SambaNova和Together想打造一款可商用的LLM，他們以1,760億參數的BLOOM為基礎，用SambaNova的AI運算晶片RDU來執行微調任務。BLOOMChat的微調訓練資料來自2大類，一是大量自動合成的對話資料集OpenChatKit，另一是較少量的人工編寫對話資料集Dolly 2.0和OASST1。

團隊也進行人工評分測試，來衡量BLOOMChat的英、法、中、西班牙、阿拉伯和印度語的回答能力。他們發現，BLOOMChat的勝率為45.25%，略遜於GPT-4的54.75%。不過，與OpenAssistant、BLOOMz等其他主流LLM相比，BLOOMChat達到近66%的勝率，是最高分的。（詳全文）

  微軟     資料分析     Fabric  

微軟推出單一整合資料分析平臺Fabric

微軟在開發者大會上揭露一款全端統一分析平臺Fabric，整合了各種資料和分析工具，將Azure Data Factory和Power BI技術都匯集到同一個平臺，並以多雲資料湖OneLake來統一儲存分析服務會使用的所有資料。簡單來說，Fabric是一個完整的分析平臺，包含7大核心工作負載，如預覽版的拖拉式資料處理工具Data Factory、預覽版Spark資料工程工具Synapse Data Engineering、預覽版資料倉儲服務Synapse Data Warehousing、預覽版資料分析工具Synapse Real-Time Analytics、預覽版AI模型開發工作流程工具Synapse Data Science和Power BI，以及即將推出的無程式碼即時資料偵測工具Data Activator。這些核心工作負載需要用到的資料，皆來自多雲資料湖OneLake，不會因不同使用者配置產生資料孤島，使用者也能更簡單探索和共享資料。

Fabric也整合Azure OpenAI的Copilot，用戶可透過自然語言來建立資料流和資料工作流程，甚至生成程式碼和建置機器模型等工作。Fabric還整合Microsoft 365應用程式，能針對不同角色提供分析功能，比如，Excel使用者可直接在OneLake中分析數據，並一鍵產出PowerBI報表。（詳全文）

  Google     醫療影像     檢索  

Google開源雲端醫療影像檢索函式庫

Google開源可快速從DICOM儲存檢索全玻片影像的函式庫EZ WSI DICOMWeb，要來加速數位病理發展。WSI是一種將傳統病理學切片數位化的技術，病理切片是將組織樣本切成非常薄的薄片，進行染色後在顯微鏡下觀察，供醫療人員觀察癌症和各種病理狀態。將病理切片數位化，就能儲存在數位裝置並在電腦上查看，還能用於AI判讀。

但WSI也有著資料管理的挑戰，因為高解析度圖像容量非常大，要從DICOM儲存中，以DICOMweb檢索特定WSI區塊（Patch）並不容易。因此，Google開發EZ WSI DICOMWeb Python函式庫來簡化操作，要高效、簡單地存取WSI區塊圖像。該函式庫直接透過DICOMweb API，檢索需要的WSI區塊圖像，更直覺地使用圖像資料，開發者不必深入了解DICOM的資料結構和API，更能專注於應用開發上。（詳全文）

  廣告     生成式AI     Google  

店家可自動生成產品照片！Google用生成式AI優化廣告服務

Google最近宣布把生成式AI整合至廣告服務中，並發表新的Product Studio工具，使用者能用生成式AI來建立產品照片。在Google Ads廣告服務中，Google用生成式AI來強化自動建立資產（ACA）功能，可根據使用者的查詢，來建立、調整搜尋廣告。例如當使用者查詢「如何保護乾性敏感肌膚」，Google AI會根據廣告登陸頁面上的內容，以及既有的廣告，重新建立一個更符合該查詢的廣告標題，如「舒緩你的乾性敏感肌膚」。

Google也以生成式AI來強化Performance Max服務，廣告主只要提供網址，Google AI就能自動學習該品牌的內涵，並自動以文字或其它資產來填補廣告內容，包括自動替活動生成圖片。Google也將生成式AI應用在Merchant Center商家服務上，提供全新的Product Studio工具，以AI來協助商家建立新的產品圖片，如可根據季節來變換產品圖片的背景，或完全移除產品背景等。（詳全文）

  IBM     生成式AI     卓越中心  

IBM投入千名顧問成立生成式AI卓越中心，鎖定企業轉型

IBM旗下顧問部門（原IBM全球企業諮詢服務部門）近日成立生成式AI卓越中心，目前有1,000名顧問在該中心服務，要用生成式AI來改善企業運作模式。這個中心會與IBM顧問部門的全球AI暨自動化單位並行，後者在全球擁有2萬1千名熟悉數據和AI的顧問，至今已完成4萬多個企業案例。

IBM指出，生成式AI卓越中心的目標有3個，包括增強客戶體驗、轉變核心業務流程和促進創新業務模式，會利用IBM企業級AI解決方案（如新發布的AI數據平臺IBM Watsonx）和企業夥伴的解決方案，來推動客戶業務轉型。進一步來說，該中心會使用完整的生成式AI技術堆疊，包括基礎模型和50多個特定領域的經典ML加速器，此外也會使用AI顧問工具包，來優化內部營運和客戶服務內容。IBM表示，該中心正快速啟動，光是今年，IBM顧問部門就完成數十項生成式AI與典型ML的應用，像是替The Masters提供AI生成的體育評論播報、用IBM Watson和生成式AI替三井化學驗證新應用等。（詳全文）

圖片來源／SambaNova、微軟、Youngjin Jin、Meta、Google

  AI近期新聞 

1. Meta運用聖經譯本與錄音改進語音模型，現可支援超過千種語言

2. Adobe將把AI圖片產生器加入Photoshop

資料來源：iThome整理，2023年5月