AI趨勢周報第223期：創作影片更簡單了，ShortGPT用AI自動化編輯和配音合成工作

重點新聞(0721～0727)

影片創作     ShorGPT     配音合成  

創作影片更簡單了，ShortGPT用AI自動化影片編輯工作

最近，GitHub上出現一款強大的AI框架ShortGPT，能用來簡化影片創作工作，包括配音合成、影片編輯、撰寫腳本等，來提高自動化程度。進一步來說，ShortGPT有一套以LLM為導向的影片編輯語言，來驅動整個自動化編輯框架。而且，這個語言將編輯流程拆解為可管理和可自定義的區塊，讓大型語言模型更容易理解流程意義，也因此讓ShortGPT能為各種編輯流程，生成提示和腳本，來加速自動化編輯，並提供立即可用的資源給創作者。

不只如此，ShortGPT還提供多種語言的合成配音，目前支援英語、西班牙語、阿拉伯語、法語、德語、義大利語、葡萄牙語和波蘭語，尚未有中文。此外，ShortGPT還能生成影片字幕，並具備影片資源管理功能，能透過Pexels API來從網路尋找圖像和影片畫面。最後，ShortGPT還應用輕量級資料庫TinyDB來確保自動編輯變數的一致性，能記住使用者偏好和設定。現在，使用者可在Google寫作開發平臺Colab上執行ShortGPT。ShortGPT頗受歡迎，目前開源2周，已累積了2,700多顆星星。（詳全文）

  Line     Yahoo日本     OpenAI  

Line與Yahoo日本也擁抱OpenAI API服務了

近日，由韓國Naver集團和日本軟銀集團合資成立的子公司Z控股，與OpenAI簽訂企業協定，來讓Z控股旗下員工能使用OpenAI所有API服務，包括大型語言模型GPT-4、GPT-3.5、GPT-3，文生圖模型DALLE·E，語音轉文字模型Whisper，用來判斷文字敏感度的Moderation，以及衡量字符串相關性的Embeddings等。也就是說，包含Line集團、Yahoo日本在內的2萬多名員工都能使用這些API，用來優化內部作業流程。比如，這些API可用來快速建立文檔和電子郵件模板、能修改草稿、研究、文字內容分類、翻譯和新點子建議等。Line集團和Yahoo日本也會在各部門推廣生成式AI應用，來提高生產力和服務品質，並發想新服務。

為因應AI技術進展，Z控股也做了不少相應措施。比如今年6月，Z控股成立生成式AI應用促進辦公室，由63位來自Z控股、Line和Yahoo日本等成員組成，來討論相關應用。今年3月，Z控股還制定了生成式AI使用指南，來規範和促進生成式AI的使用，而且自2021年6月起，他們也與外部專家進行一系列AI倫理專家討論，來制定服務安全政策和使用者自願使用AI的規則，更在去年7月制定了《Z控股集團AI倫理基本方針》，作為安全使用AI並保障用戶隱私的策略。

不只是制定規則，Z控股內部也開始應用生成式AI，比如Yahoo日本營運的餐廳訂位服務PayPay Gourmet，在今年7月就使用OpenAI的ChatGPT外掛，來讓使用者用說的，就能找到想要的餐廳並訂位。（詳全文）

  LLM    Chatbot Arena       GPT-4  

哪個LLM表現最好？ Chatbot Arena線上工具讓你測試還排名

由加州大學伯克萊分校和CMU學生成立的大模型系統組織（LMSYS Org）開發一款線上工具Chatbot Arena，能讓使用者同時測試2款大型語言模型，只要輸入問題，2款模型就會同步即時回答，再由使用者評估2者表現，如誰表現好、平手或都不好，再進行下一輪測試。

Chatbot Arena收錄了16款開源和閉源模型，採隨機方式讓使用者測試，評分後才揭露模型名稱。該工具用Elo指標來對模型排名，特別的是，Elo沒有最高或最低分數，而是比對手多得100分的模型，預計會贏得64%的比賽，比對手多得200分的模型預計會贏得76%的比賽。目前，Chatbot Arena排行榜第一名是GPT-4，其次是Claude-v1、GPT-3.5-turbo，以及用ChatGPT對話資料微調LLaMA而成的Vicuna-33B與13B版本。（詳全文）

  GitHub     LogAI     日誌分析  

Salesforce打造日誌分析函式庫LogAI並開源

CRM龍頭廠商Salesforce最近打造一款日誌（Log）分析函式庫LogAI，可用來處理電腦系統產生的原始日誌，還支援日誌分群、摘要等分析任務，以及日誌異常偵測與根因分析（Root-cause）等智慧任務。而且，LogAI採用OpenTelemetry日誌資料模型，能兼容不同日誌管理平臺的格式，並提供視覺化的GUI介面。此外，LogAI還為熱門的統計、時間序列和深度學習模型提供統一的模型介面，可輕鬆對日誌異常偵測的深度學習算法進行基準測試。

一般來說，電腦系統產生的日誌，可幫助開發者了解系統行為、找出問題，但傳統的日誌分析通常仰賴人工手動進行，借助AI則能加速這個過程。於是，團隊打造LogAI，由LogAI核心函式庫和LogAI GUI組成，LogAI GUI可讓使用者連接到核心函式庫中的日誌分析應用程式，並透過GUI互動介面來可視化分析結果。（詳全文）

  微軟     安全     OpenAI  

OpenAI、微軟和Google等7大AI巨頭向白宮承諾將維護AI安全

日前，美國7大AI龍頭承諾白宮，將對AI風險做出安全控管。這些業者包括OpenAI、微軟、Amazon、Google、Meta、Anthropic和Inflection，他們將推動安全、可靠和透明的AI技術發展，比如在AI系統釋出前，進行內外部安全測試，以及願意與該產業、政府、社會和學術界分享AI管理資訊。此外，他們也將投資網路安全和內部威脅防護機制，以保護私有及未發表的模型權重，另外也將與第三方合作，來找出AI系統漏洞。

另一方面，為提高民眾信任，這些企業也將打造可標記AI生成內容的技術，像是浮水印系統，也會公開對外說明其AI系統的能力、限制，以及適用和不適用的領域。他們也會針對AI系統可能帶來的社會風險展開研究，諸如避免有害的偏見與歧視，同時保護隱私，並將發展、部署可協助解決社會關鍵挑戰的先進AI系統，如預防癌症、減緩氣候變遷。同時，美國也與國際合作，要建立一個國際框架，來管理AI的開發與使用，目前已與澳洲、加拿大、巴西、德國、印度、新加坡、韓國等逾20國就自願承諾進行協商。（詳全文）

  艾倫研究所     大腦地圖     AWS  

艾倫研究所要打造人類大腦地圖，還要用生成式AI找洞察

艾倫研究所（Allen Institute）在美國國立衛生研究院（NIH）的資助下，用AWS平臺技術打造一套腦知識平臺，來繪製人類大腦地圖，要找出阿茲海默症和帕金森氏症等神經疾病的成因，並進一步找出最佳療法。

艾倫研究所啟動為期5年的人腦地圖繪製專案，聯手全球17家研究機構的神經科學研究員，在腦知識平臺上繪製一張全新、完整且精確到單個細胞的腦部地圖。團隊計畫用Amazon SageMaker機器學習平臺來管理資料，未來也會部署生成式AI，來將龐大、複雜、多模態的資料轉化為洞察。同時，艾倫研究所資料暨技術主管Shoaib Mufti還會帶領團隊，與AWS一起用腦部地圖建立全球最大的腦細胞開源資料庫，將成為人類首次針對哺乳動物大腦結構和功能進行彙編、標準化的大規模資料集。（詳全文）

  中國附醫     病歷紀錄     生成式AI  

口述10秒就完成病歷記錄，中國附醫推醫療生成式AI系統

中國附醫採用微軟生成式AI服務，開發出智海系統（gHi system），是首套以華文建立的生成式語音智慧醫療系統，能根據醫護口述，快速轉換為文字，來完成病歷的撰寫，減少醫護人員輸入病歷75％的時間，讓醫護人員更專注於患者照護。

進一步來說，傳統手寫或鍵盤輸入病歷資訊，不只耗時，還容易出錯。為克服語音轉文字的準確度，中國附醫AI中心找來微軟，利用微軟Azure平臺上語音轉文字服務，辨識口述內容，再用同平臺提供的GPT-4模型，來摘要、分析，提取關鍵資訊，10秒就能自動生成專業醫療術語和建議。中國附醫指出，該應用可用於新病人面談問診、護理語音記錄、住院病歷撰寫、專業檢查報告輸出，甚至還能客製化生成等，大幅縮短撰寫醫療報告的時間。（詳全文）

  生成式AI     AWS     BI  

AWS一口氣推出7大生成式AI新功能

AWS最近在宣布推出7項生成式AI新功能，像是程式撰寫助手Amazon CodeWhisperer與Amazon Glue整合、Amazon QuickSight新增生成式BI功能，以及智慧醫療新服務AWS HealthScribe等，要來降低使用門檻，讓開發者和業務都能使用。比如，新功能之一的全託管基礎模型服務Amazon Bedrock全面擴展，新添許多基礎模型、模型供應商和代理功能，知名AI新創Stability AI、Cohere和Anthropic都加入，他們的熱門語言模型Claude 2和最新版文生圖模型包Stable Diffusion XL 1.0也都納入Bedrock，來給使用者採用。

此外，Amazon EC2 P5執行個體正式可用了，來加速生成式AI和高效能運算應用，訓練時間最多可從幾天縮短到幾小時，降低40%訓練成本。其他新功能還有可用於Amazon OpenSearch Serverless的向量引擎，方便使用者整合資料；而寫程式AI助理Amazon CodeWhisperer整合Amazon Glue，開發者可用英語編寫特定任務。再來，Amazon QuickSight還新增生成式BI功能，幫助企業輕鬆找資料、發現並分享洞察。

同時，AWS推出的Amazon HealthScribe，醫療軟體供應商可用來打造臨床應用程式，像是用生成式AI來產出臨床文件，節省醫生時間。而且，醫療軟體供應商還能利用單一個API，自動建立可靠的記錄、提取關鍵訊息（如醫學術語和藥物），並根據醫病對話建立摘要，然後將這些資料輸入到電子病歷系統。（詳全文）

圖片來源／RayVentura、Chatbot Arena、Salesforce、AWS、微軟

  AI近期新聞 

1. 微軟Teams企業版加入美妝用AI，讓用戶亮麗上鏡頭視訊

2. 微軟正在測試Bing Chat執行於Chrome、Safari等瀏覽器

3. ChatGPT Android App即將開放下載

資料來源：iThome整理，2023年7月