iThome
重點新聞（05/16～05/22）
紅帽 RHEL
紅帽推出開源生成式AI平臺RHEL AI，可在混合雲開發、測試和部署GenAI模型
(1).png)
除了推出基於混合雲平臺OpenShif t所打造的混合雲MLOPs平臺OpenShift AI，紅帽近日還推出了可在混合雲開發、測試和部署生成式AI模型的開源AI平臺RHEL AI（Red Hat Enterprise Linux AI）。
RHEL AI是紅帽基礎架構模型平臺，其中包含IBM研究院開源的LLM模型Granite及相關開發工具，也涵蓋了PyTorch等主流AI開發框架，並針對Nvidia、Intel和AMD硬體進行優化。RHEL AI被打包成一個RHEL映像檔，可在混合雲單一伺服器上部署。此外，RHEL AI也將整合進OpenShift AI中，能夠在分散式叢集環境中進行大規模部署。
除了提供企業級技術支援外，紅帽強調，如果使用其平臺導致智慧財產權糾紛，紅帽將承擔相關賠償責任。
紅帽也為OpenShift AI增加了更多功能，例如，在2.9版本中，用戶可以使用單節點的OpenShift將AI模型部署到更靠近數據的邊緣環境。同時，增強的模型服務可以使用多臺模型伺服器來支援GenAI模型推理，並且支援Kubernetes上的標準化無伺服器機器學習推論平臺KServe。
紅帽企業Linux AI將以開發者預覽版的形式推出，預計在未來幾個月內全面上市。
雲端GenAI 金色三麥
金色三麥在客服部門導入雲端GenAI，協助顧客回饋分析與歸納快速修正改善
GenAI正夯！不只是如金融、高科技等大型企業，臺灣開始有傳統產業試用雲端GenAI服務來提升營運效率和改善服務品質，例如金色三麥餐飲就是其中一家，他們近期開始將GenAI技術導入客服部門，來協助分析顧客回饋快速修正改善。
過去，金色三麥平均每月要處理超過3萬則顧客的意見回饋，包含紙本、客服與網路管道，光是在瀏覽和整理這些顧客回饋就需要大量人力，給客服人員帶來不少負擔。為了解決這個問題，金色三麥利用AWS生成式AI基礎模型平臺Bedrock的大型語言模型Anthropic Claude 3，搭配提示工程開發出顧客評論LLM助手，相較於傳統人工整理，只需約3∼5分鐘就能歸納所有來源的顧客評論，有效節省時間和人力，同時使金色三麥更快採取行動、改善服務品質，提升顧客體驗。
除了引進GenAI技術之外，金色三麥今年初打造一套雲端輿情分析系統，這套系統使用AWS Glue無伺服器資料整合平臺將所有資料彙整及清理，並載入到S3儲存服務中，作為基礎模型推論服務的資料使用。
GPT-4o Azure
微軟Azure OpenAI服務新增預覽GPT-4o模型，能增強顧客服務、進階分析及內容創新
在GPT-4o模型推出以後，微軟跟進宣布在Azure OpenAI Service服務中以預覽提供OpenAI最新的多模態GPT-4o模型。這款新模型在視覺及聲音理解能力有了顯著提升，甚至還可以懂得看人臉色，以更自然的方式與使用者進行互動和對話。
跟現有GPT-4相比，Azure強調，GPT-4o模型可以用來增強顧客服務、提供更進階的分析，以及內容創新。
企業現在可以在Azure OpenAI服務的Chat Playground中預覽試用GPT-4o模型。不過目前該模型僅支援文字和影像輸入，並不包含音訊輸入功能，且僅開放Azure在美國兩個地區的用戶使用，其他地區暫時無法使用。。
AWS 高層人事異動
AWS執行長Adam Selipsky即將下臺，由AWS全球銷售及行銷老將Matt Garman執掌兵符
雲端龍頭亞馬遜AWS近日公布高層人事異動，Adam Selipsky在擔任AWS執行長3年後將於6月離職，由現任AWS行銷、業務暨全球服務資深副總裁Matt Garman升任執行長。新的人事命令將自6月3日生效。
在位3年之中，在Selipsky帶領下，AWS發表多項重要AI產品及平臺，包括創立AI模型開發平臺Bedrock及生成式AI助手Amazon Q，以及推出Amazon自有AI晶片Trainium等。
即將上任的Matt Garman和Selipsky有著不少相似之處，兩人都在2005左右加入AWS，並且都有過豐富的銷售、行銷的歷練。不過，Matt Garman在運算服務方面的經驗更豐富，在17年間中，他擔任過EC2產品經理，並推出與EC2搭配使用的EBS區塊儲存服務。此外，他還在2016成為AWS運算服務的總經理，直到2020年，Matt轉入AWS需求生產部門，負責全球銷售、行銷、支援和專業服務。。
Google Cloud 服務中斷
澳洲退休基金Unisuper因Google Cloud內部錯誤配置誤刪其帳戶，長達一周服務中斷
近日，Google Cloud因為錯誤配置不小心將一家澳洲退休基金Unisuper的GCP雲端帳戶誤刪除，使得Unisuper服務中斷長達一周，超過50萬名會員無法存取自己的帳戶。所幸，Unisuper透過第3方備分最終恢復服務。
這起雲端帳戶誤刪事故是發生在本月5月2日，由於Google Cloud內部無意的錯誤配置所導致，不僅造成Unisuper的訂閱帳戶遭刪除，同時其位於2個GCP服務區域的資料複本也被刪而無法發揮備援效果，導致其服務中斷。
雖然Google事後表示，這種錯誤以前從未在雲端上發生過，強調將採取措施確保這種情況不再發生。但這起事件也凸顯了在雲端時代，建立跨雲資料備分的重要性，企業和政府上雲時不能將所有資料和服務都集中在同一朵雲上，而應該考慮多雲戰略，以降低單一雲端帳戶發生問題的風險。
TPU Google Cloud
Google Cloud第6代雲端TPU問世，運算效能增長4.7倍
(1).jpg)
近日在Google I/O大會上，Google Cloud發表了名為Trillium的第6代雲端TPU，其每個核心的峰值運算效能比TPU v5p增加4.7倍，效率比TPU v5p高出67%。
第六代的Tr i l l i u m 在高頻寬記憶體（HBM）的容量與頻寬都提高了一倍，晶片互連頻寬也提高一倍， 同時配備SparseCore加速器，專門用來處理高階排序及推薦任務。
Trillium在單一的Pod中最多可擴展到256個TPU，並可藉由多層技術及Titanium智慧處理單元拓展至數百個Pod，可造就連結數十萬個晶片的超級電腦架構，以支援高性能運算任務。
除了用來訓練與服務未來的Gemini模型之外，Trillium TPU也會成為Google Cloud的AI Hypercomputer超級電腦服務的底層基礎。
圖片來源／Google
更多Cloud動態
1.Azure入口網站7月開始強制啟用多因素驗證，強化雲端安全防護
2.Gemini模型家族再添新成員，GCP推出更高效Gemini 1.5 Flash
3.美國納斯達克計畫導入雲端GenAI用於加強全球交易市場的監控
4.WS將在德國投資高達78億歐元建造AWS歐洲主權雲
資料來源：iThome整理，2024年5月
熱門新聞
2024-11-18
2024-11-20
2024-11-12
2024-11-15
2024-11-15
2024-11-19
