AI & Big Data

【re:Invent 2024現場直擊】AWS執行長揭運算服務新亮點，專為GAI設計推P6、Trn2和Trn2 UltraServer執行個體

在今日主題演講中，AWS執行長Matt Garman揭露一系列運算新亮點，包括採用Nvidia Blackwell GPU的P6系列EC2執行個體、AWS自研晶片Trainium2的EC2 Trn2執行個體，以及由4個Trn2執行個體組成的Trn2 UltraServer執行個體，可用來訓練兆級參數模型。另外，新一代Trainium3晶片將於明年推出。

2024-12-04

| Amazon Nova | AWS | 多模態模型

Amazon公布多模態AI模型家族Nova

AWS發表該公司首款多模態模型Amazon Nova系列，於Amazon Bedrock平臺上提供給企業用戶

2024-12-04

| Nvidia H100 GPU Server | Nvidia H200 GPU Server | AMD Instinct MI300X server

支援AI加速器品牌坐二望三，聯想推出8U、8加速模組的伺服器

聯想推出兩款支援多廠牌AI加速器的8U伺服器，目前均能搭配8個Nvidia H100、H200，或是AMD Instinct MI300X，未來可能搭配AI加速器Intel Gaudi 3，兩款機型的區分在於搭配的中央處理器為英特爾或AMD

2024-12-04

AWS公布資料中心AI節能技術，新增支援液冷的多模態冷卻系統

在re:Invent大會上，AWS公布新的資料中心基礎架構元件，包括簡化電子電機設計和多模態冷卻系統，提高AWS執行AI的能源效率

2024-12-04

| AWS | re:Invent | Trainium 2 | 晶片 | UltraServer | Claude 3.5 Haiku | Project Rainier | 加速 | 推論

【re:Invent 2024現場直擊】AWS揭Bedrock AI推論加速功能，能讓Anthropic最新模型推論加速60%

在今年re:Invent年會中，AWS揭露Trainium 2 UltraServer主機，也推出全託管AI平臺Amazon Bedrock的AI推論加速功能預覽版，可加速Llama 3.1模型和Claude 3.5 Haiku模型的推論速度。Anthropic共同創辦人暨運算長Tom Brown還透露，下一代Claude模型將由數十萬顆Trainium 2晶片來訓練。

2024-12-03