| IT周報 | Meta | Transformer | 局部性 | 核融合 | JAX | 蘋果 | WWDC | Apple Intelligence

AI趨勢周報第255期: Google DeepMind開源核融合裝置模擬器TORAX

Google DeepMind用Python-JAX打造托卡馬克核融合裝置模擬器並開源;Meta AI證實Transformer能處理單一像素而非16x16的區塊,效果還更好;健保署聯手Google要打造糖尿病風險預測AI;Nvidia開源HelpSteer2資料集,可低成本確保LLM與人類偏好一致;蘋果新推Apple Intelligence智慧功能

2024-06-16

| IT周報 | Transformer | xLSTM | LLM | 國科會 | TAIDE | Deepmind | 分子結構 | AI開發助理

AI趨勢周報第252期:取代Transformer?LSTM之父發表新LLM架構

LSTM之父Sepp Hochreiter提出一種新架構xLSTM,媲美Transformer;DeepMind發表可預測所有生命分子結構的AlphaFold 3模型;國科會揭TAIDE計畫最新成果;甲骨文也推出AI開發助理了;Red Hat推出AI平臺,內建IBM Granite模型;Stack Overflow聯手OpenAI,將優化Chatbot功能

2024-05-12

| IT周報 | Mamba | Transformer | google | Gemini | AWS | 思科 | AI助理 | AI聯盟

AI趨勢周報第235期:Mamba架構橫空出世,克服Transformer運算效率缺陷還具5倍吞吐量

Mamba引起AI社群關注,採狀態空間模型實現5倍吞吐量;GPT-4V最強對手來了,Google多模態Gemini模型登場;Meta、IBM等巨頭合組開源AI聯盟;Google發表新一代TPU和超級電腦架構;JetBrains新AI程式開發助理整合自家IDE

2023-12-10

| LLM | 串流 | 注意力機制 | Transformer | 語言模型串流應用

高效框架StreamingLLM可處理無限長度文本,解決LLM串流應用困境

研究人員開發出StreamingLLM框架,使語言模型能夠處理無限長度的文本,解決記憶體消耗與長序列泛化問題,提升在串流應用部署語言模型的可行性

2023-10-05

| PyTorch | Transformer | 機器學習

深度學習函式庫PyTorch 2.0正式發布,帶來高效能Transformer API與模型編譯器

PyTorch 2.0添加高效能Transformer API以及torch.compile編譯器,開發者可明顯感覺模型訓練與推理運算加速

2023-03-16

| IT周報 | google | Transformer | 機器人 | 導航 | 資料集 | 搜尋 | 大型主機

AI趨勢周報第210期:Google用Transformer模型即時導航機器人

Google成功用Transformer模型即時導航機器人,延遲僅8毫秒;司法院法庭中文語音辨識系統正式上線,準確率超過9成;Google搜尋再優化,新添資料集搜索引擎;Brave搜尋引擎自建生成式AI,幫摘要搜尋結果;IBM大型主機作業系統將擁抱AI

2023-03-09

| 微軟 | DirectML | PyTorch | Transformer

最新版DirectML PyTorch開始支援熱門Transformer模型

開發者現在可以使用DirectML PyTorch最新版本,利用GPU加速來訓練包括GPT2、BERT等熱門Transformer模型

2022-12-07

| Apache OpenNLP | ONNX Runtime | Transformer

Apache OpenNLP整合ONNX Runtime現可高效執行Transformer模型

Java NLP機器學習函式庫Apache OpenNLP藉由整合ONNX Runtime,開始能夠執行Transformer模型,使用戶獲得高效深度學習自然語言處理的能力

2022-09-23

| Nvidia | LLM | NeMo | Transformer

Nvidia發布AI新工具簡化大型語言模型訓練與部署

科學家可以藉由Nvidia BioNeMo服務,訓練和部署大型生物分子Transformer人工智慧模型,加速藥物探索研究

2022-09-21

| IT周報 | AI | google | 氣味 | 蟲媒傳染病 | 逃稅 | 訂閱制 | 紐約時報 | TensorFlow | Transformer

AI趨勢周報:Google AI釋出氣味圖譜,要來預防蟲媒傳染病

Google AI用ML產出氣味圖譜,可定位分子與氣味,進而用於驅蟲劑、預防蟲媒傳染病;私建游泳池想逃稅?法國政府用AI一眼揪出得補稅的地產;讀者可看幾篇免費文章?紐時用ML自動決定;TensorFlow 2.10版出爐了;吳恩達:白宮論文開放政策將催生更多AI新進展

2022-09-15

| IT周報 | 陪審團學習 | 偏差 | Meta | 物件偵測 | Transformer | 人造眼 | 招潮蟹

AI趨勢周報第196期:史丹佛研發陪審團學習方法,要解決標註者造成的ML偏差

史丹佛大學發展陪審團學習方法,要打破標註者分布不均造成的ML偏差;模擬招潮蟹!MIT專家打造出陸地水下都能看的360度人造眼;Meta開發新演算法,要讓新一代Chatbot談吐更優雅;Meta開源新電腦視覺模型,可偵測更多不常見物件

2022-08-11

| IT周報 | 臺灣AI行動計畫 | 可信任AI | 中小企業 | 低程式碼 | NIST | Transformer

AI趨勢周報第195期:臺灣AI行動計畫下一步:可解釋、可信任AI

行政院臺灣AI行動計畫下一步鎖定可信任AI,要建置AI產品標準、中小企業一站式低程式碼平臺,預計明年上半年展開;美NIST幕僚長分享可解釋性AI四原則;Gartner:MLOps市場生態系仍高度分散;Meta聯手數據隱私公司打造AI產品公平性平臺

2022-08-04