打通AI生產力最後一哩

提高員工生產力是生成式AI目前最受到關注的應用場景，尤其兩大生產力套件巨頭，微軟和Google，紛紛在新一代生產力產品中，加入了生成式AI助手，不論是Microsoft 365中的Copilot，或是Workspace的Duet AI，都大大改變了我們原本辦公日常的作業方式。

可是，當你使用ChatGPT時，是用手機？平板？筆電？還是桌機呢？我想大多數人的答案不是筆電，就是桌機，尤其要用ChatGPT來輔助複雜的文書處理時，或者像我這一陣子，常一邊打開試算表操作問卷調查數據分析，也同時在文書處理工具上撰寫分析文章。單靠手機或平板，多半無法更有效率的進行不同的編輯操作，或在不同軟體、文件之間切換操作的過程，這個辦公處理最常見的應用場景，還是需要能用鍵盤操作的筆電或桌機。這兩類裝置仍舊是一般員工日常辦公的主要生產力設備。

可是，目前不論是ChatGPT、Copilot、Duet AI這類生成式AI都是SaaS形式提供的服務，仍舊需要連上網路才能使用。必須透過雲端提供的其中原因是，高達數千億個參數的生成式AI模型，就算只是運用現成模型來生成，仍需要大量算力才能順利完成。

你若像我常在一般筆電上執行OpenAI的語音轉文字模型Whisper，若選擇了15億參數量的Large版本，半小時採訪錄音還是得跑上幾個小時才能完成，更不用說動輒上百、上千億的模型，幾乎得花上一天才能得到一次生成的結果。

可是，不見得隨時都能夠擁有穩定的網路，在飛機上，作業工廠中，大樓地下室或是偏遠地區，網路不見得穩定、持續，就連SaaS模式的Workspace，都提供了離線運作的版本，讓你可以在斷網情況下，繼續使用Gmail、文件編輯等。可是，目前在斷網情況下，還能繼續使用Copilot、Duet AI嗎？答案是還不行。這個用來協助提高員工生產力的AI助手，仍有一項關鍵的缺點，就是怕斷網。這個用AI強化生產力的最後一哩，遲遲沒有普遍性的通用解法，直到最近。

英特爾今年要推出一款內建了AI加速晶片模組NPU的行動處理器，可以用來打造出內建AI加速功能的筆電，英特爾以AI PC來形容，來強調這將是一種全新的筆電類型。英特爾不是第一家在CPU內建AI加速晶片的處理器業者，早在2020年，蘋果就在MacBook筆電中，採用了自行研發的Apple M1晶片，當時就開始內建了AI任務優化的NPU，類似於GPU，可以提供比GPU更省電的AI算力，目前最新款的M2 Ultra，已經可以提供到31.6 TOPS的算力，是M1的2倍多，可以處理更複雜的AI或生成式AI應用。

x86平臺的處理器則要等到今年，2023年AMD先在6月發表了首款整合NPU的Ryzen 7040系列處理器，同樣將NPU整合到單一處理器中，來加速AI運算效能，可以提供到10 TOPS的算力，可以用於處理語音辨識、影像處理等推論任務。

英特爾即將上市的Core Ultra處理器，同樣強調可以以更省電的方式，來提供低功耗的AI推論能力，根據英特爾的數據，執行同樣的AI任務，相較於前一代處理器，內建NPU的新款處理器可以提供高達8倍功耗效率的改進，可以用來處理需要持續性的AI應用或AI卸載任務。

英特爾展示了一個讓人驚艷的內部測試成果，用熱門的Stable Diffusion來執行同一個圖像生成任務時，單用CPU，需要43.3秒才能產生一張圖，若改用NPU處理則只需要20.7秒，而且功耗也降低75%，若將NPU與GPU配合，處理時間還能夠進一步縮短到11.3秒。10秒一張圖，可以不用明顯地等待算圖，就能拿到一張新圖，在操作過程中，將等待算圖對辦公作業的干擾，甚至是打斷情況，減少到最低。

隨著英特爾內建NPU的新款處理器的出現，這也意味著，筆電也有機會在斷網情況下，繼續使用生成式AI來進行推論，影響生產力的最後一哩路，終於打通了。

 相關報導