如何開發出不輸Apple算力的手機AI晶片？聯發科首度揭露天璣1000背後AI技術關鍵

聯發科在本周推出第一款高階5G手機專用處理器晶片「天璣1000」，除了整合了最先進7奈米CPU、GPU、5G數據機晶片之外，更在這顆處理器內，搭載一顆獨立AI處理器APU 3.0，在AI應用加速運算執行上，可達到4.5 TOPS（每秒兆次運算，Trillion Operations Per Second ），完全不遜於蘋果新款iPhone 11專用的AI神經網路處理晶片，甚至聯發科宣稱，該處理器是目前AI算力最高一款5G SoC單晶片，到底怎麼做到？在今日（29日）一場技術說明會上，聯發科首度對於這顆處理器採用的AI晶片透漏更多細節，可以一窺這顆AI處理器的性能表現。

為了搶得先機，趕在下周高通5G SoC產品發表會舉行前，聯發科不僅在本周推出首款5G SoC單晶片，更罕見地舉辦技術說明會，並由負責這款5G手機晶片開發的聯發科無線通訊事業部總經理李宗霖，協同兩位研發主管，除了說明這顆新處理器的設計發想，也透露更多關於其採用AI神經網路處理器APU 3.0技術細節。

​

在這場技術說明會上，主要是由負責這顆天璣1000處理器開發的手機部門研發主管，來進行技術上說明，圖上左至右，分別為聯發科無線通訊事業部產品行銷處經理粘宇村、聯發科無線通訊事業部總經理李宗霖、聯發科無線通訊事業部產品行銷處處長何春樺

新推出的天璣1000，其實並非聯發科最早搭載APU（AI Processing Unit）的行動處理器，早先，Helio P60推出時，在這顆CPU內就已開始內建APU處理器 （或稱為Mobile APU），不過，一開始，APU設計上，僅整合傳統DSP來負責專門影像處理，並未加入AI神經網路處理能力，直到去年底，性能更強大的Helio P90問世時，聯發科才首度加入自行研發打造的AI專用神經網路加速器，即是第二代APU，使得這顆CPU在AI 算力表現高出前代多達4倍之多，可以用來執行更複雜的AI任務。

首次整合5G能力的天璣1000處理器，則是改搭載第三代APU，更大幅度改善性能和功耗，來提供更強大的AI算力。首先，在設計上，與前一代有很大不同，APU 3.0採用全新2個大核、3個小核，以及搭配1個微小核的三層式運算架構設計，對比前一代僅是1大核，加上2小核的二層式設計，不僅，運算核心層數增加，大、小核心數也變更多，可以用於執行更多不同AI任務，例如自動曝光、降噪、HDR、圖像分類，AI臉部辨識等等。

之所以採取分層式混合運算核心設計，聯發科無線通訊事業部產品行銷處處長何春樺解釋，考量到的是手機AI應用快速增長，進一步帶來龐大且複雜AI運算處理需求的出現，更需要有這樣子的架構，來保有運算資源調度的彈性，而且能有效控制高性能下的功耗。

他以手機拍照為例，不像以前只有照片修圖才會用到AI，將來就連拍攝完的高畫質影片，也都要加入AI功能，要能夠對這些連續性影像畫面進行各種優化，「因應這些需求，就需要更強大的推論處理能力，」所以，他說，在設計上，才會考量這方面的使用需求重新調整，打造出新一代APU 架構，能夠依據不同手機AI應用執行，交由適合的運算核心層來負責，例如需要比較複雜運算的影像處理時，就可使用APU最上層的二大核心執行，對於需要長時間、全時處理的運算任務，則可改用中間層這3個小核心處理，雖然運算力沒大核高，但可以較長時間執行，避免過度耗電，同時，也保有VPU作法，針對需要傳統影像訊號處理的算法，仍可交由這一層來執行，並也強化浮點運算處理能力。

另外，針對手機拍照常用到的人臉偵測功能，聯發科也特別在這顆APU最底層設計了一個更微型的小核心，專門就是用來執行臉部偵測，何春樺指出，這樣做的好處，在於較一般以軟體形式在CPU上執行的方式，直接採用這顆微核心來達到硬體加速的作法，不論是在全時人臉偵測準度，或是降低運算功耗上，都能夠獲得明顯改善。

這樣設計架構，也反應在運算性能提升上，APU 3.0每秒平均運算效能可達到4.5 TOPS，除了效能較前一代提高至少2.5倍，甚至也不輸給目前主流行動處理器的加速AI晶片，例如，蘋果新款iPhone 11的A13 Bionic處理器採用的AI神經網路引擎，其運算效能可達5 TOPS以上，若以同類型5G SoC產品來比較，也高於另一款三星Exynos 9820 NPU加速器的1.86 TOPS，不過，三星前不久推出新款5G SoC時，則是宣稱將算力提高到了10  TOPS。

根據聯發科公布測試數據，在目前幾個常見神經網路架構（如SRCNN 、MobileNet v2、Inception v3）為主的運算效能測試下，APU 3.0在AI運算加速上均獲得不錯優異表現，例如在浮點運算處理能力高於競爭對手2到3倍，另在整數運算效能測試也優於對手近40％～80％。除了運算力的大幅提升外，這代APU 在能源效率方面也有所改善，多達4成。

在軟體及開發工具方面，APU 3.0支援了聯發科自有NeuroPilot神經網路開發平臺，讓手機設備商或開發人員，可以通過SDK套件將第三方AI算法移植到這個處理器上來執行，並且也相容於Android神經網絡API（Android NNAPI），還支持許多主流的AI框架，如TensorFlow、TF Lite、Caffe、Caffe2 以及MXNet等。

除了技術上說明之外，聯發科無線通訊事業部總經理李宗霖今天也揭露更多關於5G SoC產品化藍圖，他表示，除了高階手機能用之外，未來因應市場需求，也會推出中、低階手機能用的5G SoC。另外，由於目前全球5G商用網路，大多還是以Sub-6GHz頻譜為主，所以在產品策略上，聯發科決定先推Sub-6GHz的5G SoC，但並不表示沒在開發高頻段的毫米波5G產品，李宗霖強調，這兩種5G技術，皆同時併行開發，除了支援Sub-6GHz，後續，也會推出能夠支援毫米波頻段的5G SoC產品。