TensorFlow釋出最新1.7版！除了整合Nvidia推理優化引擎TensorRT，還新增追蹤ML建模的除錯儀表板

今年1月，Google才剛釋出TensorFlow 1.5版，最近Google又趁TensorFlow Summit開發大會之際，同步發表了TensorFlow 1.7新版，不僅開始整合Nvidia的GPU機器學習優化工具TensorRT，可大幅提高用GPU執行TensorFlow模型的速度，還增添了除錯儀表板（Debugger Dashboard），讓開發者更容易追蹤機器學習模型執行的過程，甚至可以用視覺圖表，來呈現出張量數值的變化，或是暫停在特定節點或步驟以便除錯。

Google TensorFlow軟體工程部總監Rajat Monga也在大會上，揭露了TensorFlow專案最新的發展情況。這個專案在2016年1月1日發布到GitHub後，累計至今年1月1日、已經得到超過80,000個GitHub星星（等於獲得8萬名開發者按讚），下載次數更超過1,100萬次。而從去年開始，Google團隊轉而開始聚焦於，讓TensorFlow更容易上手，也推出高階API，如tf.data、tf.keras等，今年一月釋出的1.5版則增加了命令式執行（Imperative Programming）模式Eager execution，不用等待額外的圖建構（Graph-building）步驟，一執行就能得到結果。

而這次1.7版最大特色則是支援TensorRT。TensorRT是Nvidia在2年前發表的一款優化深度學習推理計算的Runtime軟體工具，可以加速深度學習模型在GPU上執行的速度，簡單來說就是一個用來加速深度學習推理計算的引擎。Google表示，TensorRT可以大幅優化TensorFlow的FP16浮點計算和INT8整數計算速度，也可自動選擇特定平臺的核心，來以提高資料吞吐量，還能大幅降低GPU推理的延遲時間。

1.7支援的是剛釋出的TensorRT 4，可用於超大規模的資料中心、嵌入式系統或自駕車的GPU平臺，用來快速優化、驗證和部署訓練過的神經網路系統。1.7版整合TensorRT 4後，可以簡化在TensorFlow中使用 TensorRT的步驟，也更容易使用。

根據Google官網提供的測試數據，同樣使用Nvidia V100的GPU（Volta Tensor）來執行ResNet-50圖形辨識模型，結合了TensorRT優化後，每秒可以辨識2,657張圖片，比只靠V100的FP32單精度計算每秒325張圖片的辨識速度，快8倍。若與傳統的CPU計算相比，使用TensorRT優化後的TensorFlow處理效率，更是快了190倍（如下圖）。

此外，TensorFlow 1.7版還增加了一個視覺化的除錯儀表板功能，使用者可以暫停執行特定節點或特定步驟的工作來觀察模型的狀態，也可以視覺化方式顯示某段時間計算得到的張量數值，也可將張量連結到其所對應的特定幾行Python程式碼，以便檢視這個張量的快速相關程式碼內容。

不過，除錯儀表板目前仍只是Alpha版本，仍不穩定，也還在開發更多功能。文⊙王若樸