紐約時報以AI捕捉運動員3D姿勢，改進運動賽事播報

為了改善新聞中體育賽事的報導方式，紐約時報研發人員開發以人工智慧3D姿勢量測模型，從連拍相片中計算出體操選手的3D骨架，擷取人們容易看漏的姿勢細節，讓記者有更完整的資料，報導運動員的表現。

紐約時報提到，他們本來因為要準備2020夏季奧運的播報，因此在去年的時候，開始探索在運動賽事中應用電腦視覺技術，以更好地了解運動員的表現，在運動員沒有配戴實體標記的條件下，也能量測運動員的動作。傳統的動作捕捉技術需要搭配實體標記才能達成，但是在現場運動賽事不可能要求運動員配戴標記，因此紐約時報於是想透過攝影師拍攝的照片，結合機器學習和電腦視覺技術，捕捉運動員的動作細節。

這項技術目前主要鎖定體操項目，因為體操運動員的姿勢，包括關節的位置，是得分的關鍵，而且在夏季運動會中，女子體操是很受歡迎的項目。這項研究的成果，紐約時報現在僅用3臺攝影機拍攝的連續相片，就能擷取實況運動賽事運動員的3D姿勢和效能指標。

在比賽現場，紐約時報的攝影師會從多個角度拍攝運動員，並且在攝影機間同步影格，機器學習技術會算出每個影格中運動員的2D姿勢，接著利用相機參數，以電腦視覺演算法從2D姿勢回推3D姿勢，而計算出來的3D姿勢序列，系統就能計算出旋轉速度、跳躍高度等運動選手評分指標。

要從多角度同步捕捉運動員的照片，需要物理連接相機，但在實際賽事卻難以達成，因此研發團隊打造了新硬體，能夠使用GPS時鐘以及遠端無線觸發器，來同步多臺相機的快門，進而在不同角度同時拍攝照片。研發團隊解釋，因為攝影師本來就會以連拍紀錄運動賽事，而且相片比影片中的影格還要清楚很多，可讓機器學習模型更準確地捕捉運動員姿勢。

（圖片來源／紐約時報）

機器學習模型能從照片中，估算出運動員的2D姿勢，研發人員表示，他們試了各種電腦視覺模型，但是都無法成功算出運動員的姿勢，原因是這些模型都是使用日常活動，像是走路等照片訓練，因此無法辨識體操選手的姿勢，最後電腦視覺廠商Wrnch提供了開箱即用的模型，才得以正確辨識體操選手的動作。

在計算運動員3D姿勢之前，系統還需要知道相機的參數，包括位置以及朝向，傳統的方法要求相機擺放在固定的位置，並且在所有相機可拍攝到的地方，放置實體校準板，但這種方法同樣無法用於運動賽事中，因為比賽時無法在多臺相機中間擺放校準板，最後研發人員參考了華盛頓大學、臉書和Google共同發表的方法，以體操平衡木作為校準物體，而這個方法也能被擴展應用到網球或是田徑等其他運動比賽上。

一旦計算出相機的位置以及朝向，就能以三角化演算法從2D姿勢推算出3D姿勢，而這將會得出運動員每個關節的xyz座標，只要對相片序列的每個影格進行計算，就能夠算出運動員完整動作的3D姿勢，還能進一步推算跟運動員表現相關的指標，像是跳躍高度、身體加速度或是旋轉速度等資訊。

（圖片來源／紐約時報）