算圖農場服務中新增的智慧點雲3D建模技術,能透過AI校正異常點雲資料,將原先需要6個月的後製作業縮短到1個月。

圖片來源: 

攝影/翁芊儒

國研院國網中心今日(1/26)正式宣佈,在對外提供的算圖農場服務中,新增了智慧點雲3D建模的技術,不只能運用點雲技術生成物體的3D數位模型,更結合AI校正異常點雲資料的方法,一鍵校正顏色、去除陰影與人影,能縮短建立起模型後,還需人工進行數位修復的時間,將原先需要6個月的後製作業縮短到1個月。

國網中心藝術科技運算組組長郭嘉真解釋,點雲(point cloud)技術是將真實世界物體的空間維度,以數位的方式記錄下來,建立成虛擬的數位分身,每一件物體可能由數百萬到數十億個點組成。而這些點的記錄方式,則是透過光達來掃描真實的物體,快速獲得該物體大量且精確的三維座標,再於電腦中結合形成3D立體模型,並透過相機拍攝到的彩色數位相片,將正確的顏色貼附到對應的物體位置。

然而,目前市面上的點雲建模軟體,大多在生成3D模型時,會產生部分錯誤的顏色對應,國網中心實際運用全球頂尖的商業點雲軟體實測,發現該軟體會將容易搖晃的樹葉,誤植入天空的顏色;或是將路過的人影殘留在3D模型中;又或是因掃描時間點的光照差異,而在模型中生成不合理的光影。這些都是當前的市售軟體還難以解決的挑戰。

過去的作法,是靠人工框選需修正之處,不斷切換視角重新著色,來將錯誤的顏色手動復原,但這個處理過程不僅程序繁瑣、耗時,擬真程度也較為不足。

因此,國網中心開發了一套智能點雲校正的技術,運用既有的點雲資料與國際間的開放資料集,結合最近鄰回歸法與雷射反射強度,訓練出能自動校色的AI模型,目前的準確率已經趨近於95%,「成果在國際水平之上。」也因只需人工調整剩下約5%的偏差,這項技術,就是將後製時間從6個月縮短到1個月的關鍵。

上圖為實測全球頂尖點雲商業軟體建模結果,容易搖晃的樹葉誤植入天空的顏色;下圖為以國網中心點雲建模技術結合AI校色功能的實作結果。(圖/國網中心提供)

上圖為商業軟體實測,容易將路過的人影殘留在3D模型中;下圖則是國網中心結合AI自動去除人影的結果。(圖/國網中心提供)

郭嘉真表示,除了這項AI自動校色的技術之外,國網中心還開發了其他類型的AI校正技術,唯現在仍在申請美國與臺灣的專利,還不便透露細節,未來也會持續結合到現有的點雲建模服務中。

除了將點雲結合AI來建模的特色之外,郭嘉真也強調,國網中心點雲服務的另一大優勢,是能透過雲端來進行高速運算,比起過去透過單機伺服器結合商業軟體的運算方式,能處理的資料量更大、運算速度更快、成本也較低。比如說,一棟建築點雲的點數高達10億點、20億點,資料量以數TB來計,一般電腦根本無法負擔;且若要自行購買運算設備,再搭配國外授權的軟體來使用,對藝術工作者、文史工作者來說,成本又是一大門檻。

對此,國網中心的雲端高速運算服務,能克服單機伺服器算力不夠的問題,讓使用者上傳資料後,在雲端快速生成3D物體模型。郭嘉真比喻:「想像把一棟建築物切成200份,分別將這200份的資料傳上雲端,再透過既有的商業或開源軟體,將資料解算拼接成3D模型,同時以AI進行校正,就是目前國網中心軟硬體可以做到的事。」

PoC成果:已實際應用於古蹟維護、影視創作、工程檢驗等領域中

這項智慧點雲3D建模技術也已經進行PoC,在數位文資應用的面向,已實際應用在臺北市齊東詩舍、新竹市日本海軍第六燃料場新竹支廠(以下簡稱六燃)兩個場域的數位場域再造中,來協助古蹟保存與活化運用。

郭嘉真指出,在六燃這個例子中,就是透過光達與相機,在地面與空中記錄下建築的三維資料,運用約12億點的資料量,建立起六燃的數位分身,數位分身與實際建築的誤差更控制在毫米以內。

藉由古蹟或歷史建物的數位分身,有利於建物後續的修復與保存。比如在2019年,一把大火燒毀了巴黎聖母院後,由於聖母院的歷史悠久、建築設計圖早已遺失,原以為重建成為極大的挑戰,但因過去曾以點雲技術建立起聖母院的數位3D模型,成為後續修復工作的一大助力。郭嘉真藉這個案例,說明點雲技術對於古蹟修復的重要性。

新竹市政府也將點雲技術建立的六燃數位分身,轉化為動畫創作的場景素材,拍攝了一支六燃動畫片

除了用於古蹟維護與影視創作,這項技術也用於工程竣工的檢驗,目前已經應用於臺北市南港社會住宅,將建築在設計階段建立的3D模型,與實際施工後以點雲技術建立的3D模型進行比對,來檢查施工結果與設計圖是否有落差。

不只要作為雲端算圖新功能,更要技術授權發展新商模

未來,除了作為雲端算圖農場的一大新功能,國網中心也希望將這項智慧點雲建模技術,技術授權給國內外的軟體研發業者、光達系統廠商、掃描量測廠商、空間資訊應用業者等。郭嘉真特別指出,國網中心想找出這項技術應用的新商業模式,比如是否能作為商業軟體的外掛功能?或是開發為非雲端運算架構就能應用的服務?這些都是未來期待看到的技術授權方向。


熱門新聞

Advertisement