趨勢科技在黑帽大會展示深偽偵測技術，強調企業需重新設想AI時代的網路風險管理

【拉斯維加斯直擊】AI資安的風險與機會，已是企業生存發展的重要課題，在美國拉斯維加斯舉辦的黑帽大會（Black Hat USA 2024），主要議程於太平洋時區8月7日與8日展開，不過今年有一個新的特色，本屆大會首度舉行AI Summit研討會，已於太平洋時區8月6日率先登場。趨勢科技也在AI Summit上午議程發表演說，成為本場活動的焦點之一。

該公司不僅宣布推出商用的深偽偵測技術解決方案，也呼籲在AI時代下的資安，需要朝向新一代網路風險管理方式發展。

事實上，生成式AI的應用與風險持續受到全世界與所有產業的關注，然而，目前絕大多數企業仍不知所措，趨勢科技在黑帽大會對此提出說明，協助企業瞭解有了AI該怎麼管理，並期勉大家要懂得用AI來做風險管理，才能因應未來的局勢。

企業需對3大不受控的AI風險做好準備

回顧企業IT十年變局，在2010年代，雲端運算與數位轉型興起，大家聚焦於雲端的發展與保護，到了2020年代，AI與自動化的興起，所有的發展與保護則是圍繞在這些技術而進行。趨勢科技執行長陳怡樺在本場演說中首先登場時，特別展示了這35年來的重要十年變化。

而我們從近年趨勢科技的發展動向來看，的確也可看出該公司相當積極朝向AI驅動而發展，不論是Security for AI，或是AI for Security。

只是，現今有那些AI風險最需關注？趨勢科技產品管理副總經理Rachel Jin（金靜秀）特別提到兩個層面。

她首先指出，大家需要為不受控管的AI（Rogue AI）做好準備，這樣的新風險以手段來區分，可分成三種類型，包括：

第一種是顛覆式的脫離控制（Subverted Rogues），聚焦於AI系統服務的攻擊，通常採用的手段就是提示注入（Prompt injection），以及AI越獄（Jailbreak AI），以掌控LLMs。以提示注入而言，指的是透過操縱LLMs的輸入或提示來利用其漏洞的攻擊類型，以AI越獄而言，是可導致防護圍欄失效的技術，造成系統違反原本規範的策略。

第二種是惡意的脫離控制（Mailcious Rogues），這是指在作業系統上部署惡意，可竊取電腦上的資源。簡單來說，這種偏向傳統惡意程式，但是在AI時代產生的。

第三種是意外的脫離控制（Accidental Rogues），這是指人為犯錯導致的異常，像是設定不當、人為疏失等造成的風險。

上述這方面的威脅已獲得重視，從今年年初開始，我們看到已有許多科技大廠發展AI Gateway這種類型的產品，趨勢也不例外。

正式公開Deepfake檢測功能的資安防護應用形式，將透過他們的產品提供一般使用者與企業用戶

另一個層面是談論已久的深度偽造（Deepfake）技術的威脅，儘管這個問題重視已久，這幾年來Deepfake技術門檻也在持續降低，但是，如何有效應對一直是大家都在關心的問題

事實上，在前幾年，我們就看到一些科技大廠發起Deepfake偵測競賽，就是希望大家發展這方面的防護技術，鼓勵開發出偵測模型以辨識惡意偽造的影片。因為這不僅影響企業，Deepfake的虛假資訊也可能用於影響政治、社會、軍事或經濟。

特別的是，趨勢科技在這方面已有新的突破，日前他們正式宣布推出深偽偵測技術的解決方案，提供給一般使用者的Trend Micro Deepfake Inspector，而在企業端產品方面，後續Trend Vision One平臺也將提供此一深偽偵測技術，已支援多種視訊會議產品的偵測，讓使用者可在用戶端Agent中啟用這項功能。

在本場演說中，Rachel Jin就特別展示這方面的攻擊情境，例如，攻擊者先是藉由生成式AI快速建立網釣郵件，接著用Deepfake技術快速偽造一家公司財務長與高階主管的長相，讓參加視訊會議的人僅憑肉眼無法分辨出有偽造的情形。但在深偽偵測技術之下，將可在視訊會議進行時，自動辨識出Deepfake技術並跳出通知，通知企業使用者目前召開的視訊會議中，有會議成員可能是假的，是透過Deepfake偽造的。

代理式AI發展將進一步強化AI資安，網路風險管理也成資安維運的主軸

由於AI資安還在持續演進發展中，若從整體來看，企業現在應具備甚麼樣的觀念？Rachel Jin表示，大家不僅需要了解AI風險，也要有新一代網路風險管理的觀念。

她希望大家想一想，隨著AI時代的開展，我們難道還要繼續使用傳統的SIEM、傳統的SOAR，以及傳統的網路風險管理方法？

原因在於，AI本身也有世代差異，例如，傳統生成式AI在資安上的應用，大多是對話式導向，但現在發展的代理式AI（Agentic AI），比起傳統生成式AI有很大不同，不論是在使用者體驗，威脅防禦、風險緩解，都將有更好的效益。

以使用者體驗為例，傳統生成式AI的做法，只是從連接到後端資訊檢索系統的聊天機器人來取得資料，而代理式AI的作法，將是目標驅動的解決方案助手，能夠跨領域解決問題，也可以根據用戶目標與環境自行定義自動化規則，甚至主動發送發送批准通知。

換言之，對話式AI助理只是第一步，利用代理式AI可以幫助推理、整合所有資料，讓企業以更好的方式管理網路安全，才能真正掌控資料，而不僅僅是保存資料。

而且，趨勢科技現在更強調的是，要從網路風險管理角度去切入，此舉明顯呼應近年網路安全治理的態勢，幫助資安人員與企業高層的溝通。這並非特例，前陣子我們介紹NIST CSF網路安全框架，就已經提到此一態勢。

綜觀這些變化，不只網路安全框架有這樣的新轉變，強調從網路安全治理出發，提升風險管理的高度，從產品技術資安業者來看，趨勢科技也預期在代理式AI與各項資安產品的結合發展下，要朝向網路風險管理去發展。

2024年的AI與資安發展，從兩大面向去思考

關於Deepfake的現實威脅發生的態勢，以及AI世代的企業資安風險管理，與過去的資安風險管理有何重要區別？

Rachel Jin演講結束後，也回答我們現場提出的這些問題，她指出，一年之前很少有企業認為需要分辨Deepfake的防護機制，但在2024年初之後有了明顯轉變，首先是傳出Deepfake技術確實讓BEC威脅更升級的真實事件，一名跨國企業員工由於駭客寄送釣魚郵件、假冒總部財務長召開視訊會議，遂依照指示轉帳，事後向總公司確認才發現上當，被騙走2億港幣，這項消息被香港警方曝光，接著是大約半年前，趨勢科技開始發現，有一些客戶提到他們需要這類型解決方案，因為這些企業認為員工們並沒有辦法識別是否為Deepfake。

對於AI世代的企業資安風險管理差異，Rachel Jin認為可從兩大面向來看待，一是當企業有了AI要怎麼管理，另一是要用AI來做風險管理。

以前者而言，當企業開始使用生成式AI，好處是效率提高，但相關風險也伴隨而來，因此我們需要相應的解決方案。

例如，過去有Shadow IT的問題，現在也是會有Shadow AI的問題，企業如何知道員工是否使用企業允許的AI，還有先前提到的提示注入與越獄，以及敏感資料洩露的風險。

還有一個較特別的場景是，現在許多企業可能會訓練自己的模型，因此，當企業組織要建立LLM，就需要建立自己的資料中心，這時企業必須重視AI資料中心的保護，而且是要重視五大層面的保護，包括：資料、模型、應用程式、使用方式、基礎架構。

而關於資料方面的保護，由於近期趨勢科技曾指出，要解決AI的資安問題，就是要解決資料的安全，對此Rachel Jin的看法是，趨勢科技已經先朝這個方向踏出第一步，也希望大家能夠跟進，因為現在資料相關的資安解決方案，其實都還沒能真正很好的與AI串聯。

另一個面向是要用AI來做風險管理，例如趨勢科技去年6月推出Companion AI資安助理，但這只是第一步。

未來隨著代理式AI的應用發展，不僅可借助AI關聯出攻擊路徑，更重要是能從前30天內的攻擊路徑，預測出接下來會發生什麼樣的攻擊。換言之，過去是事件發生才去阻擋，未來將轉型成更為主動的行為，能夠及早建立緩解計畫。再者，過去要產生SOAR的自動化腳本，其實很花時間，現在用AI將會變得相當不一樣，AI將驅動著各式資安產品轉型。

Rachel Jin強調，AI將會徹底顛覆以前的資安管理方式，所以AI時代下，大家需要新一代的網路風險管理。至於趨勢科技為何現在會從風險管理角度切入，這主要基於先前發展攻擊面風險管理（ASRM）解決方案的經驗，察覺企業高層關心的重點在於風險，這會是很好的溝通方式。

據了解，在Trend Vision One平臺上，隨著代理式AI可以快速統整更多資訊，趨勢科技之後也將在管理介上，提供從風險角度出發的資訊，讓資安高層也能知道可能風險損失金額的指標，有利於跟董事會報告。而這種作法，似乎也呼應了趨勢科技所強調的網路風險管理的發展方向。