在一個小房間內，幾臺電腦與伺服器就擺放在桌子上方，正進行著一場看似沒有煙硝味的戰鬥，但其實正有駭客入侵的行為發生，只是，一旁挑戰者似乎卻不怎麼擔心被入侵，眼睜睜看著駭客攻擊持續了兩天。

這，其實是一項對於端點防護產品偵測能力的考驗，而挑戰者是來自臺灣的資安新創奧義智慧。關於這家公司，相信熟悉臺灣資安領域的人應該都不會陌生，該公司創辦人吳明蔚（Benson）、邱銘彰（Birdman）與叢培侃（PK），其實在駭客領域都是鼎鼎有名的人物。但在這個場合上，對於自己研發的資安產品能否有好的表現，他們仍有著不小的壓力。畢竟厲害的人才跟厲害的產品，未必畫上等號。

基本上，這場考驗端點防護能力的實測，並不像傳統只是單純的檢視產品識別惡意程式的能力，而是貨真價實地發動APT攻擊，對方會模擬俄國駭客攻擊組織APT29的技術手法，來檢視資安產品在入侵過程中的偵測能力與覆蓋範圍。只是，飛往美國參加實測的奧義智慧，在第一天就遇到了亂流。

「就像在美國大聯盟初登場的投手，一上場卻發現環境怎麼不一樣」邱銘彰說，從評測一開始，他們就發現有狀況，因為這裡的流程跟之前他們所預想的狀況，完全不同，究竟發生了什麼事？吳明蔚透露，這就跟考試現場一樣，你才寫完第一題，老師就說「好，先停下來檢查第一題」，有時還要給一個合理的解釋，然後直接給分，而不是全部寫完才來檢查。也就是說，這項資安產品的挑戰很重視即時性。

不僅如此，在第一天測試才進行到第4大關卡（總共20大攻擊步驟，134個小項目）時，他們就遇到亂流。簡單來說，就像是考試遇到有些不會作答的題目一樣，深怕表現不好，叢培侃笑著說，當時邱銘彰可是壓力超大，而邱銘彰也坦承，白天忙著應付測試，晚上還要趕著補交報告，因為這項挑戰，同樣也有重視後端人工支援的戰力。

這項資安產品評測，前來挑戰的廠商都是國際知名資安業者

原來，這次的評估測試，是一項利用MITRE ATT&CK的模擬駭客攻擊計畫。

MITRE是何方神聖？簡單來說，他們是協助多項資安研究的美國非營利組織，過去曾推動CVE漏洞資料庫，以及定義STIX / TAXII情資格式交換標準，近年他們推出的ATT&CK框架，也備受外界重視，因為它是首個以剖析攻擊面為出發的資料庫。

為何考驗資安產品需要這樣的架構？簡單來說，ATT&CK框架已經將各駭客組織用過的技術手法，以更有系統性的方式歸納；後續也發展出一項ATT&CK Evaluation評估計畫，就是利用實際模擬已知駭客組織的攻擊情境，來檢視端點偵測工具的偵測能力，以及幫助企業進行攻防演練，以驗證其防禦有效性。

不論你是否懂資安，事實上，這樣的方法論，已經受到相當多資安大廠的推崇與積極參與，已有許多業者的APT研究報告，以及資安產品偵測到的攻擊行為，可以對應到ATT＆CK所定義的攻擊手法，而且，有越來越多業者參與到評估計畫。

以這次參與評測的業者而言，共21家廠商，他們的來頭可都不小，包括傳統防毒軟體大廠、大型資安業者，還有不少主打新世代端點防護EDR（Endpoint Detection and Response）的業者。

在此當中，多數都是來自美國本土的企業，包括BlackBerry Cylance、CrowdStrike、Elastic、SentinelOne、FireEye、GoSecure、Malwarebytes、McAfee、微軟、Palo Alto Networks、Secureworks、Broadcom（Symantec），VMware Carbon Black等，占了半數以上。

還有來自羅馬尼亞、芬蘭、俄羅斯、以色列等國業者，例如Bitdefender、F-Secure，以及Kaspersky、Cybereason，加上臺灣的趨勢科技。

不過，還有一些較不知名的業者同樣參與，例如，由中國360集團策略投資的HanSight，也參與MITRE這項如此開放的計畫。而在上述資安業者之外，最特別的是，有兩家不到百人的小公司，也在名單之中，與資安大廠同臺較勁。

其中一個是來自歐洲馬爾他，於2014年成立，由學者組成的小公司ReaQta；另一個就是臺灣的資安新創奧義智慧，成立至今僅僅2年半，是這21家業者中最年輕的一間公司。

圖片來源／奧義智慧

臺灣資安新創奧義智慧雖然只成立兩年半，不過他們也將自己的資安產品搬上由MITRE發起的ATT&CK評估計畫，與近20家資安大廠產品同臺比拚產品對於APT攻擊的偵測能力。由於MITRE評測時相當嚴謹現場無法拍照，因此他們在今年RSA大會上，與MITRE ATT&CK的攤位上合照。

印證臺灣技術實力不輸世界，抓住嶄露頭角的重要機會

為何奧義智慧有膽識參加這樣的國際性評測？

關於參賽的動機，邱銘彰說明有兩大因素，首先，最初在2018年的美國RSA大會參展時，當時不論提供紅隊或藍隊資安產品的人，都在討論ATT&CK，但臺灣在這方面的消息甚少；其次，端點安全產品已經變得複雜，太多的功能實在不容易搞懂，而臺灣許多企業在採購資安產品時，他們看到大多仍是沿用舊有的方法，例如，只看防毒軟體偵測率，邱銘彰認為，國內的資安觀念與國外還是有很大的鴻溝，因此，他們希望將新的資安觀念帶進臺灣。

或許，這樣的回答可能都算是部分原因，但我們認為，對於一家新成立的資安公司而言，這是一個大幅提升市場知名度的絕佳機會。畢竟，這就是完全比拼技術力的實測，吳明蔚也談到，他們曾接觸過Gartner與Forrester等研究機構，他們對於資安廠商的評估，都不實施硬底子的產品測試，多以軟性的客戶訪談為主，並重視市場份額，像是奧義智慧這樣的新創，營收集中在臺灣，研究機構也很難去評估他們的實力。

另一方面，雖然奧義智慧只是一間資安新創，但他們的創辦人其實在過去就有讓資安大廠驚艷的技術實力。舉例來說，邱銘彰過去創辦的資安公司艾克索夫（X-Solve），就被阿碼科技收購，後來他與吳明蔚共同創立的艾斯酷博（Xecure Lab），也因在2013年美國黑帽大會上，與當時在中研院資安研究員的叢培侃，共同揭露APT駭客研究，吸引到美國上市的以色列安全公司Verint（威瑞特）併購。

這次他們三人合作創業的奧義智慧，仍聚焦在資安防護最新態勢，並發展出結合AI與端點威脅偵測的產品方案，而他們也在短時間內，就能將市場拓展到日本與新加坡，其實已經有了不小的突破，而這次完成ATT&CK評估計畫的挑戰，顯然，他們更是讓臺灣新創品牌的資安產品，成為國際矚目的焦點。

事實上，MITRE這項評估計畫雖然頗受資安界的重視，但發展時間不久，並且會逐年改進、持續擴大範圍，不論是資安新秀或老將，其實誰也都沒有絕對的把握。但也正因為ATT&CK在資安圈的火紅，當一家不熟悉且資歷尚淺的資安業者出現在這個評測的名單上，就已經足以吸引到外界的目光。

不過，產品的功能可否滿足評估計畫的要求還是很重要。如果只是志在參加，雖然也有可取之處，但也突顯可能對自身產品能力認識不深。所幸，在這次評測結果出爐之後，奧義智慧對於自己的表現感到滿意。

儘管MITRE在這項計畫保持中立，沒有提供評分，只是單純展現評測所得的數據，讓各家廠商與外界自行解讀，但從公開的評測結果進一步統計相關數據，奧義智慧確實在一些地方有出色的表現，例如有效偵測並警告的部分，並且不重複關卡警告數量最多；此外，網路上也有在美國國防單位工作的資料分析科學家Jonathan Ticknor，提出自己的一套評分標準，當中也突顯奧義智慧的產品，是21家評測廠商中，表現優異之一。而這樣出色的結果，對新創公司而言，能帶來比傳統出國租攤位行銷更有實質效益的影響力。

「只有在臺灣市場經營，就只有接受臺灣的挑戰，但其實，迎接國際的挑戰會促使你更快速地成長。」吳明蔚說。因此，他們也很鼓勵國內資安新創，可以朝向國際大步邁進。他也表示，過去奧義智慧本身接到的客戶，其實都是在臺灣，以及已設立他們子公司的日本與新加坡，而在此後，他們開始接觸到有美國、東南亞的公司寫信來詢問。

體認到主辦方完整揭露測試結果、產品畫面，與中立的態度

到底，在MITRE這樣的攻防評估計畫，與自行模擬有何不同？此次參與的奧義智慧，他們經歷了那些測試要求？

簡單來說，MITRE之前已舉辦過一次評測活動，當時是以中國駭客組織APT3的攻擊手法為設想，這次奧義智慧參與的是第二輪的評測，以俄羅斯駭客組織APT29為題。在評測方式上，主辦者事先已公布測試環境，是建置在微軟Azure環境，他們並為每個參與測試的廠商都提供7個主機組成的環境，讓業者可以部署自家的用戶端程式。

吳明蔚強調，廠商部署的程式都必須是市售版本，產品版本號碼都要清楚條列，MITRE也都會稽核，這主要是避免業者拿出專門參賽版本的可能性。

到了實測當天，現場主要分成三個隊伍，MITRE將派人扮演專門攻擊的紅隊，以及裁判組的白隊，挑戰者扮演的角色就是藍隊。而裁判組的人員同時會負責記錄的工作，也就是在每次攻擊到一個階段，他們就會將藍隊系統上所呈現的偵測結果，做即時的截圖記錄。

這一點，奧義智慧認為相當難能可貴。原因在於，MITRE在現場所擷取的系統偵測畫面，都是基於當下的結果，即便之後業者以MSSP人工分析所產出的報告，MITRE也會在偵測結果中，加上MSSP的輔助形容標籤，目的就是希望，讓偵測結果可以更精準的呈現。

更重要的是，這樣的結果最後還會放到網站上公開，等於是讓外界所有的人，都能看到各家資安產品的實際樣貌與偵測結果，讓大家能看到原始資料，這種評測上的創舉，令外界敬佩。

不僅如此，業者本身也能藉此觀察其他廠商是怎麼做。邱銘彰表示，畢竟有些國外產品可能在臺灣沒有引進，而網站或手冊上所揭露的內容也有限，但在這樣公開的評測方式之下，將能實際看到各家產品在每項攻擊步驟下的表現。

還有一點也很關鍵，就是MITRE不會提供主觀的結論，只是單純展現評測所得的數據，讓各家廠商與資安社群自行解讀，以激發出更多討論。而且，現場的MITRE人員也都希望參與挑戰的資安業者，能在測試過程提供更多反餽，以便讓他們持續改善評測過程。

對此，邱銘彰分析，其實各家產品設計重點有各自強項，產品的策略也不同，他們看到主辦方，也是盡可能的將評測過程，調整成最理想的方式，而未來還將持續完善與擴大測試內容。

至於MITRE的嚴謹與中立度？或許從一些小地方也能看出他們的態度。例如評測過程中，裁判組有時會詢問產品上的問題，不過，只要想跟他們多聊幾句，他們就會變得一板一眼，而且，就連上廁所，也會有對方的人全程跟著。

另外，在評測過後的今年RSA大會上，當奧義智慧要在MITRE的攤位上照相時，現場MITRE的人員也會迅速閃避，應該是為避嫌，其實這些就可顯示出MITRE的紀律，以及中立態度上的貫徹，是這項計畫得以持續發展的關鍵。

不過，他們也有留意到，「MITRE這些執行攻擊的測試人員，看得出來都很享受工作，感覺比他們（吳明蔚三人）年輕，也很有活力。」吳明蔚說。

評測準備過程是最大收穫，理想的表現結果也符合他們期待

至於這項產品資安評估計畫的報名與準備，有些細節是局外人難以想像，奧義智慧也大方說明。例如，在報名過程中，會與MITRE有長達數個月的電子郵件往來，溝通與文件都必須是英文，還有要填寫測試的所有產品與版本，較特別的是，他們還要申請美國出口管制分類號碼（ECCN），同時報名也要付出一筆數目不小的費用。

至於準備挑戰的過程，邱銘彰表示，嚴格來說，MITRE公布以APT29為攻擊設想，及其使用的技術手法，已經算是開書考的方式，而他們在看了第一輪的評測後，也成立模擬紅隊的團隊，負責出考題來挑戰自家產品的偵測能力，準備時間大約半年。叢培侃指出，這等於也考驗公司蒐集戰役的情報能力。

而就MITRE最終評估結果來看，他們認為模擬有幫助，不過，實際還是有些不同，例如，同一項攻擊技術，MITRE實作的攻擊手法，與奧義智慧自己模擬的攻擊手法就不同。而這也可以看出，產品要偵測到所有攻擊手法有多麼的不易，儘管大家知道這個手法，但MITRE紅隊展示出的實作方法，仍有可能無法偵測，而這也就是無法演練的。

最後，關於奧義智慧對於評測有那些不滿意或滿意之處。從MITRE公開的評估結果來看，奧義智慧的產品在一項偵測類型的表現，存在數量過低的問題，該偵測類型為遙測（Telemetry）。該公司也提出他們的意見，奧義智慧認為這方面有很大的解讀差異，他們的產品在多項關卡都已經發出警告，但幾乎都沒有遙測的結果，為何如此？會發出警告當然就表示已經遙測到才對，只是，他們沒有把這樣的狀態秀在介面，而這也是原先產品功能設計上的策略，第一線IT人員不需這些難以閱讀分析的原始資料，只不過，MITRE是採階層式的偵測類別，會將各層面都會納入計算。

而奧義智慧產品表現優異的部分，有些也不是其他廠商能輕易做到的，像是攻擊者在橫向移動的過程。例如，在第20.B.1關的一項Pass the Ticket的攻擊技巧，MITRE攻擊所使用的手法，各家業者產品就很難以偵測，而他們能夠偵測得到，並能呈現電腦跟電腦的關係，也就是知道是從哪一臺電腦發動，而不只是單純偵測到單臺電腦上的攻擊。

最後，他們也提到，現在MITRE已經將這項評測計畫獨立，成立一家名為MITRE Engenuity的公司專門負責，希望加速未來的評測頻率，而他們也預告，將會繼續參加第三輪的評估計畫，下一次，MITRE將模擬的事專門攻擊金融業的駭客組織，繼續協助考驗各家業者產品的偵測甚至防護能力。

圖片來源／MITRE

關於ATT&CK評估結果

在以ATP29為攻擊設想的ATT&CK評估計畫中，共分20大攻擊步驟，以及140個攻擊過程（其中第19大關取消），MITRE並分成6大偵測類別，因此，使用者可以看出各廠商（圖為奧義智慧評估結果）在不同攻擊環節下，可以偵測到的範圍，以及能夠偵測的程度。例如，左圖中3種綠色的即時偵測類別，代表系統有一定的偵測程度，黃色部分則是透過人工分析的MSSP服務發現。不過偵測結果其實比想像要複雜，若搭配完整報告（中圖）來看，還會看到偵測類別有不同的輔助形容標籤，讓偵測定義更精準。從MITRE公布的奧義智慧產品評測結果中，所有人皆可看到這套解決方案的偵測能力，甚至還有實測當下螢幕擷圖（右圖）。例如，在第20關一項Pass the Ticket的技巧，各家產品就難以偵測到MITRE攻擊所使用的手法，而他們可以達到最好的偵測效果。

ATT&CK評估計畫發展時間表

 2013年  MITRE建立第一個ATT&CK模型，主要聚焦在Windows平臺環境（後續再延伸出Pre-ATT&CK、Mobile與ICS）

 2015年  MITRE釋出ATT&CK計畫於https://attack.mitre.org

 2017年9月  MITRE發出利用ATT&CK框架模擬APT3攻擊的計畫訊息，目的是透過擬真的攻擊，促進安全測試上的強化。

 2018年4月  ATT&CK在RSA大會上受到廣泛討論

 2018年11月  MITRE發表第一輪評估計畫結果，首次評估是模擬中國駭客組織APT3的攻擊，共有7家業者參與。後續又有5家業者參加此次測試

 2019年5月  MITRE公布第二輪評估計畫，這次是以模擬俄國駭客組織APT29發動攻擊，並且大幅調整偵測類別

 2020年2月20日  MITRE公布第三輪評估計畫，這次是模擬鎖定金融業的Carbanak and FIN7駭客組織發動攻擊

 2020年4月21日  MITRE發表第二輪評估計畫測試結果

 資料來源：MITRE，iThome整理，2020年5月