Sophos 預期會出現使用 AI 的攻擊技術並做好偵測準備

Sophos 是創新和提供新一代網路安全即服務的全球領導者，今天發布兩份關於人工智慧應用於網路犯罪的報告。第一份報告名為《AI 的黑暗面：由生成式 AI 支援的大型詐騙活動》，揭露了未來詐騙者如何利用像 ChatGPT 這樣的技術，只需最少技術門檻便能進行大規模的詐騙。然而，另一份名為《網路犯罪者對 GPT 仍無共識》報告發現，儘管人工智慧具有潛力，但有些網路犯罪者並不會積極採用像 ChatGPT 這樣的大型語言模型 (LLM)，甚至對使用人工智慧進行攻擊持保留和懷疑的態度。

人工智慧的黑暗面

只要利用簡單的電子商務範本和如 GPT-4 的大型語言模型工具，Sophos X-Ops 就能建立一個功能完整的網站，包括由人工智慧產生的圖片、聲音和產品描述，以及假的 Facebook 登入和結帳頁面，可用來竊取使用者的登入憑證和信用卡資訊。建立這種網站所需的技術門檻非常低，而且使用同一工具，Sophos X-Ops 能夠在幾分鐘內一鍵建立數百個類似的網站。

Sophos 資深資料科學家 Ben Gelman 表示：「犯罪分子改用新技術來進行自動化是自然且可預料之事。最初導入垃圾郵件，就是詐騙技術的一個重要里程碑，因為它改變了攻擊的規模和方式。新的人工智慧正處於相同的位置；如果存在能夠產生完整自動化威脅的 AI 技術，人們最終就會使用它。我們已經看到生成式人工智慧元素被整合到經典的詐騙中，例如使用 AI 生成的文字或照片來誘騙受害者。

「然而，我們進行這項研究的部分原因是為了超前犯罪分子一步。透過建立一個比犯罪分子現有工具更先進的大規模詐騙網站生成系統，我們有機會在威脅蔓延之前先進行分析和準備。」

網路犯罪者對於 GPT 仍無共識

為了研究攻擊者對人工智慧的態度，Sophos X-Ops 調查了四個知名的暗網論壇，檢視與大型語言模型相關的討論。儘管網路犯罪者對於人工智慧的使用似乎還處於早期階段，但暗網上的威脅行為者開始討論它在社交工程方面的潛力。Sophos X-Ops 已經看到在以交友為基礎的加密貨幣詐騙中使用人工智慧的案例。

此外，Sophos X-Ops 發現大多數貼文與出售被竊的 ChatGPT 帳戶以及「越獄」有關——這是繞過大型語言模型內建保護措施的方法，網路犯罪分子可以藉此濫用它們進行惡意用途。Sophos X-Ops 還發現了十個 ChatGPT 的衍生版本，創作者聲稱可以用於發動網路攻擊和開發惡意軟體。然而，威脅行為者對這些衍生版本和其他對大型語言模型的惡意應用反應不一，許多犯罪分子表示對這些模仿 ChatGPT的創作者試圖欺騙自己人感到卻步。

Sophos X-Ops 研究主管 Christopher Budd表示：「自 ChatGPT 釋出以來，網路犯罪分子是否會濫用人工智慧和大型語言模型引人矚目，但我們的研究發現，到目前為止，威脅行為者對它的懷疑勝過熱情。在我們調查的四個暗網論壇中的兩個，我們只發現了 100 篇關於人工智慧的貼文。相比之下，在同一時間，則有 1,000 篇和加密貨幣有關的貼文。

「我們確實看到一些網路犯罪分子試圖使用大型語言模型建立惡意軟體或攻擊工具，但成果都很不理想，常常遭到其他用戶的懷疑。在某個案例中，一名威脅行為者急於展示 ChatGPT 的潛力，還無意中透露了自己的真實身分。我們甚至發現了許多人工智慧對社會可能會產生負面影響和道德問題的『反省文』。換句話說，至少目前看來，網路犯罪分子對大型語言模型的看法與我們其他人一樣，仍無共識。」

若想了解更多由人工智慧生成的詐騙網站以及威脅行為者對大型語言模型的態度，請閱讀 Sophos.com 上的《AI 的黑暗面：由生成式 AI 支援的大型詐騙活動》和《網路犯罪者對 GPT 仍無共識》。

了解更多資訊

• 防禦人員如何利用人工智慧輔助資訊安全

• 攻擊者採用的最新策略，包括使用生成式人工智慧

• 暗網上詐騙分子欺騙其他騙徒的方式

• 暗網上的網路犯罪競賽

• 《2023 年給安全從業人員的主動攻擊者報告》中防禦人員如何在快速變化的威脅環境中對抗攻擊者

• 《2023 年給科技領袖的主動攻擊者報告》中有關攻擊者行為和技巧的變化和減少的滯留時間

• 從根據 Sophos 事件回應案例的分析結果撰寫的《2023 年給企業領袖的主動攻擊者報告》，了解攻擊者的行為、技術和策略的改變

• 訂閱 Sophos X-Ops 部落格了解 Sophos X-Ops 及其開創性的威脅研究

關於 Sophos

Sophos 是先進網路安全解決方案的全球領導者和創新者，提供託管式偵測和回應 (MDR) 和事件回應服務，以及可幫助企業抵禦網路攻擊的多種端點、網路、電子郵件和雲端安全產品組合。作為最大型的純網路安全供應商之一，Sophos 保護全球超過 50 萬個組織和超過 1 億個使用者免受主動攻擊者、勒索軟體、網路釣魚、惡意軟體等的攻擊。Sophos 的服務和產品可經由雲端式 Sophos Central 管理主控台連線，並由旗下跨領域威脅情報部門 Sophos X-Ops 提供支援。Sophos X-Ops 情報會最佳化整個 Sophos 自適應網路安全生態系統，包括一個提供一整組開放式 API 的集中式資料湖，可供客戶、合作夥伴、開發人員和其他網路安全和資訊技術廠商使用。Sophos 為需​​要完全託管、一站式安全解決方案的組織提供了網路安全即服務，客戶還可以使用 Sophos 的安全營運平台直接管理網路安全，或是採用混合式作法，利用 Sophos 的服務來補強自己的內部團隊，包括威脅捕獵和補救措施。Sophos 透過全球經銷商合作夥伴和託管服務供應商 (MSP) 進行銷售。Sophos 總部位於英國牛津。如需詳細資訊請瀏覽 www.sophos.com。