AI生成釣魚信件攻擊比例逐漸上升，研究人員建議以AI對抗AI

隨著生成式人工智慧技術的普及，攻擊者已經將其用於網路釣魚攻擊中，資安公司Abnormal收集由人工智慧所生成的電子郵件並且進行分析，資安研究人員認為，攻擊者已經將生成式人工智慧融入到攻擊策略中，而組織也必須以相同的方式反應，運用人工智慧阻擋這些釣魚攻擊。

傳統釣魚郵件通常仰賴固定的模板和格式，同時也會使用共同的網域或是連結，整體郵件內容和風格較統一缺乏客製，因此相當容易被安全軟體標記和攔截。但是研究人員指出，攻擊者運用生成式人工智慧，便可以非常快速地創建獨特且具針對性的內容，每封釣魚郵件都可以針對特定的收信人特別設計，不只看起來更真實，而且因為這些郵件不具有共同的惡意指標，因此也就更難被安全解決方案辨識出來。

雖然像是ChatGPT等產品都存在限制避免被濫用，但是攻擊者也可以開發攻擊專用的生成式人工智慧模型，研究人員舉例，像是WormGPT便可以製造具說服力的釣魚郵件，而專為網路攻擊所開發的生成式人工智慧工具FraudGPT，也能夠生成欺騙性內容。

研究人員分析了生成式人工智慧被濫用於釣魚攻擊的案例，像是攻擊者偽裝成保險業務，透過電子郵件試圖散布惡意軟體。信件中使用看似真實的名稱和電子郵件地址增加可信度，但附件卻是惡意軟體檔案。

經過開源軟體Giant Language Model Test Room（GLTR）的偵測，發現郵件文字多數由人工智慧生成，研究人員提到，這個案例是因為信件內容大多使用人工智慧預測高機率單詞，因此大部分人工智慧所產生的內容都可以被辨識出來。

另一個釣魚信件案例則是偽裝Netflix信件的釣魚攻擊，攻擊者冒充客服人員，並稱受害者的訂閱即將到期，需要點擊連結續訂。信件內使用線上玩具購物網站Teeela相關網域，以及使用客服平臺Zendesk，讓整封信看起來更可信，進而增加了攻擊的有效性，但同樣整封信大部分內容，也被人工智慧發現可能不是由人類編寫。

即便人工智慧使用更為正式的話語，讓信件在判讀上更具挑戰，但是GLTR仍然可以找出由人工智慧生成的部分。只不過研究人員也指出，要100％完全確定信件內容是否由人工智慧創建幾乎不可能。

研究人員提到釣魚信件通常從合法的電子郵件供應商發送，且由人工智慧編寫的內容，語法和拼寫錯誤更少，受害者更容易受騙。研究人員認為只有人工智慧可以阻止人工智慧，在攻擊者開始使用人工智慧生成釣魚文件的現在，組織也應該要部署人工智慧解決方案，來偵測傳統安全解決方案所無法發現的攻擊。