過往已有數起資料外洩事故駭客鎖定企業組織的協作平臺Slack下手而得逞,攻擊者往往藉由社交工程手段,成功存取機密內容,但如今有研究人員發現,該系統後來加入的人工智慧系統存在漏洞,恐加劇相關威脅,因為攻擊者在不需得到相關權限的情況下,可藉此竊取機密資料。

資安業者PromptArmor指出,提供使用者透過自然語言查詢Slack訊息的AI功能存在缺陷,使得攻擊者有機會透過操縱用來生成內容的語言模型,竊取使用者輸入私人頻道的任意內容。

針對這項問題的核心,該資安業者表示此為間接提示注入(Indirect Prompt Injection)弱點,原因是對於開發人員產生的系統提示,以及查詢的內容,大型語言模型(LLM)無法正確區分,一旦Slack的AI機器人透過查詢的訊息取得惡意指令,很有可能會認為惡意指令才是必須處理的內容,但不一定會處理使用者的查詢。

雪上加霜的是,上述的AI功能在8月14日後,開放能查詢使用者上傳的檔案,而有可能增加漏洞帶來的危險。對此,Slack在接獲研究人員通報後,已在20日部署修補程式來處理相關弱點,並指出在極為有限、特定的情況下,在Slack工作區擁有帳號的攻擊者有機會透過網路釣魚觸發漏洞,取得部分資料。該公司強調,目前尚未發現該弱點遭到利用的跡象。

究竟駭客如何利用這項漏洞,PromptArmor指出,攻擊者可在不具存取權限的情況下,透過這個弱點竊取開發人員置入私人頻道的API金鑰,或是其他機密資料。研究人員表示,攻擊者無須得知私人頻道的內容,就有機會竊取相關資料。

研究人員是怎麼發現這個問題的?他們先設定一個情境,讓使用者存放API金鑰於自己所有的私人頻道,而攻擊者建立新的公開頻道,並下達特定的惡意命令,指示LLM在有人詢問API金鑰時,就會將API金鑰作為HTTP參數加入惡意URL,並在Markdown呈現,同時顯示點選此處重新驗證的訊息。接著,一旦有人透過Slack的AI功能詢問API金鑰,就會將前述攻擊者輸入的內容串連在一起。

而在此時,AI機器人便會根據攻擊者的指令,並呈現駭客引誘使用者點選的連結,由於這個連結包含API金鑰作為HTTP參數,並將使用者的API金鑰放入私人頻道,一旦使用者點選連結,就能讓攻擊者觸發漏洞,檢視私人頻道事件記錄內容挖掘機密資料。

但由於AI機器人並未引用攻擊者的訊息作為輸出來源,而且因為攻擊者的訊息不會直接出現在搜尋結果的第一頁,使得這類攻擊不僅難以察覺,甚至後續追蹤也相當困難。

研究人員指出,上述的漏洞利用攻擊,經過稍加調整,也能透過網路釣魚來進行。而在Slack於AI引入新功能後,他們發現攻擊者無須透過直接在Slack輸入訊息來下達指令,就能觸發漏洞。

熱門新聞

Advertisement