Anthropic公開了一項名為Clio的Claude使用分析系統,結合隱私保護與安全分析功能,供企業用戶更深入地了解大型語言模型的實際應用情境,並同時兼顧用戶資料的隱私安全。這套系統不僅提供關於模型使用的全面剖析,也能強化企業在人工智慧信任與安全機制的執行能力。

官方表示,Clio設計的初衷是為了要解決兩大挑戰,首先是Claude等大型語言模型的應用場景廣泛且多元,進行全面偵測和理解其使用方式極具難度。第二則是用戶資料的隱私是不可妥協的基本要求。為了兼顧分析與隱私需求,Anthropic開發了一套自動化分析流程,能夠以匿名和資料聚合技術,在確保隱私的前提下,將大量對話資料轉化成為抽象的主題叢集,供使用者得以分析結果,而且不涉及具體個人資訊。

Clio的運作過程分為四個階段,包括對每段對話擷取主題和語言等多種屬性,進一步執行語義分群,接著是針對每個叢集生成簡潔的標題與摘要,最後則是建置多層結構以方便分析。這些步驟由Claude系統自動化執行,不需要人工介入,因此最大程度降低了資料洩漏的風險,同時,Anthropic也設定了最低資料規模門檻,避免低頻率出現的內容導致個人遭識別的風險,並在呈現結果之前進行額外的隱私檢查。

Anthropic已利用Clio探索數百萬筆對話資料,發現Claude主要被用於程式開發、教育學習和商業策略等領域,其中程式相關的使用情境占據超過10%,像是程式碼除錯和版本控制工具的解釋等。除此之外,Clio也發現Claude被許多人用於解夢、災害準備和桌上角色扮演遊戲策略建議等小眾用途。

Anthropic指出,Clio在人工智慧安全領域的應用效果良好,不僅可以辨識可能的違規行為,還能協助減少誤報和漏報的問題,像是當前安全系統有時會將求職者編寫履歷的對話,誤判為資料洩漏,或是將遊戲相關的戰鬥資料,誤報為危險內容,Clio則可以有效避免這類情況發生。同時,也能揭露過去未被注意到的協調性濫用行為(Coordinated Misuse),像是針對搜尋引擎最佳化的垃圾內容生成等濫用。

Anthropic強調,Clio的開發充分考量了倫理風險,包括避免系統被濫用或是用戶隱私未被完全保護的可能性。Anthropic採取資料最小化,並採取嚴格存取控制、持續性系統審查等多項措施,並對Clio功能保持透明,公開其目的與限制,藉此建立正向的人工智慧發展規範。

熱門新聞

Advertisement