Goodfire
去年才創立、專門解析AI模型內部運作原理的Goodfire周四（4/17）宣布，正在展開由Menlo Ventures領投的5000萬美元A輪融資，以用來拓展其研究計畫，以及與客戶共同開發可解釋性平臺Ember。
Goodfire成立於2024年，在去年8月完成700萬美元的種子輪融資，股東之一是由Menlo Ventures及AI新創Anthropic在同年7月共同創立的1億美元基金Anthology Fund，也是Anthology Fund首批投資的公司之一。Anthropic也參與了Goodfire的A輪融資，其它參與者還包括Lightspeed Venture Partners、B Capital、Work-Bench、Wing及South Park Commons。
Goodfire的共同創辦人包括現任執行長Eric Ho，曾共同創辦DeepMind可解釋性團隊的Tom McGrath，曾共同創辦Apollo Research並率先使用稀疏編碼器的Lee Sharkey，以及曾共同創立OpenAI可解釋性團隊的Nick Cammarata。
Goodfire所從事的是新興的逆向工程神經網路科學，專注於核心機制的可解釋性研究，目的是實現模型神經網路的腦部手術。由Goodfire所開發的Ember平臺主要用來解碼AI模型內部的神經元，以便直接或可透過程式設計來存取模型的內部想法，企圖解鎖採用、訓練及調整AI模型的新方法，讓使用者得以發現隱藏於模型內的新知識，精確塑造模型的行為並提高模型性能。
這是因為AI模型的通常含有數層的神經元，它們經過反覆的訓練與調整，處理大量的資料，而且許多深度學習模型會自動從原始資料中學習特徵，即便是在訓練過程中知道每個權重與偏差的變化，但卻難以追蹤模型的決策過程，因而又被稱為黑箱。隨著AI模型變得愈來愈大，它們也愈來愈不透明，開始有AI專家擔心這些模型在人類不明白其運作原理時所作出的關鍵決策。
Ho說，沒有人了解AI模型失效的機制，因此也沒有人知道該如何修復它們，Goodfire的願景是建構各種工具，以讓組織得以從內而外地理解、設計與修復神經網路，而此一技術對於打造安全而強大的基礎模型至關重要。
未來Goodfire計畫釋出更多的研究預覽版，以支援涵蓋圖像處理、先進推理語言模型，以及科學建模等領域的可解釋性技術。
