eBay升級AI開發平臺以支援自建3兆Token的LLM，下一步要蒸餾出多個小模型以降低應用成本

C2C電商龍頭eBay近期揭露自家2024年AI技術發展與成果，以及2025年技術發展計畫。eBay CEO Jamie Iannone表示，2024年是他們AI技術顛覆性的一年，大幅升級AI平臺，以支援他們打造出相較去年百倍規模的LLM，並推出多種生成式AI買家與賣家功能。今年則要在持續發展AI技術同時，找出更低價、更快速、更有效率的GenAI應用方法。

投資硬體效能並改版AI開發平臺

2024年，eBay為發展生成式AI，不只投資硬體設備，啟用了一臺自有的超級電腦，更大幅翻新AI開發平臺，以從頭自建並執行比2023年規模大上100倍的LLM，包括用3兆個Token訓練而成的多模態、多語言模型。

eBay自家AI平臺Kyrlov底層有4個小平臺，特徵平臺（Feature Store）、實驗平臺、訓練平臺及推論平臺。2024年，他們鎖定數個訓練平臺及推論平臺的痛點，導入新技術與做法來解決。

首先是個別專案的硬體資源配給設定無法更改。過往在訓練平臺與推論平臺開啟新專案時，工程師須先設定配給專案開發環境的算力及記憶體。一旦設定，就無法更改。這種模式，使專案無法在資源不足時增加硬體，更無法於霸占過多硬體時釋出資源。這使eBay硬體資源利用率非常低，有些專案甚至會出現不到10%利用率的情況。開始大規模發展硬體需求高的生成式AI專案後，此問題帶來的衝擊尤其顯著。

eBay的解法是，先從專案環境設定開始做起，取消必須先設定專案環境硬體的模式，改用系統自動配給硬體資源。同時，設定標準GPU SKU規格，規定一個GPU可以使用的記憶體上限。

再來，導入新技術來進一步提升硬體調度彈性及使用效率。導入新技術框架，強化GPU多工能力，提升個別GPU使用效率。並且，導入優先級調度（Preemption）做法，讓更高優先度的推論作業，可以搶占低優先度開發作業的硬體資源，來進一步提升調度彈性。另外，他們還導入新的資料串流技術，來增加數據傳輸效率。這一系列解法，提升了2至4倍GPU數據吞吐量。

第二個痛點也與硬體資源調度有關。過往，eBay使用GPU節點，只會配置固定數量CPU。也就是說，當eBay訓練或推論作業中，所需CPU數量大於節點上的GPU，就會降低作業效能，或需要啟用更多節點，但過程中浪費GPU資源。

他們的解法是，導入Ray框架的Remote CPU功能，調度更多外部CPU資源來支援，進而避免啟用更多節點，而導致GPU閒置。導入後，相關作業的GPU利用率提升4倍、單位時間數據吞吐量更提升7倍。

第三個痛點是訓練與推論作業所使用的開發語言不同，模型開發工程師使用Python，推論作業的工程師使用Java。這使他們需要花費高達一半的開發時間，進行來回溝通、語言間轉換、邏輯改寫等作業。導入Ray框架時，他們也使用了Ray的Unified Pythonic API，將兩種開發流程使用的語言統一為Python，省去前述作業時間，更簡化了運算資源調度及整體作業流程管理。

提升AI開發效率、硬體調度效率及整體可運用硬體數量，使eBay在2024年不只推出新模型，也用生成式AI提升平臺上不同作業流程，更能上線了許多生成式AI應用。

eBay 2024到2025年怎麼用生成式AI

2024年，eBay推出一系列賣家用的生成式AI應用，包括可以自動化根據圖片來批量撰寫商品描述並上架商品的功能、根據自然語言描述來生成商品背景圖片的功能、商品圖片去背功能、社群媒體貼文生成功能等。

Jamie Iannone表示，已經有超過1千萬個賣家使用過這些新GenAI功能，用來上架上億件商品，帶來了數十億美元的平臺交易額。賣家對於這些工具的滿意度也超過了90%。

他們也針對買家推出一系列GenAI和AI功能，以期提升購賣意願。這些功能包括個人化服飾推薦及模擬試穿功能、更準確的預計到貨時間估算，以及在搜尋中提升快速到貨商品能見度等。Jamie Iannone說，這些功能，使最近的年底購物季買氣超出eBay預期。

eBay也將生成式AI用於客服、工程、商品搜尋、支付、行銷等，數十種場景的底層技術改善。一個例子是，他們利用Google Vertex AI及Vector Search功能，來強化自家推薦系統，用於多模態嵌入向量的快速生成、推論延遲降低，及開發效率速度提升。最後一項效果尤其顯著，原本在推薦系統中測試並啟用新模型的開發周期，從數月降低到兩周。

不只自家開發，eBay也積極與外部合作開發電商GenAI功能，包括與OpenAI的代理人功能Operator合作，使其能推薦eBay商品，甚至直接代為購買商品。

2025年，Jamie Iannone揭露，他們將訓練較前一年更加大型且成熟的模型。接著，將這些大型模型蒸餾成一個個較小的模型，根據專門用途微調，再投入實際應用。這樣一來，才能在提升專門用途的精準度同時，降低推論延遲及成本。目前，他們已經在5個核心電商功能實驗，投入了規模僅有原本模型1/8的小型模型，卻提升30%精準度，且延遲時間只剩1/10。

至於將生成式AI投入哪些應用，eBay目前聚焦於顧客體驗類應用、商品行銷類應用、以及廣告類應用。他們年報寫到，目前公司一大目標是提升自家營運的廣告營收，降低站內站外第三方廣告占比。目前行銷與廣告類的一大重要應用是賣家用廣告儀表板，呈現廣告相關表現數據，並用生成式AI與AI來呈現相關分析、建議策略、趨勢洞察等資訊。