看圖也能馬上買，Pinterest用AI自動為圖片中商品新增購買連結標籤

圖片分享社群平臺Pinterest最近透過電腦視覺和機器學習等AI技術，為平臺上圖片中的商品自動新增購買連結標籤（Pin），Pinterest表示，用戶每天到Pinterest平臺上找尋靈感，並找到自己想要購買的商品，特別是居家裝飾類的商品，有數百萬人到平臺上找尋裝飾的靈感，這也就是為什麼Pinterest在2017年推出查看圖片並購買的Shop The Look功能，允許用戶在圖片中點選自己喜歡的商品標籤，就能直接進入購買頁面完成結帳。

但是，一開始Pinterest是用人工的方式為這些商品標籤搭配相對應的購買連結，而Pinterest平臺上有數十億張照片，不可能用人工的方式一一配對購買連結，因此，Pinterest利用電腦視覺和機器學習技術，將配對商品購買連結的過程完全自動化，正式在iOS版本的應用程式中，推出針對家居類別照片完全自動標示的體驗，Android版本也即將推出，這次的更新使Shop The Look的標籤新增了22.5倍。

Pinterest如何用AI和獨特的資料集完成全自動化工程？

在Pinterest平臺上，1,000個最熱門的搜尋中，有97%都是非品牌的搜尋，也就是用戶通常用基本的商品類別名稱來搜尋，像是鞋子、沙發，因此，所有品牌的商品都有可能觸及到用戶的消費心理，而Pinterest的自動化則是為那些尚未連結到商業帳戶的商品，貼上購買連結的標籤，若沒有被貼上標籤的品牌，可以提交自己擁有帳戶的聲明來辦理。

圖片來源：Pinterest

Pinterest將自動貼上購買連結標籤的過程分為3個步驟：資料收集、機器學習建模和服務（serving）。在資料收集的階段，Pinterest收集了平臺上圖片的資訊，用於機器學習模型建模，機器學習建模的步驟是為了讓模型辨識並找到居家飾品在圖片中的位置，這個過程會將物體分類成多個不同的商品類別，再用向量來表示該商品，如此一來，視覺上相似物體彼此之間的向量表示法，就會有較短的距離，用以辨別相似的物體，最後，透過訓練完成的模型，來辨識圖片中的商品類別，再利用視覺向量表示法找到最相近的商品候選人。

第一階段，每個電腦視覺任務都需要有圖片資料，比較特別的是，Pinterest的圖像資料一張圖中就含有多項商品，像是檯燈、沙發、地毯、畫作等，過去Pinterest已經收集了27萬張高畫質的圖片，圖片中包含近100萬個商品，此外，Pinterest透過Google產品分類方法Product Taxonomy，在含有超過25萬項商品的8萬張圖片，找出位置定界框（Bounding box）並標註類別，但是，該分類模型的效果並不如預期，在像是床具或是桌子這種粗略的分類表現不佳，Pinterest發現，這些粗略分類的商品形狀和功能都有很大的差異，例如，床具的分類包含床罩、床單、枕頭等，必須手動整理現有較細化標籤的資料集，來改善模型。

在機器學習建模步驟中，Pinterest訓練了3個模型，第一個是採用Faster R-CNN演算法建立的偵測模型，偵測模型會抓取出圖片中的物體並將其標示出商品類別，此外，Pinterest也訓練了一套物體向量表示法模型，這些向量從圖片中學習視覺相似性，為了訓練模型能夠識別出圖片中不同角度、光線和雜訊下的商品，Pinterest額外透過27萬張含有商品配對的圖片，讓模型能夠處理每張圖片中的變化，因此，Pinterest得模型能夠有效地找出相似的商品。

圖片來源：Pinterest

第三個模型則是用用戶提供的資料，重新評分視覺相似候選人的模型，用來進行產品優化，該模型也收錄了語義和上下文的資訊，像是圖片的分類、經常被分類的版，以及圖片中的其他物體。

最後服務的階段中包含3個步驟，當用戶送出搜尋商品的請求時，Pinterest會先用檢測模型來分解圖片的內容，透過配對檢測模型找出含有相對應類別商品的圖片，接著，利用視覺相似度評分模型來產生候選結果，最後，再透過重新排名的模型優化候選結果。

Pinterest指出，此次自動化的更新能夠向用戶展示更多相似商品和圖片，並能夠更輕鬆地在平臺中購買商品，而對於Pinterest內部而言，自動化也使得團隊不需要重複做繁瑣的貼標籤工作，能夠花更多時間開發創新的應用。