酷澎
要實現全韓國一天到貨的快物流,位居韓國電商領導地位的酷澎靠的是一系列數據驅動的供應鏈管理做法,例如,他們靠演算法來預測客戶需求,分析特定時間內,哪個地點的顧客對特定產品需求較大,以此提前補充物流中心庫存,確保物流中心有補貨需求才進貨,避免物流中心的庫存超過負載量。
從預測庫存需求、採購、處理訂單、分銷,到計算最佳送貨路徑,酷澎都會利用龐大顧客訂單和百座物流中心數據,來開發出各種複雜的演算法。為此,由工程師、業務分析師、數據科學家組成的酷澎SCM(供應鏈管理)團隊,打造了SCM全套系統,用數據驅動供應鏈管理不同環節。
開發SCM工作流程平臺,縮短高度重複的標準化作業時間
電商市場的需求和趨勢不斷變化,行銷策略和業務決策以日、週為單位變動,SCM團隊時常需要因應變動的顧客需求提前預測,早一步調度物流,提高顧客下單後的配送效率。但是,這得靠工程師盡快因應不斷變化的數據來源和查詢需求,開發新演算法,優化相關決策模型或系統來配合業務場景,協助SCM團隊展開新策略。例如,在短時間內打造不同ML模型,並將這些模型整合至SCM系統中,來因應各種業務決策需求。
隨著業務規模越來越大,酷彭SCM團隊發現,工程師在處理數據需求和維護SCM系統時,需要進行太多重複作業,拖慢了工程團隊的開發腳步。即便是一個簡易的數據需求,都需要由工程師建立資訊工作流(Data Pipeline),提取不同資料庫數據。創建資訊工作流是一個標準化任務,處理過程卻需要使用多種工具並具備程式設計專業,每當團隊業務人員有新數據分析需求時,僅能仰賴工程師支應,溝通開發需求往往花費大量時間,導致兩造的協作效率不佳。
另一個問題是,不同SCM系統有相似的底層架構,且數據從提取、處理至分享階段皆相似,卻需要工程師逐一維護和更新,進行大量的重複作業。例如,顧客需求、物流中心訂單遞送、訂單系統,和產品調度系統都使用彼此的數據運作,使得各個系統都擁有相似的程式碼。
他們提高開發速度的策略是大幅簡化高度重複的標準化作業流程,降低重工。為此,酷澎開發了SCM工作流程平臺,可以中心化創建和管理模型的流程,也能管理用來執行模型底層的執行環境。SCM團隊還可以定義和設置不同工作流程的運作方式,包括安排模型運作時間的先後順序,採平行運作或重複執行等指令,或是讓工作流程按時自動化執行。
平臺提供不少共用元件,也有一個第三方數據服務的登錄,使用者挑選需要的元件或從服務目錄清單挑選需要的數據服務,加入流程圖中為一個個任務節點,還可以安排這些節點的順序,串連不同的節點,來設計一個需要的工作流程圖。每個元件提取的數據,都可以成為下個連結元件的輸入參數,以此進行更複雜的數據計算。
以SCM工作流程平臺為基礎,平臺上提供No-code資料建構工具,讓SCM團隊中的業務人員能自行建立資訊工作流,並取得數據,實現快速建模,還開發Low-code服務建構工具,將重複、常用的工作流程標準化,讓工程師將數據快速整合至系統中,專注於開發演算法和處理大量資料。
SCM Workflow平臺的引擎協助是使用者創建和管理模型,提供共用元件平臺,並具備第三方資料庫登錄功能,可以快速提取不同資料庫的數據。圖片來源/酷澎
No-code資料建置工具讓業務人員快速建立工作流程
當業務團隊有數據需求時,不再需要仰賴數據工程師,可以藉No-code資料建立工具快速取得資料、查詢和輸出數據、並將資料整合到其他系統中。資料建立工具介面中的工作流程是由多個任務節點組成,節點可以互相連結,形成垂直型的工作流程圖。藉由SCM Workflow提供的第三方資料庫登錄服務,使用者可以在任務節點的設定中,從登錄清單中選出要哪些資料庫來提取資料,包括Hive、Presto、MySQL、S3等資料庫,並整合不同來源數據,匯入下個連結的節點,產出數據結果。
例如想知道何時補充物流中心庫存,要補充多少才能滿足訂單?使用者可建立提取數據的節點,像是庫存數據擷取節點、客戶訂單數據擷取節點,和缺貨商品資料查找節點等。接著,在提取數據節點中,選定從資料庫查詢並提取數據。再來,使用者可以創建一個讓資料匯入Redshift資料倉儲的節點,設定為計算需補充的庫存量,並將其與提取數據的節點連接,就能整合不同資料庫的數據計算結果。完成這些步驟,就等於是建立了一個「計算補貨量」的工作流程。
使用者可以藉由建立多個任務節點,來將複雜的查詢任務拆分成多個獨立任務。此外,使用者也可以藉由ID、網址和文件路徑與其他團隊成員共同編輯工作流程,並藉由回呼(callback)功能,同時執行不同任務,在更有效率的情況下協作。使用者可以預先排程,設定工作流程在每天特定時間產出數據結果,也可以設定每小時、每天或每周自動處理數據。
酷澎SCM Workflow平臺提供No-code資料建構工具,讓SCM團隊可以快速建立資訊工作流,取得數據並建立業務所需的模型。例如,藉由提取庫存數據、訂單資料和缺貨商品,來製作計算補貨量的模型。圖片來源/酷澎
Low-code服務建置平臺將程式碼元件化提高再利用率
服務建構平臺則是將大量重複、常用的作業程式碼製作成現成元件,供SCM團隊其他開發者用拖拉式操作組合服務元件,來整合輸入和輸出的SCM系統所需的數據、建構系統和進行程式設計,不用撰寫太多程式碼,就能快速建置或修改系統。這些元件包括建構系統的必備功能,例如,即時訊息通知、REST回呼,和重新執行等功能,也有程式設計服務元件,協助開發者執行更複雜的作業,例如,條件句、迭代、平行運作功能。
除了平臺提供的基本元件,SCM團隊中的開發者也可以自行定義元件,將常用的演算法製作成元件,或是連結多個元件包裹成單一元件,再註冊到平臺上,讓其他開發者也可以選取,整合到他們的工作流程中,幫助快速建立機器學習模型。藉由標準化和自動化重複的處理過程,例如數據從提取、處理至分享階段,讓開發者可以更專注在開發演算法和處理龐大的資料。
此外,平臺也提供開發常用工具,例如,版本控制、組態、錯誤日誌和偵錯工具,並提供儀表板功能,將各項任務的執行數據視覺化,讓使用者可以快速監控工作流程運作狀態。
SCM Workflow平臺提供工作流程的即時監控儀表板,將任務狀態視覺化讓使用者可以即時了解工作流程運作情況,例如顯示正在準備、正在運作和運作失敗的任務數量。圖片來源/酷澎
未來要將SCM專案成果提供給其他部門使用,也要擴大工作流程平臺應用場景
除了No-code資料建構工具和Low-code服務建構工具,為了方便SCM團隊和專案運作,SCM工作流程平臺還提供了分組管理功能,使用者可以在平臺建立不同群組的資料夾,來管理多個工作流程,快速利用已經建置好的工作流程,包括估算產品需求、預計任務完成時間(ETC)、庫存安置服務(IPS)、火箭配速服務、採購訂單、商品規格對應等流程,來支援這些用途所對應的系統所需。
此外,SCM工作流程平臺還提供了Web版的模型檢視圖,在一個工作流程執行結束後,使用者可以直接看到每一項任務是否成功或失敗,介面也會展示哪個任務節點最花時間。若有任務執行失敗,也可以查看錯誤日誌進行除錯。
SCM工作流程平臺提供No-code資料建構工具和Low-code服務建構工具,協助SCM團隊更即時反應變動的管理需求,強化訂單交付能力。未來,酷澎的願景是讓SCM團隊製作的這些數據專案成果,轉變為對外提供的服務,例如將預測模型提供SCM以外的部門使用。此外,他們未來將繼續加強數據處理,讓大規模數據處理變得更加便利,並確保業務可以跟更多部門共享或整合工作流程平臺,擴大工作流程平臺的應用場景。
熱門新聞
2024-11-18
2024-11-20
2024-11-15
2024-11-15
2024-11-12
2024-11-14
2024-11-19