Seagate超大15 PB資料湖平臺架構首度大公開，不只結合K8s容器管理，還整合DataOps與MLOps維運加速轉型智慧工廠

【新加坡直擊】硬碟廠商Seagate近日首度公開自家高達15 PB資料湖（Data Lake）平臺架構，成了這家40年老字號資料儲存製造商，用來克服工廠轉型帶來資料爆量挑戰的關鍵。目前在Seagate全球7座智慧工廠中，每天都增加50TB的資料，都已集中到該平臺用於分析，來協助工廠加速發展大數據、深度學習與AI應用。甚至Seagate不只是自用，未來更要將這套分析平臺透過雲端服務提供給企業來運用。

Seagate資訊長Ravi Naik就表示：「PB級資料湖平臺的推出，不只是Seagate發展智慧製造多年累積重要成果，更是這家公司未來要從傳統儲存硬體製造商，轉型智慧製造服務供應商所跨出關鍵一步。」

為何一座硬碟工廠會有這麼多資料？

為何一座硬碟工廠會有這麼多資料？關鍵就在於，HDD硬碟生產製程十分複雜，單是硬碟中的資料儲存碟片（recording media），就需至少9道製程工序，從玻璃及鋁片裝盒、清洗，到表面塗層、潤滑、拋光以及多碟片寫入及封裝，每個製程中更包含5~6道加工步驟，每個步驟都不能容忍半點誤差，皆需達到奈米精度，更要通過上百項測試，包括溫度、功率、震動和噪音等，才能前往下一個工站。

HDD硬碟生產製程十分複雜，單是硬碟中的資料儲存碟片（recording media），就需經過9道製程工序，從玻璃及鋁片裝盒、清洗，到表面塗層、潤滑、拋光以及多碟片寫入及封裝，每個製程中更包含5~6道加工步驟。（圖片來源：Seagate）

這還只是儲存碟片生產，不包括其它硬碟組件，如磁頭、馬達、主控晶片等，都需要經過上百、甚至上千道繁瑣的製程環節，最後再將這些零件統一送到組裝工廠進行組裝及測試，才完成最終成品。

過去Seagate一年就要生產約上億顆硬碟，橫跨不同尺寸的儲存媒體，隨著產品規模不斷增長，工廠產線跟著演進，儲存容量更從早期數GB、上百GB到現在數十TB，對於製造挑戰也越大。

尤其，硬碟生產過程中需要高度自動化和精密量測，確保製程品質，例如晶圓製程需要2,500個步驟，其中4成都是用在製程檢測程序，來確保生產品質。當生產硬碟數增加，儲存容量增加更快，先進製程比例更提高，光靠舊有生產模式，以及人工量測及檢測方式，已經無法應付，需要轉換為智慧製造生產模式，轉向不只自動化，更要智慧化。

從5年前展開IT數位轉型，不只發展IT現代化，更從工廠全面改造做起

所以，Seagate從5年前決定轉型，一邊發展IT現代化，IT基礎架構開始擁抱容器、雲端架構，AP應用也導入微服務，來加速轉型智慧工廠，另一方面，也從工廠改造著手，來打造智慧製造產線，希望能夠整合更精準智能控制、智慧化量測來優化生產品質，以及提升作業效率。

Seagate發展智慧製造很重要的關鍵技術是AI，但是AI應用的發展高度仰賴大量的數據，為了取得更多數據，Seagate從2017年開始部署大量感測器到工廠中，單是一間工廠裡就部署了超過4千個IoT感測器，來取得生產過程中所有關鍵數據，不僅如此，Seagate在每座工廠中都導入不同大小的聯網機器人，來處理各種自動化生產任務，7座工廠合計就有超過3.5萬臺機器人，這群機器人執行任務過程中，也會即時上傳相關數據，用於數據分析。

為了分析產線大量資料，Seagate導入Hadoop大數據分析平臺，希望透過數據分析找出提高生產效率更好的做法，後來更進一步使用這些生產數據，來訓練AI或機器學習模型，逐步發展工廠AI應用。

Seagate從2019年開始在工廠導入AI，初期先運用到預防性機臺設備維護、故障分析等，來降低設備故障造成產線停擺的風險，後來擴大運用到生產環境，包括各製程的瑕疵檢測等，都開始結合AI電腦視覺、機器學習來提高不良品的檢出率，也透過AI優化品管作業。

靠自建機器學習邊緣運算平臺Edge RX，能夠提供就近AI推論執行能力

Seagate兩年前還打造機器學習邊緣運算平臺Edge RX （內部專案名稱為Project Athena），並部署到工廠生產線上，來提供就近AI推論執行能力，來幫工廠更快出揪出製程的異常環節。這套平臺是由容器叢集管理平臺Kubernetes和容器化微服務組成的叢集運算系統，不只能執行模型推論，也能直接在系統上進行AI模型訓練，還能借助雲端快速擴充運算資源來加快邊緣AI學習。

像是在硬碟磁頭製程中的AI影像瑕疵檢測，就是直接跑在這套邊緣AI推論平臺上，能做到每秒執行37次的推論，一天就能檢測超過300萬張影像照片，相較於傳統需約200名作業員才能夠完成相同作業，不只作業更快速，也能降低人工檢測錯誤率。

人才更是擴大轉型成果的戰力，2018年開始，Seagate大舉展開內部AI、資料科學人才的培育，提高員工對AI 、機器學習等關鍵技術的掌握度。2年內就培訓了超過1,200人。

經過這些年發展，Seagate轉型也取得不少成果，包括在產品良率優化，以及生產效率方面都獲得不少改善，智慧工廠也從原本1座，增加到7座。這兩年，Seagate開始將過去在內場域轉型成功經驗，轉變為對外部客戶提供的智慧製造服務，像是因應工廠數據儲存需求而發展出來的物件儲存雲端服務Lyve Cloud，以及後來針對工廠邊緣AI應用打造的機器學習邊緣運算平臺EdgeRX ，都是Seagate轉型和發展智慧製造的重要成果，進而轉化為外部企業提供的產品或解決方案。

7座智慧工廠每天數十TB生產資料，統一集中到自建的15PB資料湖平臺中用來分析

Seagate最新更進一步公開數據分析使用的PB級資料湖平臺架構，這套資料湖平臺，正是Seagate為了因應工廠轉型帶來爆量資料的挑戰而打造的全新開放資料湖分析平臺。

Seagate從2017年展開智慧工廠轉型計畫後，馬上就遇到資料爆量的挑戰，在此之前，這家公司20年合計資料量僅0.35PB，但到2017年展開轉型之後，資料快速增加，單座工廠一年就累積1.8 PB的資料，到2022年時，更翻倍成長達到3.6 PB，這些資料有機臺感測器數據、訓練資料、推論資料、圖檔與影片，以及生產過程數據等等。若以7間工廠每天新增50TB的資料量來計算，一整年資料量就有約18 PB，成為Seagate所要面對一大考驗。

為了解決這個難題，Seagate後來自建一個PB級資料湖分析平臺，也就是Lyve Cloud Analytics，除了提供大型橫向擴充的架構，來因應大量資料增長，這個資料湖打造的分析平臺，也成了Seagate所有分析資料的主要來源。

Seagate最新更進一步公開數據分析使用的PB級資料湖平臺架構，這套資料湖平臺，正是Seagate為了因應工廠轉型帶來爆量資料的挑戰而打造的全新開放資料湖分析平臺。攝影/余至浩

在這個分析平臺中，由平臺及服務層組成，平臺層上，除了資料儲存是採用Seagate自己的Lyve Cloud服務，也整合其他開源方案，像是使用Kuberetes容器管理工具，用於運算與資源調度，也採用Prometheus的監控服務，以及導入監控資料視覺化工具Grafana，用於加強資安與數據治理。

在平臺之上還有服務層，Seagate整合DataOps維運、MLOps維運兩大服務，其中DataOps維運服務，就是將Seagate內部的數據維運做法，整合到這個分析平臺上來運用，包含資料服務、資料處理及資料提取。Seagate還把自家ML或AI團隊這些年發展的MLOps實踐經驗，帶進這個分析平臺中，來簡化ML模型開發到維運的生命周期管理。

在Lyve Cloud Analytics服務層中，還有一個已經預先建好的分析加速器，可以運用到三種資料分析類型，包括IoT感測器數據、影像分析、表格資料分析等。另外該平臺上也有提供各種資料視覺化分析工具，方便使用者理解和快速運用。

Ravi Naik也表示，這套PB級資料湖分析平臺是一個完整堆疊產品，涵蓋資料儲存、運算、DataOps 與MLOps服務功能，未來不只高科技製造行業能用，更能運用在其他行業，包括醫療保健、零售、能源、媒體及娛樂產業等。

但是，Seagate目前還沒提到這套平臺何時推出上線，只說明未來企業能使用Lyve Cloud取得PB級資料湖分析與處理服務。但是Lyve Cloud目前只在美國、歐洲及亞洲部分國家推出，臺灣尚未推出。