資料整合的新一波趨勢︰主資料管理

對當前的企業來說，如何讓既有的資訊變得更正確、精準，仍不太容易。而且這些資訊當中，有些類型相當特別，因為是許多應用系統、交易程序都會用到、存取的部分，所以很重要，等於與企業營運的命脈密切相關，這種資料稱為主資料（Master Data），舉例來說，它們可能是所謂的基本資料，包括顧客、產品、員工、地點、資產、原料等主題。
企業必須設法維護主資料本身，做到一定的品質，例如內容的可信度高，同時又是獨特而不重複的；而且，重點是主資料要在既有的營運流程中妥善運用，例如銷售、行銷、財務等，協助企業內外相關的使用者，能夠在流程上更快速地作業。

此外，企業也逐漸意識到，可以藉助主資料與既有系統的搭配、運用，來改善既有的商業流程與決策，這些因素都使得主資料管理（Master Data Management，MDM）受到更大的關注，幾乎是繼商業智慧之後，再次驅動資料整合下一波應用的新動力。

用法上容易與資料倉儲混淆
因為牽涉到交易系統的處理程序，MDM的實際資料處理作業上相當複雜，而且需要考量到多種因素。所以當我們一開始去修改資料時，雖然執行程序和路徑要維持不變，但這些資訊的變更，不只是要傳到主資料管理系統上，然後這套系統的資訊，也要能再傳回既有系統上。

而且，到了其他系統都可以和MDM相互存取的階段，會有一種複雜的狀況發生：當後端的資料庫異動，而主資料管理系統本身的資料，也因其他系統的作業而變更主資料內容時，這兩邊的資料同步該怎麼處理？
從MDM到既有系統之間，固然可以採用發布與訂閱的方式來同步處理，但相反地，資料從既有系統如何同步到MDM才是重點。目前雖然有既定的工具可運用，但是這些又跟主資料管理系統無關，只是執行專案過程中一定要做的事情。總而言之，這些過程企業需要通盤考量，並且找到比較理想的技術和方式。

還有更複雜的，例如MDM和資料倉儲相互搭配。很多人可能會把資料倉儲和主資料管理混為一談，以為兩者都在做一樣的事情。其實資料倉儲對MDM而言，屬於既有系統的範疇，因為那邊的資料通常是由應用系統端，透過ETL工具再進到資料倉儲，然後這裡面又可能衍生出好幾個資料超市（Data Mart）。

這麼看來，主資料管理和資料倉儲之間似乎存在一些曖昧的關係，但它們之間有何不同？

如果主資料管理裡面的顧客資料，已經有一個完整的檢視，而且內容是最新的，這些資料其實是可以給資料倉儲來使用的。但資料倉儲本身在處理過程中，會再分析出很多資訊，這些過去很少回饋至交易系統端。如果能做到，前端服務的專員能夠同時掌握顧客的VIP等級與流失率，業務運作上會更妥善。

就主資料管理和資料倉儲而言，它們之間是相互協調的，而不是彼此取代。

兩者的定位差異在於，主資料管理系統必須要能讓前端的服務人員可以使用，而不只是藏在後端系統而已。

兩者也有共通之處──都要求資料是正確的。由於資料倉儲會執行資料清理（Data Cleaning）的工作，當資料進到資料倉儲時會經過修正，但這些異動不會自動回溯到應用系統當中的後端資料庫，因此錯的資訊還是錯的，而對主資料管理來說，這些錯誤的確是需要去更正的。

一般人或許會認為，資料倉儲只是客服中心的一種應用系統。我只能說，的確是可以在這樣的系統上去建立一個客服中心系統，大部分企業雖然已經建置了，但裡面的系統其實只服務客服中心本身的需求，而不是全部的人，所以觀念上不同。單靠客服中心手上的資訊來整併，成效還是有限，而且一不注意，可能會因此誤認所有的主資料，都需要以客服中心的資料為重。

用Data Hubs的做法來整合主資料
很多人也許會問，透過資料庫這類儲存庫來彼此同步裡面的內容，不是就可以解決主資料整合的需求嗎？

問題在於，這樣的關係裡，當某個系統的資料更動之後，另一個系統就面臨到是否需要同步處理的狀況。企業通常有N個系統，它們之間或許會相互將資料同步處理，但並非全部系統的資料都處於同步的狀態，通常只選幾個來實作，光是這樣的串連，機制就很複雜，因此會產生很多技術上的問題。

這其實和資料庫處理的觀念有關。也就是所謂的兩階段確認（Two phase commit）。如果修改資料，按下「完成」後，內容直接變更（Update），這叫做One phase commit；但兩階段確認是資料處理完成後，由於要連帶更新另一個系統的資料，所以並不立即宣告「完成」，而是確保兩邊的資料都變更了，交易才算完成。

如果沒有一套系統在中間串連，企業就要自行在不同系統之間，設法做到兩階段確認，這將會衍生一個問題：假設有12個系統要同步更新資料，資料變更時，要等12個系統都完成作業時，前端才會收到「完成」的資訊，也就是說，企業完全無法控制資料處理的效能。

對MDM來說，資料變更時，這些異動只發生在這個系統內，但MDM會將這些資料的最新版本，發布給相關其他的系統去同步。

如果是由主資料管理系統來協調這些動作，是有點像是中介軟體在扮演的角色。IBM軟體產品處軟體系統架構顧問巫介唐提到，就該公司的解決方案來說，實際上是靠EAI和Services元件的技術。

換句話說，MDM本身不直接去處理這些資料的異動，但是它會去擷取（Capture）那些資訊，把它們送給EAI，現在很多MDM廠商的產品都具備這樣的功能。通常這種技術叫做「發布與訂閱（Publish and Subscribe）」，幾乎是所有EAI廠商都具備的特色。

也許你會以為，MDM直接溝通每個系統後端的資料庫、儲存庫等資料儲存。其實不然，既有的應用系統仍直接依照原先的方式，去存取後面的資料庫系統。不過想做到這個目標，困難之處在於如何相容於既有的架構，逐漸發展成理想的架構。

巫介唐說，像這樣去改變資料處理與存取的路徑需要時間，固然須靠有經驗的廠商來引導，但目前臺灣還沒有企業以這樣的方式去發展，所以整體上，仍缺乏實際可參考的案例；而且過程可能得花上10年以上，絕對不是花點錢、1年內就能做得出來的。

妥善運用，能使企業免於違反法規
MDM應該是在企業內部裡面去建置、使用的，不過就像上述研究機構所分析的全球各地的應用狀態，有些企業以SaaS的方式來應用主資料管理。根據巫介唐的判斷，這種狀況可能是因為國外的企業可以合法買到顧客資料，例如Gartner將這種業務稱為Customer Data Integration（CDI），但這類解決方案較針對Party，即顧客資料，其他層面的主資料較少涵蓋到。

有種CDI的做法其實也和SaaS有關，Gartner稱為External Reference Style。在這種方式中，當企業要去查一個顧客的資訊時，可以從外部的系統取回資訊，更進一步了解顧客的基本資料，作為後續評估，例如是否結過婚、所需照顧的子女數。

這種服務的形成，是因為有很多顧客本身的基本資訊，在其他廠商的應用系統當中，都已經建檔，既然當地允許企業販售顧客資訊，所以這種SaaS是有可能存在的。

至於MDM跟法規遵循有關，也不難理解。因為透過這類型系統的操作，企業將能看到所謂的Portfolio──顧客所擁有或購買的產品，以及跟公司的關係。看到這些資訊後，企業能夠發起一些行銷活動，去延伸規畫更引起對方購買欲的產品組合，像是這個顧客是否適合其他產品的交叉銷售（Cross-sale）。這些資訊除了來自企業自身營運用應用系統內的主資料，也很可能是從資料倉儲端匯入，更進一步地還可能包括隱私資料或是偏好。

一旦企業直接運用這些資料，卻沒有注意到有人可能對接收這樣的行銷廣告行為感到反彈時，就很可能會因此觸法。因為企業發起行銷活動時，並沒有主動排除那些不想受打擾的顧客。

某些國家甚至有這樣的法令來約束公司行號的行銷手法。像美國國會曾經制定「勿來電」執行法 （Do-Not-Call Implementation Act），並且授權聯邦貿易委員會建置「勿來電」登記系統，成立一個National Do Not Call Registry的資料庫，任何一個人只要打電話去登記資訊、加入這個計畫，政府就保障這個顧客不會受到所有廠商的電話產品推銷，造成騷擾。

這將會造成一種狀況：通常這些情報往往只能全部蒐集進來，之後企業以此大量發送傳單，如果沒有這方面的過濾機制，例如在主資料管理系統裡面加註，就無法確定本身是否能遵守這樣的法令要求，作業上一定會有失誤。導入的第一步：注意複雜度
只要目前有一些系統的主資料需要整合，其實就可以開始著手進行，但巫介唐表示，實際上還是要看各種產品與技術的限制，例如是否只能跟EAI結合。廠商最好能支援這方面的技術，假如不行，就用點對點的方式去串接，但問題在於架構就會變得不夠「俐落」──當系統越來越多，整體環境就變得很複雜。關於這部分的整合效益，本來就是EAI也會強調的特性。

不論企業e化程度和複雜度高或低，企業仍須仔細探討建置主資料管理是否有益。例如公司可能只有2套系統，而且看來都是很核心的應用，它們所處理的資料就是主檔資料，不需要太多特別的處理，就可以達到目的。當你有越來越多的資料複本時，就會陸續衍生出額外處理的需求。

以電信業為例，一直以來都在整併固網和手機的業務，對他們來說，就必須探討這兩項業務合併的動機及商務上的好處。

對這些公司來說，合併就是為了發揮更大的效益，所以是很重要的議題。就算系統很少、很單純，假如對企業很重要，他們就必須去做這件事情。而關鍵只在於怎麼實作和建置。

記住更多使用者的個人化資料，改善日常生活應用
每家公司對主資料管理的用法和目的不盡相同，但在建置上，差不多都會用到當中的一些精髓。當整合既有系統是MDM導入所必須面對的議題，但企業的既有系統數量通常都不會太少，所以處理起來都很複雜。巫介唐建議先從某個切入點開始著手、找出主題性，這樣才可以確保整個建置案的成功率，不至於花了10年，卻沒辦法產生結果。

整合的需求與可能達到的效果到底是什麼，巫介唐舉個例子來說明。當一般人去自動櫃員機（ATM）提款時，操作程序大致是這樣的：它總是問你是用那種語言、用信用卡或提款卡，接下來就會跳出一些1,000元、2,000元等提款金額的選項。其實使用者每次去使用ATM服務，大部分時間都在做重複的事情。我們不免想到：為什麼它不能把這些選擇記下來？例如持卡人假如每次都從ATM領款5,000元，這筆金額選項就應該出現在第一項，或自動出現在選單內較上面的位置。

像這些貼心的小地方，其實是有辦法實作的，但為什麼幾乎沒看到有銀行提供這樣的服務？要做到這些情境，方式固然很複雜，但有了主資料管理，應可以協助去完成類似的成效。

主資料管理領域應用在各產業上的不同應用，也可能超乎你的想像。很多企業一接觸到MDM的概念，往往先認為這是金融業專用的系統，但是不同類型的企業固然有需求差別，但是，主資料管理的應用和導入，本身並沒有那麼強烈的產業色彩。

巫介唐提到，有個MDM應用實例，可以印證這件事。它是用在亞洲某一個國家的教育單位，他們會記錄與管理每一個學生從小學、中學、大學、研究所階段參與過的全部課程，把學生當作顧客去管理，從而去追蹤過程、上課的內容，而不單是記錄校名、科系。對製造業來說，也可以將主資料管理用在供應商管理上。文⊙李宗翰

點小圖看大圖