![臺灣時間7月19日下午一點多開始,有許多公司內的微軟電腦和伺服器都出現藍色當機畫面,持續追查才發現,原來是資安公司CrowdStrike進行EDR軟體更新時出包導致的災情。](https://s4.itho.me/sites/default/files/styles/picture_size_large/public/field/image/cslan_se_dang_ji_hua_mian_.jpg?itok=27z041vd)
臺灣時間7月19日下午一點多開始,有許多公司內的微軟電腦和伺服器都出現藍色當機畫面,持續追查才發現,原來是資安公司CrowdStrike進行EDR軟體更新時出包導致的災情。
臺灣時間7月19日傳出微軟雲端服務大當機,經查是資安公司CrowdStrike更新EDR時出包,造成安裝微軟作業系統的電腦,出現藍色當機畫面(blue-screen-of-death,BSOD)的狀態。
微軟企業及作業系統安全副總裁David Weston在官方部落格文章中提到,此次受到CrowdStrike更新影響的設備,估計高達850萬臺微軟設備,並不到所有微軟電腦的百分之一。
而臺灣有多少企業受到波及,並沒有任何官方數據可以提供。因此,iThome私下訪問臺灣企業資安長和資服業者,希望可以勾勒出,臺灣不同產業在這一波CrowdStrike引發藍色當機畫面的災情現況。
事實上,此次CrowdStrike引發藍色當機畫面的受駭產業範圍甚廣,包括金融業、資服業、傳統製造和高科技製造業者等,都陸續傳出受駭災情;此外,根據其他媒體報導,其他像是臺灣有航空業者,也是此次災情的受害者。
金融業者因為開放雲端服務較晚,便有金融業者表示,該公司剛好在進行CrowdStrike的POC(概念驗證),因此災情發生後,選擇暫停POC;另外,則有一家資服業者災情慘重,該公司有三千多臺個人電腦,全部都出現藍畫面的當機狀態。
金融業者暫停CrowdStrike的POC,有部分受害電腦同時安裝M365
金融業在2023年,金管會二度開放上雲的規定後,金融業才陸續採用雲端服務、加速上雲的腳步。
此次CrowdStrike因為EDR更新程式出包,造成使用者電腦出現電腦當機的藍畫面,匿名的金融業資安長表示,該公司這段時間正好在進行CrowdStrike的POC(概念驗證),當公司電腦在7月19日下午出現藍畫面的當機狀態後,除了要求同仁立即處理,手動進入安全模式、也手動移除代理程式CSAgent.sys後,再重新開機,他說:「該公司雖然因為CrowdStrike還在POC中,沒有造成公司營運上的損害,因為此一事件,立即暫停CrowdStrike的POC測試。」
另外,也有金融業資訊部門同仁私下表示,該公司在7月19日下午發現資訊部門電腦出現藍色當機畫面,她發現,該公司出現藍色當機畫面的電腦,同時安裝微軟M365以及安裝CrowdStrike的EDR軟體。
她表示,該公司當機電腦復原的狀況不一,有聯繫代理商針對CrowdStrike的EDR軟體進行遠端降版,但這時候的電腦需要處於開機狀態。她很幸運,手動進入安全模式、移除代理程式CSAgent.sys後,電腦重新開機一次就恢復正常使用,但她觀察到,還有不少資訊部同仁的電腦,從下午二點一直重複發生開機後,就出現藍色當機畫面的狀況,一直到下午五點多都還無法正常使用。
雖然該金融業者發現,該公司出現藍色當機畫面的電腦,是同時安裝微軟M365和CrowdStrike的EDR軟體,一剛開始以為,出現藍色當機畫面是必須同時安裝微軟M365和CrowdStrike的EDR軟體才會發生當機。
但有匿名高科技製造業資安長表示,該公司訂閱SOCRadar平臺的情資中,雖然有一份文件是有特別提到藍色當機畫面與M365的關係,不過,綜整其他受害電腦的情資,多數出現藍色當機畫面的電腦,並沒有安裝微軟M365。
高科技製造業用來保護關鍵系統,交易資料不一致改人工作業補救
有某大型高科技製造業者此次受駭範圍甚廣,連該公司總經理都緊盯資安部門處理進度。該公司資安主管甚至表示:「勒索軟體都沒有辦法做到的事情(公司電腦大規模當機),CrowdStrike辦到了。」
匿名高科技業資安長表示,該公司有十八臺電腦受到影響,但這些受害電腦都是該公司關鍵應用的主機,當初因為這些主機很重要,所以才特別安裝CrowdStrike的EDR軟體做保護,沒想到,反而是提供防護的資安業者本身,造成電腦出現當機的情況。他說:「還好部門同仁在第一時間做緊急處置,否則造成的影響比駭客入侵還巨大。」
不過,該匿名高科技資安長也發現,他們將CrowdStrike的EDR軟體部署在關鍵應用的Windows 伺服器和Linux伺服器,而CrowdStrike的Falcon Sensor 都是啟動(Active),並不是所有Windows伺服器都出現藍色當機畫面,令人費解。
另外,登豐數位總經理黃建笙(方丈)也接獲一些受害業者的技術諮詢,就他觀察到的受害案例中,就有一家全面導入CrowdStrike產品的高科技製造業者,安裝CrowdStrike EDR軟體的伺服器,全部出現藍色當機畫面。
黃建笙(方丈)表示,該業者進行緊急處理後,發生了資料庫被Dirty shutdown(髒卸載)的情況,造成BOM表的交易記錄檔損壞、無法掛載。他也解釋,所謂的髒卸載就是資料庫被連續未預期的重新開機,但當時生產線還在生產,所以造成資料掛載的交易記錄被迫中斷,而又重新連上主機時,卻發現連不上,顯示為Dirty shutdown。
因為生產線現場還在持續生產中,而該高科技製造業者為了要確保交易資料的正確性,在進行髒卸載資料庫進行一致性驗證,而系統估計需要花三天多的時間才能夠完成。
黃建笙(方丈)指出,一般而言,除非確定放棄資料庫的交易資料,才會直接捨棄特定時間以後的資料。而該高科技製造業者在7月19日晚上八點多時,做了一個重要決定,就是要捨棄生產線上所有製程,把原先所有生產表單直接棄置後,再重新輸入,資料庫也直接捨棄有問題的交易記錄。他說,該公司先盤點完已經生產完成的批號,且經過人工比對無誤後,再重新進單生產,並於當日晚上十點多,恢復生產線的產能運作,而產線上棄置產品共計十四條生產線。
因為CrowdStrike災情,造成存放AD伺服器的BitLocker無法存取
不過,黃建笙(方丈)提供技術諮詢的業者中,有遇到一起拯救難度較高的企業案例,這也是許多企業容易忽略的角度。
他表示,這也是一家高科技製造業者,全公司全面導入CrowdStrike的EDR軟體以及微軟的裝置加密功能BitLocker,並且採用地端解決方案,由AD目錄服務伺服器作為儲存BitLocker加密金鑰的區域。
該公司的AD伺服器以及用戶端電腦,都因為CrowdStrike的EDR軟體錯誤更新而導致無法正常開機,AD伺服器也因為複寫異常,造成AD伺服器透過更名程序回復系統後,造成母子網域複寫異常。
其中,主網域中具有完整資料庫功能、可以讓使用者和應用程式在AD網域樹狀目錄中尋找物件並指定物標物件一個或多個屬性的GC(Global Catalog,全域目錄)主機損壞,另外一臺GC主機則存放於虛擬機,底層作業系統也因為該次事件造成開啟異常、無法正常啟動,全公司電腦均無法正常開機。
黃建笙(方丈)指出,GC可以正常運作,才能完整保留系統中該存放的東西,而該企業的GC主機都無法正常運作,等同時該公司AD網域中,沒有人有完整的資料庫,而該公司兩臺GC主機都已損毀且BitLocker的加密金鑰也沒有備份。
所幸,有部份員工曾以公司M365帳號登入本機,也在公司的電腦中存取過私人MSN、hotmail,幸運的在Windows Account的裝置金鑰中找到復原金鑰,才成功的讓BitLocker在開機程序中,順利取回復原金鑰並復原成功。
另外,該高科技製造業者也常是從主機備份進行還原,但Veeam備份及備援主機也受到此次災情影響,被BitLocker鎖定、無法進行復原;還好,該公司使用Azure Site Recovery的服務,就改將備份資料從微軟Azure雲端落地回到企業內部後,再進行主機系統還原。
該公司確定7月22日上班日,已經將BitLocker的加密金鑰找回來了。不過,但黃建笙(方丈)也坦言,該起事件對該公司伺服端及用戶端的衝擊,目前難以估計。
傳統製造業出現藍色當機畫面,關鍵錯誤來自CSAgent.sys
有一家規模較小的傳統製造業在7月19日下午一點十七分的時候,第一時間向黃建笙(方丈)反應,該公司Hyper-V虛擬機和其主要的伺服器全部出現藍色當機畫面、無法正常運作,請求支援。
黃建笙(方丈)說,剛開始立刻協助客戶以還原點的方式進行系統復原,但在操作過程中,先嘗試以修復開機區的方式進行,但該客戶反應無效。後經確認後才發現,重開機的關鍵錯誤來自於CSAgent.sys,才確認該公司出現的藍色當機畫面,是因為CrowdStrike造成的。
後來黃建笙(方丈)則提供進入安全模式後,將CSAgent.sys更名後再開機,順利恢復公司系統正常運作。
資服業者三千臺電腦,耗時三天進行手動系統復原
另外,有一家資服業者全公司有三千多臺電腦,因為不斷出現藍色當機畫面,該公司的資安人員只能協同其他IT部門同仁,一起透過按F8按鍵進入電腦的安全模式後,才能進行CSAgent.sys更新名稱後再重啟的作業,一直到7月19日下午四點,CrowdStrike釋出更新後才開始全面緩解。
不過,因為該資服業者有三千多臺電腦,總計花了三天,才逐步手動完成電腦復原的作業。
熱門新聞
2024-09-02
2024-09-02
2024-09-02
2024-09-02
2024-09-03
2024-09-02
2024-09-04
2024-09-04