用冷熱通道有效管理機房氣流

走進英特爾位於馬來西亞的資料中心的白色大門，迎面而來一股涼意，這是一座從2002年就開始啟用的老機房，下吹式空調系統的2座冰水主機位於機房中央，冷空氣從高架地板吹出，通過機櫃後釋出的熱空氣則從天花板的迴風口排入到天花板通道中，送至冰水機冷卻，就像是一般企業老舊機房的傳統設計一樣。

英特爾亞太地區和中國各地據點營運所需的各式應用服務，近半數在這座機房中運作，包括辦公室、企業應用以及最重要的處理器產品設計。所在，在這座機房中，除了一般效能的伺服器以外，還有大量供英特爾研發團隊與合作廠商設計產品的高運算伺服器HPC。

但是，這座老機房原先的冷卻設計，難以滿足HPC的散熱需求，所以，後來英特爾另外在這座機房內，又打造了一個小房間，採取不一樣的冷卻設計，來解決高密度運算的需求。

英特爾用來改善機房冷卻問題的解決之道，正是導入了冷熱通道的冷卻設計。在這個機房內的小房間中，英特爾採用了煙囪式機櫃，冷空氣同樣由高架地板吹出，進入HPC機櫃後，由機櫃上方的煙囪排入天花板的通道，同樣循著原有冷熱循環管路，進入冰水機冷卻後形成冷空氣，再繼續下一個熱流循環。

不只是英特爾，隨著伺服器運算效能越來越高，企業也越來越仰賴IT以後，應用系統需要的運算量也越來越大，再加上虛擬化技術越來越興盛，單一伺服器上往往要負載好幾套應用系統，高密度的刀鋒系統和高耗能的HPC高運算伺服器讓整座機櫃的功率越來越大。

例如一座機櫃可以安裝4箱刀鋒系統，若全數插滿刀鋒伺服器，每箱14刀，一刀若用電4百瓦，整座機櫃的用電量就超過了22千瓦，非常驚人，遠高於傳統機櫃不到10千瓦的用電，對很多傳統機房的冷卻設計來說，這是非常大的挑戰。

很多企業為了抑制伺服器過熱造成的不穩定，往往會將機房空調溫度調低，甚至達到10度C以下，企圖以接近冰箱冷藏室的低溫，來解決機房散熱問題。但是，這麼一來，也造成空調系統效率不彰，耗電量大增，形成另外一筆電費的負擔。

臺北科技大學能源與冷凍空調工程系助理教授李魁鵬表示，這種用整間機房來冷卻的作法過於浪費，其實，現在機房最迫切的問題是「機房局部熱點的問題，但企業為了解決少數地方的問題，而將空調溫度降低，設定的溫度越低，效率就越差，也越耗電。

李魁鵬是經濟部能源局補助臺灣綠色生產力基金會編印的《電信網路機房節能應用技術手冊》主筆（後簡稱機房節能手冊）。這是他訪查過臺灣多座IT機房後的結論。

若以常見的機房能源消耗指標PUE（Power Usage Effectiveness）來看，美國電信級機房在2003年時的平均PUE值是1.95，而在2005年時更是達到1.63，但李魁鵬在這本去年出版的機房節能手冊中提出，實測臺灣電信專業機房得到的結果是1.9。兩相比較，李魁鵬認為，臺灣電信機房還有30%的節能改善空間。電信業者提供的IDC級專業機房都如此，更何況是一般企業自行打造維運的機房，多數也有很大的改善空間。

造成臺灣企業機房冷卻效果不彰的常見問題，包括了高耗能的IT設備缺乏節能管理或沒有整併；迴風設計沒有使用風管而是直接回風，造成氣流短循環，氣流無法有效率地冷卻機櫃。迴風口和出風口太接近，造成氣流短循環，氣流無法有效冷卻機櫃。

還有像機房缺乏冷熱通道的設計以及短循環的迴風，造成機房溫度場混亂，甚至進一步造成空調設備的溫控感測點不易設置，空調箱和冰機的控制失序，經常要頻繁開啟或關閉切換，導致冷卻系統不穩定運轉且有容易故障的風險。其他與冷卻設計相關的問題像是配線系統雜亂阻礙氣流、冰水主機老舊或過大設計而低效率運轉、不當高架地板開口設計造成了氣流分配不均與氣流洩漏嚴重等。

十大機房改善建議，動態PUE監控和建立冷熱通道最優先

李魁鵬在手冊中也提出了10項改善建議，其中，第一步要開始動態測量PUE值，藉由量測能源消耗及PUE監測，而且要長期監控平均計算，例如將冬天和夏天時的機房PUE值平均計算。了解機房能源性能和效率之後，接著就是要建立冷熱通道來進行機房氣流管理。

其他更細緻的改善作法還有調高冷通道溫度、使用變頻空調系統、避免空調超量設計和主機臺數規畫、將未使用的機櫃封板減少氣流短循環、採用伺服器虛擬化和整併。

若企業能進一步施工則可採用水或空氣的自然冷卻方法，使用模組化與高效率的變壓器和UPS系統，或是改用冷煤冷卻系統來提高冷卻效率。

其中，了解機房情況以後，第一個要動手進行的工作是「要建立冷熱通道，對冷卻才有幫助，才能兼顧整間機房不同散熱情況和能源的消耗。」這是李魁鵬建議企業優先採用的機房改善良方。

缺乏冷熱通道設計造成了混風連鎖效應，大大影響散熱效率

因為傳統機房沒有考量冷熱通道的擺設問題，大多是面對背的排列方式，例如第一排機櫃的背面，正對著第二排機櫃的正面，而第二排機櫃的背面又對著第三排機櫃的正面，以此類推。

但是，當冷空氣從高架地板吹入第一排機櫃後，完成熱交換所排出的熱空氣，會和第二排機櫃前方高架地板吹出的冷空氣混合，導致吹入第二排機櫃的冷空氣溫度上升。這個溫度比原始氣流更高的冷空氣，進入第二排機櫃進行熱交換後，得到的熱空氣會比第一排機櫃排出的熱空氣更高，前排機櫃的熱氣會造成下一排的散熱效果更差，以此類推，越後排的機櫃，散熱效果越差。

為了避免最後一排機櫃的伺服器因過熱而當機，企業得將機房溫度越調越低，甚至像冰箱冷藏室一樣不到10度，才能在層層混風連鎖效應的遞減下，讓冷空氣到達最後一排機櫃時，仍有足夠的制冷力。

除了降低溫度，MIS也會採取增加高架地板出風口的方式，增加風量來提高制冷力，但這只是造成更嚴重的混風效應，讓機房內的氣流紊亂，更難將冷空氣送達要冷卻的設備。

混風也會對空調設備的效率產生影響，迴風和出風的溫差越小，代表壓縮機使用相同的電力時，產生的冷凍效果越小，等於是空調設備的運轉效率越差，電力浪費的情況越嚴重。

隔離冷熱通道讓冷熱空氣分流

若調整機櫃擺設方向，讓機櫃兩兩相對，面對面與背對背的擺設，例如第一排機櫃的正面，和第二排機櫃的正面相對，而第二排機櫃背面與第三排機櫃背面相對。如此一來，可以將冷空氣送入正面相對的兩個機櫃間通道，作為冷通道，而第二排機櫃排出的熱氣，進入第二和第三機櫃之間的背對背通道中形成熱通道，由天花板上方迴風口排出，不會影響到第三排機櫃從另一個冷通道取得的冷空氣。

這樣的作法就能避免冷空氣和熱空氣混風，能建立冷熱通道隔離的效果。理想上，每一個機櫃都能都得到溫度品質相當的冷空氣。當然，高架地板的出風口也要隨之調整，在冷通道設置出風口，而在熱通道封閉或移除出風口。李魁鵬表示，光是這樣的調整，其他設備不變，就能大大改善機房冷卻效率。

像勤益科技大學在2009年8月時完成的新機房，就採取了冷熱通道隔離的設計方式。在20多坪的機房中，調整3排機櫃的擺設方式，來區分出冷通道和熱通道。下吹式空調系統的冷空氣從高架地板的蜂巢板吹出，熱通道上方天花板則設置抽風口，將熱風排放到天花板中的通風管路中，再送至屋頂冷卻水塔中降溫。

除此之外，勤益還導入了IP KVM遠端監控機制，減少人員進出機房造成的冷空氣外洩，並設置獨立冷卻水塔，減少外氣交換的比率來節省壓縮機耗電。也採用結構化布線系統，避免網路線影響高架地板下的氣流等作法。透過冷熱通道隔離和這些作法的綜效，最後打造出PUE值1.7的省電機房，甚至未來當勤益新機房的機櫃使用率從現有的6、7成，提高到滿載時，還有可能挑戰PUE 1.4。

封閉冷通道或熱通道，更徹底隔絕冷熱空氣

不過，這種作法只是利用機櫃體積來隔離冷熱氣流，稍加控制冷熱循環的流動方向，但機房仍舊是一個可以充分對流的空間，熱空氣有各種空隙可以繞過機櫃，與冷空氣混合，仍舊會造成部分程度的混風，只是遠低於完全沒有冷熱通道時的情況。

所以，從冷熱通道隔離的觀念出發，更積極管理氣流的作法是封閉，將冷通道封閉或者是熱通道封閉，更徹底地防止熱空氣和冷空氣混風。

例如國網中心為了打造全球42強的超級電腦「御風者」，就利用冷通道封閉的方法，來解決超級電腦高密度機櫃的散熱需求。

御風者設置在國網中心臺中機房中，這套超級電腦共有6百多臺伺服器以及1PB容量的儲存系統，安裝在6排機櫃中，占地約29坪。

為了建立冷通道封閉的效果，6排機櫃每兩兩一組，進風的機櫃正面與正面相對，這兩櫃間的走道形成冷通道，機櫃走道兩端，使用半導體廠房常見的條狀PVC塑膠垂簾來封閉冷通道，上方則使用壓克力板隔絕。

空調系統包括了下吹式空調系統，從地上高架地板的蜂巢板提供冷空氣，以及安裝於機櫃間的水平式空調系統（InRow）。InRow設備使用的冷媒管線則是從機櫃上方進入天花板連結到冰水主機。

封閉冷通道出入口的方式也可以使用門板而非垂簾，但使用PVC塑膠垂簾的好處是方便維護人員進出，而且可以減少必須打開的通道缺口，減少外洩的冷空氣量，近幾年採用冷通道封閉設計的機房，多半會使用PVC垂簾，例如宏碁電子化資訊管理中心在2010年打造的新機房，單一機櫃可承受30千瓦制冷力，同樣也結合下吹式與水平式空調系統，並使用PVC塑膠垂簾來封閉冷通道。

冷通道封閉的另一個好處是可以減少必須冷卻的空間，不像傳統機房那樣，必須冷卻整間機房，而是只需要冷卻冷通道裡面的空間，機房空間較大時，可以節省空調系統的耗電。但缺點之一是整間機房就形成了熱通道，維護人員在機房作業的舒適度較差。

當然冷通道封閉不是解決高密度機櫃的唯一作法，臺灣也有企業和公家機關，導入了水冷式或冷煤的冷卻背板。這是在高密度機櫃後方，安裝一片約5吋厚度的冷卻背板，就如同冰箱後方的冷卻導管一樣，可以直接將機櫃所排放的熱空氣與冷卻水或冷煤進行熱交換，快速帶走高運算伺服器產生的熱能。例如中央氣象局用冷卻背板來冷卻氣象預報用的超級電腦，而中華開發工業銀行則是用來冷卻高運算伺服器的機櫃。

不過，冷卻背板的造價昂貴，而且必須將冰水管線或冷煤管線引進機房，為了避免漏水或冷煤外洩，機房必須進行大幅度的施工作業來建置防水工程，不是一般企業常見的作法。

用單一機櫃搭配煙囪，來建立熱通道封閉

另一種徹底隔絕冷熱空氣的方法是熱通道封閉，作法和冷通道封閉剛好相反。透過熱通道的導引，快速將熱空氣抽離機櫃，來達到散熱的效果。傳統熱通道封閉的作法和冷通道的作法相似，也是需要利用2排機櫃來進行封閉工程，再將熱空氣透過天花板的排風口，將熱氣導引到熱交換設備。

不過，熱通道封閉的作法，後來發展出更進階的單一機櫃熱通道封閉，而非整排機櫃的熱通道封閉，也就是煙囪式機櫃的設計（Chimney type cabinet），例如英特爾馬來西亞資料中心內為高密度運算打造的小房間，就是採用煙囪式機櫃，或像Google或Facebook也有採用煙囪式或機櫃熱風管的設計，直接將熱風帶走的熱通道封閉作法。

不過，這種專用的煙囪式機櫃售價昂貴，甚至是一般機櫃的3倍，建置成本較高。臺灣建機房大多是採用冷通道封閉的冷卻設計，只有少數企業，如力登電腦、臺泥等，開始在機房中使用煙囪式機櫃。

外氣冷卻和提高伺服器耐熱度是2大新興冷卻趨勢

冷熱通道隔離是一種機房氣流管理的作法，冷空氣來源可以是各種空調系統，但是這些空調系統還是會耗電，要更進一步節制空調耗電，近來新興作法是自然進氣冷卻法（Free Cooling），或稱為外氣冷卻法。使用外部空氣來冷卻機房設備。

不少跨國網路服務公司，如Google、Facebook、微軟等選擇在高緯度地區建置大型資料中心的目的，就是為了採用自然進氣冷卻法，導入外部自然環境中的低溫冷空氣，做為機房冷卻之用。

例如Facebook投資了1.8億美元，在美國奧瑞岡州的Prineville市打造了一座4千多坪的超省電資料中心，正是一座完全使用外氣冷卻系統的資料中心，採用了無管式的蒸氣冷卻裝置，內部沒有安裝其他冷卻設備，另外還採用了可減少電力傳遞損耗的伺服器供電設計，以及作為電力備援的共用電池櫃。

根據Facebook自行測試的數據顯示，這座資料中心運轉時的PUE值可達到1.07，換句話說，當資料中心消耗了107瓦電力時，只有7瓦是用於非IT設備的電力，這個數值比美國業界平均值1.5還要低，也遠低於臺灣企業機房的平均PUE值2.5。

這種外氣冷卻的作法，除了需要低溫冷空氣以外，直接使用外部空氣，還要考量到濕度控制，避免濕度過高造成水滴，或是濕度過低產生的靜電效應。

Facebook機房在進氣過程中，就使用了蒸發式的冷卻裝置與加濕系統，以確保空氣溫度介於18～29.4度C，以及濕度低於65％。最後，冷卻空氣須通過除霧設備後才進入送風室，然後再透過風扇加壓，將空氣注入資料中心的冷卻通道中。

為了擴大外氣冷卻的可用區域，伺服器廠商也正在想辦法改善伺服器耐熱程度，例如Dell宣布，要改善產品耐熱設計，包括像PowerEdge R610、R710和T610，未來可以保證每年能有900小時在攝氏40度的環境中運轉，讓機房可以使用更高溫度的冷卻空氣。

Dell認為，這樣的設計即使在美國南部區域的機房，例如夏天高達攝氏26、27度的亞特蘭大也可以使用外氣冷卻來減少空調消耗。

對臺灣這樣位於低緯度亞熱帶地區的國家而言，IBM全球資訊科技服務事業部資訊系統架構規畫師鄧南品表示，外氣冷卻法需要的外界環境溫度最好約十餘度C，以臺灣平地來說，每年可用的時間很短，甚至只有冬天寒流來襲期間的1個月，除非企業將機房設置在高山才會有比較長的可用時間，但卻會增加維護人力的往返交通成本。

不過，臺灣現在也開始出現搭配使用外氣冷卻的應用案例，例如聯合信用卡中心正在打造一座500坪的新資料中心，預定2012年6月啟用。機房位於新北市土城的頂埔高科技園區內。

聯合信用卡中心資訊服務部資深協理王曉蕙表示，新機房除了採用冷熱通道設計外，也將採用外氣冷卻機制，當冬天氣溫較低時就可以引進外部空氣，搭配濕度處理和空氣過濾後，來冷卻機房設備，以節省部分空調用電。這座機房的出現，也代表著臺灣使用外氣冷卻的可行性，即使是冬天時期所帶來的省電效益，已經可以開始吸引企業願意嘗試，也為臺灣企業機房的冷卻設計多了一種可以選擇的方式。

臺北科技大學能源與冷凍空調工程系助理教授李魁鵬表示，現在機房最迫切的問題是局部熱點，要建立冷熱通道才能有效改善。

3種冷熱通道案例比較

(看大圖)

機房冷卻效率的關鍵：冷熱通道隔離

冷熱通道隔離，是提升機房空調冷卻效率最關鍵也是最基本的做法。透過機櫃的擺設方式，讓空調系統產生的冷空氣流動路徑與伺服器熱氣排放路徑隔離，冷空氣就不會因為混到了熱空氣而降低了冷卻效率。

無冷熱通道設計，冷熱空氣交錯造成混風

若機房裏的機櫃都是朝著同一個方向擺放，就無法形成冷熱通道隔離，由於前一排機櫃的背面就對著後一排機櫃的正面，因此前排機櫃排出的熱氣，會與由高架地板上升的冷空氣混合，如果後排機櫃吸入的冷空氣溫度就變高了，散熱的效率自然就受到影響。

冷熱通道隔離，冷熱空氣分流，避免混風

要建立冷熱通道的話，就是把機櫃以面對面、背靠背的方式擺放，並且在機櫃面對面的通道設置蜂巢板，因此冷空氣就會由蜂巢板上升，被伺服器吸入機箱內，而排出的熱氣就會聚集在機櫃背靠背的熱通道，如此即不易形成混風，若要做得更好，就是進一步將熱通道或冷通道封閉起來，完全避免冷熱空氣混風。

10種機房冷卻改善作法

1.進行動態PUE 量測：藉由量測能源消耗及PUE 監測了解機房能源性能與效率。

2.氣流管理：良好氣流管理是機房節能的基本，建立冷熱通道減少混風避免熱點發生。

3.調整溫度設定：依據ASHRAE 建議調高冷通道溫度，降低冰水系統能源消耗。

4.變頻空調系統：變頻冰水主機、變頻泵、變頻風扇、變頻冷卻水塔之投入。

5.避免超量設計及主機臺數規畫。

6.將未使用之機櫃予以封板，以避免氣流短循環。

7.使用自然冷卻：採用水或空氣節能器可以大大改善能源效率。

8.最佳化電力系統供應：盡可能使用模組化及高效率之變壓器（98%以上）及UPS 系統（90%以上）。

9.採用冷媒冷卻系統以提昇冷卻效率。

10.伺服器虛擬化及整併。

資料來源：《電信網路機房節能應用技術手冊》，2010年12月，iThome整理，2011年8月

聯合信用卡中心正在建置位於土城頂埔高科技園區的500坪新機房，除了採用冷熱通道設計外，也將採用外氣冷卻機制，預定2012年6月啟用。

相關報導請參考「機房空調改造術」