隨著數據中心功率密度的提高，液體冷卻應用會越來越普遍[1-3]，包括冷板冷卻[4-5]，浸沒式冷卻[6-8]，蒸發冷卻[9-11]等。各種冷卻方式的目的都是給芯片等電子元器件散熱,數值模擬的作用就是分析電子產品的散熱問題,通過分析減少液冷IT設備,液冷系統的研發成本,提高研發速度,評估數據中心系統級的液體冷卻方案。三維模型液冷數值模擬解決方案有很多研究[11-16],多針對單個模型進行分析,但是,當分析計算的規模增大,上升到多個設備,機房級規模的時候,冷卻管路系統會變的異常復雜,三維模擬幾乎不能實現。液冷系統三維數值模擬的難度在于小的管徑或者芯片尺寸與大的機房級計算域之間的矛盾,如果都用三維方式模擬,可能使計算無法進行,而一維模擬可以降低龐大的三維管路系統模擬的難度,一維系統可以得到數據中心系統級,多個機房之間,多個液冷IT設備之間的流量分配計算,并且幾分鐘的時間就可以完成計算。
　　
　　針對一維液冷系統的模擬比較稀少,所以本文提出了一維,三維液冷系統耦合模擬解決方案,從兩個方向分析液冷系統,包括IT設備級液體冷卻和數據中心系統級液體冷卻。
　　
　　一、一維與三維液冷系統
　　
　　本節說明IT設備級液體冷卻與數據中心系統級液體冷卻的構成以及模型處理方法。
　　
　　主要的一維流體網絡對象如圖1所示,通過這些對象可以構建一個完整的液冷系統,并且可以實現一維與三維模型的耦合計算。
　　
　　1.1IT設備級一維三維液冷系統
　　
　　IT設備級液冷系統說明三維模型與一維模型的處理方法,以及一維和三維耦合模型處理方法。
　　
　　1)三維模擬
　　
　　IT設備三維模型可分成黑箱模型和白箱模型。
　　
　　黑箱模型:是簡化的IT設備模型,主要用于數據中心系統級的模擬。
　　
　　IT設備是一個簡化的黑盒子,通過設置液體冷卻百分比表示液體冷卻部分。當不考慮IT設備內部芯片的溫度,只關注IT設備入口溫度的時候用黑箱模型可以有效提高大型系統的分析效率。
　　
　　對于冷板或者熱管混合式液冷可以用黑箱模型模擬液體冷卻百分比。
　　
　　黑箱模型的液體部分只是邏輯上的存在,可以與一維系統相連接,實現耦合模擬。
　　
　　白箱模型:是一個詳細的IT設備模型,主要用于IT設備級的模擬,需要建立詳細的內部部件模型,包括芯片,冷板,管路,硬盤,內存,熱管,電源,風機等。詳細模型考慮IT設備內部芯片的溫度分布情況,也關注IT設備入口對芯片溫度的影響。
　　
　　圖2(a)為液冷板冷卻,通過冷板,管路帶走芯片的熱量,其它對象的熱量由空氣帶走。
　　
　　圖2(b)為熱管混合冷卻,冷卻液不進入IT設備,熱管蒸發段吸收芯片的熱量,通過冷板帶走熱管冷凝段的熱量,完成芯片散熱過程。
　　
　　白箱模型的液體部分是物理對象上的真實實現,通過機箱液冷管道進出口可以與一維系統相連接,實現耦合模擬。
　　
　　2）一維流體網絡模型
　　
　　由一維流體網絡對象構成液體冷卻系統,主要解決:大型系統的數值模擬要求查看芯片溫度,同時還要求查看不同液冷IT設備間的流量分配的模擬結果。如果純粹用三維模型進行多設備模擬模擬會在網格處理上帶來巨大困難。
　　
　　圖3為一個簡單的液冷板一維IT設備,有兩個流路:
　　
　?、倮鋮s介質側:組成對象為域邊界,水泵,冷板。
　　
　?、诳諝鈧?組成對象為域邊界,風機,芯片。
　　
　　芯片與冷板進行邏輯上的連接,需要定義芯片與冷板的熱阻曲線模擬部件間的傳熱。
　　
　　一維IT設備可以在邊界上或者冷板上與三維模型連接進行耦合計算。
　　
　　3）一維與三維耦合模擬
　　
　　耦合模型可以進行一維和三維的耦合傳熱與流動計算,主要解決因為多個IT設備間流量分配不同導致的芯片溫度預測問題。
　　
　　圖4為一個簡單的液冷板一維與三維耦合模型,冷卻管路為一維系統,IT設備包括一維模型和三維模型,虛線表示邏輯上的連接。
　　
　?、僖痪S冷卻管路:組成對象為域邊界,水泵,管件,流體網絡組等。
　　
　?、谝痪SIT設備:采用上一節的流體網絡模型,冷卻介質回路連接一維冷卻管路。
　　
　?、廴SIT設備:詳細的三維冷板模型,包括芯片,管路,機殼,水泵進出水口,通過進出水口連接一維冷卻管路。
　　
　　可以實現多個一維、三維IT設備的連接。
　　
　　1.2 數據中心系統級一維三維液冷系統
　　
　　數據中心系統級液體冷卻主要介紹冷凍水系統。冷卻管路系統不在本文分析范圍之內。
　　
　　數據中心系統級液體冷卻分析對象為一個數據中心,包括若干棟樓,每棟樓包括若干個機房。需要處理一維管路系統與三維物理模型,以及一維與三維的連接方式(如1.1,1.2節所述)。
　　
　　數據中心系統級的液體冷卻包括:冷凍站,多個機房(模塊)及末端,多個機柜及其液冷IT設備。
　　
　　數據中心系統級的液體冷卻創建:
　　
　　首先創建冷凍站及其設備:包括冷機,冷泵,蓄冷罐,板換,管路等;
　　
　　然后創建至少一個三維機房模型:需要包括與一維進行連接的設備,比如末端,換熱器等;
　　
　　其次創建若干一維機房模型:可以采用一維流體網絡設備表示一個一維機房,主要參數就是機房發熱量,水循環量等;
　　
　　最后進行一維和三維連接。
　　
　　上述模型可以分析多個機房間的流量分配及其對三維機房IT設備散熱的影響,也可以分析冷機故障或者冷機時序上冷量輸出的瞬態模擬。
　　
　　二、液冷系統一維三維對象及關鍵參數
　　
　　一維與三維對象決定了能夠實現液冷模擬的能力,本節列舉了可以構建數據中心系統級、以及IT設備級液冷系統的必要組件。關鍵參數的定義可以實現冷卻工質與空氣側的流動換熱能力耦合計算。
　　
　　2.1 一維對象及其關鍵參數
　　
　　表1為一維對象的關鍵參數。主要列舉了性能方面參數,除此之外還要關注設備幾何與材料特性,包括進出口尺寸與位置,以及基本的幾何參數,比如設備的長寬高,內外徑等。
　　
　　參數說明如下:
　　
　　冷機與水泵的時間序列曲線:表示在瞬態模擬的時候冷機和水泵隨時間變化的控制。
　　
　　圖5為冷機與水泵的時間序列曲線示意圖，其中圖(a)為冷機的冷量隨時間變化曲線，圖(b)為水泵的流量隨時間變化曲線，當流量為零時表示關閉。
　　
　　連接屬性:實現一維與三維連接的關鍵能力,具備連接屬性的部件主要是終端設備,包括空調末端,冷板,IT設備,換熱器。
　　
　　無:表示無連接,一維與三維無連接,計算管路的流量分配與壓降。
　　
　　連接流體網絡:表示可以連接一維對象,比如冷板可以連接一維芯片對象。
　　
　　連接三維模型:表示可以連接三維模型中的對象。
　　
　　流體側阻力與水泵PQ曲線:定義管道部件的阻力特性與水泵的性能曲線。
　　
　　圖6為兩種參數的示意圖,其中圖(a)為流體側設備阻力曲線,圖(b)為水泵PQ曲線。
　　
　　2.2 三維對象及其關鍵參數
　　
　　三維對象如表2所示:主要列舉了與一維相關的對象及其主要參數。主要列舉了性能方面參數,除此之外還要關注設備幾何與材料特性,包括進出口尺寸與位置,以及基本的幾何參數,比如設備的長寬高等。
　　
　　參數說明:
　　
　　換熱效率:表示換熱器能夠降低空氣溫度的能力,最大效率(100%)能夠使空氣溫度降低到進口冷卻劑溫度。計算公式如下：
　　
　　η(%)=(Tin-Tout)/(Tin-Tcoolant)×100%
　　
　　式中:
　　
　　η:換熱效率,單位為100%;
　　
　　Tin:換熱器進口空氣干球溫度,單位為℃;
　　
　　Tout:換熱器出口空氣干球溫度,單位為℃;
　　
　　Tcoolant:換熱器進口冷卻劑溫度,單位為℃;
　　
　　蒸發效率:表示蒸發冷卻過程中處理空氣的能力,將上式的冷卻劑溫度替換為濕球溫度。
　　
　　熱傳導曲線:定義空氣側的換熱能力,表示為流量與熱傳導率的關系,見圖7所示。
　　
　　連接屬性:實現一維與三維連接的關鍵能力,具備連接屬性的部件主要是終端設備,包括空調末端,換熱器,IT設備,冷板。
　　
　　無:表示無連接,一維與三維無連接,只計算空氣側相關參數。
　　
　　連接流體網絡:表示可以連接一維對象,流體側的參數由一維流體網絡計算,實現空氣側與冷卻工質側的耦合計算,比如換熱器可以通過設置的換熱效率計算得出因流體側溫升導致的空氣側溫度參數的變化。
　　
　　三、一維和三維的耦合模擬案例分析
　　
　　本案例是一個數據中心系統級的液體冷卻方案。包括冷凍站,一個三維機房,三個一維機房,采用機柜級冷板液冷,每個機柜中包括三個冷板式液冷IT設備,冷凍站設計供回水溫度為17℃/22℃,管道外置保溫,管壁與外界環境換熱做絕熱處理,目的是分析耦合模擬的可行性。
　　
　　3.1一維與三維模型
　　
　　三維模型如圖8所示:
　　
　　機房精密空調采用灰箱模型，主要部件包括風機，換熱器，進出風口等，換熱器與一維對象進行連接。
　　
　　機柜模型:采用42U標準機柜,定義詳細的機柜結構,封閉盲板。
　　
　　地板出風口模型:采用底部帶風閥的600mm×600mm的地板出風口,開孔率50%。
　　
　　IT設備模型:采用黑箱模型,冷板式液冷IT設備,定義液冷百分比,IT設備模型與一維對象進行連接。
　　
　　一維模型主要包括如下幾個部分:
　　
　?、倮鋬稣鞠到y:圖9為包括四個機房的冷凍站一維系統圖,主要設備為冷機,一次泵,蓄冷罐,二次泵,三維機房流體網絡組,一維機房流體網絡組,管路與管件等。
　　
　?、谝痪S機房流體網絡組與機柜一維液冷系統:
　　
　　圖10為一維機房流體網絡組系統圖,包括域邊界,單向閥,空調末端流體組,控制閥,機柜流體組,管路與管件等。
　　
　　圖11為機柜一維流體網絡組液冷系統圖，包括域邊界，換熱器，水泵，一維IT設備，管路與管件等。
　　
　?、垡痪S機房系統:圖12為一維機房流體網絡,包括域邊界,水泵,冷板(定義機房的總散熱量)
　　
　?、苣┒艘豪湎到y:圖13為空調末端一維流體網絡模型,包括域邊界,換熱器等。
　　
　　3.2模擬結果
　　
　　冷凍站模擬結果,詳見圖14:供水溫度17℃,回水溫度22.08℃。四個機房的進出水溫也滿足設計要求。
　　
　　三維機房與液冷機柜模擬結果:CRAC進出水溫度為17.03℃,19.62℃,最右側的液冷機柜一次側進出水溫度為17.03℃,26.72℃,二次側進出水溫度為27.39℃,25.21℃。機柜間存在微小的流量差異,機柜間最大出水溫差0.13℃。
　　
　　散熱器表面溫度分布：圖15為散熱器表面溫度分布，整體上是上部溫度低，底部溫度高。(a)圖為換熱器出風面溫度分布。冷凍水從左側進入，右側流出，低溫區17.86℃。(b)圖為進風面，最大溫度為26.05℃。(c)圖為流線圖，空氣從頂部進入底部流出。
　　
　　IT設備進風溫度:IT設備最大進口溫度為24.51℃,詳見圖16所示。
　　
　　表3為所有IT設備的統計數據,IT設備液冷百分比約為67%,IT設備間水流量分配比較均勻。
　　
　　機房氣流組織:圖17為機房的氣流組織,可以看出地板出風口流出的冷空氣直接流入空調回風口,導致換熱器上部溫度低,底部溫度高。
　　
　　四、結論
　　
　　本文介紹了數據中心液冷數值模擬的方法,分析了對于不同的液冷系統的處理方法,都包含一維,三維模型,以及一維和三維耦合模擬的方法以及部件構成。
　　
　　IT設備級液體冷卻模型可以用黑箱或者白箱模型處理,也可以使用流體網絡模型處理,多個液冷IT設備系統耦合計算模型可以用三維的IT設備或者一維的IT設備,主要解決:大型系統的數值模擬要求查看芯片溫度,同時還要求查看不同液冷IT設備間的流量分配的影響。
　　
　　數據中心系統級液體冷卻主要介紹冷凍水系統。分析對象為一個數據中心,包括若干棟樓,每棟樓包括若干個機房。
　　
　　液冷系統的一維對象主要包括冷機、水泵、換熱器、冷板、IT設備、末端、邊界、芯片、管段/管件等。三維對象主要體現在與一維進行連接的對象上,包括:空調末端,冷板,IT設備,換熱器,進出口等。核心參數聚焦于一維與三維能夠耦合計算的相關連接屬性,考慮芯片與冷板的換熱,換熱器水側與空氣側換熱等過程。
　　
　　耦合模擬案例說明了一維和三維的聯合計算的可行性,模擬結果符合理論預期,從所有IT設備的統計數據看,IT設備液冷百分比約為67%,IT設備間水流量分配比較均勻。
　　
　　參考文獻
　　
　　[1]王艷松,張琦,孫聰,等.數據中心液冷技術發展分析[J].電力信息與通信技術,2021,19(12):69-74.
　　
　　[2]肖新文.數據中心液冷技術應用研究進展[J].暖通空調,2022,52(1):52-65.
　　
　　[3]傅烈虎.數據中心冷卻技術的發展與演進[J].制冷與空調,2020,20(12):7-16.
　　
　　[4]莊澤巖,孫聰,張琦,等.冷板式液冷技術與應用現狀分析[J].通信管理與技術,2021(3):27-30.
　　
　　 [5]Pontes Pedro,Martins Louren?o, Gon?alves Iva,Moita Ana S, Moreira António LN Thermographical study of geometry and phase change influence on PDMS Microchannel liquid cooling devices[J]Journal of Physics: Conference SeriesVolume 2116, Issue 1. 2021.
 　　
　　[6]李斌.服務器單相浸沒式液冷數值模擬與優化[D].山東:山東大學,2021.
　　
　　[7]夏爽.浸沒式相變液冷服務器的數值模擬研究[D].山東:山東大學,2021.
　　
　　[8]劉圣春,徐智明,李雪強,等.單相浸沒式液冷箱體關鍵參數的仿真研究[J].制冷學報,2023,44(2):159-166.[9]黃翔,范坤,宋姣姣.蒸發冷卻技術在數據中心的應用探討[J].制冷與空調,2013(8):16-22.
　　
　　[10]田哲寧,黃翔,屈名勛.蒸發冷卻技術在數據中心液冷系統中的應用探討[J].制冷與空調(四川),2022,36(1):120-126.
　　
　　[11]鄭品迪,黃冬梅,楊超,等.間接蒸發冷空調數值模擬方法及在數據中心的應用[J].制冷與空調,2022,22(11):82-91.
　　
　　[12]盛成,方玉財,嚴諾,等.某新型液冷機箱熱設計的數值研究[J].電子機械工程,2019,35(6):38-41.
　　
　　[13]趙亮.微小通道液冷板熱控及壓降特性數值模擬研究[J].環境技術,2021,39(2):134-139,144.
　　
　　[14]曾凡琮,潘劍,李涵等.基于CFD的液冷板數值模擬與優化研究[J].機械設計,2022,39(12):52-57.
　　
　　[15]李維平,李隆鍵,崔文智等.液冷系統中均熱板氣液相變的熱質傳輸模擬[J].哈爾濱工業大學學報,2022,54(07):96-103.
　　
　　[16]魏小平,楊智輝,胡海濤等.鋼制多通道結構液冷板散熱特性仿真分析[J].機械設計與研,2023,39(01):185-189.
　　
　　作者簡介
　　
　　鄭品迪,男,碩士/高級工程師,北京瑞思博創科技有限公司,研究方向:從事數據中心暖通氣流組織,局部熱點,能效等方面的數值模擬評估服務。
　　
　　黃冬梅,北京瑞思博創科技有限公司總經理,博士浙江大學博士畢業,從事數據中心CFD仿真、數據中心節能、數據中心數字孿生等技術,有20多年的經驗主編中文版《數據中心手冊》2022年4月出版;主編T/DZJN47-2021《數據中心數字孿生技術規范》團體標準;主編T/NIISA003-2019《數據中心氣流組織技術規范》團體標準;主編《數據中心CFD技術白皮書》2019年11月出版。
　　
　　編輯：Harris