nginx 开源 shell centos 程序员 php mysql wordpress linux Firefox 编程 Python java Ubuntu google apache Windows Android 微软 云计算

《雲數據中心構建實戰:核心技術、運維管理、安全與高可用》——1.4 數據中心規劃與設計

1.4 數據中心規劃與設計

從數據中心的選址、基礎設施的配備、系統之間的架構到管理平臺的規劃都有相應的規則和指標。數據中心必須指定具備數據中心建築資質的單位承攬,由專業電氣工程師和機械工程師來完成整體建設,它的基礎建設是整個信息系統的基石,容不得半點馬虎。
1.4.1 建築總體規劃
數據中心是企業信息戰略的“家”,這個“家”一旦落成,10年甚至20年都不會改變其地理位置,故建築的整體規劃需要多方面考慮。

數據中心的規模
各個數據中心的等級、分類、可用性指標不同,故它們的建築規模也不盡相同,我國數據中心的規模、占地面積、投資比例如表1-1所示。
 

 


<a href=https://yqfile.alicdn.com/7fe9e5d141085a26f55909e708124ff927eb4393.png" >

數據中心是信息設備的聚集地,如果設計的規模過小則不利於數據中心後期的建設,如果規模過大則勢必會造成資源的浪費。同時數據中心的設計規模在企業投資建造中占有一定的比例,是企業整體項目投資估算的決策依據之一,數據中心規模、占地面積需要從多個方面嚴格評估。
比如:機架,是數據中心內必不可少的基礎框架,每個單位機架平均的占地面積約為2.5~2.8 m2(包括設備通道面積)。占地面積的確定首先需要預估數據中心需求計算機架的數量,再根據供電密度和未來應用等級計算配電設備和冷卻設備的面積,再考慮維護通道面積、橋架、冷熱通道等高度和面積,進而換算出數據中心整體占地。
還有一個方面需要考量,數據中心的生命周期不是1年、2年,5年……,它的規模確立需要考慮到未來10年,乃至20年的周期,我們的目光要放得更長遠一些,避免因面積或者規模這樣的早期問題制約企業信息化的後期發展。

數據中心選址
記得房地產領域有一個非常有趣的定義:關於選址,最重要的三個因素是位置、位置,還有位置!數據中心作為不動資產,位置的選擇非常重要。
大型制造企業一般是以工業園區的形式出現,生產基地、研發基地、管理基地會在一個大的行政區域內,數據中心需要部署上千臺服務器,並為網內數萬臺客戶機服務。這個園區內肯定要由一個或者數個數據中心來支撐,因此它的選址首先要考慮線纜的傳輸距離。
超五類雙絞線和六類線的傳輸距離基本相同,單段最大傳輸距離為100m;波長為850nm,傳輸速率為10Gb/s,50μm多模光纖傳輸距離為250m,62.5μm多模光纖傳輸距離為100m;單模光纖傳輸距離要更遠,波長為1550nm,傳輸速率要求10Gb/s,g.652單模光纖傳輸的距離則可達到60km。當然這只是技術指標,實際應用中信號的衰減、串擾、阻抗會嚴重影響傳輸距離,實際傳輸距離要略小於理論值,故要根據布線理論來定位數據中心的位置。
1)如果園區內部或者周邊存在高壓電纜、通信廠商的信號發射塔,或者支撐企業用電的大型變電站,數據中心選址必須要避讓,因為它們每時每刻發射出大量的強磁、強電。當無線電場頻率為0.15~1 000MHz時,幹擾大於126dB或者磁場幹擾環境場強大於800A/m,就會對電子設備造成嚴重影響。
2)需要考慮數據中心地址的自然環境,如是否處在經常落雷的區域、夏季雨水會不會引起數據中心的水患、周邊是否有易燃易爆的化學產品,這些也是需要避讓的。
3)重型卡車、客貨火車經常通過的路段也不適合建設數據中心,不規律的、持續性的震動極易導致電子設備的內部器件偏移,造成硬件層面的損傷。
企業數據中心由於園區的限制,多數建設在企業框架區域,同二級數據中心或者三級數據中心協同辦公,它主要為企業內部資源服務,而互聯網數據中心則更多地為公眾或者為企業提供公有雲服務,它們在選址方面還需要考慮這樣幾個因素。

網絡的支持。小型城市ISP廠商提供的網絡帶寬相對大城市要稍遜一籌,網絡的環境、多線路的支持也有所差異。此類數據中心面向的對象不固定,良好的網絡環境能給用戶更好的應用體驗,這一點不容忽視。
電力的支持。數據中心都會配備大功率的UPS做電力支撐,但是頻繁遭遇臨時性的“限電”無疑會縮短UPS的使用壽命,對於電力供應較為緊張的城市應盡量采取避讓。
環境的支持。自然環境中,落雷區、洪水區需要遠離,頻發的地震區域、颶風區域也不適合建設數據中心;在交通環境中,盡量方便用戶和員工的出行,相信沒有一個用戶為了租用您的公有雲服務,而願意花費數個小時尋找您的數據中心位置。
政策和人力資源。如果您的數據中心架設到國外,還需要考慮當地的土地政策、信息安全和管控政策、稅收政策等,還需要考慮人文環境、人才招聘等一系列因素。
數據中心的選址需要翔實、可靠、完整的分析方能得出最優的結果。

數據中心建設詳盡方案
數據中心的規模和地理位置確定以後,就需要通過招標等形式確定擁有承建資格的單位來為數據中心制定詳盡的方案。
這份方案會囊括很多內容,我們摘取其中重要的部分進行描述。

抗震等級:《建築抗震設計規範》(GB50011—2010),抗震設防烈度為7度;
承載負荷:機架承載負荷為1200kg/m2以上,UPS電源機架承載負荷在1500kg/m2以上;
建築結構:采用鋼筋混凝土框架結構或鋼筋混凝土框架加剪力墻結構;
溫濕度要求:溫度夏季22±4℃、冬季18±4℃,濕度40%~65%;
潔凈度要求:保持在粒度≥0.5mm,個數≤10000粒/dm;
耐久度:《民用建築設計通則》要求數據中心耐久度為一級,即耐久年限100年以上;
防火要求:《建築設計防火規範》、《高層民用建築設計防火規範》(GB 50045—2005)、《氣體滅火系統設計規範》(GB50370—2005)要求數據中心防火等級為一級,且為氣體防火;
防水要求:包括數據中心內部、電纜豎井、配電室、精密空調等所有重要防水場;
防電磁波幹擾:按照國標(GB50174—2008)《電子信息系統機房設計規範》進行設計(見表1-2)。
防雷與接地:包括防雷接地、保護接地、電源接地,接地電阻值為1?以下;
建築平面:至少設置2個弱電井,2個強電井。

https://yqfile.alicdn.com/4270e2e408e05f45add5b05ffe918b05639d6ff1.png
" >


另外,還需要對數據中心設備通道、維護通道、逃生通道進行設計,對於建築整體保溫、內部照明系統也需要進行詳細的關註。
1.4.2 布線系統模型設計
當數百根光纜部署到網絡機櫃中,當數萬根雙絞線分布到不同的交換機、路由器、防火墻之上,布線系統的復雜程度可想而知,沒有良好的規劃會給日後的維護工作埋下嚴重的隱患。
傳統布線系統中缺乏統一的管理,初期建設我們感覺尚不明顯,但是隨著光纜和網線的逐步增多,我們會感覺維護起來日漸吃力,隨著ANSI/ELA/TIA/568A布線標準的大力發展,其所推崇的六大獨立子系統模型徹底顛覆了傳統布線模式。

六大子系統
這六大子系統模型分別為:建築群子系統、設備間子系統、管理間子系統、垂直幹線子系統、水平布線子系統和工作區子系統。
(1)建築群子系統:兩個或數個建築物之間網絡通信連接
將一個建築物中的光纜、網線、電話線路等線纜延伸到建築物群的一個或者多個建築物中的通信設備上,形成網內的統一數據通信,組成建築群子系統。
可采取的方式如下。

地下主幹路徑法:線纜通過地下管道,再經由基礎墻引入建築物內部;
直埋布線法:線纜直埋於距地面60.96cm以下的地面,進入建築物內部;
架空布線法:通過電線桿作為支撐,將建築物之間的電纜懸空連接;
巷道布線法:利用暖氣管等地下巷道進行建築物間線纜的鋪設,如圖1-4所示。
如果擁有電線桿或者地下巷道,架空布線法和巷道布線法的部署成本是較低的,但是前者受到自然環境和人為環境影響,後者則會受到水患的威脅,安全性較差。
直埋布線法的地面不會進行任何動土改造,這是一個好的選擇,而如果擁有通暢的、便於維護的地下管道,地下主幹路徑法將更為安全可靠。
(2)設備間子系統:用於存放數據中心所使用的關鍵設備
它是一個集中化的設備管理區域,比如:電話語音線纜、交換機、路由器、主機、建築自動化和安防系統,通過垂直幹線子系統連接至設備子系統,設備間子系統將各種線纜與設備緊密地連接起來,共同組成最核心的系統,它又稱為機房子系統,如圖1-5所示。

 


b8ec0336fcf64b8bf888a88fdac32ba1e8018327

設備間子系統不僅是這些設備的聚集地,也是光纜、網線、電話線纜的匯聚點,它的建立宜靠近這些線纜的引入區,方便布線。另一方面,數據中心內的資源需要定期地或者臨時性地更換,大型設備進出數據中心較為不便,設備間子系統的部署靠近服務電梯則更為便捷。
還要註意,設備間子系統一般建立在建築物的一層,不宜建立在建築物的最高層或者地下層,避免承重帶來的壓力,也避免地下水凝結造成的種種隱患。
這些都是需要在設計初期通盤考慮的。
(3)管理間子系統:用於存放各個樓層間的網絡配線架和機櫃等設備。
建築群子系統針對樓與樓之間子系統進行管理,管理間子系統則是對一棟樓內各個樓層的場地進行規劃,在這個場地內會包括配線機櫃和網絡設備機櫃,前者主要存放網絡線纜、配線架等設備(見圖1-6),後者主要存放交換機等設備。如果樓層內網絡節點比較少,可以單獨放置一個或數個機架或機櫃,節點較多則可以設立管理間子系統,在這裏需要部署接地系統、UPS系統、消防系統、安防系統、監控系統,以保證該子系統的安全運行。
管理間子系統需求分析階段,我們需要規劃每一個節點,保證節點與管理間子系統間的最大距離不超過90m,如果樓層的占地面積較廣,節點分布距離較長可以建立兩個或者多個管理間子系統以保證網絡應用,如圖1-7所示。

 


7a0a83ca385d9376c9def52ff3b9fecd7cc27ede

《綜合布線系統工程設計規範》(GB50311—2007)建議管理間子系統的使用面積不小於5 m2,落地式機櫃面前凈空大於800mm,後面凈空大於600mm,壁櫃式機櫃的離地高度大於1.8m;溫度保持在10℃~35℃,相對濕度保持在20%~80%,需采用外開式丙級防火門。
(4)垂直幹線子系統:用於存放光纜、大對電纜、UTP以及STP等線纜
該系統通過線纜將設備間子系統和管理子系統進行連接,這些線纜可以是光纜、屏蔽網線、非屏蔽網線等網絡線纜,也可以是傳輸語音信號的大對電纜。可以根據建築物的結構和應用系統的需求選擇合適的電纜類型,目前較為常用的電纜如下。

4對屏蔽或非雙絞線纜; 
62.5/125μm多模光纖;
8.3/125μm單模光纖;
100Ω大對電纜;
75Ω寬帶視頻同軸電纜。
在《綜合布線系統工程設計規範》(GB50311—2007)也對垂直子系統的安裝工藝做出了具體指導,垂直通道穿過樓板時,最佳部署模式為電纜豎井方式,並對電纜井的寬度、高度、線纜的捆紮做出指導,如果線纜的數量較少也可采用電纜孔、管槽、預埋管路等方式對線纜進行部署,如圖1-8所示。

 


a06f987c52e2fe41308dfda3b68a3830e4c29dcf

在需求分析階段同樣需要和相關部門進行技術交流,對線纜的長度、類型進行詳細的分析判斷,宜采用最短路徑的點—點連接,確保中途無接口,並且要區分強電豎井和弱電豎井,垂直子系統中的管道井嚴格避免出現強電線纜。
(5)水平布線子系統:管理間子系統和工作區子系統的信息連接
水平布線子系統是將工作區子系統通過線纜、模塊連接至管理間子系統。嚴格地說,該子系統和數據中心內部的其他子系統沒有物理線路的聯系,但是它也屬於綜合布線系統的一個部分,這裏只是簡單介紹。
水平布線可選擇的傳輸介質主要有大對電纜、UTP雙絞線纜、STP雙絞線纜、8.3/125μm單模光纖以及62.5/125μm多模光纖,它們有長度的要求,並且還需要考慮工作區子系統所消耗的長度,各段線纜長度的限制如表1-3所示。

 


524adeca0af8465126fb2bbd57ba59cd6a24937b

該子系統中的線纜是建築主體建設期間,將金屬布線管道或金屬饋線密封到現澆混凝土中,後期節點的更改會非常復雜,牽扯的人力成本和施工成本會非常高,甚至會影響整個建築內的信息通信,因此在設計階段需要仔細規劃信息點的位置,並對未來的擴容做出前瞻準備。
(6)工作區子系統:水平布線子系統與終端設備的連接
從地理位置上講,工作區子系統同水平布線子系統一樣,都是遠離數據中心,但是它們是整個布線系統不可分割的一個組成部分。
從墻面或者地面的信息插座延伸到用戶臺式機、筆記本、電話等終端設備的一個區域,這就是工作區子系統,它也是上層管理系統同用戶的最終接觸,連接的標準接口可以是RJ45的網絡接口,也可以是RJ11的電話接口。
在工作區子系統的設計方面要符合EIA/TIA568A、EIA/TIA568B國際標準,並且每個信息點要有明顯和永久性標識,便於日後維護。

綜合布線系統模型
以上是綜合布線系統中各個子系統的說明,下面通過圖片(見圖1-9)對各個子系統進行全面詮釋。

 


<a href=https://yqfile.alicdn.com/e870917b388bad9d3bc81e6293a2932c5d21ed4f.png
" >

規範的布線系統設計會使運維、管理工作變得相對簡單,但是面對未知的單點故障仍然需要及時的手動排除。通過Fluke等尋線工具來查找問題點會延長故障排除的時間,因此有些數據中心就通過紙文檔、電子表格或者關系型數據庫來記錄網線連接所對應的配線架模塊和交換機端口等信息,這給運維帶來很多便利,但是這種維護依然很被動。
智能下發完整的MAC過程表(MAC即Move、Add、Change),自動檢索網絡連接並生成網絡平面拓撲,實時檢測網絡運轉狀況,發現未知接入或者關鍵線路脫離自動向運維人員提供語音、短信、郵件等告警通知,如果通過系統可以滿足上述要求,無疑會大大減少IT運維的時間和成本支出,智能布線系統就是從這些運維焦點出發進行網絡環境的智能管理。
合規的建設和部署會使網絡的隱患降至最低,智能化的運維可以使故障的排除效率大大提升,網絡的環境也會因此而大為改變。
1.4.3 電源管理設計
“電力中斷了!好吧,我們可以休息了!”
電力中斷意味著所有的設備都停止運行,所有的服務都不再供應,整個企業的信息化運作都將停歇,這會對企業的業務進展造成沈重的打擊。任何人都不希望這樣的狀況發生。
然而,這只是電力系統的一個方面,面對不穩定的瞬間高電壓、瞬間低電壓、電湧,隨時隨地都會出現的靜電,還有雷暴天氣那些捉摸不定的閃電,都可能會對電力的供應、設備的安全造成致命的打擊,這就要求我們在電源管理方面下足工夫,將安全隱患降至最低,同時在危險行為出現時有一套可行的安全機制來緊急處理。

UPS,不間斷電源
沒有UPS的數據中心難以生存,且不說停電後難以維系正常的電力供應,就連平日看似平靜的市電輸入也會帶來電磁幹擾、高壓浪湧、諧波幹擾、電壓跌落、波形畸變、電力汙染等一系列不穩定因素,UPS的部署在電力管理環節首當其沖。
UPS系統的部署首先是預算方案的評估,電力中斷企業每分鐘的損失會是多少?很顯然,10 000RMB/分鐘的損失和100 000RMB/分鐘的損失所要求的預算會有很大差異。接下來還要評估數據中心內的所有用電設備的電源功率總和,計算出需要的安時(AH)。
中小型數據中心的可用性要求較低,一般會選擇單一UPS負載,大型數據中心更願意使用多組UPS通過並聯或者串聯的方式實現冗余UPS負載,N+1冗余、N+2冗余、2N冗余、2(N+1)冗余可滿足不同的可用性需求。隨著數據中心的不斷增長,對UPS的性能也提出了進一步的要求,UPS正在向模塊化方向轉型,如圖1-10所示。
在模塊結構方式中,UPS采用高頻結構,取消了諧波濾波器和輸出變壓器,其工作效率與傳統的單機UPS相比提升5%,同等技術指標下,效率的提升意味成本的減少;這種模塊化UPS提供了良好的擴展功能,UPS在線情況下可以實現熱插拔和熱更換,實現了電力的持續供應。在管理方面,提供放電模糊調節、電池均衡性檢測等智能技術,在負載、電池補償方面為UPS提供了更多的幫助;在信息預警方面,其自身攜帶的系統會向指定服務器發送工作日誌、故障信息、充放電時間的事件,便於管理人員審核,當遭遇電池溫度偏高等異常狀況時,系統會通過短信、E-mail等方式通知管理人員,並繪制詳細的圖形化表格以供管理和運維人員參考及排錯。

雙市電輸入
UPS可以提供暫時性的電力支撐,UPS的安時越高,電力持續運行的時間也就越長,但是如果長時間的市電中斷,單靠UPS顯然維持不了數據中心的使用要求。
雙市電可以保證一條市電電路出現故障或者超載時,另一條電路可以迅速予以接管,保證電力系統不會中斷。它的設計理念為:主市電電路和備用市電電路同時連接在負載切換開關上,正常工作狀態時,主電路為數據中心提供正常電壓範圍內的負載,當它發生故障時,所有的電力負載切換到備用電源,當主電路故障排除後,再將負載切換到主電路。
這個接管過程如果靠手動來完成會造成單點瓶頸,即UPS系統的供電和雙市電負載不匹配,手動切換會導致維護時間的延遲,因此數據中心需配備自動負載切換系統,依靠其自身攜帶的輔助電源冗余設計和全數字化控制技術來完成自動切換工作,解決單點瓶頸問題,如圖1-11所示。


459d91f7c02749d9dea38ca049c9dfb27d89a868

一般來說,自動切換時間非常短,一般只有5ms~15ms,不會對數據中心IT類設備造成任何的壓力,同時它可以實現不同輸入電源間的不間斷切換,非並聯UPS的N+1冗余系統、不同容量、不同型號UPS的N+1冗余系統, 還可以進行市電和發電機的冗余系統切換。
《供配電系統設計規範》(GB50052—2009)負荷分成了三個等級,分別為:一級負荷、二級負荷、三級負荷。中斷供電將會造成人身傷亡,或者在經濟上造成重大損失定義為一級負荷,並指出一級負荷應由雙重電源供電。對於大型、超大型數據中心,需要保證7×24小時不間斷供應,如電力中斷會給企業甚至社會帶來一定程度的影響,需要滿足一級負荷要求。

備用柴油發電機
金融、證劵、通信等提供公眾業務行業,或者大型企業的數據中心,它們的業務關鍵性、連續性要有嚴格的保障,因電力系統中斷導致的信息服務停止是不可忍受的,因此這些數據中心在配備了UPS和雙市電輸入外,還有另一重保護——備用柴油發電機。
Google在愛荷華州數據中心部署了30多臺發電機,用以應對未知的電源中斷行為。也許柴油發電機在數年之內也未必使用一次,但一旦使用所避免的損失將非常可觀,另外信息系統不會中斷,也免去了不少負面的影響。
通過備用柴油發電機,當市電中斷發生時可以自動將UPS、冷卻系統、照明系統等電力負載切換到柴油發電機,防止UPS電池耗盡造成的電力中斷,這就對柴油發電機提出了幾點要求。
首先是功率,當電力中斷時需要將所有的IT設備、冷卻系統、照明系統的負載切換到柴油發電機,需要計算數據中心內所有設備的需求功率,根據電壓調整率、頻率調整率等指標計算最合適的功率。由於柴油發電機的連接方式多數是“市電-發電機-UPS系統”,為了滿足UPS輸出滿載、UPS電池組充電功率、電源的最大峰值等需求,建議前級供電系統的容量要在後級用電設備的容量基礎上增大10%~20%的預留。
其次是維護與保養,為保證發電機組的長期安全、可靠運行,要求定期檢查發電機電池組的電壓及內阻、空氣過濾器、冷卻液、燃油、機油液位以及排煙系統和控制系統的工作狀態,並需要定期保養,更換機油、三濾等配件;每三個月或半年定期進行發電機組空載、帶載測試,以及不定期的電網封鎖、模擬演習等測試,保證柴油發電機組在危險行為發生時可以靈活應對。
最後需要註意的是燃料,燃料受到汙染或者質量退化容易使過濾器阻塞,油缸雜物堆積,長此以往會對設備造成長久的損壞,加大維護和保養的成本,因此選擇柴油原料也要仔細甄別。

數據中心專屬電源接口
數據中心擁有UPS對電源進行濾波和保護,但是UPS和各個機櫃的電源連接依靠普通的電源插座也會存在著潛在的危險,普通的插座對電源的保護措施非常少,必須使用專業的機櫃電源來連接各個設備。
PDU(Power Distribution Unit,機櫃電源插座),一般是1U的結構,通常安裝在機櫃的後部,為機櫃內服務器、網絡和存儲等設備提供電力支持,同時它還具有如下優點。

最大耐沖擊電流大於或等於20kA,限制電壓小於或等於500V,防護能力良好;
擁有EMI濾波防護、過載防護等功能,有效防止非正常工作的頻率進入電網,以及兩極超負荷過載狀況發生;
三位半LED電流表顯示功能,方便數據中心管理人員監視和管理;
適合GB1002、GB2099.3國內標準,兼容性廣。
同時,PDU還對接地電阻、飛狐、擊穿等電源問題提供很好的保護,如圖1-12所示。

 


d913cbbfd0831a845192be498e61b5dbdb33553b

相對於PDU還有更智能的設備,那就是Reachctrl Power,也稱為智能電源、遠程電源管理器。它對電源的管理更智能,方式也更新穎,如圖1-13所示。


<a href=https://yqfile.alicdn.com/d2e9a80795fcf5e293857547b34e455f491f5a01.png
" >

它配備一個網絡接口,通過RJ-45連入公司網絡,當需要進行遠程管理時,打開瀏覽器登錄Reachctrl Power的後臺管理界面,就可以對其下屬的設備進行打開、關閉、重新啟動等操作,即使在數千裏的外地也可以通過VPN來遠程控制和管理電源。
在管理後臺,Reachctrl Power提供的功能還不僅限於此,它可以監視在線用電設備的電流、電壓等工作狀態;按照接口進行授權管理,任一電源接口都可以指定管理人員,防止誤操作現象發生,同時還擁有強大的日誌審核功能,異常報警行為和電源的所有操作都有章可循;它還可以通過E-mail或者短信的方式將電源的異常狀況發送給管理人員,以便及時處理;還針對Windows平臺和Linux平臺提供了Safe-shutdown功能,確保所有的服務器可以實現安全的關機行為。PDU和Reachctrl Power在電源的純凈、穩定、管理方面提供了很多幫助。

接地系統
電子設備容易受到人體靜電、電磁波的幹擾致使設備、數據、人體受到破壞,需要將數據中心內部的異常電量傳導到安全場所,這就要采用接地系統。
接地系統就是將設備的金屬殼體或線路通過導體連接至大地,形成電氣通路,異常電量可以通過這條通路引入大地,有效地保護了設備和人員安全。
根據實現的目標不同,數據中心的接地系統主要分為以下幾種。

防靜電接地:人體會攜帶大量的靜電電荷,尤其是天氣幹燥的冬季,防靜電接地就是將人體靜電電荷導入大地,避免電子設備被擊穿或者人體受到傷害。
屏蔽接地:電子設備內部會產生電子幹擾,設備之間也會產生相互的外部電磁幹擾,通過屏蔽接地將內部和外部電磁幹擾導入大地。
安全保護接地:屏蔽接地保護設備的安全,安全保護接地則更多地捍衛人身的安全,電氣設備絕緣層損壞會產生觸電電壓,安全保護接地將電子設備暴露在外的可導電部分接入大地,以保證人員的安全。
直流工作接地:保證信號穩定傳輸,屏蔽磁場、噪聲的幹擾,將電源地線與地面相連,形成一個很小的接地電阻,保持穩定的零電位。
交流工作接地:將交流電源的地線與交流電動設備的接地點(如發電機)連接在一起,再接入大地。
部署接地系統時根據導體長度及頻率可采用單點(S形)等電位連接網、多點(M形)等電位連接網或者混合接地的方式。當導體長度小於或等於0.02λ,工作頻率小於30kHz,建議選擇單點(S形)等電位連接網;當導體長度大於0.02λ,工作頻率大於30kHz,建議選擇多點(M形)等電位連接網;工作頻率為30kHz~300kHz之間時則可采用混合接地的模式。

防雷系統
如果仔細劃分,防雷系統也算是廣義上的接地系統,但是雷電對數據中心的沖擊要遠大於靜電、電磁幹擾。
“雷電”主要是直擊雷和感應雷,前者是:閃電與避雷針→建築物→大地產生的快速放電,速度快,能量大,主要通過避雷針來傳導直擊雷;後者則是束縛電荷轉變成靜電電荷,通過導體泄入數據中心,產生靜電感應雷來破壞電子設備,或者在雷電流周圍產生的強磁場,在導體上形成很強的電動勢,形成電磁感應雷,當電動勢凝聚過高時,產生電火花擊穿設備。
在數據中心中主要防範的就是感應雷,需要在配電櫃和UPS前安裝電源防雷器,對基礎設施進行內部保護;對於暴露在室外的網線、光纖、微波的通信線路也需要加裝防雷保護裝置,光纖采用光端機,網線和微波采用防雷交換機來進行保護;還需要在數據中心內建設防雷接地,並與靜電接地分別建設,避免防雷接地的強電流產生回路損壞其他設備。
電力的管理涉及方方面面,這裏介紹一下數據中心最常用也是必備的設備和系統,其他的一些附屬設備也要按需部署,如SBP(手動維修旁路模塊)、基於SNMP協議的電池在線性能檢測系統、服務器的2+1電源冗余、2+2電源冗余。
對於數據中心的電力系統沒有孰重孰輕的概念,需要部署一個適合企業可用性指標的電力支撐環境。

溫室效應近幾年愈演愈烈,面對不斷飆升的室外溫度,數據中心承受的壓力可想而知,僅僅依靠空調進行冷卻循環的數據中心已經淡出人們的視野,它不僅為企業帶來大量的電力流失,還是數據中心高排放的始作俑者。不管是出於成本優化考慮,還是出於社會責任感,很多企業在冷卻系統設計方面都進行了更多的規劃。
數據中心冷卻系統是熱交換系統冷源(制冷系統)和熱源(發熱系統)的總稱。傳統的數據中心還是依靠精密空調(大風量、小焓差)來完成復雜的冷熱轉換,但是精密空調不能將所有的冷空氣調動起來,難免會造成環境熱區或者機櫃內熱死區的狀況。精密空調雖然需要,但是它已經不再是數據中心冷卻系統的主宰。熱源的確立、冷源導流和針對性的處理措施似乎更有效,下面介紹數據中心在冷卻系統方面的設計。

合理設計
我們知道,氣只有流動和循環才能將熱源帶離所在位置,如果數據中心機櫃擺放、通道的設計不合理,會導致非常大的熱交換阻力。如圖1-14所示,傳統冷卻設計中,空氣的流通是在數據中心的大環境中進行,循環通道的溫度會較低,但是機櫃的維護通道溫度會較高。如果精密空調和機櫃的距離較近,還會造成氣流對撞,產生更大的氣流動壓阻力,需要更多的冷源流動,也間接地耗費大量的能耗資源。在傳統模式設計中可以明顯感覺到數據中心的冷卻資源分配不均衡,看似整體環境溫度較低,但是最需要冷熱交換的機櫃卻依然承受著熱負荷的壓力,這需要有所改變。

 


82481d5f115659b82411d1109ff159fb4ed8f814

數據中心的熱點是裝滿服務器或者存儲設備的機櫃,機櫃的溫度下降會使數據中心整體熱負荷降低,機櫃的前後門散熱孔會將熱量導出,“背靠背、面對面”布局的機櫃組之間的通道會產生大量的熱,故需要對通道的氣流進行引導。
在防靜電地板下建立冷通道,並連接到機櫃的前部,在機櫃的後部建立熱通道,連接至精密空調的回風口。冷熱通道技術為兩股氣流建立不同的路徑,避免了冷熱氣流相互幹擾,並規定了氣流的正確走向,這樣會使氣流的阻力大大降低,熱量傳導更加有效,熱回收產生的顯熱交換效率有了顯著的提升。

智能管理
虛擬化技術已經開始了自動化的航程,當物理服務器A中某個虛擬服務長期不用時,管理平臺會自動將負載遷移到物理服務器B中,電源優化和動態優化功能會讓服務器A保持在低功率的狀態,也就是說物理服務器A的耗電量和產生的熱量大幅減少;當數據中心的需求在某一時間段激增時,所有的服務器都要保持滿載的狀態,這個時候高耗電和高熱量會同時回歸。
手動去調節溫度嗎?相信這不是管理人員的最佳選擇。
在數據中心,需要部署智能化的溫度控制系統,用以調節冷風的速度和大小。首先,在機櫃內部安裝部署熱傳感器,可以實時收集機櫃中的溫濕度等環境數據,並傳遞給數據中心的溫度控制平臺。當溫度超過警戒閾值上限時,調節系統自動輸送冷風流量,反之亦然。這種交互式的智能溫度控制系統減輕了熱負荷壓力,也降低了能源消耗成本。
權威部門計算,智能溫度控制系統使數據中心的PUE(Power Usage Effectiveness,數據中心能源效率的比值)有大幅優化,甚至可以接近1.6。

精密空調的部署
雖然說精密空調不是冷卻系統的唯一,但它仍然是支撐冷卻系統不可或缺的重要環節。主流的精密空調有風冷空調系統和水冷空調系統。
風冷空調系統進入市場的時間比較早,原理比較簡單,一般采用渦旋壓縮機方式進行制冷,它的購置成本較低,能效比也相對較低,甚至PUE會接近3,同時部署比較復雜、容易受到室外因素影響,室外長期高溫容易造成空調系統停止運行,因此風冷精密空調多用於中小企業的數據中心環境。
水冷空調系統通過冷卻塔循環水將數據中心內部的熱量排到室外,水冷技術主要依靠冷卻塔,根據冷卻塔通風方式、熱水和空氣的接觸方式、流動方向、用途、噪聲分為多個種類。較常用也較環保的要數自然通風冷卻塔,它使用的是自然環境的冷空氣進行制冷,減少空調壓縮機或冷凍機的消耗,在低溫時間較長的區域非常適合這種技術。但自然風冷技術也有一定的缺陷,自然空氣的濕度不容易控制、潔凈度需要精細過濾、室外溫度過低容易造成結露、凝聚現象,且無法保證全年氣溫相一致。
因此水冷空調系統一般會是應用自然通風冷卻塔、機械通風冷卻塔或者混合通風冷卻塔,以保證多方面的需求。
在部署精密空調前期還要計算數據中心內部的單位制冷量,即每平方米的平均制冷量,再根據數據中心的使用面積核算出整體制冷量。如果難以準確核算,可以增加5%~10%的制冷加權。還需要考慮空調系統損壞給數據中心帶來的麻煩,需要配備冗余空調來保證整體制冷效果。

背門熱交換器
水冷空調系統是針對整個數據中心進行制冷,而背門熱交換器則是將焦點匯聚在單一的機櫃,它的工作原理是這樣的,在機櫃背面安裝一個裝滿“水”的門,服務器、存儲、網絡設備所散發的熱量直接傳遞到這個背板“水門”之上,水對熱量的傳導效率是非常高的,因此這種方式可以快速降低機櫃的溫度,熱效率與傳統機櫃相比提高一倍以上。
我們可以將所有高密度的機櫃部署背門熱交換器技術,並通過冷熱通道技術進一步傳遞熱源,數據中心的溫度控制會有很大改善。

維護與保養
設備的定期維護與保養可以延長其使用壽命,對於精密空調需要定期檢查空氣過濾器、鼓風機皮帶、軸承、電動機、壓縮機、冷卻塔等關鍵部位;對於背門熱交換器需要定期查看水門的水量,是否有漏水的跡象,以便及時更正;對於冷熱通道,要時刻註意設備的增減、密度的大小,通過調整設備的數量和位置來使冷熱通道長期擁有良好的效果。
並對每一項設備進行統一的記錄,對於超過使用年限的設備要及時更換,避免因某一個小環節的失誤造成整體的冷卻系統失效。

下一代冷卻系統
數據中心的發展腳步不會停滯,很多CIO也不可預判到未來數據中心的發展高度,也無法想象到未來的冷卻環境,但隨著技術的發展,很多以前看似不可能實現的技術如今也已經進入數據中心的大環境中。
集裝箱、模塊化的數據中心正在慢慢地成為主流,它的冷卻環境已經打破了傳統的模式,隨著集裝箱、模塊化逐漸吞噬傳統數據中心市場份額,冷卻系統也將發生翻天覆地的變化。谷歌的“water-based datacenter”將數據中心部署在停靠岸邊的船上(見圖1-15),依靠海水和潮汐進行發電,為數據中心提供電力資源,同時為冷卻水泵提供水流和電力,降低數據中心的熱負荷,所有這一切都是通過自然的力量來完成,低碳、環保的同時,也為企業贏得了競爭力。
相信類似這樣的技術會逐漸成為下一代冷卻系統的關鍵核心。

 


dbb61d717cadfa446bc0dde6c9dd471f2812d028

最後還要提及一點,對數據中心的“熱”我們給予了太多的關註,但是對於數據中心的“冷”相信是很多管理人員所忽視的,如果數據中心的溫度過冷也會造成一定的危險行為的發生。
在冬季,如果室外溫度極低,並通過某些途徑泄露至數據中心內部,霧氣會伴隨冷空氣慢慢地附著在設備上,產生結露、凝聚現象,這會使電子設備生銹,或者產生環路擊穿電子設備;對於網線、光纖、電源線等絕緣材料會面臨變脆、折斷的危險,它也會影響UPS的充放電,降低其使用壽命。對於數據中心的“冷”也是要防範和解決方案。
服務器、交換機、路由器、存儲、UPS等電子設備每時每刻都在散發著熱量,數量龐大、種類繁多、密度不均的分布讓熱負荷難以捉摸,溫度的掌控難度要遠遠大於想象,多個維度的思考和運維有助於我們進行針對性的解決。這不僅僅能使設備的運行狀態達到最佳,還可以進一步降低數據中心能耗資源,這是一場“雙贏”的工作模式,值得我們努力地運維。
1.4.5 安防系統設計
安防系統就是安全防範系統(Security & Protection System,SPS)。數據中心是企業信息的命脈這不可否認,當我們將所有的資源和設備全部部署到位時,自然希望這些設備可以安全運轉,避免遭受他人的惡意破壞,同時也希望能實時地監控數據中心內的所有資源,一旦有異常狀況發生,可以及時通知數據中心管理人員。
如此復雜的系統不是簡單的幾個模塊就能完成的,需要針對數據中心內部所有的公共安全給出不同的解決方案。

門禁系統
數據中心的進出與滯留時間都需要嚴格的管控,門禁系統就是對哪些人、哪些時間段、哪些區域的門進行權限控制,並對授權者的進出信息全程記錄,如圖1-16所示。
 


faf5283bf19885e4d8a07e4dbf31a30fc9d7e8b1

門禁系統主要通過服務器及相關門禁系統、網絡門禁控制器、電子鎖頭、IC卡或者指紋進行控制。它的工作流程為:在管理平臺錄入授權人員信息並上傳到門禁控制器,授權人員可以在權限範圍內進出指定地點。
這是門禁系統的基本功能和流程,目前主流的門禁系統還可以提供更多的附加功能。

數字輸入功能:可通過控制器的數字鍵輸入授權密碼進入數據中心。
聯動功能:授權進入數據中心後,照明燈、授權機櫃的門禁自動打開、地面感應系統自動關閉,這有點類似《碟中諜》的安全防範措施,這一切都是依靠聯動自動觸發功能完成。
詳細記錄備案:不僅僅記錄授權的刷卡信息,還可以對非法卡、強行闖入的行為進行報警,或者通過反脅迫等報警功能告知管理人員及時處理。
氣體消防系統
數據中心放置了大量的電子設備,UPS能過濾掉多數電源雜質,但是設備的老化、線路的受損等意外事故會造成火災的發生。由於電子設備的“恐水”因素,即便是數據中心發生意外火情,管理人員不會用水來進行撲救,這個時候就需要通過氣體消防系統來進行火災的預防和治理。
目前數據中心較為常用的氣體消防系統是七氟丙烷(HFC-227ea),這是以化學滅火為主,物理滅火為輔的消防系統,它無色、無味,對人體沒有傷害,不導電、不產生汙染,ODP(臭氧消耗潛能值)值為零,非常適合應對貴重設備、精密電子設備的火災撲救,如圖1-17所示。


37179dbb3c1300f0495dfa5ef5d17da8104ce0e5

氣體消防系統主要分為固定式滅火系統、半固定式滅火系統和移動式滅火系統;按其用途分為全充式滅火系統和局部應用滅火系統。對於數據中心環境來說,建議使用固定全充式滅火系統。
將七氟丙烷鋼瓶放置在消防專屬區域,通過系統管網連接各個鋼瓶,再與數據中心頂棚的消防噴頭連接,當感煙探測器、感溫探測器檢測到火災發生時,氣體消防系統將七氟丙烷滅火劑噴出,通過窒息的方法阻斷著火的化學反應。
由於火災的發生不會受到任何因素的控制,因此必須采用自動滅火系統,這就需要將光電探測器、感煙探測器、感溫探測器共同聯動,發生火情時自動響應,同時系統還需要保證在火情撲救的同時通過語音、短信等形式告知數據中心管理人員。
另外,部署氣體消防系統還需要對數據中心面積、七氟丙烷容積進行評估、充裝壓力也要根據面積進行填充,設定的噴射時間也要盡可能地縮短,保證及時撲滅火情。並且需要定期檢查消防系統使用狀況,保證任何時候都可以正常運行。

數字監控系統
電子設備的輻射和無休止的噪音,註定數據中心內部不適合人員長期逗留,但是數據中心的運轉狀況還需要管理人員的實時掌控,這就需要數字化的監控系統來協助解決。
數字化監控系統是在數據中心內部的不同區域、不同角度安裝監控頭,通過軟件、硬件、網絡將采集到的視頻圖像信息轉換成數字信號,再傳遞給指定服務器,通過監控系統可使運維人員遠離數據中心的情況下監視內部的運行狀況。隨著技術的深入發展,該系統不僅僅提供簡單的監視功能,配合網絡和系統平臺提供了更加人性化和高端的管理能力。
在這裏管理和運維人員不必守在監視器旁邊觀察數據中心內部環境,只要擁有網絡連接,即可查看授權範圍內的圖像信息;其智能化的管理可以通過軟件執行各種監控和報警工作,可以設定防火、防盜、設備運轉故障、危險事故等多種報警源,同時產生聯動效果,觸發應急照明、自動錄像,通過警報器和電子郵件的方式通知值守人員和管理人員;同時數字化監控系統采用基於以太網的數字攝像機,在任何地點只要擁有網絡即可添加新攝像頭,擴展性和兼容性良好。
數字化監控系統讓數據中心內部的所有行為盡收眼底,對危險行為的發生起到了預防作用,也可在危險行為發生過程中第一時間獲得警示信息,便於第一時間排除,通過自動錄像還能追溯到危險行為的源頭,監控系統在數據中心必不可少。
數據中心是企業信息系統的支撐,是企業信息戰略的基石,在現代企業中越來越離不開信息化服務的今天,數據中心的規劃和設計階段需要投入大量的精力,不僅需要從某個“點”來建設數據中心,還要從整個“面”審視每一環節。
全面的考量和部署會讓未來的管理和運維工作變得簡單,也會使功能的擴展、服務的轉型變得更加順暢。

延伸阅读

    评论