云計(jì)算、5G、物聯(lián)網(wǎng)、人工智能等新技術(shù)的快速應(yīng)用,以及傳統(tǒng)產(chǎn)業(yè)的數(shù)字化轉(zhuǎn)型加速,帶來海量數(shù)據(jù)的規(guī)?;奂琁DC預(yù)測,到2025年,全球數(shù)據(jù)量將達(dá)到175個ZB。快速增長的數(shù)據(jù),層出不窮的數(shù)據(jù)形態(tài)、不斷變化的部署環(huán)境、隨時出現(xiàn)的安全隱患等,都對存儲技術(shù)發(fā)展提出了新的要求,成為企業(yè)存儲基礎(chǔ)設(shè)施管理面臨的一項(xiàng)巨大挑戰(zhàn)。
一方面,企業(yè)疲于應(yīng)對上述挑戰(zhàn),不得不持續(xù)投資擴(kuò)充和升級存儲系統(tǒng),另一方面,由于各種規(guī)劃和管理等方面的不足,導(dǎo)致現(xiàn)有存儲空間不能有效利用,造成浪費(fèi),這已經(jīng)無法滿足當(dāng)下雙碳戰(zhàn)略的要求。而中國電信天翼云歷時五年推出的存儲資源盤活系統(tǒng)(HBlock),有效地化解了上述難題,堪稱數(shù)據(jù)存儲領(lǐng)域的一大創(chuàng)新。
在“2022分布式存儲線上峰會”上,中國電信集團(tuán)有限公司云計(jì)算首席
專家 江峰在主題演講中講述了HBlock是如何盤活存儲資源、助力雙碳戰(zhàn)略的。
數(shù)據(jù)中心如何面對“雙碳戰(zhàn)略”
“雙碳”戰(zhàn)略,是指為承擔(dān)解決氣候變化問題中的大國責(zé)任,我國提出“雙碳”目標(biāo),“二氧化
碳排放力爭于2030年前達(dá)到峰值,努力爭取2060年前實(shí)現(xiàn)
碳中和”并且戰(zhàn)略已連續(xù)兩年寫入了中國的政府工作報告。
在IT和互聯(lián)網(wǎng)領(lǐng)域,數(shù)據(jù)中心是典型的能耗大戶。
最新數(shù)據(jù)顯示,2020年國內(nèi)數(shù)據(jù)中心年耗電量為2045億千瓦時,占全社會用電量的2.7%;在數(shù)據(jù)中心,IT基礎(chǔ)設(shè)施總能耗占比約為50%,作為其主要組成的服務(wù)器系統(tǒng)、存儲系統(tǒng)和網(wǎng)絡(luò)通信設(shè)備用電分別占到其中的50%、35%和15%;空調(diào)制冷設(shè)備、供配電系統(tǒng)、照明以及辦公等其他能耗占據(jù)另外一半。
數(shù)據(jù)中心巨大的耗電量,給科技發(fā)展提供基礎(chǔ)設(shè)施的支撐下,也給電力供應(yīng)帶來前所未有的挑戰(zhàn),也加重了環(huán)境污染。
顯然,“雙碳”給IT及數(shù)據(jù)中心提出了很大的挑戰(zhàn)。
如何降低數(shù)據(jù)中心能耗?江峰表示,對策者之一是降低制冷系統(tǒng)本身的能耗,如更優(yōu)質(zhì)的空調(diào)設(shè)備、更科學(xué)的冷風(fēng)通道等,其二是提升IT系統(tǒng)本身的利用率。
近20年來,虛擬化逐漸從實(shí)驗(yàn)室走出來,進(jìn)入了主流的IT生產(chǎn)環(huán)境。虛擬化實(shí)際上是把物理的服務(wù)器從一個操作系統(tǒng)虛擬成多個操作系統(tǒng)、多個物理機(jī)給不同的用戶同時使用,提高了這臺物理機(jī)硬件資源的利用率。這是在計(jì)算領(lǐng)域?qū)崿F(xiàn)提升資源利用率來降低能耗一個典型的例子。
“提升利用率、提升簡便性是IT發(fā)展的趨勢。但在存儲領(lǐng)域,能不能用同樣的方式提升服務(wù)器存儲資源利用率、以及部署和使用存儲資源的效率呢?”江峰表示,這在以前是沒有的,但今天,隨著HBlock的問世,情況發(fā)生了變化。
HBlock:一款革命性的存儲產(chǎn)品
HBlock是中國電信天翼云推出的一款革命性的存儲產(chǎn)品,通過它實(shí)現(xiàn)把服務(wù)器中的存儲資源盤活。只要在應(yīng)用層安裝上HBlock這個軟件,就可以把底層一臺或多臺服務(wù)器里硬盤的剩余空間打包,形成一個高可用、高性能的分布式存儲,企業(yè)無需花額外投資,就可以把內(nèi)部閑置的存儲空間利用起來對外提供服務(wù),可以充分盤活企業(yè)存儲資源,帶給用戶完全不一樣的體驗(yàn)。
一個研發(fā)小故事
HBlock作為中國電信天翼云純自研的一款革命性存儲產(chǎn)品,產(chǎn)品設(shè)計(jì)里包含很多專利性發(fā)明創(chuàng)造,“自適應(yīng)性時鐘同步方法“就是其中一個。
HBlock是面向弱算、弱網(wǎng)等不可靠環(huán)境設(shè)計(jì)的一款存儲產(chǎn)品,而這類不可靠環(huán)境中的時鐘一致性問題是一個難題。業(yè)內(nèi)傳統(tǒng)做法是采用中心聚合的時鐘同步方案,比如NTP協(xié)議、GPS等,但是此方法成本較高,且存在單點(diǎn)故障的可能性。
HBlock研發(fā)團(tuán)隊(duì)經(jīng)過精密的設(shè)計(jì)和針對各類企業(yè)應(yīng)用場景環(huán)境的復(fù)雜實(shí)驗(yàn),最終設(shè)計(jì)出了一種不依賴NTP協(xié)議等技術(shù),可以自適應(yīng)不可靠執(zhí)行環(huán)境的全局一致性時鐘同步方法。這種自適應(yīng)的時鐘同步方案使企業(yè)內(nèi)的待盤活存儲硬件不受區(qū)域、網(wǎng)絡(luò)等限制,同時有效降低時鐘同步成本、提升存儲系統(tǒng)的整體可靠性,這使得HBlock具備更廣泛的適用性。
江峰表示,HBlock具有四大特點(diǎn):
一是兼容業(yè)務(wù)。HBlock以進(jìn)程化的方式運(yùn)行,無需獨(dú)占服務(wù)器;安裝好HBlock軟件之后,在不影響先前所有任務(wù)運(yùn)行的同時,就推出了一個分布式存儲對外提供服務(wù),實(shí)現(xiàn) “一機(jī)多用、資源共享、科學(xué)共存“,從而有效提升服務(wù)器資源利用率。
二是易用性很強(qiáng)。HBlock通用市面上包括x86、ARM、MIPS等各種標(biāo)準(zhǔn)化的服務(wù)器,支持Linux2.6以上的操作系統(tǒng),安裝使用時無需對內(nèi)核和操作系統(tǒng)做任何修改。
三是雙控制器。獨(dú)創(chuàng)的分布式雙控架構(gòu),使HBlock可以通過增加節(jié)點(diǎn)的方式實(shí)現(xiàn)宏觀上橫向擴(kuò)展的同時,微觀上對每個邏輯卷都提供了雙控,對于客戶端而言,在使用這個邏輯卷的時候可以享受到雙控帶來的高可用和低時延,能夠?yàn)殡S機(jī)寫實(shí)現(xiàn)高性能的糾刪。
四是極高的環(huán)境可靠性。HBlock能夠在弱算、弱網(wǎng)、弱盤這樣的不確定環(huán)境中使用,極端條件做到數(shù)據(jù)不丟、服務(wù)不停,數(shù)據(jù)從客戶端直接落盤,規(guī)避斷電情況下因數(shù)據(jù)寫入內(nèi)存但未寫入硬盤導(dǎo)致的數(shù)據(jù)丟失事故,當(dāng)數(shù)據(jù)中心遇到因限電斷電等不可抗力導(dǎo)致的服務(wù)器宕機(jī)的情況時,存儲資源盤活系統(tǒng)可以在供電恢復(fù)、服務(wù)器重啟后無縫恢復(fù)至斷電前的運(yùn)行狀態(tài),具備可靠的自愈能力。
HBlock是一個只有140MB大小的壓縮安裝包,堪稱世界上第一個能夠把企業(yè)級分布式存儲做到如此小巧容量的軟件,在低至單核、2GB的空間內(nèi)就可成功安裝,從下載、安裝到初始化,僅需一杯茶的時間;部署,學(xué)習(xí)、操作、管理、維護(hù)非常簡單,成本極低。
作為一款滿足“低碳”場景要求的硬核存儲,HBlock設(shè)計(jì)了節(jié)能模式:一方面,策略性的讓一部分硬盤工作,一部分硬盤休眠。在硬件系統(tǒng)硬盤進(jìn)入休眠時,節(jié)能模式會調(diào)整數(shù)據(jù)分布機(jī)制,策略性地選擇出部分硬盤處理新寫入的數(shù)據(jù),減少對其它硬盤的IO操作,以便其它硬盤維持或進(jìn)入休眠狀態(tài),讓盡可能多的硬盤保持低能耗的休眠模式。
一個典型的應(yīng)用
HBlock已經(jīng)服務(wù)了不少的客戶。以中國電信天翼云服務(wù)的某企業(yè)項(xiàng)目為例。原本該企業(yè)機(jī)房購置了一批服務(wù)器,用于運(yùn)行大數(shù)據(jù)
平臺業(yè)務(wù)。大數(shù)據(jù)
平臺的服務(wù)器計(jì)算和存儲資源配比相對均衡,存儲硬盤的容量較大。但由于前期規(guī)劃的原因,大數(shù)據(jù)平臺沒有得到充分應(yīng)用,所以整體負(fù)載較輕利用率約為30%,而存儲資源的利用率不足10%。后該企業(yè)因云平臺業(yè)務(wù)需要,急需擴(kuò)展企業(yè)存儲服務(wù)器提供存儲能力,而傳統(tǒng)的辦法是購置專用的存儲,這意味著又是一筆巨大的開支。
該企業(yè)把HBlock下載到了100多臺大數(shù)據(jù)服務(wù)器上解壓運(yùn)行,不到半天的時間,全部服務(wù)器閑置的存儲空間都被盤活,形成一個個高可用、低時延、高性能的分布式存儲資源池,從而滿足上述私有云建設(shè)的需求。該方案不僅快速把資源盤活起來,徹底解決用戶痛點(diǎn),而且無需額外服務(wù)器和硬件采購,減少了機(jī)房的能源開銷,極大地縮短企業(yè)項(xiàng)目建設(shè)周期,受到了企業(yè)的高度好評。
良好的收效、廣泛的應(yīng)用前景
江峰介紹,HBlock是中國電信天翼云自主研發(fā)的成果之一。初步統(tǒng)計(jì),該方式無需增加服務(wù)器,為企業(yè)降低能耗約28%,制冷方面也隨之降低約28%,且在盤活資源的基礎(chǔ)上有效節(jié)省機(jī)器成本、節(jié)約能源。
HBlock,不僅是中國電信天翼云的理念和技術(shù)創(chuàng)新,也是存儲領(lǐng)域的一大創(chuàng)新。相信它的推廣和應(yīng)用,能為企業(yè)、為社會和整個國民經(jīng)濟(jì)帶來創(chuàng)造巨大的經(jīng)濟(jì)效益和社會效益。
【版權(quán)聲明】本網(wǎng)為公益類網(wǎng)站,本網(wǎng)站刊載的所有內(nèi)容,均已署名來源和作者,僅供訪問者個人學(xué)習(xí)、研究或欣賞之用,如有侵權(quán)請權(quán)利人予以告知,本站將立即做刪除處理(QQ:51999076)。