人類以日新月異的速度刷新著科技的成果,其中存儲的發(fā)展歷史尤其悠久,堪稱萬年進(jìn)化史。自文明誕生以來,我們就一直在尋求能夠更有效存儲信息的方式,從4萬年前的洞穴壁畫、6000年前泥板上的楔形文字,到今天普及的SSD/閃存,再到對量子存儲、DNA存儲技術(shù)的探索,腳步從未停止。
大數(shù)據(jù)時代下云存儲得到了飛速發(fā)展,其成熟過程始終貫穿著“應(yīng)用的需求”與“技術(shù)發(fā)展的推動”這兩條主線。以硬核實力賦能企業(yè)已成為各廠商競爭的焦點,而在此過程中,存儲領(lǐng)域更成為決定下一代信息技術(shù)成敗的戰(zhàn)略性新興產(chǎn)業(yè)。本期《問底中國IT技術(shù)演變》,我們有幸采訪到阿里云研究員、存儲業(yè)務(wù)負(fù)責(zé)人吳結(jié)生博士,就云計算時代存儲技術(shù)的發(fā)展路徑,以及阿里云智能在存儲領(lǐng)域的產(chǎn)品矩陣、技術(shù)迭代以及未來趨勢等方面,解剖阿里云的存儲技術(shù)演進(jìn)過程,籍此探析整個行業(yè)的發(fā)展趨勢。
存儲演進(jìn)30年 新一代存儲需滿足五大變化
為了滿足企業(yè)針對不同業(yè)務(wù)的多樣需求,現(xiàn)代存儲行業(yè)歷經(jīng)30多年的發(fā)展,迭代出多種存儲產(chǎn)品。例如為解決早期數(shù)據(jù)增長而出現(xiàn)的DAS和SAN,為解決核心應(yīng)用高穩(wěn)定性和高性能而出現(xiàn)的高端存儲,為處理非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的NAS和對象存儲,為滿足彈性部署而衍生出來的軟件定義存儲……
為了更清晰地探究出云計算時代存儲技術(shù)的發(fā)展路徑以及所應(yīng)對的挑戰(zhàn),阿里云存儲業(yè)務(wù)負(fù)責(zé)人吳結(jié)生,根據(jù)阿里云在存儲領(lǐng)域的發(fā)展經(jīng)驗,為我們梳理出存儲技術(shù)的發(fā)展與應(yīng)用方向:
第一,存儲與計算的分離。隨著數(shù)據(jù)處理對存儲需求和計算需求在規(guī)模、速度、容量和成本等維度的不斷變化,計算與存儲分離可以最大限度地解耦這兩類不同的關(guān)鍵資源,使得各自相對獨立地擴(kuò)展和演進(jìn)。首先,通過解耦,計算與存儲這兩方面可以在云數(shù)據(jù)中心分別獨立擴(kuò)展,提供調(diào)度和資源共享的靈活性,提高資源使用效率,降低成本。其次,計算和存儲的技術(shù)演進(jìn)空間變大,可以更加靈活的針對不同的負(fù)載進(jìn)行優(yōu)化。再次,網(wǎng)絡(luò)技術(shù)的高速發(fā)展、個位數(shù)微秒的延時(latency)、百G級別的帶寬、服務(wù)器之間的邊界越來越模糊,使得計算和存儲分離、分布式存儲等架構(gòu)在穩(wěn)定性和性能等領(lǐng)域變得更加高效和有生命力。
第二,標(biāo)準(zhǔn)化、服務(wù)化與開放化的演進(jìn)路徑。首先,提供諸如塊存儲和文件存儲等標(biāo)準(zhǔn)化的存儲方式,這些類型的存儲具備標(biāo)準(zhǔn)化的接口,使客戶能夠直接遷移數(shù)據(jù),避免了應(yīng)用的大量修改;其次,向服務(wù)化的方向發(fā)展。在傳統(tǒng)的存儲模式下,用戶需要大量的設(shè)備管理與維護(hù)升級,而在云計算時代,云存儲將其演化成一種云服務(wù),用戶只需要關(guān)心自己的業(yè)務(wù)邏輯與創(chuàng)新即可;另外,更加開放。存儲云服務(wù)提供很多管理與控制的API,現(xiàn)在將其開放出來,使得用戶可以通過編程調(diào)用API,管理與監(jiān)控存儲資源,以及實現(xiàn)跨平臺的管理。
第三,垂直領(lǐng)域和典型場景的深度集成設(shè)計。數(shù)據(jù)庫、大數(shù)據(jù)處理和分析、人工智能、容器等領(lǐng)域具有自身的特點,所以存儲技術(shù)針對以上典型場景也進(jìn)行了相應(yīng)的集成設(shè)計,結(jié)合場景的特點進(jìn)行適配和優(yōu)化,提高與場景結(jié)合的端到端優(yōu)化能力和存儲的效率。
對于企業(yè)和用戶而言,使用云計算有著諸多好處,云提供了靈活的彈性伸縮、彈性存儲容量、安全可靠、高可用性和穩(wěn)定的性能等能力。但是,云存儲在發(fā)展的過程中也面臨著諸多挑戰(zhàn),為滿足云時代發(fā)展的需求,吳結(jié)生為我們總結(jié)了新一代存儲要不斷演進(jìn),跟上需求演進(jìn)的變化,進(jìn)一步通過技術(shù)牽引去創(chuàng)造更多的變化。
容量海量化,需要持續(xù)的成本優(yōu)化技術(shù)來滿足數(shù)據(jù)的爆炸式增長需求;存儲速度化,讀寫速度和數(shù)據(jù)處理速度不斷加速;數(shù)據(jù)來源和數(shù)據(jù)形態(tài)越來越多樣化;數(shù)據(jù)是新石油,是數(shù)字化經(jīng)濟(jì)的基礎(chǔ);存儲需要加強(qiáng)數(shù)據(jù)清洗、數(shù)據(jù)安全、數(shù)據(jù)處理方面的能力,提供真實、可信和安全的數(shù)據(jù),幫助企業(yè)或機(jī)構(gòu)挖掘數(shù)據(jù)的價值,實現(xiàn)數(shù)字經(jīng)濟(jì)中數(shù)據(jù)價值。針對這五個方向和不斷演進(jìn)的需求變化,阿里云已在存儲領(lǐng)域完成全面布局,包括塊存儲和對象存儲在內(nèi)的云上存儲家族,混合云存儲陣列、混合云備份和容災(zāi)的混合云存儲服務(wù),以及高性能分布式存儲和數(shù)據(jù)庫存儲等典型場景存儲方案。
阿里云十一年存儲進(jìn)化史 重新定義下一代存儲
了解了云時代存儲的發(fā)展路徑過后,接下來不妨讓我們看看阿里云存儲的技術(shù)演進(jìn)歷史,從而更直觀地了解云存儲在數(shù)字化轉(zhuǎn)型中的核心價值。作為阿里云飛天系統(tǒng)中極其重要的一環(huán),阿里云存儲不僅滿足了“雙11”等大規(guī)模業(yè)務(wù)場景對存儲系統(tǒng)的超高要求,提供豐富完整的公共云和混合云存儲產(chǎn)品矩陣,還通過客戶數(shù)據(jù)中心和邊緣局點到云上的整體存儲解決方案,打破了數(shù)據(jù)存儲和流通的邊界,滿足了企業(yè)的多樣化需求,為企業(yè)數(shù)字化轉(zhuǎn)型提供了數(shù)據(jù)核心價值。
“越過山丘,才發(fā)現(xiàn)那里已無人等候。。.。。.”,這是去年阿里云存儲新品發(fā)布會中的一句話。這句話低調(diào)地彰顯了阿里云的領(lǐng)導(dǎo)者地位,也恰好是阿里云存儲在成長道路上堅守與收獲的寫照。
2008年,為了探索阿里巴巴集團(tuán)大規(guī)模存儲解決之道,阿里云存儲團(tuán)隊?wèi)?yīng)運(yùn)而生。
2009年,阿里云分布式存儲引擎1.0(盤古PanGu)正式發(fā)布,為彈性計算虛擬機(jī)、阿里金融、郵箱、搜索提供通用存儲服務(wù)。
2013年,阿里云分布式存儲系統(tǒng)實現(xiàn)單集群5000臺服務(wù)器規(guī)模的部署,服務(wù)阿里巴巴電商業(yè)務(wù)和螞蟻支付寶業(yè)務(wù)。
2015年,成功實現(xiàn)了單集群10000臺服務(wù)器規(guī)模的部署,擁有云計算產(chǎn)業(yè)中最齊全的存儲產(chǎn)品線,成長與效率躍居榜首。同年還打破了Sort Benchmark世界記錄,100TB排序完成時間僅需377秒。
2016年,CloudSort項目中,阿里云以1.44$/TB的成績獲得Indy專用目的排序和Daytona通用目的排序兩個子項的世界冠軍,打破了AWS在2014年創(chuàng)造的紀(jì)錄4.51$/TB。
2018年,面向人工智能、科學(xué)計算、深度學(xué)習(xí)等未來存儲場景,阿里云分布式存儲引擎2.0正式發(fā)布,這不僅證明了阿里云存儲歷經(jīng)十年的超強(qiáng)能力,更意味著阿里云存儲再次引領(lǐng)了云存儲與企業(yè)存儲、傳統(tǒng)存儲的破局之爭。
2019年,阿里云攜ESSD高性能云盤,領(lǐng)跑微秒存儲時代,正式吹響了進(jìn)軍企業(yè)存儲市場的號角。
阿里云存儲在十一年的發(fā)展歷程中,不斷推出重磅新品與取得傲人成績,絕不僅僅是為了快速追趕業(yè)內(nèi)標(biāo)桿廠商。更重要的是,彰顯了阿里云為滿足全球用戶的業(yè)務(wù)需求,所沉淀的獨到見解和創(chuàng)新。隨著更多貼近用戶應(yīng)用的數(shù)據(jù)管理功能的推出以及生態(tài)的構(gòu)建,我們可以感知到阿里云存儲背后的思考。
在安全方面,對象存儲服務(wù)在國外成熟市場得到廣泛認(rèn)可,很多企業(yè)的核心業(yè)務(wù)信息都存儲在上面。但是在中國,對象存儲的普及度還有待提升,數(shù)據(jù)安全的加強(qiáng)有助于改變這一現(xiàn)狀。對此,阿里云對象存儲也在更新重點,劍指數(shù)據(jù)安全。據(jù)了解,阿里云存儲全線產(chǎn)品都具備全面的“數(shù)據(jù)加密”能力,其中對象存儲OSS提供包括KMS密鑰、BYOK密鑰、OSS托管密鑰等5種加密方式,完成服務(wù)端數(shù)據(jù)加密和客戶端線下加密等多種靈活形式。
在性能方面,隨著全閃存的普及和高性能網(wǎng)絡(luò)的發(fā)展,數(shù)據(jù)中心進(jìn)入“微秒時代”。起初,10萬IOPS已是非常高的性能;而十年后的今天,百萬、千萬IOPS已經(jīng)成為多家廠商宣傳的主題詞。據(jù)介紹,作為全球首個百萬IOPS的企業(yè)級云盤,阿里云ESSD搭配ECS云服務(wù)器使用,可提供單盤高達(dá)100萬IOPS的隨機(jī)讀寫能力,單路寫時延 100 微秒。相比前一代的SSD云盤性能提升了40倍,讀寫時延降低了70% 。同時,ESSD云盤支持不停機(jī)擴(kuò)展容量、不停機(jī)提高IO讀寫性能上限、數(shù)據(jù)加密等高級數(shù)據(jù)服務(wù)功能,具備企業(yè)級存儲的前沿技術(shù)創(chuàng)新能力。
在數(shù)據(jù)智能管理方面,打破數(shù)據(jù)孤島以形成有效的聯(lián)動成為當(dāng)務(wù)之急。對此,阿里云提供了豐富的數(shù)據(jù)管理功能,通過數(shù)據(jù)分析系統(tǒng)挖掘數(shù)據(jù)價值。其中日志服務(wù)的AIOps分析功能面向趨勢預(yù)測、異常發(fā)現(xiàn)、智能聚類和根因分析四個場景,提升DevOps分析和診斷的效率,幫助運(yùn)維人員提前配置資源,提前預(yù)測、發(fā)現(xiàn)和解決常見故障。
在降低成本方面。每年雙11創(chuàng)造奇跡的背后,是巨大的成本投入;另一方面,在數(shù)據(jù)時代,隨著各種大數(shù)據(jù)處理框架不斷涌現(xiàn),成千上萬的數(shù)據(jù)分析需求背后是大量的計算任務(wù),占用了大量的計算資源。此時,阿里云數(shù)據(jù)中心利用混部技術(shù),將集群混合起來,將不同類型的任務(wù)調(diào)度到同一批物理資源上,通過調(diào)度、資源隔離等控制手段, 在保障SLA的基礎(chǔ)上,充分使用資源,極大降低了成本。
化挑戰(zhàn)為機(jī)遇,阿里云存儲營收過去三年增長超過10倍,存儲容量增長12倍,其中SSD容量增長超10倍。十余年的存儲進(jìn)化,讓阿里云更新迭代了涵蓋公共云、混合云和邊緣計算在內(nèi)的全球最完整存儲產(chǎn)品線,面向萬物智能時代,定義下一代存儲,更安全、更穩(wěn)定、更優(yōu)化、更智能,讓用戶無縫上云。
存儲新常態(tài) 看人工智能如何激活存儲技術(shù)變革
如今,人工智能的高速發(fā)展,徹底改變了人類的工作方式、生活方式和思維方式,也實現(xiàn)了生產(chǎn)力的整體躍升和社會治理的新變革。隨著計算力的不斷突破,人工智能的技術(shù)也在日趨成熟,越來越多的企業(yè)開始將人工智能技術(shù)融入行業(yè)應(yīng)用中。而作為傳統(tǒng)行業(yè)的存儲,經(jīng)歷了一輪又一輪技術(shù)市場洗牌,而今面對人工智能技術(shù)時,又將如何撬動市場的新需求呢?
對此,吳結(jié)生表示,在與人工智能的融合中,阿里云存儲正在做兩方面的實踐與探索:一方面是思考人工智能技術(shù)如何運(yùn)用到存儲系統(tǒng)中;另一方面也在踐行存儲系統(tǒng)如何更好地服務(wù)和支持人工智能計算,從而更好地普惠人工智能技術(shù)。兩者相互融合,共同促進(jìn)。
借助人工智能技術(shù),在磁盤、服務(wù)與網(wǎng)絡(luò)等硬件故障的檢測中,可以更加準(zhǔn)確地預(yù)測到故障的發(fā)生。在遇到網(wǎng)速變慢等異常狀況時,可以做到及時有效的規(guī)避,從而使得產(chǎn)品更加穩(wěn)定,大大降低長尾延遲現(xiàn)象;在智能負(fù)載均衡與調(diào)度中,利用人工智能技術(shù),能夠提前進(jìn)行負(fù)載均衡,避免熱點與不均衡;在數(shù)據(jù)的置放策略中,可以根據(jù)對冷熱數(shù)據(jù)的分析判斷,以及客戶訪問的規(guī)則與模式,將不同類型的數(shù)據(jù)進(jìn)行分類,安排不同的置放策略,從而提高總體系統(tǒng)效能,以便實現(xiàn)更加智能的分級存儲(Tiering)。
同時,阿里云針對機(jī)器學(xué)習(xí)與人工智能計算的場景,推出了高性能并行文件系統(tǒng)(CPFS:Cloud Parallel File System),已經(jīng)廣泛應(yīng)用于智能駕駛、生命科學(xué)和基因計算等場景。CPFS也被廣泛使用在高性能計算領(lǐng)域,與阿里云的彈性高性能計算(E-HPC)一起提供服務(wù)化和商業(yè)化的高性能計算,不僅如此,還承擔(dān)了“國之重器”之一的“天眼”工程(500米口徑球面射電望遠(yuǎn)鏡 FAST 系統(tǒng))的存儲解決方案,助力人類對宇宙的不懈探索。
另外,隨著圖片和視頻內(nèi)容的不斷產(chǎn)生,急需對其進(jìn)行智能的分析,阿里云的智能媒體管理系統(tǒng)(IMM)將先進(jìn)的分析算法與存儲相結(jié)合,通過簡單便利的調(diào)用接口,使得中小客戶也可以享用到阿里云和達(dá)摩院的人工智能能力,普惠人工智能技術(shù)。這些智能服務(wù)能力也經(jīng)歷了“雙11”場景的打磨,積累的最佳實踐轉(zhuǎn)化為產(chǎn)品的能力,復(fù)制到更多的客戶。
人工智能可以激活存儲的新變革,而借助存儲來服務(wù)人工智能計算,又能夠讓人工智能走上普惠的道路,這樣相輔相成的融合可謂絕妙。可預(yù)見的是,存儲技術(shù)將會與人工智能技術(shù)不斷融合,這也有利于存儲技術(shù)的更新?lián)Q代,更好地支撐業(yè)務(wù)的快速發(fā)展,最終具備技術(shù)擴(kuò)展業(yè)務(wù)邊界以及業(yè)務(wù)向技術(shù)拿紅利的能力。
另外,阿里云存儲將高性能存儲網(wǎng)絡(luò)作為分布式存儲的基石,聯(lián)合整個阿里云網(wǎng)絡(luò)和基礎(chǔ)設(shè)施團(tuán)隊進(jìn)行迭代式創(chuàng)新,從25G的網(wǎng)絡(luò)到現(xiàn)在的100G網(wǎng)絡(luò),高性能存儲網(wǎng)絡(luò)已經(jīng)取得了很大的進(jìn)步,在穩(wěn)定性和性能方面將會持續(xù)創(chuàng)新。最后,在數(shù)據(jù)中心級別的均衡規(guī)劃中,還需要更高級別和更大規(guī)模的設(shè)計。談及阿里云存儲未來的部署與計劃時,吳結(jié)生強(qiáng)調(diào),為客戶創(chuàng)造更多的價值才能讓阿里云更有價值。
在快速迭代的技術(shù)面前,阿里云存儲以穩(wěn)定、安全、可靠為立身之本,并利用智能技術(shù)的新元素賦能存儲,以普惠智能決策與智能計算。不難看出,阿里云存儲的創(chuàng)新活力,不僅拓展了云存儲的邊界,更在廣闊的企業(yè)級存儲市場中創(chuàng)造了更多的可能。
責(zé)任編輯:ct
評論
查看更多