十多年來，云計(jì)算、5G、大數(shù)據(jù)、AI等創(chuàng)新技術(shù)得以快速發(fā)展，并推動(dòng)著百行百業(yè)的產(chǎn)業(yè)數(shù)字化進(jìn)程。當(dāng)前，數(shù)字新基建在不斷深入，作為其重要基石的數(shù)據(jù)存儲(chǔ)，備受矚目。尤其是新技術(shù)的應(yīng)用與推廣，引發(fā)了海量數(shù)據(jù)的規(guī)模化聚集，數(shù)十PB甚至數(shù)百PB的海量數(shù)據(jù)存儲(chǔ)需求，已成為新興產(chǎn)業(yè)發(fā)展的數(shù)字化常態(tài)之一。

然而，海量存儲(chǔ)雖不是一個(gè)最新的名詞，卻有著與時(shí)俱進(jìn)的含義。十多年之前的海量存儲(chǔ)以TB級(jí)定義，十多年后的今天，海量存儲(chǔ)的概念要從百PB級(jí)談起�；蛟S隨著計(jì)算能力與存儲(chǔ)能力的進(jìn)一步提升，在不久的將來，當(dāng)前的海量存儲(chǔ)定義又會(huì)發(fā)生新的變化。

眾所周知，數(shù)據(jù)存儲(chǔ)容量增長(zhǎng)無止境，海量數(shù)據(jù)的應(yīng)用場(chǎng)景也不斷創(chuàng)新。就基因測(cè)序、氣象預(yù)測(cè)、自動(dòng)駕駛、能源勘探、地理測(cè)繪等新興應(yīng)用的發(fā)展而言，想要打造海量數(shù)據(jù)背后牢固的存儲(chǔ)基石，分布式存儲(chǔ)不可或缺，為啥？

與生俱來的契合性，帶給新興應(yīng)用更多的發(fā)展契機(jī)

海量數(shù)據(jù)的產(chǎn)生源自新興應(yīng)用持續(xù)不斷的技術(shù)創(chuàng)新與發(fā)展，并且隨著新興應(yīng)用的深入也帶來數(shù)據(jù)爆發(fā)式增長(zhǎng)，同時(shí)海量數(shù)據(jù)豐富的應(yīng)用場(chǎng)景，在促進(jìn)數(shù)字技術(shù)和實(shí)體經(jīng)濟(jì)深度融合上，發(fā)揮出強(qiáng)大的優(yōu)勢(shì)，也為傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)帶來了很好的幫助，持續(xù)助力新產(chǎn)業(yè)、新業(yè)態(tài)、新模式的產(chǎn)生。

從當(dāng)前來看，海量數(shù)據(jù)催生的新興應(yīng)用，可以分為三種類型：

針對(duì)科學(xué)研究類，主要包括了基因測(cè)序、氣象預(yù)測(cè)等應(yīng)用。

在這類應(yīng)用中，需要存儲(chǔ)滿足多樣化的IO需求，承載多樣化的工作負(fù)載。

針對(duì)智能決策類，主要包括了大數(shù)據(jù)智能分析、自動(dòng)駕駛等新興應(yīng)用。

這類應(yīng)用需要存儲(chǔ)系統(tǒng)能夠?qū)Χ喾N數(shù)據(jù)類型進(jìn)行分析，滿足對(duì)多種算法的支持。

針對(duì)數(shù)據(jù)管理類，這類應(yīng)用需要存儲(chǔ)系統(tǒng)實(shí)現(xiàn)海量數(shù)據(jù)的高效共享，滿足跨地域隨時(shí)訪問需求。

全球存儲(chǔ)觀察分析認(rèn)為：面對(duì)不斷涌現(xiàn)的海量數(shù)據(jù)，我們不得不認(rèn)真思考數(shù)據(jù)存儲(chǔ)的應(yīng)用方式。分布式存儲(chǔ)彈性、靈活性、擴(kuò)展性等特點(diǎn)，與新興應(yīng)用場(chǎng)景中，敏態(tài)業(yè)務(wù)隨時(shí)無感擴(kuò)縮、智能決策等特點(diǎn)有著天然的契合。

可見，分布式存儲(chǔ)正在成為新興應(yīng)用的數(shù)據(jù)基石，不可或缺。

自研可控按需定制，讓分布式存儲(chǔ)更美

作為中國數(shù)據(jù)存儲(chǔ)領(lǐng)域中重要代表之一，曙光存儲(chǔ)歷經(jīng)十多年的發(fā)展，堅(jiān)守自研創(chuàng)新之路，本著滿足用戶需求為宗旨，不斷賦能新興應(yīng)用場(chǎng)景，讓海量數(shù)據(jù)價(jià)值得以全面釋放。

在科學(xué)研究類應(yīng)用中，曙光ParaStor采用IB＋RDMA高速互聯(lián)、內(nèi)核態(tài)POSIX協(xié)議、智能SSD Cache及小文件聚合等技術(shù)，應(yīng)對(duì)海量大文件存儲(chǔ)場(chǎng)景高聚合帶寬、小文件存儲(chǔ)場(chǎng)景高IOPS的存儲(chǔ)挑戰(zhàn)，滿足基因測(cè)序、氣象預(yù)測(cè)等應(yīng)用的存儲(chǔ)需求。

在智能決策類應(yīng)用中，曙光ParaStor單一存儲(chǔ)節(jié)點(diǎn)提供多種協(xié)議支持，打通從數(shù)據(jù)的采集、應(yīng)用、分析到歸檔的鏈路，在海量異構(gòu)數(shù)據(jù)融合的基礎(chǔ)上，對(duì)云、5G、AI等應(yīng)用有著良好的支持。此外，ParaStor采用原生HDFS接口，無任何協(xié)議損耗，無縫接入大數(shù)據(jù)平臺(tái)，通過構(gòu)建高性價(jià)比的大數(shù)據(jù)存算分離解決方案，在存算分離的基礎(chǔ)上，保證了性能的指數(shù)級(jí)提升，還可以支持更多大數(shù)據(jù)高級(jí)功能。

在數(shù)據(jù)管理類應(yīng)用中，曙光ParaStor可通過 3節(jié)點(diǎn)存儲(chǔ)集群承載非結(jié)構(gòu)化與結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)，消除存儲(chǔ)設(shè)備多樣性及管理復(fù)雜性，降低存儲(chǔ)系統(tǒng)的構(gòu)建成本，實(shí)現(xiàn)存儲(chǔ)資源融合管理，以及多樣化數(shù)據(jù)高效應(yīng)用，釋放分布式存儲(chǔ)的數(shù)據(jù)管理價(jià)值。

300PB海量存儲(chǔ)背后，隱藏著一股怎樣的技術(shù)力量

2022年，由曙光部署實(shí)施的，我國單套最大規(guī)模的海量存儲(chǔ)系統(tǒng)已達(dá)到300PB。然而，300PB海量存儲(chǔ)背后，隱藏著一股怎樣的技術(shù)力量？

好的海量存儲(chǔ)，有三個(gè)重點(diǎn)的考量指標(biāo)。首先，海量存儲(chǔ)不是簡(jiǎn)簡(jiǎn)單單設(shè)備的堆積，要解決呈指數(shù)級(jí)增長(zhǎng)的諸多技術(shù)難題；其次對(duì)應(yīng)用的深度把握與定制，才能實(shí)現(xiàn)對(duì)業(yè)務(wù)的良好支撐；第三是超大規(guī)模項(xiàng)目的部署經(jīng)驗(yàn)與應(yīng)用支持，通常支持百PB級(jí)存儲(chǔ)規(guī)模部署和支撐萬級(jí)客戶端訪問，才能真正體現(xiàn)廠商實(shí)力。

基于自研優(yōu)勢(shì)，曙光ParaStor創(chuàng)新打造的Object System（本地對(duì)象管理系統(tǒng)）、分布式鎖、多協(xié)議融合等多項(xiàng)技術(shù)，解決了海量存儲(chǔ)系統(tǒng)在磁盤穩(wěn)定性、數(shù)據(jù)一致性和多種應(yīng)用支持等技術(shù)難題，實(shí)現(xiàn)用戶建設(shè)高價(jià)值存儲(chǔ)的愿景。

憑借對(duì)行業(yè)應(yīng)用的深刻理解，曙光存儲(chǔ)可在硬件平臺(tái)、軟件功能、數(shù)據(jù)IO路徑、系統(tǒng)穩(wěn)定性等方面進(jìn)行定制開發(fā)、性能優(yōu)化和測(cè)試，讓用戶更好地致力于業(yè)務(wù)創(chuàng)新和更高效地成長(zhǎng)。

此外，作為國內(nèi)專注海量存儲(chǔ)系統(tǒng)研制的領(lǐng)先廠商，曙光從2009年單套存儲(chǔ)系統(tǒng)容量16PB，到2022年單套存儲(chǔ)系統(tǒng)300PB，不斷突破業(yè)內(nèi)存儲(chǔ)容量和性能的極限。曙光存儲(chǔ)團(tuán)隊(duì)以強(qiáng)烈的責(zé)任心和使命感，為客戶提供專業(yè)的技術(shù)支撐。

據(jù)悉，曙光ParaStor已在各類算力中心項(xiàng)目中提供堅(jiān)實(shí)的數(shù)據(jù)存儲(chǔ)基座。當(dāng)然，隨著“東數(shù)西算”等國家級(jí)項(xiàng)目對(duì)海量數(shù)據(jù)的需求量持續(xù)增大，也對(duì)存儲(chǔ)系統(tǒng)提出了數(shù)據(jù)流通更高效、數(shù)據(jù)應(yīng)用更智能、數(shù)據(jù)存儲(chǔ)更安全、存儲(chǔ)設(shè)備綠色節(jié)能的要求。作為行業(yè)領(lǐng)先的分布式存儲(chǔ)廠商，曙光又是如何滿足這類國家級(jí)項(xiàng)目對(duì)數(shù)據(jù)更深層次的訴求呢？

針對(duì)數(shù)據(jù)的高效流通，ParaStor基于資源的高效管理與協(xié)同，支持多種存儲(chǔ)協(xié)議，提供文件、塊、對(duì)象、HDFS四種存儲(chǔ)服務(wù)，支持?jǐn)?shù)據(jù)從采集、處理、分析到歸檔，包括多個(gè)中心節(jié)點(diǎn)之間的流通。

面向更智能的應(yīng)用需求，ParaStor提供原生HDFS接口，可高效支持大數(shù)據(jù)的智能化應(yīng)用。通過原生協(xié)議，無任何協(xié)議損耗，無縫接入大數(shù)據(jù)平臺(tái)，滿足更多大數(shù)據(jù)高級(jí)功能。在面對(duì)用戶不同的應(yīng)用時(shí)，可快速實(shí)現(xiàn)對(duì)新組件的靈活支持。

面向更安全的需求，曙光ParaStor的軟硬件均采用自研的設(shè)備。在硬件層面，通過CPU、內(nèi)存、電源、風(fēng)扇等主要部件的冗余配置，保證單個(gè)部件故障時(shí)，不影響整個(gè)節(jié)點(diǎn)正常運(yùn)行。其次是軟件層面，ParaStor通過智能化故障預(yù)處理與高效無感知的系統(tǒng)自愈，才能讓系統(tǒng)真正可靠穩(wěn)定運(yùn)行。

面向存儲(chǔ)設(shè)備綠色節(jié)能需求，曙光于2022年再次升級(jí)曙光ParaStor，加持液冷設(shè)計(jì)，再加上前端曙光液冷的計(jì)算節(jié)點(diǎn)，完全形成一體化的液冷存儲(chǔ)方案，PUE值可達(dá)到1．04。

由此而言，展望未來，面向東數(shù)西算工程的發(fā)展，曙光存儲(chǔ)不僅實(shí)現(xiàn)了300PB海量存儲(chǔ)最新實(shí)踐，同時(shí)其背后隱藏著一股值得關(guān)注的技術(shù)力量，面向數(shù)據(jù)存儲(chǔ)的高效、智能、安全和綠色的更高需求，提供更為細(xì)致與全面的解決之道。

小 結(jié)，打造新興產(chǎn)業(yè)的數(shù)據(jù)存儲(chǔ)基石

隨著基因測(cè)序、氣象預(yù)測(cè)、自動(dòng)駕駛、能源勘探、地理測(cè)繪、通信行業(yè)等新興產(chǎn)業(yè)應(yīng)用的發(fā)展，分布式存儲(chǔ)以更為與時(shí)俱進(jìn)的創(chuàng)新能力，正在構(gòu)建更強(qiáng)大的數(shù)據(jù)存儲(chǔ)基石，并不斷發(fā)揮著重要的作用。

誠然，“東數(shù)西算”正在構(gòu)建數(shù)據(jù)中心、云計(jì)算、大數(shù)據(jù)一體化的新型算力網(wǎng)絡(luò)體系，促進(jìn)東西部協(xié)同聯(lián)動(dòng)。各個(gè)產(chǎn)業(yè)的飛速發(fā)展都在不斷產(chǎn)生大規(guī)模的海量數(shù)據(jù)，給分布式存儲(chǔ)的創(chuàng)新發(fā)展提供了技術(shù)進(jìn)步的土壤�？梢姡�打造東數(shù)西算的數(shù)據(jù)存儲(chǔ)基石，將成為有志于此的所有數(shù)據(jù)存儲(chǔ)廠商下一步發(fā)展的重點(diǎn)。

有著數(shù)十年的自研積累，擁有廣泛行業(yè)用戶的大規(guī)模部署落地經(jīng)驗(yàn)，曙光存儲(chǔ)在分布式存儲(chǔ)領(lǐng)域的作為，業(yè)界都可以看得出來，不僅順應(yīng)著用戶需求的發(fā)展，同時(shí)也順應(yīng)著時(shí)代的發(fā)展。加速新興產(chǎn)業(yè)發(fā)展，發(fā)揮出新數(shù)據(jù)的真正價(jià)值，以分布式存儲(chǔ)的持續(xù)創(chuàng)新來夯實(shí)數(shù)字化基石，曙光當(dāng)仁不讓。

       原文標(biāo)題 : 海量數(shù)據(jù)催生新風(fēng)口，誰是分布式存儲(chǔ)頭雁？