訂閱
糾錯
加入自媒體

企業(yè)存儲告別“傻大黑粗”,華為存儲引領AIOps創(chuàng)新

2021-01-22 08:28
云報
關注

如果將工業(yè)設備與一臺閃存陣列放在一起,會發(fā)生什么?你可能想象不到,日久天長,閃存控制器中的線路板可能會被慢慢腐蝕甚至溶解。若恰巧這臺“傻大黑粗”的閃存陣列并不具備智能化的故障預測功能,當系統(tǒng)中斷或發(fā)生數(shù)據(jù)丟失時才被用戶察覺,一切將為時晚矣。

你也許會說,上述只是極端的例子或小概率事件,但是隨著業(yè)務互聯(lián)網(wǎng)化和移動化趨勢的加劇,很多行業(yè)的銷售行為由5×8小時變成7×24小時后,數(shù)據(jù)基礎設施層面的任何一點疏忽大意或不能被預測的故障對于企業(yè)的生存和發(fā)展都可能造成滅頂之災。這也是為什么最近幾年AIOps突然在數(shù)據(jù)基礎設施領域爆紅的重要原因之一。

1不要再做“事后諸葛亮”

AIOps最早是由Gartner在2016年提出的概念,它旨在借助大數(shù)據(jù)分析和機器學習算法自動地從海量運維數(shù)據(jù)中不斷分析和學習,實現(xiàn)異常檢測、瓶頸熱點分析和多維關系分析等,從而幫助IT運維人員準確甄別系統(tǒng)異常、快速定位故障根因,并對系統(tǒng)運行的潛在風險進行主動預測,提前告警,最終實現(xiàn)IT基礎設施和業(yè)務的持續(xù)洞察和主動優(yōu)化改進。

隨著云計算、大數(shù)據(jù)、人工智能等技術的深入融合和綜合應用,AIOps也開始快速向各個細分領域滲透,尤其是在數(shù)據(jù)基礎設施層面,智能運維已經(jīng)成了各大存儲廠商新的必爭之地,F(xiàn)在回想起來,HPE當初大手筆收購Nimble Storage是另有深意,落腳點是其基于云的智能運維平臺InfoSight。如今,HPE正將InfoSight逐步引入到整個存儲和服務器產(chǎn)品線中,包括Primera、Nimble存儲,以及ProLiant服務器、Synergy組合式基礎設施和Apollo系統(tǒng)等,而InfoSight也成了名副其實的“幕后英雄”,提供了基礎架構(gòu)層面的全局可見性、預測分析能力和推薦引擎等功能。

Gartner的研究顯示,2020年,AIOps在全球的采用率達到50%,AIOps成為運維最主要的工具。IDC在最近發(fā)布的《IDC FutureScape: 全球人工智能(AI)市場2021 預測——中國啟示》報告中也做出了類似的預測:到2024年,AIOps將成為IT運營的“新常態(tài)”,至少有50%的大型企業(yè)將采用自動化運維解決方案來自動化其主要IT系統(tǒng)和服務管理過程。

從數(shù)字化轉(zhuǎn)型到智能化升級,今天我們再談到無人值守的數(shù)據(jù)中心、無人工廠或無人駕駛,大家不再認為是天方夜譚,隨著智能化技術的持續(xù)演進,這一切將更快地變成現(xiàn)實。從宏觀市場的角度看,2020年,“新基建”的火爆讓我們更加清楚地認識到,建設以“數(shù)據(jù)+智能”為核心的新型數(shù)據(jù)基礎設施刻不容緩,這是賦能千行百業(yè)智能升級、服務各種各樣智慧化的應用場景,推動經(jīng)濟高質(zhì)量發(fā)展的必然趨勢。從數(shù)據(jù)基礎設施穩(wěn)定高效運行的微觀層面看,智能運維有望徹底改變以前“事后諸葛亮”的狀況,發(fā)揮先知先覺的作用,主動并提前預測數(shù)據(jù)基礎設施中潛在的風險和故障,從而更好地實現(xiàn)整個系統(tǒng)的自管理、自修復和自優(yōu)化,提高數(shù)據(jù)基礎設施的運行效率,驅(qū)動業(yè)務發(fā)展,降低成本。

2智能化,存儲發(fā)展的又一風向標

大數(shù)據(jù)是新的生產(chǎn)資料,而人工智能是新的生產(chǎn)力,這些新的生產(chǎn)要素組合在一起,將給各行各業(yè)帶來深刻變革甚至是顛覆。肆虐2020年的新冠疫情,就讓我們再次領略了由數(shù)據(jù)激發(fā)的洞察力,同時疫情也刺激了數(shù)據(jù)智能市場的跨越式前進。

從行業(yè)用戶的具體需求來分析,數(shù)字化和智能化已成為金融企業(yè)致勝未來的關鍵要素。在智慧金融場景中,數(shù)據(jù)基礎設施必須保證即時、高效、穩(wěn)定,而服務則要在數(shù)據(jù)基礎設施之上實現(xiàn)敏捷發(fā)布、快速迭代,其最根本的保障在很大程度上就來源于數(shù)據(jù)基礎設施的智能運維和自動化。中信銀行就在完善和優(yōu)化其數(shù)據(jù)基礎設施的過程中,采用了華為DME數(shù)據(jù)管理引擎,在融合管理、業(yè)務變更以及統(tǒng)一運維等場景引入了安全可控的自動化和智能化能力,從而顯著提升了運維效率和業(yè)務的敏捷水平,一舉多得。

再來看看電力行業(yè)的情況,電網(wǎng)公司在業(yè)務整合和數(shù)字化的過程中對存儲管理提出了更高的要求。由于歷史原因,系統(tǒng)中擁有多個品牌、多個系列的存儲設備,管理的復雜性和運維風險持續(xù)走高。為進一步完善數(shù)據(jù)存儲管理,提高效率,就必須采用集約式、規(guī)范化的存儲管理模式,充分實現(xiàn)存儲運維管理的自動化和智能化。

綜上,無論是從市場和技術的發(fā)展趨勢,還是從行業(yè)客戶的實際需求來看,存儲與人工智能技術的深入融合勢在必行,將極大地降低存儲運維的成本、復雜度和風險。當前,存儲的智能化運維正在形成一股新的潮流。一些以智能化見長的存儲創(chuàng)業(yè)企業(yè)也如雨后春筍般不斷涌現(xiàn)。

我們也欣喜地看到,整個存儲業(yè)界對智能運維的重視程度不斷提升。2020年12月,DOIT在一年一度的“百易獎”評選中就特別設立了“2020年度人工智能技術創(chuàng)新獎“,并授予了華為DME(Data Management Engine,數(shù)據(jù)管理引擎)數(shù)據(jù)管理與運維自動化解決方案。該解決方案創(chuàng)新性地引入三層AI架構(gòu),實現(xiàn)數(shù)據(jù)中心存儲網(wǎng)絡的自動化資源發(fā)放、智能運維以及智能數(shù)據(jù)流動,助力運維極簡以及業(yè)務敏捷創(chuàng)新。毋庸置疑,智能化將成為引領存儲未來發(fā)展的又一重要風向標。

3華為存儲引領AIOps創(chuàng)新

存儲行業(yè)是一個需要高研發(fā)投入和長期積累的行業(yè),尤其是在一些核心技術的研發(fā)和相關能力的建設上更是如此,也由此建立了高門檻。華為是一家端到端IT基礎設施解決方案提供商,而智能運維是IT基礎設施中一項不可或缺的能力,可想而知華為在這方面擁有多年的積累和成功實踐。隨著智能化在存儲中的地位進一步凸顯,在Gartner定期發(fā)布的全球主存儲市場魔力象限中,居領導者地位的廠商一定也是在智能運維方面擁有特長的。而華為如今已是這一象限的?,在與國際知名大廠商的博弈中,并不落下風。

受到業(yè)界充分肯定的華為DME是華為數(shù)據(jù)基礎設施智能運維平臺,該平臺通過與存儲設備內(nèi)置的設備AI以及云端AI(eService)實現(xiàn)三層AI協(xié)同,并通過融合統(tǒng)一的管理界面、自動化的閉環(huán)機制以及開放的API,旨在使能數(shù)據(jù)存儲的從規(guī)劃到建設、運維、優(yōu)化的全生命周期場景管理與運維自動化,從而幫助客戶簡化存儲管理,提升數(shù)據(jù)中心的運營效率。

華為存儲基于存儲AI“四大范式”,持續(xù)引領業(yè)界AIOps創(chuàng)新。

范式一,Workload指紋,業(yè)務識別的準確率高于80%,可將資源使用效率提升30%,主要應用于數(shù)據(jù)安置、數(shù)據(jù)流動、硬件擴容、業(yè)務擴容等場景。舉例來說,可以實現(xiàn)基于策略的SLA變更功能,讓關鍵業(yè)務始終可以獲得更好的存儲資源保障,確保業(yè)務穩(wěn)定運行。

范式二,知識圖譜,分鐘級快速定位到可恢復單元,主要應用于全棧拓撲可視化、VM到存儲E2E分析、告警關聯(lián)/根因分析、擾鄰分析等場景。舉例來說,可以實現(xiàn)告警關聯(lián)分析、一鍵式影響范圍評估,從而提升問題分析效率;實現(xiàn)性能異常預測,KPI關聯(lián)分析以及修復方案推薦,2019年在某交通集團有限公司,eService檢測到華為OceanStor 5500 V5存儲峰值寫時延達到190.66ms后,建議開啟SmartTier功能,使得時延恢復正常。

范式三,介質(zhì)故障預測,可提前14天預知故障,故障識別率高于80%,誤報率則低于0.1%,主要應用于整盤故障、盤局部故障、內(nèi)存失效、光模塊故障等場景。舉例來說,可以實現(xiàn)HDD、SSD故障盤預測,通過選取故障時刻前14天的數(shù)據(jù)作為故障樣本,分析數(shù)據(jù)分布、增長趨勢、特征相關性和重要度,進行大樣本學習方法并在11萬塊盤上訓練和測試,效果顯著優(yōu)于隨機抽樣選擇訓練集方法,2018年6月華為數(shù)據(jù)中心就曾在一個月內(nèi)預測出3塊故障硬盤;使用AI算法進行內(nèi)存故障模式識別和內(nèi)存故障預測,并結(jié)合內(nèi)存Bank隔離等措施,實現(xiàn)內(nèi)存局部故障自修復和內(nèi)存故障預告警,減少內(nèi)存故障引起的系統(tǒng)宕機。

范式四,性能容量預測,性能預測準確率高于85%,主要應用于性能瓶頸預測、容量瓶頸預測、KPI異常分析、網(wǎng)絡亞健康分析等場景。舉例來就,針對存儲資源(前端端口、控制器、Cache、存儲池、LUN和磁盤)的性能異常進行實時監(jiān)控,提前獲知性能指標(IOPS、時延和IO帶寬)的變化趨勢,幫助客戶提前規(guī)劃,降低性能事故率;實現(xiàn)容量趨勢預測,采用集成學習技術,將多種基于時間序列的預測算法加權(quán)集成,充分捕捉多種時間序列特征,實現(xiàn)精準預測;利用CNN神經(jīng)網(wǎng)絡預測業(yè)務未來的性能趨勢,該模型使用華為全網(wǎng)的LUN在過去3個月內(nèi)的性能數(shù)據(jù)大規(guī)模訓練完成;性能潮汐分析,將規(guī)律以熱力圖方式進行呈現(xiàn),某市區(qū)政府就根據(jù)潮汐熱力圖主動選擇最合適的升級時間窗口,避免了業(yè)務高峰期操作可能對業(yè)務造成的不良影響。

上述諸多例證表明,人工智能技術的應用,在優(yōu)化存儲基礎設施、存儲資源配置、性能優(yōu)化,以及提升自動化和智能化水平方面功不可沒。當前,對于存儲智能化的探索正漸入佳境,打造智能數(shù)據(jù)基礎設施將是企業(yè)智能化升級的必由之路。

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號