維科杯· OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)由高科技行業(yè)門戶舉辦已有數(shù)年,作為高科技產(chǎn)業(yè)的核心評選活動,該評選是人工智能行業(yè)內的一大品牌盛會,亦是高科技行業(yè)具有專業(yè)性、影響力的評選之一。

此次活動旨在為人工智能行業(yè)的產(chǎn)品、技術和企業(yè)搭建品牌傳播展示平臺,并借助OFweek平臺資源及影響力,向行業(yè)用戶和市場推介創(chuàng)新產(chǎn)品與方案,鼓勵更多企業(yè)投入技術創(chuàng)新;同時為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術,一同暢想人工智能行業(yè)的未來。

維科杯· OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)將于2024年7月1日-7月19日進入網(wǎng)絡投票階段,頒獎典禮將于8月28日在深圳舉辦。目前,活動正處于火熱的企業(yè)申報階段,業(yè)內企業(yè)積極響應。

寒武紀參評“維科杯·OFweek 2024人工智能行業(yè)技術突破獎”

參評獎項:維科杯·OFweek 2024人工智能行業(yè)技術突破獎

參評項目:寒武紀基礎系統(tǒng)軟件平臺(訓練及推理軟件平臺)

項目亮點:

(1)訓練軟件平臺

報告期內,公司持續(xù)推進訓練軟件棧的研發(fā)和改進,新增加了功能和通用性支持,并大力推進大模型及推薦系統(tǒng)業(yè)務的支持和優(yōu)化。

在新增功能方面,訓練軟件平臺為客戶模型遷移提供了多種工具,降低了客戶的適配遷移成本。公司重點投入分布式和大規(guī)模集群的軟件棧支撐,增加支持了多個分布式訓練庫,使訓練軟件棧能夠支撐更多大模型分布式訓練需求。軟件棧完成了對典型操作系統(tǒng)的支持和發(fā)布,支持了生態(tài)的發(fā)展。

在通用性方面,公司增加了框架算子的支持數(shù)量,完成了重點客戶提出的大量定制化算子擴展需求, 適配了多個重點客戶的業(yè)務場景, 實現(xiàn)了更全面的數(shù)據(jù)類型支持,更好地支撐了大模型訓練場景。

在性能方面, 公司通過重點客戶性能優(yōu)化需求的牽引,針對多個網(wǎng)絡進行了優(yōu)化,分析并實現(xiàn)了多個算子和框架層面的性能優(yōu)化點,并在通信上持續(xù)進行了單機多卡和多機多卡的低延遲優(yōu)化,通信延遲和帶寬利用率達到了業(yè)界領先水平。

在大模型訓練領域,公司完善了大模型的訓練軟件棧研發(fā),進行了多個大模型的微調及預訓練支持工作。 通過持續(xù)的技術優(yōu)化和適配工作, 進一步優(yōu)化了大模型訓練性能,在大模型訓練的性能和精度方面都取得了較強的競爭力,達到業(yè)務落地的性能和精度要求。 報告期內,公司成功驗證了大模型在分布式集群上的預訓練功能,實現(xiàn)了較長時間的穩(wěn)定運行,且計算效率達到了業(yè)界領先水平。

此外,在搜索、廣告推薦領域進行了優(yōu)化或完成組件開發(fā), 支撐多家客戶的私有網(wǎng)絡適配工作,客戶需求網(wǎng)絡性能遠超既定目標。 完成了蛋白質模型領域的網(wǎng)絡訓練任務。

( 2)推理軟件平臺

報告期內,公司開發(fā)了支持大語言模型和多模態(tài) AIGC 推理業(yè)務的基礎軟件,并分別對傳統(tǒng)模型和生成式大模型進行了持續(xù)性能優(yōu)化,加速了實際應用部署。

針對傳統(tǒng)模型推理業(yè)務的性能優(yōu)化,在包括語音合成、搜索推薦和視覺處理等領域的高頻使用網(wǎng)絡中,公司通過持續(xù)的優(yōu)化工作,確保了該業(yè)務模型保持業(yè)界領先水平,滿足客戶業(yè)務的落地需求。

在大語言模型推理業(yè)務方面,公司研發(fā)了分布式推理加速庫 BangTransformer,適配了主流大模型,經(jīng)過深度性能優(yōu)化,大模型推理達到了業(yè)界領先的模型計算效率,并成功實現(xiàn)了在客戶業(yè)務環(huán)境下的應用。公司將 BangTransformer 集成到部分開源大模型推理框架中,進一步豐富了大模型生態(tài)系統(tǒng)。

在推理性能提升方面, BangTransformer 引入了多項優(yōu)化技術,相較于傳統(tǒng)框架,顯著提高了運行效率。在圖像生成領域,利用 MagicMind 對 StableDiffusion 等關鍵網(wǎng)絡進行了優(yōu)化和加速,成功服務了客戶基于寒武紀推理軟件平臺的應用。

參評理由:

2023年,寒武紀基礎系統(tǒng)軟件平臺的持續(xù)優(yōu)化,軟硬件平臺易用程度有所提升,生態(tài)建設持續(xù)發(fā)展; 憑借過硬的技術能力,良好的服務意識,公司品牌影響力也在持續(xù)增強。此外,公司重視產(chǎn)學合作,已和多所高校開設了基于寒武紀平臺的人工智能課程,建立了較完善的高校課程生態(tài)體系,此舉將進一步助力公司生態(tài)建設的發(fā)展。

企業(yè)介紹:

寒武紀成立于2016年,專注于人工智能芯片產(chǎn)品的研發(fā)與技術創(chuàng)新,致力于打造人工智能領域的核心處理器芯片,讓機器更好地理解和服務人類。

寒武紀提供云邊端一體、軟硬件協(xié)同、訓練推理融合、具備統(tǒng)一生態(tài)的系列化智能芯片產(chǎn)品和平臺化基礎系統(tǒng)軟件。寒武紀產(chǎn)品廣泛應用于服務器廠商和產(chǎn)業(yè)公司,面向互聯(lián)網(wǎng)、金融、交通、能源、電力和制造等領域的復雜 AI應用場景提供充裕算力,推動人工智能賦能產(chǎn)業(yè)升級。

投票時間:

本屆“OFweek 9th AI Awards 2024”活動將于7月1日進入投票階段,請關注維科網(wǎng)人工智能相關評選新聞,歡迎屆時踴躍投票。

人工智能年度評選專題鏈接:

http://comtabs.com/award/2024/AI/

參評表單:

https://forms.ofweek.com/Form/preview/form_id/1652