燧原科技發(fā)布首款人工智能推理產(chǎn)品 “云燧i10”
上海2020年12月21日 /美通社/ -- 燧原科技今日發(fā)布首款人工智能推理產(chǎn)品 “云燧?i10”。這是一款面向云端數(shù)據(jù)中心的高性能推理卡。云燧i10是單槽位標(biāo)準(zhǔn)卡,支持PCIe 4.0,F(xiàn)P32算力達到17.6TFLOPS,BF16/FP16算力70.4TFLOPS。同時,燧原科技發(fā)布了推理引擎“鑒算TopsInference”,可以為深度學(xué)習(xí)應(yīng)用提供低延遲、高吞吐率的推理性能,并降低數(shù)據(jù)中心的部署成本。云燧i10將于明年第一季度上市。
燧原科技發(fā)布首款人工智能推理產(chǎn)品 -- “云燧i10”
根據(jù)權(quán)威市場機構(gòu)預(yù)測,云數(shù)據(jù)中心對于人工智能推理芯片的需求將從2022年開始超越對于訓(xùn)練芯片的需求,整個推理市場蓄勢待發(fā)。云端推理解決方案更注重綜合指標(biāo),包括算力、時延、成本等,也更為關(guān)注用戶體驗的優(yōu)化。
“云燧i10”擁有卓越的算力、出色的通用性以及優(yōu)異的價值特性:
高算力、多精度:FP32算力17.6TFLOPS,BF16/FP16算力70.4TFLOPS;采用自主指令集,支持從FP32到INT8等多種精度,而最大功耗僅為150W;
高能效、高可靠性:采用動態(tài)調(diào)頻調(diào)壓(DVFS)技術(shù),根據(jù)負(fù)載加速應(yīng)用性能,支持RAS、ECC;
設(shè)備虛擬化:實現(xiàn)多用戶支持,最大可支持4個設(shè)備實例,具備計算與存儲資源的獨享性,多用戶間安全隔離;單顆芯片上可同時部署不同的業(yè)務(wù)與負(fù)載,實現(xiàn)多任務(wù)并行,有效提高利用率;支持KVM、Xen等系統(tǒng)虛擬化平臺;
易編程、生態(tài)開放:開放C++和Python編程接口,支持CNN及NLP典型模型,支持主流機器學(xué)習(xí)框架,并通過SDK提供深度定制。
燧原科技同時推出針對推理產(chǎn)品的高性能神經(jīng)網(wǎng)絡(luò)模型推理引擎“鑒算TopsInference”,通過計算圖優(yōu)化、算子融合、模型壓縮、量化等優(yōu)化技術(shù),可以為深度學(xué)習(xí)應(yīng)用提供低延遲、高吞吐率的推理性能。通過TopsInference的推理加速,配合i10 的高算力及虛擬化技術(shù),數(shù)據(jù)中心可以高性價比地部署計算密集型深度學(xué)習(xí)工作負(fù)載。此外TopsInference除TensorFlow、PyTorch模型格式外,還支持ONNX通用模型格式,借助燧原GCU-CARA架構(gòu)的可編程性,可以應(yīng)對未來深度神經(jīng)網(wǎng)絡(luò)日益多樣化、復(fù)雜的增長趨勢。
燧原科技創(chuàng)始人兼CEO趙立東表示燧原科技要堅持雙輪驅(qū)動,爭做行業(yè)領(lǐng)導(dǎo)者
“繼去年12月發(fā)布了首款面向數(shù)據(jù)中心的人工智能訓(xùn)練加速卡“云燧T10”,今天我們又推出針對云端推理市場的第一款人工智能推理加速卡“云燧i10”,以滿足由于AI應(yīng)用和落地場景迅速擴大,市場和客戶對更高性價比以及國產(chǎn)化和差異化云端推理產(chǎn)品的需求。燧原科技也因此成為國內(nèi)唯一一家同時擁有云端訓(xùn)練和推理加速產(chǎn)品的初創(chuàng)公司,形成業(yè)務(wù)閉環(huán)!膘菰萍糃EO趙立東表示,“當(dāng)前全球科技產(chǎn)業(yè)特別是集成電路產(chǎn)業(yè)正在發(fā)生深刻變革,燧原科技會繼續(xù)加速技術(shù)創(chuàng)新和產(chǎn)品迭代,拉近與世界先進水平的距離,構(gòu)筑自主創(chuàng)新技術(shù)的護城河。與此同時,與上下游伙伴合作,加速業(yè)務(wù)落地,擴大市場規(guī)模。針對互聯(lián)網(wǎng)數(shù)據(jù)中心、垂直行業(yè)(金融、保險、教育、醫(yī)療及運營商等)、新基建三大業(yè)務(wù)方向的應(yīng)用場景,完善訓(xùn)練和推理軟件棧、工具鏈和解決方案。通過產(chǎn)學(xué)研協(xié)作,共建國產(chǎn)化產(chǎn)業(yè)生態(tài),助力中國人工智能和集成電路產(chǎn)業(yè)的發(fā)展!
燧原科技創(chuàng)始人兼COO張亞林介紹“云燧i10”推理系統(tǒng)
燧原科技COO張亞林介紹道:“云燧i10在多項基準(zhǔn)測試中,性能領(lǐng)先,并已完成與浪潮、新華三及Supermicro等服務(wù)器廠商推理服務(wù)器的適配?蛇m用于視頻圖像、語音、自然語言處理、知識圖譜等多種應(yīng)用場景,并針對內(nèi)容理解、推薦、識別等高精度場景做了優(yōu)化。與此同時,面向多元的開發(fā)需求,我們提供不同層次的開發(fā)模式,針對客戶定制化算法模型聯(lián)合開發(fā),從而實現(xiàn)與客戶的雙贏。此外,云燧i10與云燧T10以及“馭算TopsRider”軟件平臺搭配,可實現(xiàn)算法模型在數(shù)據(jù)中心訓(xùn)推一體化的快速生產(chǎn)部署!
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 國產(chǎn)英偉達們,抓緊沖刺A股
- 7 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市