芯原商業(yè)運(yùn)營高級(jí)副總裁汪洋表示，隨著先進(jìn)工藝發(fā)展，芯片開發(fā)成本越來越高，因此催生新的設(shè)計(jì)方法論，越來越多的設(shè)計(jì)公司開啟“輕設(shè)計(jì)”模式，重視IP在芯片開發(fā)中的作用，也愿意嘗試各種加速開發(fā)的設(shè)計(jì)方法。

文︱編輯部

圖︱廠商資料

4月23日，開放標(biāo)準(zhǔn)行業(yè)組織科納斯工業(yè)協(xié)會(huì)（Khronos Group）攜手芯原股份（VeriSilicon）在上海聯(lián)合舉辦技術(shù)研討會(huì)。圍繞圖像、視覺與計(jì)算，來自科納斯、芯原、騰訊、阿里巴巴、ax株式會(huì)社、英特爾、中國移動(dòng)研究院、彌知科技以及華為等多家廠商或機(jī)構(gòu)為現(xiàn)場與線上專業(yè)觀眾帶來了并行處理、視覺加速和推理、3D圖像、增強(qiáng)與虛擬現(xiàn)實(shí)等多個(gè)技術(shù)話題分享。

根據(jù)中移動(dòng)的數(shù)據(jù)，2020年視頻在全網(wǎng)數(shù)據(jù)流量占比已接近70％，而這一比例在可預(yù)期的將來，仍將上升。內(nèi)容視頻化大勢所趨，對(duì)圖像／視頻等多媒體處理技術(shù)的要求也就越來越高，要實(shí)現(xiàn)更高效的多媒體（或富媒體）處理，既要強(qiáng)化對(duì)多媒體內(nèi)容處理的硬件性能——例如專用處理器或加速器，又要做好軟件優(yōu)化，從而讓多媒體內(nèi)容在不同平臺(tái)上制作或播放時(shí)都能達(dá)到優(yōu)質(zhì)表現(xiàn)。

圖：視頻技術(shù)與業(yè)務(wù)發(fā)展

2000年成立的科納斯工業(yè)協(xié)會(huì)（Khronos Group）即是為多媒體處理制定開放標(biāo)準(zhǔn)的行業(yè)組織，該協(xié)會(huì)自成立20多年來，推出過Open GL（跨平臺(tái)計(jì)算機(jī)圖形API）、Open CL（跨平臺(tái)通用計(jì)算API）、OpenXR（開放虛擬與增強(qiáng)現(xiàn)實(shí)標(biāo)準(zhǔn)）以及Vulkan（低開銷、跨平臺(tái)圖像處理API）等被業(yè)界廣泛接受的技術(shù)標(biāo)準(zhǔn)庫。而芯原股份則是中國第一大IP廠商，在圖像／視頻IP方面有豐富的產(chǎn)品線，芯原可擴(kuò)展Vivante GPU IP應(yīng)用覆蓋從低功耗的可穿戴應(yīng)用（GPU Nano IP系列）到面向汽車和計(jì)算機(jī)應(yīng)用的強(qiáng)大SoC（GPUArcturus圖形IP），可滿足不同應(yīng)用中對(duì)芯片尺寸和功耗預(yù)算，極具成本效益。作為科納斯工業(yè)協(xié)會(huì)董事會(huì)成員（科納斯董事會(huì)成員有兩家中國廠商，另一家是華為公司），芯原GPU／NPU對(duì)科納斯工業(yè)協(xié)會(huì)標(biāo)準(zhǔn)支持非常完善，雙方在新技術(shù)開發(fā)上合作也很緊密，持續(xù)為開發(fā)人員提供更好的圖像／視頻／計(jì)算IP和標(biāo)準(zhǔn)API。

圖：強(qiáng)大的IP產(chǎn)品組合提供領(lǐng)先的技術(shù)

在開幕致辭上，芯原商業(yè)運(yùn)營高級(jí)副總裁汪洋表示，隨著先進(jìn)工藝發(fā)展，芯片開發(fā)成本越來越高，因此催生新的設(shè)計(jì)方法論，越來越多的設(shè)計(jì)公司開啟“輕設(shè)計(jì)”模式，重視IP在芯片開發(fā)中的作用，也愿意嘗試各種加速開發(fā)的設(shè)計(jì)方法。作為全球領(lǐng)先的設(shè)計(jì)服務(wù)與IP廠商，芯原在圖像／視頻處理方面陣容齊整，是業(yè)界僅見的能提供GPU、VPU、NPU、DPU、ISP、DSP、壓縮、加解密等全套圖像與視頻IP解決方案的廠商。

圖：全球半導(dǎo)體IP市場持續(xù)增長

圖：芯片開發(fā)成本越來越高

芯原執(zhí)行副總裁、IP事業(yè)部總經(jīng)理戴偉進(jìn)則具體介紹了芯原在圖像領(lǐng)域從攝像頭到屏幕的完整智能像素解決方案。“對(duì)于芯片開發(fā)來說，API是關(guān)鍵，主要是因?yàn)橥ㄟ^統(tǒng)一API可以直接對(duì)接軟件生態(tài)系統(tǒng)，滿足從高性能云到可穿戴的要求�！贝鱾ミM(jìn)表示，芯原和Khronos工業(yè)協(xié)會(huì)合作密切，截止到2021年初，芯原支持科納斯工業(yè)協(xié)會(huì)技術(shù)標(biāo)準(zhǔn)的GPU已經(jīng)出貨超過10億顆。在GPU領(lǐng)域，芯原從2007年至今已經(jīng)取得了長足的發(fā)展，算力實(shí)現(xiàn)了幾百倍進(jìn)步，在汽車領(lǐng)域，全球有數(shù)百萬輛汽車都用到了芯原技術(shù)。

科納斯的整體情況由科納斯工業(yè)協(xié)會(huì)主席、英偉達(dá)生態(tài)系統(tǒng)開發(fā)副總裁、OpenCL工作組主席Neil Trevett介紹。科納斯是由會(huì)員所驅(qū)動(dòng)的非盈利性工業(yè)協(xié)會(huì)，其目標(biāo)是大家一起開發(fā)免版稅的標(biāo)準(zhǔn)以及蓬勃活躍的生態(tài)鏈，以把芯片加速的功效，用在要求苛刻的圖像渲染和涉及超大計(jì)算量的應(yīng)用上，通過標(biāo)準(zhǔn)化技術(shù)來減少開發(fā)成本，加速上市時(shí)間，并通過標(biāo)準(zhǔn)加深行業(yè)溝通來推動(dòng)創(chuàng)新。科納斯會(huì)員來自世界各地工業(yè)界的領(lǐng)袖。目前包括Vulkan、OpenGL、WebGL、OpenCL以及OpenXR等標(biāo)準(zhǔn)都由科納斯來負(fù)責(zé)維護(hù)。

當(dāng)前科納斯工業(yè)協(xié)會(huì)共有150多家會(huì)員，其中40％為美國公司，30％為歐洲公司，30％為亞洲公司。在會(huì)員管理上，科納斯極其開放，只要申請(qǐng)就可以成為會(huì)員，而且每個(gè)會(huì)員都有投票權(quán)。會(huì)員與非會(huì)員都可以提出自己的技術(shù)標(biāo)準(zhǔn)，Trevett表示，一個(gè)真正開放的標(biāo)準(zhǔn)，不能以任何一個(gè)公司為主導(dǎo)，可以每個(gè)公司都貢獻(xiàn)一點(diǎn)。目前科納斯主要面向包括高性能3D圖像、3D資產(chǎn)授權(quán)和交付、可移植的XR虛擬和增強(qiáng)現(xiàn)實(shí)以及并行計(jì)算／視覺／機(jī)器學(xué)習(xí)和推理四大方向。

圖：恩智浦與VeriSilicon合作開發(fā)機(jī)器學(xué)習(xí)技術(shù)

在正式的技術(shù)研討會(huì)環(huán)節(jié)，芯原機(jī)器學(xué)習(xí)軟件副總裁查凱南、芯原IP解決方案副總裁張慧明、芯原多媒體SoC平臺(tái)首席工程師妙維先后發(fā)表演講，對(duì)芯原NPU、GPU和AR／VR解決方案等進(jìn)行了介紹。

查凱南表示，當(dāng)前芯原的人工智能算力可滿足從0．5 TOPS到200 TOPS，具有同一套軟硬件，因此非常容易實(shí)現(xiàn)同系列產(chǎn)品的平臺(tái)遷移。查凱南表示，目前人工智能主要是三大領(lǐng)域，包括機(jī)器視覺，語音識(shí)別以及 像素級(jí)別的圖像處理。此外，查凱南還特別強(qiáng)調(diào)了芯原針對(duì)NPU的編譯器進(jìn)行了投資，支持在線和離線編譯，滿足客戶的不同需求。

張慧明表示，在光線追蹤方面，芯原產(chǎn)品已經(jīng)在NXP iMX8QM（采用了GC7000 GPU）上實(shí)現(xiàn)。同時(shí)，針對(duì)可穿戴領(lǐng)域，芯原和科納斯共同推廣OpenVG應(yīng)用場景，以輕量級(jí)IP實(shí)現(xiàn)了高性能的結(jié)果。在GPGPU上，芯原同樣用類似的架構(gòu)實(shí)現(xiàn)，開發(fā)者可以根據(jù)不同的場景選擇不同規(guī)模的實(shí)現(xiàn)方式。

妙維強(qiáng)調(diào)，AR／VR系統(tǒng)要求更低延時(shí)、更低功耗的整體解決方案，因此不需要DDR的直接渲染技術(shù)，同時(shí)滿足了高性能和低功耗的需求，非常適合XR應(yīng)用場景。

在技術(shù)研討環(huán)節(jié)，Trevett介紹了科納斯的API，包括OpenCL、OpenVX、SYCL以及Vulkan。

Vulkan光線追蹤是業(yè)界第一個(gè)開放、跨廠商、跨平臺(tái)的光線追蹤加速標(biāo)準(zhǔn)。Vulkan是輕量級(jí)API，大幅減少驅(qū)動(dòng)程序，并為程序員提供更多靈活性。OpenCL則是跨供應(yīng)商的標(biāo)準(zhǔn)API，是第一個(gè)面向異構(gòu)系統(tǒng)通用目的并行編程的開放式、免費(fèi)標(biāo)準(zhǔn)，也是一個(gè)統(tǒng)一的編程環(huán)境，支持多核心CPU、GPU、NPU、DSP以及其他并行處理器。OpenVX是一種開放的，免版稅的標(biāo)準(zhǔn)，用于跨平臺(tái)加速計(jì)算機(jī)視覺應(yīng)用程序。OpenVX可實(shí)現(xiàn)性能和功耗優(yōu)化的計(jì)算機(jī)視覺處理，這在嵌入式和實(shí)時(shí)使用情況下尤其重要。SYCL是一種免版稅，跨平臺(tái)的抽象層，它允許使用標(biāo)準(zhǔn)ISO C ＋＋編寫異構(gòu)處理器的代碼，并在同一源文件中包含應(yīng)用程序的主機(jī)代碼和內(nèi)核代碼。

圖：OpenVX框架

同時(shí)，Trevett還介紹了SPIR－V，SPIR－V正在推動(dòng)用于表示并行計(jì)算和基于GPU的圖形的著色器和內(nèi)核語言編譯器的生態(tài)系統(tǒng)革命。SPIR－V使高級(jí)語言前端能夠以標(biāo)準(zhǔn)化的中間形式發(fā)出程序，以供Vulkan，OpenGL或OpenCL驅(qū)動(dòng)程序提取。SPIR－V消除了設(shè)備驅(qū)動(dòng)程序中對(duì)高級(jí)語言前端編譯器的需求，從而大大降低了驅(qū)動(dòng)程序的復(fù)雜性，使廣泛的語言和框架前端可以在各種硬件體系結(jié)構(gòu)上運(yùn)行，并促進(jìn)開源分析生態(tài)系統(tǒng)，移植，調(diào)試和優(yōu)化工具。

目前，科納斯正在嘗試建立嵌入式攝像頭API小組，如今包括汽車、工業(yè)自動(dòng)化等領(lǐng)域越來越依賴于攝像頭，但并沒有廣泛的跨供應(yīng)商標(biāo)準(zhǔn)，使得新的傳感器集成到嵌入式系統(tǒng)中的成本和時(shí)間依然漫長，為了保存客戶的軟硬件投資，該小組正在積極和歐洲機(jī)器視覺聯(lián)盟合作，以提供標(biāo)準(zhǔn)的跨平臺(tái)統(tǒng)一方案。

科納斯工業(yè)協(xié)會(huì)開發(fā)者關(guān)系Kris Rose則介紹了Vulkan的技術(shù)。他表示，Vulkan更強(qiáng)調(diào)應(yīng)用層，淡化驅(qū)動(dòng)層，因此效率更高，開發(fā)者可以與GPU更近。Vulkan支持各類平臺(tái)，因此一次渲染就可以部署到各個(gè)平臺(tái)中，并且MacOS和iOS也可以通過MoltenVK進(jìn)行移植。如今無論是在游戲，還是非游戲的工業(yè)應(yīng)用中，Vulkan都實(shí)現(xiàn)了快速發(fā)展。包括ILM、AImotive、Solidworks和Disso Systems等公司，都選擇了Vulkan。

英特爾AR／VR首席軟件架構(gòu)師，OpenXR工作小組主席Brent Insko介紹了針對(duì)AR／VR的OpenXR技術(shù)更新。Insko表示，在使用OpenXR之前，應(yīng)用程序開發(fā)人員必須根據(jù)每個(gè)平臺(tái)的專有API進(jìn)行編程，因此無論是從開發(fā)的角度，還是從驗(yàn)證和測試的角度，都將成為一項(xiàng)艱巨的挑戰(zhàn)。而OpenXR則允許開發(fā)人員使用通用的高性能API，OpenXR可以與任何3D API一起使用。Insko介紹道，目前微軟已經(jīng)宣布，Minecraft的新RenderDragon渲染引擎正在通過OpenXR創(chuàng)建其桌面VR支持。目前OpenXR有手部和眼部追蹤功能，針對(duì)高級(jí)用戶界面的跨供應(yīng)商擴(kuò)展，以及試驗(yàn)性的疊加層擴(kuò)展。

圖：VeriSilicon IP產(chǎn)品組合–可擴(kuò)展IP

“我們已經(jīng)從微軟，Oculus和HTC得到了官方一致的運(yùn)行時(shí)間。我們有來自Valve、Varjo和Collabora的預(yù)覽實(shí)現(xiàn)。并且得到了Unreal， Blender， Chrome， Edge的支持�！盜nsko說道。

在研討會(huì)中，來自騰訊、阿里巴巴、中國移動(dòng)研究院、彌知科技和華為公司的技術(shù)專家分別講述了NCNN、MNN等神經(jīng)網(wǎng)絡(luò)算法，以及XR的各種應(yīng)用落地情況。從算法、IP到應(yīng)用落地，本次技術(shù)研討會(huì)為專業(yè)觀眾帶來了一場多媒體處理的技術(shù)盛宴。