芯原商業(yè)運營高級副總裁汪洋表示，隨著先進工藝發(fā)展，芯片開發(fā)成本越來越高，因此催生新的設(shè)計方法論，越來越多的設(shè)計公司開啟“輕設(shè)計”模式，重視IP在芯片開發(fā)中的作用，也愿意嘗試各種加速開發(fā)的設(shè)計方法。

文︱編輯部

圖︱廠商資料

4月23日，開放標(biāo)準(zhǔn)行業(yè)組織科納斯工業(yè)協(xié)會（Khronos Group）攜手芯原股份（VeriSilicon）在上海聯(lián)合舉辦技術(shù)研討會。圍繞圖像、視覺與計算，來自科納斯、芯原、騰訊、阿里巴巴、ax株式會社、英特爾、中國移動研究院、彌知科技以及華為等多家廠商或機構(gòu)為現(xiàn)場與線上專業(yè)觀眾帶來了并行處理、視覺加速和推理、3D圖像、增強與虛擬現(xiàn)實等多個技術(shù)話題分享。

根據(jù)中移動的數(shù)據(jù)，2020年視頻在全網(wǎng)數(shù)據(jù)流量占比已接近70％，而這一比例在可預(yù)期的將來，仍將上升。內(nèi)容視頻化大勢所趨，對圖像／視頻等多媒體處理技術(shù)的要求也就越來越高，要實現(xiàn)更高效的多媒體（或富媒體）處理，既要強化對多媒體內(nèi)容處理的硬件性能——例如專用處理器或加速器，又要做好軟件優(yōu)化，從而讓多媒體內(nèi)容在不同平臺上制作或播放時都能達到優(yōu)質(zhì)表現(xiàn)。

圖：視頻技術(shù)與業(yè)務(wù)發(fā)展

2000年成立的科納斯工業(yè)協(xié)會（Khronos Group）即是為多媒體處理制定開放標(biāo)準(zhǔn)的行業(yè)組織，該協(xié)會自成立20多年來，推出過Open GL（跨平臺計算機圖形API）、Open CL（跨平臺通用計算API）、OpenXR（開放虛擬與增強現(xiàn)實標(biāo)準(zhǔn)）以及Vulkan（低開銷、跨平臺圖像處理API）等被業(yè)界廣泛接受的技術(shù)標(biāo)準(zhǔn)庫。而芯原股份則是中國第一大IP廠商，在圖像／視頻IP方面有豐富的產(chǎn)品線，芯原可擴展Vivante GPU IP應(yīng)用覆蓋從低功耗的可穿戴應(yīng)用（GPU Nano IP系列）到面向汽車和計算機應(yīng)用的強大SoC（GPUArcturus圖形IP），可滿足不同應(yīng)用中對芯片尺寸和功耗預(yù)算，極具成本效益。作為科納斯工業(yè)協(xié)會董事會成員（科納斯董事會成員有兩家中國廠商，另一家是華為公司），芯原GPU／NPU對科納斯工業(yè)協(xié)會標(biāo)準(zhǔn)支持非常完善，雙方在新技術(shù)開發(fā)上合作也很緊密，持續(xù)為開發(fā)人員提供更好的圖像／視頻／計算IP和標(biāo)準(zhǔn)API。

圖：強大的IP產(chǎn)品組合提供領(lǐng)先的技術(shù)

在開幕致辭上，芯原商業(yè)運營高級副總裁汪洋表示，隨著先進工藝發(fā)展，芯片開發(fā)成本越來越高，因此催生新的設(shè)計方法論，越來越多的設(shè)計公司開啟“輕設(shè)計”模式，重視IP在芯片開發(fā)中的作用，也愿意嘗試各種加速開發(fā)的設(shè)計方法。作為全球領(lǐng)先的設(shè)計服務(wù)與IP廠商，芯原在圖像／視頻處理方面陣容齊整，是業(yè)界僅見的能提供GPU、VPU、NPU、DPU、ISP、DSP、壓縮、加解密等全套圖像與視頻IP解決方案的廠商。

圖：全球半導(dǎo)體IP市場持續(xù)增長

圖：芯片開發(fā)成本越來越高

芯原執(zhí)行副總裁、IP事業(yè)部總經(jīng)理戴偉進則具體介紹了芯原在圖像領(lǐng)域從攝像頭到屏幕的完整智能像素解決方案。“對于芯片開發(fā)來說，API是關(guān)鍵，主要是因為通過統(tǒng)一API可以直接對接軟件生態(tài)系統(tǒng)，滿足從高性能云到可穿戴的要求�！贝鱾ミM表示，芯原和Khronos工業(yè)協(xié)會合作密切，截止到2021年初，芯原支持科納斯工業(yè)協(xié)會技術(shù)標(biāo)準(zhǔn)的GPU已經(jīng)出貨超過10億顆。在GPU領(lǐng)域，芯原從2007年至今已經(jīng)取得了長足的發(fā)展，算力實現(xiàn)了幾百倍進步，在汽車領(lǐng)域，全球有數(shù)百萬輛汽車都用到了芯原技術(shù)。

科納斯的整體情況由科納斯工業(yè)協(xié)會主席、英偉達生態(tài)系統(tǒng)開發(fā)副總裁、OpenCL工作組主席Neil Trevett介紹�？萍{斯是由會員所驅(qū)動的非盈利性工業(yè)協(xié)會，其目標(biāo)是大家一起開發(fā)免版稅的標(biāo)準(zhǔn)以及蓬勃活躍的生態(tài)鏈，以把芯片加速的功效，用在要求苛刻的圖像渲染和涉及超大計算量的應(yīng)用上，通過標(biāo)準(zhǔn)化技術(shù)來減少開發(fā)成本，加速上市時間，并通過標(biāo)準(zhǔn)加深行業(yè)溝通來推動創(chuàng)新�？萍{斯會員來自世界各地工業(yè)界的領(lǐng)袖。目前包括Vulkan、OpenGL、WebGL、OpenCL以及OpenXR等標(biāo)準(zhǔn)都由科納斯來負責(zé)維護。

當(dāng)前科納斯工業(yè)協(xié)會共有150多家會員，其中40％為美國公司，30％為歐洲公司，30％為亞洲公司。在會員管理上，科納斯極其開放，只要申請就可以成為會員，而且每個會員都有投票權(quán)。會員與非會員都可以提出自己的技術(shù)標(biāo)準(zhǔn)，Trevett表示，一個真正開放的標(biāo)準(zhǔn)，不能以任何一個公司為主導(dǎo)，可以每個公司都貢獻一點。目前科納斯主要面向包括高性能3D圖像、3D資產(chǎn)授權(quán)和交付、可移植的XR虛擬和增強現(xiàn)實以及并行計算／視覺／機器學(xué)習(xí)和推理四大方向。

圖：恩智浦與VeriSilicon合作開發(fā)機器學(xué)習(xí)技術(shù)

在正式的技術(shù)研討會環(huán)節(jié)，芯原機器學(xué)習(xí)軟件副總裁查凱南、芯原IP解決方案副總裁張慧明、芯原多媒體SoC平臺首席工程師妙維先后發(fā)表演講，對芯原NPU、GPU和AR／VR解決方案等進行了介紹。

查凱南表示，當(dāng)前芯原的人工智能算力可滿足從0．5 TOPS到200 TOPS，具有同一套軟硬件，因此非常容易實現(xiàn)同系列產(chǎn)品的平臺遷移。查凱南表示，目前人工智能主要是三大領(lǐng)域，包括機器視覺，語音識別以及 像素級別的圖像處理。此外，查凱南還特別強調(diào)了芯原針對NPU的編譯器進行了投資，支持在線和離線編譯，滿足客戶的不同需求。

張慧明表示，在光線追蹤方面，芯原產(chǎn)品已經(jīng)在NXP iMX8QM（采用了GC7000 GPU）上實現(xiàn)。同時，針對可穿戴領(lǐng)域，芯原和科納斯共同推廣OpenVG應(yīng)用場景，以輕量級IP實現(xiàn)了高性能的結(jié)果。在GPGPU上，芯原同樣用類似的架構(gòu)實現(xiàn)，開發(fā)者可以根據(jù)不同的場景選擇不同規(guī)模的實現(xiàn)方式。

妙維強調(diào)，AR／VR系統(tǒng)要求更低延時、更低功耗的整體解決方案，因此不需要DDR的直接渲染技術(shù)，同時滿足了高性能和低功耗的需求，非常適合XR應(yīng)用場景。

在技術(shù)研討環(huán)節(jié)，Trevett介紹了科納斯的API，包括OpenCL、OpenVX、SYCL以及Vulkan。

Vulkan光線追蹤是業(yè)界第一個開放、跨廠商、跨平臺的光線追蹤加速標(biāo)準(zhǔn)。Vulkan是輕量級API，大幅減少驅(qū)動程序，并為程序員提供更多靈活性。OpenCL則是跨供應(yīng)商的標(biāo)準(zhǔn)API，是第一個面向異構(gòu)系統(tǒng)通用目的并行編程的開放式、免費標(biāo)準(zhǔn)，也是一個統(tǒng)一的編程環(huán)境，支持多核心CPU、GPU、NPU、DSP以及其他并行處理器。OpenVX是一種開放的，免版稅的標(biāo)準(zhǔn)，用于跨平臺加速計算機視覺應(yīng)用程序。OpenVX可實現(xiàn)性能和功耗優(yōu)化的計算機視覺處理，這在嵌入式和實時使用情況下尤其重要。SYCL是一種免版稅，跨平臺的抽象層，它允許使用標(biāo)準(zhǔn)ISO C ＋＋編寫異構(gòu)處理器的代碼，并在同一源文件中包含應(yīng)用程序的主機代碼和內(nèi)核代碼。

圖：OpenVX框架

同時，Trevett還介紹了SPIR－V，SPIR－V正在推動用于表示并行計算和基于GPU的圖形的著色器和內(nèi)核語言編譯器的生態(tài)系統(tǒng)革命。SPIR－V使高級語言前端能夠以標(biāo)準(zhǔn)化的中間形式發(fā)出程序，以供Vulkan，OpenGL或OpenCL驅(qū)動程序提取。SPIR－V消除了設(shè)備驅(qū)動程序中對高級語言前端編譯器的需求，從而大大降低了驅(qū)動程序的復(fù)雜性，使廣泛的語言和框架前端可以在各種硬件體系結(jié)構(gòu)上運行，并促進開源分析生態(tài)系統(tǒng)，移植，調(diào)試和優(yōu)化工具。

目前，科納斯正在嘗試建立嵌入式攝像頭API小組，如今包括汽車、工業(yè)自動化等領(lǐng)域越來越依賴于攝像頭，但并沒有廣泛的跨供應(yīng)商標(biāo)準(zhǔn)，使得新的傳感器集成到嵌入式系統(tǒng)中的成本和時間依然漫長，為了保存客戶的軟硬件投資，該小組正在積極和歐洲機器視覺聯(lián)盟合作，以提供標(biāo)準(zhǔn)的跨平臺統(tǒng)一方案。

科納斯工業(yè)協(xié)會開發(fā)者關(guān)系Kris Rose則介紹了Vulkan的技術(shù)。他表示，Vulkan更強調(diào)應(yīng)用層，淡化驅(qū)動層，因此效率更高，開發(fā)者可以與GPU更近。Vulkan支持各類平臺，因此一次渲染就可以部署到各個平臺中，并且MacOS和iOS也可以通過MoltenVK進行移植。如今無論是在游戲，還是非游戲的工業(yè)應(yīng)用中，Vulkan都實現(xiàn)了快速發(fā)展。包括ILM、AImotive、Solidworks和Disso Systems等公司，都選擇了Vulkan。

英特爾AR／VR首席軟件架構(gòu)師，OpenXR工作小組主席Brent Insko介紹了針對AR／VR的OpenXR技術(shù)更新。Insko表示，在使用OpenXR之前，應(yīng)用程序開發(fā)人員必須根據(jù)每個平臺的專有API進行編程，因此無論是從開發(fā)的角度，還是從驗證和測試的角度，都將成為一項艱巨的挑戰(zhàn)。而OpenXR則允許開發(fā)人員使用通用的高性能API，OpenXR可以與任何3D API一起使用。Insko介紹道，目前微軟已經(jīng)宣布，Minecraft的新RenderDragon渲染引擎正在通過OpenXR創(chuàng)建其桌面VR支持。目前OpenXR有手部和眼部追蹤功能，針對高級用戶界面的跨供應(yīng)商擴展，以及試驗性的疊加層擴展。

圖：VeriSilicon IP產(chǎn)品組合–可擴展IP

“我們已經(jīng)從微軟，Oculus和HTC得到了官方一致的運行時間。我們有來自Valve、Varjo和Collabora的預(yù)覽實現(xiàn)。并且得到了Unreal， Blender， Chrome， Edge的支持。”Insko說道。

在研討會中，來自騰訊、阿里巴巴、中國移動研究院、彌知科技和華為公司的技術(shù)專家分別講述了NCNN、MNN等神經(jīng)網(wǎng)絡(luò)算法，以及XR的各種應(yīng)用落地情況。從算法、IP到應(yīng)用落地，本次技術(shù)研討會為專業(yè)觀眾帶來了一場多媒體處理的技術(shù)盛宴。