中國大模型發(fā)展指數(shù)(第1期)
【編者按】為了及時跟蹤中國大模型動態(tài),深入研究大模型產(chǎn)業(yè)發(fā)展的廣度、深度、銳度,零壹智庫聯(lián)合多家學(xué)界和業(yè)界的機構(gòu)和專家,編制“中國大模型發(fā)展指數(shù)”。大模型的發(fā)展日新月異,指數(shù)以月為單位更新數(shù)據(jù)。第1期指數(shù)數(shù)據(jù)更新到2024年4月,因第一期指數(shù)在數(shù)據(jù)挖掘、處理、建模、調(diào)研等用時較長,今日才得以發(fā)布。第2期指數(shù)將更新到2024年9月,將于近期發(fā)布。我們期待各界人士為指數(shù)提供建議、觀點和優(yōu)秀案例,我們將不斷改進指數(shù),為中國大模型的發(fā)展制作精準(zhǔn)的風(fēng)向標(biāo)和參照系。——《中國大模型發(fā)展指數(shù)》編寫組
摘要
本報告構(gòu)建了中國大模型發(fā)展指數(shù),旨在量化評估中國大模型發(fā)展現(xiàn)狀和趨勢。指數(shù)涵蓋大模型研發(fā)、大模型實踐和大模型支撐三個維度,共20個四級指標(biāo),以2023年5月至2024年4月的數(shù)據(jù)為基礎(chǔ)進行分析。
中國大模型發(fā)展指數(shù)顯示,國內(nèi)大模型在技術(shù)和應(yīng)用方面均取得了顯著進展。大模型技術(shù)作為推動科技創(chuàng)新和產(chǎn)業(yè)變革的核心技術(shù),正逐步成為經(jīng)濟發(fā)展的新引擎。
大模型研發(fā)方面:研發(fā)指數(shù)反映出學(xué)術(shù)研究和專利授權(quán)的穩(wěn)步增長,表明中國在大模型領(lǐng)域的技術(shù)創(chuàng)新和學(xué)術(shù)探索持續(xù)活躍。盡管增速有所放緩,但大模型研發(fā)的總體趨勢依舊向上,顯示出國內(nèi)在該領(lǐng)域的深厚積累和創(chuàng)新潛力。
大模型實踐方面:實踐指數(shù)揭示了大模型在實際應(yīng)用中的增長態(tài)勢,盡管短期內(nèi)增速有所放緩,但大模型在各行業(yè)的應(yīng)用水平仍在提升。特別是大模型創(chuàng)業(yè)指數(shù)的快速增長,表明市場對大模型應(yīng)用的高度認(rèn)可和積極響應(yīng)。
大模型支撐方面:支撐指數(shù)的顯著增長凸顯了中國在算力、人才、政策和創(chuàng)新環(huán)境等方面的堅實基礎(chǔ)。算力中心數(shù)量的增加、高校專業(yè)人才的培養(yǎng)、國家及地方政府的政策支持,以及開源社區(qū)的活躍度提升,均為大模型的快速發(fā)展提供了有力支撐。
典型案例:KAN網(wǎng)絡(luò)提出了一種創(chuàng)新的神經(jīng)網(wǎng)絡(luò)架構(gòu),在理論基礎(chǔ)、結(jié)構(gòu)設(shè)計、參數(shù)效率和可解釋性方面具有優(yōu)勢。智譜清言是一款新一代基座大模型,具備多模態(tài)能力。在高級自然語言處理能力、多語言交流、深度文本分析、智能寫作、信息搜索、個性化服務(wù)、文檔理解等眾多方面得到應(yīng)用。
東方財富妙想金融大模型憑借其自研技術(shù)、金融數(shù)據(jù)挖掘、專業(yè)詞表、高效訓(xùn)練算法、算力集群、金融場景應(yīng)用、數(shù)據(jù)積淀和專業(yè)生態(tài),已成為金融科技領(lǐng)域的領(lǐng)先者,服務(wù)于百萬專業(yè)投資者和金融機構(gòu)。
百融云創(chuàng)結(jié)合行業(yè)專知,引入檢索增強生成技術(shù)(RAG),融合多模態(tài),為金融行業(yè)提供了精準(zhǔn)、高效和個性化的服務(wù),成為AI產(chǎn)業(yè)應(yīng)用的典范。
結(jié)論與展望:中國大模型發(fā)展迅速,已成為全球重要力量。未來需要加強技術(shù)研發(fā),拓展應(yīng)用場景,完善政策環(huán)境,營造良好創(chuàng)新生態(tài)。中國大模型有望在多個領(lǐng)域發(fā)揮重要作用,推動經(jīng)濟和社會發(fā)展。
人工智能技術(shù)正引領(lǐng)新一輪科技革命,其中AI大模型作為核心技術(shù),在推動科技創(chuàng)新和產(chǎn)業(yè)變革方面發(fā)揮著重要作用。
中國密集出臺政策支持大模型發(fā)展,并在技術(shù)研發(fā)和應(yīng)用方面取得了顯著成效。然而,目前缺乏對中國大模型發(fā)展現(xiàn)狀的量化評估工具。
為此,本報告構(gòu)建了中國大模型發(fā)展指數(shù),旨在從大模型支撐、大模型研發(fā)和大模型實踐三個維度,對中國大模型發(fā)展情況進行全面評估,為相關(guān)決策提供參考依據(jù)。
01
指數(shù)背景
(一)國家政策背景
伴隨人工智能技術(shù)的加速演進,AI大模型已成為全球科技競爭的新高地、未來產(chǎn)業(yè)的新賽道、經(jīng)濟發(fā)展的新引擎,發(fā)展?jié)摿Υ、?yīng)用前景廣。特別是自2022年以來,以ChatGPT為代表的通用人工智能大模型在全球掀起了新一輪的人工智能發(fā)展浪潮。
作為新質(zhì)生產(chǎn)力的重要組成部分,大模型有望揭示重大科學(xué)規(guī)律、催生重要科技成果,激發(fā)新一輪的技術(shù)和產(chǎn)業(yè)變革,賦能千行百業(yè),推動經(jīng)濟和社會跨越式發(fā)展。當(dāng)前,全球主要國家已經(jīng)著手制定大模型相關(guān)的發(fā)展戰(zhàn)略和政策文件。
1. 美、歐等人工智能戰(zhàn)略動向
2021年,白宮科學(xué)技術(shù)政策辦公室(OSTP)宣布啟動國家人工智能倡議辦公室,負(fù)責(zé)協(xié)調(diào)和監(jiān)督美國政府的國家人工智能政策計劃。
2023年 5月,美國政府發(fā)布了新版《國家人工智能研發(fā)戰(zhàn)略計劃》,同年6月宣布投資1.4億美元成立7 家新的國家人工智能研究所,7月在白宮召集亞馬遜、谷歌、Anthropic、Meta、微軟等七家AI頭部公司簽署人工智能的自愿承諾協(xié)議,9月再次與英偉達(dá)、IBM、Adobe、Salesforce、Scale、Cohere等八家企業(yè)簽署該協(xié)議。
2023年6月,歐洲議會通過了《人工智能法案》的一系列修正案,預(yù)計于2024年正式通過《人工智能法案》。
歐盟主要針對人工智能的定義、禁止的人工智能應(yīng)用清單、高風(fēng)險人工智能的義務(wù)及基礎(chǔ)模型、執(zhí)法機制幾個爭議性的領(lǐng)域加以討論和修正。還將成立 “人工智能委員會”,在歐洲議會的建議下建立一個新的人工智能辦公室,該機構(gòu)將擁有行政、咨詢、解釋和執(zhí)法相關(guān)的一系列權(quán)力,并負(fù)責(zé)協(xié)調(diào)跨境調(diào)查。
當(dāng)下,圍繞《人工智能法案》的爭議集中在它是否會過度約束大模型的發(fā)展,由此可以看出,歐盟內(nèi)部對以大模型為代表的新一代人工智能整體還是持審慎態(tài)度。
日本對人工智能技術(shù)采取的戰(zhàn)略性舉措包括整體規(guī)劃“社會5.0”《新機器人戰(zhàn)略》《下一代人工智能促進戰(zhàn)略》《人工智能技術(shù)戰(zhàn)略》《人工智能技術(shù)戰(zhàn)略實施計劃》《以人為中心的人工智能社會原則》以及《人工智能戰(zhàn)略》等加強對人工智能技術(shù)和專利發(fā)展的戰(zhàn)略性引導(dǎo)。
近年來,新加坡瞄準(zhǔn)人工智能在當(dāng)今國際局勢中的戰(zhàn)略性地位,大力發(fā)展人工智能以賦能智慧國家建設(shè)并發(fā)揮國際戰(zhàn)略優(yōu)勢,在戰(zhàn)略、軍事、治理等方面展現(xiàn)數(shù)字革命時代下新加坡的文化 特色。
新加坡致力于用數(shù)字信息科技改變新加坡,在2006年、2014年分別啟動“智慧國家2015計劃”與“智慧國家2025計劃”,并發(fā)布《國家人工智能戰(zhàn)略》,計劃于2030年成為人工智能廣泛應(yīng)用的智慧國家,實現(xiàn)經(jīng)濟與產(chǎn)業(yè)轉(zhuǎn)型并成為全球人工智能創(chuàng)新的領(lǐng)跑者。
2. 我國大模型政策布局動向
我國對大模型產(chǎn)業(yè)持包容審慎態(tài)度,自2022年下半年以來,密集出臺了一系列大模型相關(guān)政策。
表1-1:中國AI大模型行業(yè)最新政策匯總一覽表
資料來源:公開渠道,零壹智庫
在技術(shù)創(chuàng)新方面顯著提升,加快形成大模型產(chǎn)業(yè)。在國家政策的指導(dǎo)下,國內(nèi)各地密集出臺人工智能政策,圍繞算力、算法、數(shù)據(jù)等大模型應(yīng)用基本點發(fā)力,加快形成大模型產(chǎn)業(yè)。
各地人工智能政策發(fā)布呈密集態(tài)勢,且主要聚焦通用人工智能大模型,多省市在2023年上半年密集出臺人工智能相關(guān)利好政策,都在努力搶抓發(fā)展風(fēng)口。
據(jù)不完全統(tǒng)計,2023年上半年,重點省市共出臺人工智能發(fā)展相關(guān)政策19項,而2022 年同期僅有5項,增長率近400%。北京、上海、深圳、成都、杭州、武漢等大城市均高度重視大模型產(chǎn)業(yè)發(fā)展。
國內(nèi)多地大模型政策主要以“三算”(算力、算法、算據(jù))、應(yīng)用和企業(yè)布局為同質(zhì)化著力點。
從算力上看,杭州、上海等地加快建設(shè)算力基礎(chǔ)設(shè)施、統(tǒng)籌調(diào)度平臺及算力協(xié)調(diào)體系,集聚算力資源、夯實發(fā)展“底座”,如妙想金融大模型致力于以底座能力賦能金融場景。
從算法上看,南京、深圳等地聚焦基礎(chǔ)軟硬件體系、大模型算法核心技術(shù),做好底層支撐以突破算法瓶頸。
其中,成都、杭州、廊坊實施首試首用、支持首版次等措施來支持算法研發(fā);北京則強調(diào)通用人工智能算法發(fā)展,如百融云創(chuàng)金融大模型結(jié)合了算力、行業(yè)專知對模型進行算法精調(diào);蘇州和無錫提出探索元宇宙相關(guān)算法。
從數(shù)據(jù)上看,北京、成都等6地提出歸集高質(zhì)量數(shù)據(jù)開放共享資源集、支持?jǐn)?shù)據(jù)交易、探索公共數(shù)據(jù)開放使用途徑,打通數(shù)據(jù)資源壁壘,其中,北京謀劃建設(shè)數(shù)據(jù)訓(xùn)練基地、建設(shè)數(shù)據(jù)基礎(chǔ)制度先行示范區(qū),成都和杭州都考慮構(gòu)建行業(yè)級數(shù)據(jù)集或數(shù)據(jù)平臺。
表1-2:主要城市大模型政策
資料來源:公開渠道,零壹智庫
(二)技術(shù)發(fā)展背景
數(shù)字技術(shù)創(chuàng)新成效顯著。我國大模型爆發(fā)式增長,緊跟國際前沿步伐,特別是在技術(shù)創(chuàng)新領(lǐng)域,成效顯著。
人工智能、區(qū)塊鏈、云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)等數(shù)字技術(shù)(統(tǒng)稱ABCDI)是發(fā)展大模型的關(guān)鍵技術(shù)。
為了更好地獲得ABCDI數(shù)據(jù),我們選擇從企業(yè)預(yù)警通、智慧芽等渠道獲取數(shù)據(jù)并分析得出,ABCDI專利申請數(shù)量自2008年的10018件至2021年達(dá)到峰值415982件,但在2023年回落至214478件。
專利申請的增長率也從2021年的27.04%顯著下降至2023年的-40.16%。
這一趨勢反映出近三年專利申請數(shù)量的明顯減少,主要是區(qū)塊鏈的專利申請數(shù)量下降明顯;專利申請數(shù)量逐漸減少導(dǎo)致后期專利授權(quán)數(shù)量逐年減少,授權(quán)數(shù)量從2008年的1872件,到2022年最高峰為161988件,2023年略有下降為131125件,專利授權(quán)增長率從2009年的46.31%上升到2020年78.59的峰會,之后下降到2023年的-19.05%。
圖1-1:數(shù)字技術(shù)創(chuàng)新增長率
數(shù)據(jù)來源:智慧芽,零壹智庫
大模型專利累計數(shù)量逐年增長,以2023年05月-2024年04月共達(dá)到384506件,月平均增長32042件,具體如圖1-2所示,從圖中可以看出大模型專利增長強勁。
這也說明自2022年以來,以ChatGPT為代表的通用人工智能大模型在全球掀起了新一輪的人工智能發(fā)展浪潮。大模型作為新質(zhì)生產(chǎn)力的重要組成部分,有望揭示重大科學(xué)規(guī)律、催生重要科技成果,激發(fā)新一輪的技術(shù)和產(chǎn)業(yè)變革,賦能千行百業(yè),推動經(jīng)濟和社會跨越式發(fā)展。
圖1-2:2023年5月-2024年4月每月大模型專利數(shù)量
數(shù)據(jù)來源:智慧芽,零壹智庫
(三)產(chǎn)業(yè)發(fā)展背景
近年來,人工智能得到快速發(fā)展,激發(fā)了新一輪的技術(shù)和產(chǎn)業(yè)變革,賦能千行百業(yè),推動經(jīng)濟和社會跨越式發(fā)展。當(dāng)前我國人工智能技術(shù)被廣泛運用在無人駕駛、移動網(wǎng)絡(luò)、智能家居等產(chǎn)業(yè)中,逐步形成了依賴基礎(chǔ)技術(shù)支持并融合人工智能技術(shù)和人工智能應(yīng)用鏈接的產(chǎn)業(yè)框架。
通過人工智能技術(shù)應(yīng)用于實體經(jīng)濟,促進技術(shù)進步,帶動產(chǎn)業(yè)升級和經(jīng)濟轉(zhuǎn)型,進一步推動經(jīng)濟的持續(xù)增長,2022年中國核心產(chǎn)業(yè)規(guī)模達(dá)到5080億元,同比增長18%。
在技術(shù)創(chuàng)新領(lǐng)域,中國在人工智能芯片、深度學(xué)習(xí)軟件架構(gòu)和中文自然語言處理等領(lǐng)域取得了顯著進展,同時AI技術(shù)正在醫(yī)療健康金融科技和新消費等領(lǐng)域廣泛應(yīng)用,賦能到各行各業(yè)。
截至2023年,人工智能顯示出強勁的發(fā)展勢頭并通過創(chuàng)新推動實體經(jīng)濟的發(fā)展,涵蓋人工智能產(chǎn)業(yè)鏈相關(guān)行業(yè)的創(chuàng)新、工業(yè)機器人和服務(wù)機器人產(chǎn)業(yè)的創(chuàng)新,以及物聯(lián)網(wǎng)和智能商業(yè)模式的創(chuàng)新。
人工智能產(chǎn)業(yè)作為一個充滿巨大機遇和潛力的新興產(chǎn)業(yè),對于國家經(jīng)濟發(fā)展和社會進步具有重要意義。人工智能產(chǎn)業(yè)的發(fā)展也面臨著一系列挑戰(zhàn)和問題,需要政府、企業(yè)和社會各界共同努力解決。
總體來看,在市場機遇和技術(shù)挑戰(zhàn)的雙重驅(qū)動下,人工智能產(chǎn)業(yè)迎來了前所未有的發(fā)展機遇。但是,政策環(huán)境和國際競爭的不確定性仍然給人工智能產(chǎn)業(yè)帶來一定的挑戰(zhàn)。因此,只有進一步加強政策引導(dǎo),加強國際合作,才能夠促進人工智能產(chǎn)業(yè)健康、可持續(xù)發(fā)展。
02
評價體系
自2022年11月底發(fā)布ChatGPT以來,以其為代表的通用人工智能大模型在全球掀起了新一輪的人工智能發(fā)展浪潮。作為新質(zhì)生產(chǎn)力的重要組成部分,大模型有望揭示重大科學(xué)規(guī)律、催生重要科技成果,激發(fā)新一輪的技術(shù)和產(chǎn)業(yè)變革,賦能千行百業(yè),推動經(jīng)濟和社會跨越式發(fā)展。
目前,尚未有指標(biāo)對我國大模型發(fā)展情況進行衡量。因此,鑒于大模型的快速發(fā)展,本報告以月度數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù),擬選取2023年5月至2024年4月十二個月,從大模型支撐、大模型研發(fā)和大模型實踐3個維度,構(gòu)建中國大模型發(fā)展指數(shù)指標(biāo)體系,對我國大模型發(fā)展情況進行量化研究。
(一)構(gòu)建原則
本報告基于我國大模型研究和發(fā)展實際,堅持科學(xué)性、系統(tǒng)性、可操作性、可比性原則,構(gòu)建中國大模型發(fā)展水平的評價指標(biāo)體系。
1. 科學(xué)性原則
指標(biāo)體系的設(shè)置考慮指標(biāo)的內(nèi)在因果邏輯,嚴(yán)謹(jǐn)、準(zhǔn)確地反映大模型發(fā)展水平和發(fā)展?jié)摿。其中,指?biāo)權(quán)重的確定采用CRITIC客觀賦權(quán)法,指標(biāo)的構(gòu)建以定量指標(biāo)為主,最大限度排除主觀干擾。基于此計算得到的中國大模型各級指數(shù)能夠反映中國大模型發(fā)展的現(xiàn)實發(fā)展水平、變化程度、未來趨勢等。
2. 系統(tǒng)性原則
選取指標(biāo)盡可能地全面反映大模型發(fā)展的各方面,又能突出重點,確保指標(biāo)體系完整、客觀、合理。系統(tǒng)性原則使得單個指標(biāo)能反映大模型發(fā)展的某個側(cè)面,綜合指標(biāo)又能反映大模型的整體情況。
本報告從大模型支撐、大模型研發(fā)和大模型實踐3個維度對我國大模型發(fā)展情況進行測量。其中,大模型支撐是大模型發(fā)展的基礎(chǔ)條件,本報告從算力、人才、政策以及創(chuàng)新環(huán)境等維度測量我國對大模型發(fā)展的支持情況。
對大模型的學(xué)術(shù)研究和技術(shù)研發(fā)是大模型創(chuàng)新發(fā)展的重要源泉,而良好的開源生態(tài)有利于大模型技術(shù)持續(xù)創(chuàng)新。大模型實踐是大模型在企業(yè)和產(chǎn)業(yè)的實踐和落地情況。三個維度較好地囊括了我國大模型發(fā)展基礎(chǔ)、學(xué)術(shù)和技術(shù)研發(fā)及實踐應(yīng)用情況。
3. 可操作性原則
本報告立足現(xiàn)行統(tǒng)計制度和方法,聚焦大模型相關(guān)實物量和價值量指標(biāo)需求,充分考慮大模型學(xué)術(shù)和行業(yè)數(shù)據(jù)的可獲得性、可操作性,力求全面、準(zhǔn)確反映大模型發(fā)展?fàn)顩r。數(shù)據(jù)以定量數(shù)據(jù)為主,主要通過查閱國家統(tǒng)計局、教育部、中國知網(wǎng)和網(wǎng)絡(luò)搜索等途徑獲得數(shù)據(jù)。
其中,大模型技術(shù)研發(fā)活躍度數(shù)據(jù)來源于全球最大的開源社區(qū)之一—github,基于該平臺檢索我國開源大模型數(shù)量、參與者數(shù)量及項目參與者活躍度。這一做法,很大程度上減少了數(shù)據(jù)遺漏,使得數(shù)據(jù)可以持續(xù)獲得。
4. 可比性原則
通過對各月基礎(chǔ)數(shù)據(jù)進行歸一化和去量綱等方法進行處理,消除不同特征之間的量綱差異,使不同特征數(shù)據(jù)之間具有可比性,從而使計算結(jié)果具有綜合可比性。同時,針對計算結(jié)果進行基期指數(shù)化,更直觀地反映我國大模型發(fā)展指數(shù)變動情況和趨勢。
(二)指標(biāo)體系
向上聯(lián)結(jié)學(xué)術(shù)、向下扎根行業(yè),實現(xiàn)技術(shù)創(chuàng)新與社會價值的接軌是大模型發(fā)展的第一性原理(注1)。而這一切也都需要人力、算力和創(chuàng)新環(huán)境等的支撐。由此可以看出,對大模型發(fā)展而言,大模型支撐是基礎(chǔ),大模型研究是創(chuàng)新的源泉,大模型實踐是落腳點。
基于此,本報告從大模型支撐、大模型研究和大模型實踐3個一級指標(biāo)(見表2-1)、8個二級指標(biāo)、13個三級指標(biāo)和18個四級指標(biāo)構(gòu)建大模型發(fā)展指數(shù)指標(biāo)體系,衡量我國大模型發(fā)展水平。
表2-1:中國大模型發(fā)展指數(shù)一級指標(biāo)
1.大模型支撐
算力、人才、政策的支持,以及良好的創(chuàng)新環(huán)境,是大模型發(fā)展的重要支撐。算力和人才指大模型發(fā)展最重要的資源投入之一。大模型發(fā)展離不開訓(xùn)練和推理,大模型訓(xùn)練包含海量高質(zhì)量數(shù)據(jù)獲取、大規(guī)模訓(xùn)練集群穩(wěn)定訓(xùn)練、模型算法調(diào)優(yōu)等多個環(huán)節(jié),每個環(huán)節(jié)都需要大量人才、算力等資源的投入。
本報告分別用算力中心數(shù)量和高等院校相關(guān)專業(yè)數(shù)量來衡量我國算力和人才支持情況(表2-2所示)。
同時,政府政策是保障大模型健康發(fā)展的重要規(guī)范。大模型的使用可能會出現(xiàn)各種各樣的錯誤,也會帶來一些倫理、安全和隱私等方面的問題。這就需要政府從大模型治理、隱私保護等各方面出臺各項政策支持,保障大模型安全、健康、持續(xù)發(fā)展。
如,2023年7月,國家網(wǎng)信辦聯(lián)合國家發(fā)展改革委、教育部等7部門聯(lián)合公布《生成式人工智能服務(wù)管理暫行辦法》。從數(shù)據(jù)和基礎(chǔ)模型的合法性、知識產(chǎn)權(quán)保護、個人信息保護等方面提出了相關(guān)要求,對促進生成式人工智能健康發(fā)展和規(guī)范應(yīng)用,維護國家安全和社會公共利益意義重大。
本報告以大模型、內(nèi)容平臺、生成式人工智能等關(guān)鍵詞(見附錄二)在知領(lǐng)政策庫檢索大模型相關(guān)政策數(shù)量作為基礎(chǔ)數(shù)據(jù)。
此外,技術(shù)創(chuàng)新是大模型發(fā)展的首要驅(qū)動力。大模型發(fā)展面臨諸多挑戰(zhàn),如魯棒性、安全性及效率問題,這些挑戰(zhàn)的解決依賴于技術(shù)進步和原始創(chuàng)新。
大模型的實踐,除了技術(shù)層面的突破,也需要商業(yè)模式的創(chuàng)新。因此,良好的創(chuàng)新環(huán)境是大模型研發(fā)和應(yīng)用的動力源泉。基于此,本報告以大模型、內(nèi)容平臺、生成式人工智能等關(guān)鍵詞(見附錄二)在中國日報網(wǎng)等進行檢索,以表征創(chuàng)新熱情。
表2-2:大模型支撐指標(biāo)
2.大模型研發(fā)
大模型研發(fā)主要集中于兩類,分別是學(xué)術(shù)研究和技術(shù)研發(fā)(表2-3所示)。其中,學(xué)術(shù)研究層面,近年來,高校與科研院所積極布局大模型,大模型學(xué)術(shù)研究雨后春筍般涌現(xiàn)。
本報告以中國知網(wǎng)作為檢索平臺,以大模型、預(yù)訓(xùn)練、生成式預(yù)訓(xùn)練、GPT、涌現(xiàn)能力、語言大模型、NLP、大語言模型、LLM、ChatGPT等作為關(guān)鍵詞(見附錄一),檢索我國關(guān)于大模型研究的學(xué)術(shù)論文數(shù)量。
在技術(shù)研發(fā)方面,專利是衡量創(chuàng)新產(chǎn)出的重要指標(biāo)。本指標(biāo)從智慧芽等平臺檢索我國專利授權(quán)數(shù)量,以此衡量我國技術(shù)創(chuàng)新成效。
此外,良好的開源生態(tài)不僅有利于大模型技術(shù)持續(xù)創(chuàng)新、拓展大模型應(yīng)用路徑,還能在多方攜手共建的基礎(chǔ)上更好地解決大模型的可解釋性、安全性、穩(wěn)定性等問題。
因此,本指標(biāo)基于github社區(qū),檢索我國開源大模型規(guī)模,及各開源模型貢獻者(contributors)表征開源大模型參與者數(shù)量,各位貢獻者存在多次提交(commits),以各參與者提交次數(shù)累計值表征開源大模型參與者活躍度。
表 2-3:大模型研發(fā)指標(biāo)
3.大模型實踐
大模型作為新物種,一直在快速進化,目前已經(jīng)初步形成包括各參數(shù)規(guī)模、各種技術(shù)架構(gòu)、各種模態(tài)和各種應(yīng)用場景的大模型家族。本報告從大模型創(chuàng)業(yè)和大模型應(yīng)用兩個維度分別測量我國大模型創(chuàng)業(yè)情況和大型企業(yè)在大模型應(yīng)用上的實踐(表2-4)。
目前,投創(chuàng)界積極入局大模型競賽,本報告借助企業(yè)預(yù)警通平臺,通過關(guān)鍵詞檢索(見附錄1),據(jù)此統(tǒng)計大模型創(chuàng)業(yè)企業(yè)規(guī)模,初始資本等,衡量我國大模型創(chuàng)業(yè)情況。同時,通過爬取AIGC企業(yè)投融資數(shù)據(jù),作為創(chuàng)業(yè)企業(yè)資本補給基礎(chǔ)數(shù)據(jù)。
大模型的實踐應(yīng)用上,行業(yè)大模型是大模型在產(chǎn)業(yè)中的應(yīng)用拓展與典型,是大模型專業(yè)化、場景化和垂直化的體現(xiàn)。另一方面,大模型輸入模態(tài)從文本向語音和圖像等多模態(tài)的擴充的趨勢。
多模態(tài)應(yīng)用進一步提升了產(chǎn)業(yè)應(yīng)用的適應(yīng)性,讓大模型解鎖了更多的可能性。因此,本報告從大模型垂直應(yīng)用、單模態(tài)應(yīng)用和多模態(tài)應(yīng)用三個維度測量大模型應(yīng)用水平。該部分?jǐn)?shù)據(jù)來源主要是網(wǎng)絡(luò)搜索。
表2-4:大模型實踐指標(biāo)
(三)指標(biāo)權(quán)重
指標(biāo)權(quán)重的確定有客觀賦權(quán)和主觀賦權(quán)兩類方法。客觀賦權(quán)法可排除主觀干擾,應(yīng)用相對廣泛。
熵權(quán)法、標(biāo)準(zhǔn)離差法和CRITIC法是主要的客觀賦權(quán)法,三種方法均用變量的變異確定權(quán)重。其中,CRITIC法考慮了變量之間的沖突,確定的權(quán)重更為精準(zhǔn)(Chen et al.,2021;Chen et al.,2022;許滌龍和陳雙蓮,2015)。本報告首先對各指標(biāo)數(shù)據(jù)進行離差標(biāo)準(zhǔn)化處理,以避免量綱的差異對測算結(jié)果的影響。
本報告選擇CRITIC法確定各指標(biāo)的權(quán)重。第i個指標(biāo)的權(quán)重:
根據(jù)上述計算公式,計算各一級指標(biāo)權(quán)重如下。
表2-5:中國大模型發(fā)展指數(shù)一級指標(biāo)權(quán)重
(四)數(shù)據(jù)來源
本指數(shù)測量時間為2023年05月至2024年04月,所涉數(shù)據(jù)來源于國家統(tǒng)計局、教育部、中國知網(wǎng)、中國日報網(wǎng)、智慧芽、企業(yè)預(yù)警通、知領(lǐng)政策庫、零壹財經(jīng)、github平臺等。
03
中國大模型總體情況
大模型作為人工智能領(lǐng)域的重要突破,對于推動科技進步和產(chǎn)業(yè)升級具有至關(guān)重要的意義,它們在揭示科學(xué)規(guī)律、促進技術(shù)創(chuàng)新方面發(fā)揮著核心作用,為各行各業(yè)的轉(zhuǎn)型與發(fā)展提供了強大的動力。
通過上述的指標(biāo)體系,計算得出了中國大模型指數(shù)。為了更深入地理解這些指標(biāo)背后的含義,并從中提煉出有價值的信息,接下來將進行中國大模型指數(shù)分析,揭示中國大模型發(fā)展的特點。
(一)中國大模型總體指數(shù)快速上升
從2023年5月至2024年4月,中國大模型指數(shù)從100點基數(shù)增長至257.40。
圖3-1:中國大模型總體指數(shù)
數(shù)據(jù)來源:零壹智庫
我國大模型總體指數(shù)快速上升的原因是:
其一,國家政策驅(qū)動大模型發(fā)展。我國高度重視人工智能的發(fā)展,將其上升為國家戰(zhàn)略,并出臺了一系列的扶持政策和規(guī)劃,為AI大模型產(chǎn)業(yè)發(fā)展創(chuàng)造了良好的環(huán)境。
如2024年,多重利好因素推動大模型快速發(fā)展,首先是“人工智能+”行動等來自政府層面的有力支持,其次用戶提升生活、工作效率的需求激增,再加上科技公司加大對 AI 領(lǐng)域投入資金、人力、技術(shù)研發(fā),各環(huán)節(jié)協(xié)同支撐大模型發(fā)展。
積極發(fā)展 AI、促進 AI 與實體經(jīng)濟深度融合,成為中國實現(xiàn)經(jīng)濟可持續(xù)高質(zhì)量發(fā)展的必然選擇。
其二,基礎(chǔ)設(shè)施支持大模型發(fā)展。我國具備發(fā)展人工智能較好的基礎(chǔ),算力中心、5G網(wǎng)絡(luò)等基礎(chǔ)設(shè)施發(fā)展迅速,企業(yè)創(chuàng)新能力和動力強勁,快速跟上全球大模型發(fā)展前沿,涌現(xiàn)出一批具有行業(yè)影響力的大模型。
其三,資本賦能大模型發(fā)展。大模型能夠有效的解決人工智能方面的很多問題,不斷降低資源需求、提高性能、創(chuàng)造良好的效益,不斷激發(fā)了業(yè)界和資本的動力,推動了大模型的發(fā)展。
(二)我國大模型研發(fā)指數(shù)增長4倍
大模型研發(fā)指數(shù)是由學(xué)術(shù)研究和技術(shù)研發(fā)兩個二級指標(biāo)構(gòu)成,從計算得出大模型研發(fā)指數(shù)從2023年05月63.57增長到2024年04月258.54,增長4倍;大模型研發(fā)指數(shù)增長率從26.20%下降到9.33%。
圖3-2:大模型研發(fā)指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
我國大模型研發(fā)指數(shù)增長強勁,其原因如下:
其一,學(xué)術(shù)成果豐碩,從計算結(jié)果得出,大模型學(xué)術(shù)研究指數(shù)從2023年5月44.35增長到2024年04月的253.37,增長5倍,原因是圍繞大模型的學(xué)術(shù)論文從2024年05月216篇增長到了1018篇,大模型專利數(shù)量從2023年05月13001項增長到了2024年04月39412項。
大家都明白,自2022年以來,以ChatGPT為代表的大模型在全球掀起了新一輪的人工智能發(fā)展浪潮,能揭示重大科學(xué)規(guī)律、催生重要科技成果,激發(fā)新一輪的技術(shù)和產(chǎn)業(yè)變革,賦能千行百業(yè),推動經(jīng)濟和社會跨越式發(fā)展。
其二,技術(shù)研發(fā)水平不斷提升,從計算的結(jié)果得出,大模型技術(shù)研發(fā)指數(shù)從2023年05月82.24增長到2024年04月258.54,增長3倍。原因是技術(shù)創(chuàng)新成效、開源大模型研發(fā)水平、開源項目開發(fā)進展三個指標(biāo)增長較快,分別從64.13增長到258.54、從96.86增長到、258.54;從95.14增長到258.54。這會加大大模型技術(shù)快速發(fā)展,使我國大模型產(chǎn)業(yè)發(fā)展將邁入快車道。
1. 大模型學(xué)術(shù)研究指數(shù)增長率有所放緩
大模型研發(fā)二級指數(shù)學(xué)術(shù)研究指數(shù)從2023年05月45.25增長到2024年04月的285.54,學(xué)術(shù)研究指數(shù)增長率從2023年6月28.70%下降2023年12月12.14%,一直到2024年12 月穩(wěn)定在12%左右;技術(shù)研發(fā)指數(shù)從2023年05月79.07增長到2024年04月的253.37,技術(shù)研發(fā)指數(shù)增長率從25.86%下降到6.37% 。
圖3-3:大模型學(xué)術(shù)研究指數(shù)和大模型技術(shù)研究指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
其增速放緩的原因如下:
其一,創(chuàng)新邊際遞減效應(yīng)。創(chuàng)新的邊際遞減效應(yīng)是一個經(jīng)濟學(xué)原理,它描述了隨著技術(shù)發(fā)展,每增加等量的投入,所帶來的產(chǎn)出增長會逐漸減少的現(xiàn)象。
這一效應(yīng)在學(xué)術(shù)發(fā)展過程中同樣存在,尤其是在學(xué)術(shù)研究成熟期,創(chuàng)新的難度和成本增加,而獲得的額外效益卻逐漸減少。
從大模型學(xué)術(shù)研究數(shù)據(jù)來看,2023年5月到2023年6月大模型論文由216篇增長到278篇,只增長了62篇;而增長率卻為28.70%。2024年3月到2024年4月大模型論文由1098篇增至1234篇,增長了136篇,而增長率僅為12.39%。大模型論文的增長率呈現(xiàn)出邊際遞減效應(yīng)。
其二,論文選題方向邊際遞減效應(yīng),F(xiàn)有的大模型研究主要方向是深度神經(jīng)網(wǎng)絡(luò)、Transformer架構(gòu)、自監(jiān)督學(xué)習(xí)、預(yù)訓(xùn)練與微調(diào)策略,以及高效的優(yōu)化算法,之后研究轉(zhuǎn)向了大模型處理復(fù)雜任務(wù)時的適應(yīng)能力和泛化能力。
然而,隨著時間的推移,大模型處理復(fù)雜任務(wù)研究逐漸遇到了性能瓶頸,即在現(xiàn)有理論框架和技術(shù)手段下,進一步的性能提升變得越來越困難,導(dǎo)致研究產(chǎn)出的增長速度開始減緩,呈現(xiàn)出論文選題方向邊際遞減效應(yīng)。
2. 大模型技術(shù)研發(fā)指數(shù)增長率逐漸降低
大模型技術(shù)研發(fā)指數(shù)增長率從2023年5月24.7%下降到2024年4月6.13%(圖3-3),增速逐漸放緩。其具體原因主要是:
其一,市場競爭日益激烈。大模型領(lǐng)域的競爭愈演愈烈,各類企業(yè)紛紛投入研發(fā)和推廣,為了爭奪市場份額,各大企業(yè)不斷推陳出新,使得技術(shù)更新速度越來越快,在這種情況下,大模型研發(fā)的高增長率難以持續(xù);
其二,當(dāng)前大模型的應(yīng)用場景有限。盡管大模型在很多領(lǐng)域都表現(xiàn)出了出色的能力,但實際上,它們的應(yīng)用場景仍然相對有限。許多企業(yè)在嘗試將大模型應(yīng)用到自己的業(yè)務(wù)中時,發(fā)現(xiàn)實際效果并不如預(yù)期;
其三,大模型的高成本和技術(shù)難題也是制約其增速的重要因素。開發(fā)和維護大模型需要大量的資金和技術(shù)投入,這使得一般的中小企業(yè)難以承受,同時大模型的技術(shù)難題也使得很多企業(yè)在實際應(yīng)用中面臨諸多挑戰(zhàn)。這些問題的存在,導(dǎo)致大模型的熱度逐漸降低。
(三)我國大模型實踐應(yīng)用復(fù)合增長率16%
大模型實踐指數(shù)從2023年5月44.68增長至2024年4月234.37,復(fù)合增長率16%。大模型實踐指數(shù)在短期內(nèi)經(jīng)歷了一段“降溫”期,但從中期視角來看,指數(shù)仍然呈現(xiàn)出“穩(wěn)步加溫”的態(tài)勢。
特別是在2023年的6月、11月,以及2024年的2月,可以觀察到了顯著的增長率高峰(參見圖3-4)?傮w而言,大模型實踐指數(shù)保持著上升的發(fā)展軌跡,盡管增長率在不同時間段表現(xiàn)出一定的波動性。
這些數(shù)據(jù)點揭示了一個模式:盡管大模型實踐可能會遇到暫時的冷卻期,但經(jīng)過一段時間的沉淀和調(diào)整,研究和應(yīng)用的熱情往往會被重新點燃。
這種周期性的波動可能與技術(shù)突破、市場需求變化或政策導(dǎo)向等因素有關(guān)。因此,盡管面臨暫時的挑戰(zhàn),大模型的發(fā)展前景依然樂觀。
其“降溫”原因如下:
其一,大模型認(rèn)知鴻溝被逐步填平。大模型神秘面紗正在不斷被揭開,同時開源社區(qū)也獲得了蓬勃起步,學(xué)術(shù)界也積極參與和支持開源化,這進一步降低了大模型在應(yīng)用側(cè)的門檻。
隨著認(rèn)知差逐步平衡,上手試驗成本降低,在初期結(jié)構(gòu)性紅利誘導(dǎo)下的沖動臆想正在快速消退,產(chǎn)業(yè)界逐步回歸理性。
其二,國家出臺政策進一步約束大模型安全合規(guī)問題。國內(nèi)對大模型安全高度重視,國家網(wǎng)信辦等七部門于2023年7月10日聯(lián)合公布了《生成式人工智能服務(wù)管理暫行辦法》,自2023年8月15日起施行。
該辦法就生成式人工智能可能面臨的安全問題提出了一系列明確的約束規(guī)范,比如要求提供和使用生成式人工智能服務(wù),應(yīng)當(dāng)遵守法律、行政法規(guī),尊重社會公德和倫理道德;要求采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務(wù)。
規(guī)定提供者應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》對圖片、視頻等生成內(nèi)容進行標(biāo)識(注2)。
大模型的安全和倫理約束是確保技術(shù)負(fù)責(zé)任發(fā)展的關(guān)鍵。
雖然這些約束在一定程度上抑制了技術(shù)的迅猛發(fā)展,但它們對于防止技術(shù)濫用和潛在風(fēng)險至關(guān)重要,不僅避免了技術(shù)的過熱,也為行業(yè)的可持續(xù)發(fā)展提供了寶貴的思考和調(diào)整空間。
通過這種適度的制約,我們可以確保大模型技術(shù)的發(fā)展方向與社會的整體利益相一致,促進行業(yè)的健康和有序發(fā)展。
圖3-4:大模型實踐指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
1.大模型創(chuàng)業(yè)指數(shù)總體增速較快,月均復(fù)合增長率26%
大模型創(chuàng)業(yè)指數(shù)初期發(fā)展水平較低,總體增速較快。從2023年5月19.21增長至2024年4月253.36,月均復(fù)合增長率為26%(圖3-5),增速較快。
其中,2023年6月增長率激增,高達(dá)124.40%,隨后增長率下降至2024年1月11.62%。隨后2月,增長率增長至42.43%。整體增長情況與大模型實踐指數(shù)保持一致。
圖3-5:大模型創(chuàng)業(yè)指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
溯其根源,大模型相關(guān)企業(yè)數(shù)量、初創(chuàng)企業(yè)資本金和大模型企業(yè)融資金額基礎(chǔ)指標(biāo)總體呈現(xiàn)遞增,2023年5月初創(chuàng)企業(yè)數(shù)量從28449家增長至2024年4月303779家,初創(chuàng)企業(yè)資本金2223.5億元增長至106427.80億元,大模型企業(yè)融資金額從15.16億元增長至176.37億元。
三個下屬指標(biāo)均在2023年6月呈現(xiàn)快速增長,這也導(dǎo)致大模型創(chuàng)業(yè)指數(shù)在6月份激增。
圖3-6:大模型相關(guān)企業(yè)數(shù)量、初創(chuàng)企業(yè)資本金和大模型企業(yè)融資金額
數(shù)據(jù)來源:企業(yè)預(yù)警通,零壹智庫
其一,2023年開始,創(chuàng)投界青睞對大模型投資青睞有加。據(jù)統(tǒng)計,2020年至2022年,各年投融資事件數(shù)量未超過5起,而2023年共有20起(注3)。
從已知金額來看,2023年,國內(nèi)LLM領(lǐng)域投融資金額已高達(dá)64.27億元(圖3-6)。其中,騰訊和阿里是國內(nèi)最“慷慨”的投資方,國內(nèi)5家大模型獨角獸公司中(月之暗面、智譜AI、Minmax、零一萬物和百川智能),阿里參投率高達(dá)100%,騰訊參與了其中3家的投資,參投率為60%(圖3-7)。
2024年4月,中國人工智能(CAAI)和螞蟻集團聯(lián)合發(fā)起設(shè)立“CAAI-螞蟻科研基金(大模型專項)”,用于支持大模型領(lǐng)域的產(chǎn)學(xué)研合作和共同發(fā)展,該基金課題涵蓋行業(yè)應(yīng)用大模型、 通用大模型、大模型數(shù)據(jù)、大模型安全、大模型 infra 等五個方向。
表3-1:2022年至今國內(nèi)大模型獨角獸融資情況
數(shù)據(jù)來源:公開渠道,零壹智庫
其二,大型語言模型投融資地區(qū)、覆蓋的行業(yè)不均衡。從大型語言模型投融資事件發(fā)生的地點來看,主要集中在北京、上海、廣東等經(jīng)濟發(fā)達(dá)地區(qū),這些地區(qū)經(jīng)濟發(fā)展水平居前,科研技術(shù)水平較高、科研氛圍良好,三地投融資事件數(shù)量共計占全國的半數(shù)。
其中,北京占比27.4%,廣東占比13.7%,上海占比8.2%。從被投公司的行業(yè)分布來看,截至2023年,我國LLM領(lǐng)域投融資項目以企業(yè)服務(wù)細(xì)分為主,具體來看,主要是各類AI內(nèi)容平臺商。企業(yè)服務(wù)領(lǐng)域占比高達(dá)58.3%,其次是元宇宙,占比為25.0%。工具軟件、文娛傳媒占比均小于10%(注4)。
其三,從外部環(huán)境來看,政策出臺助力為科技型企業(yè)提供全生命周期的多元化接力式金融服務(wù)。
2023年6月,國務(wù)院總理李強主持召開國務(wù)院常務(wù)會議,審議通過《加大力度支持科技型企業(yè)融資行動方案》(以下簡稱《行動方案》)。
會議強調(diào),要引導(dǎo)金融機構(gòu)根據(jù)不同發(fā)展階段的科技型企業(yè)的不同需求,進一步優(yōu)化產(chǎn)品、市場和服務(wù)體系,為科技型企業(yè)提供全生命周期的多元化接力式金融服務(wù)。《行動方案》的出臺為大模型初創(chuàng)企業(yè)解決融資難、融資貴問題具有重要意義,也有效提升了大模型創(chuàng)業(yè)指數(shù)。
此外,僅2023年4月28日,OpenAI單次完成3億美元融資;截止當(dāng)日,OpenAI已獲得約103億美元融資(據(jù)美國科技媒體TechCrunch數(shù)據(jù))。由此催生的創(chuàng)業(yè)浪潮點燃了風(fēng)投公司投資熱情,帶來了一定時期內(nèi)的投資熱潮。
2.大模型應(yīng)用指數(shù)復(fù)合增長率8%
大模型應(yīng)用指數(shù)發(fā)展水平整體較高,增長速度逐步放緩,增長趨勢與大模型創(chuàng)業(yè)指數(shù)基本一致。由2023年5月89.05增長至2024年4月201.28,復(fù)合增長率8%,且增速明顯放緩。
圖3-7:大模型應(yīng)用指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
從下級指標(biāo)來看,大模型應(yīng)用水平上,應(yīng)用大模型數(shù)量從34個增長至100個,其行業(yè)覆蓋率從25%增長至85%,現(xiàn)大模型已覆蓋大部分行業(yè)。大模型未涉及的行業(yè)范圍越來越少,導(dǎo)致覆蓋率增速放緩。就離散度而言,大模型所覆蓋行業(yè)的增速慢于大模型數(shù)量增長率,因此離散度有減緩的趨勢。
圖3-8:應(yīng)用大模型數(shù)量、大模型覆蓋率和離散度
數(shù)據(jù)來源:零壹智庫
在大模型單模態(tài)應(yīng)用上,單模態(tài)大模型數(shù)量呈現(xiàn)先遞增后減少的趨勢。而在大模型多模態(tài)應(yīng)用上,多模態(tài)大模型數(shù)量呈現(xiàn)遞增的趨勢。
究其原因,不難發(fā)現(xiàn),相比傳統(tǒng)的單模態(tài)大模型,多模態(tài)大模型更加符合人類的多渠道認(rèn)知方式,從而導(dǎo)致單模態(tài)大模型與多模態(tài)大模型的此消彼長。多模態(tài)大模型能將不同模態(tài)信息相互補充,提高信息的完整性和準(zhǔn)確性,從而更好地應(yīng)對復(fù)雜環(huán)境、場景和任務(wù)。
落實到應(yīng)用層面,多模態(tài)能使機器更好地理解人類的意圖和需求,提供精準(zhǔn)、個性化服務(wù)。
圖3-9:單模態(tài)和多模態(tài)大模型應(yīng)用
數(shù)據(jù)來源:公開渠道,零壹智庫
其次,垂直大模型致力于解決特定場景問題,因此其發(fā)展節(jié)奏與大模型創(chuàng)業(yè)企業(yè)發(fā)展節(jié)奏基本一致。此外,中國大模型產(chǎn)業(yè)發(fā)展源于多領(lǐng)域的廣泛需求,例如辦公、金融、醫(yī)療、政務(wù)等場景和訴求。隨著大模型應(yīng)用場景和領(lǐng)域增長,大模型未涉及的行業(yè)領(lǐng)域越來越少,導(dǎo)致覆蓋率增速放緩。
綜上所述,我們可以從以下方面分析大模型應(yīng)用指數(shù)呈現(xiàn)整體較高,增長速度逐步放緩特征的原因。
其一,隨著基礎(chǔ)模型的不斷強大,開發(fā)應(yīng)用的難度逐漸降低,導(dǎo)致其發(fā)展水平整體較高。如李彥宏預(yù)測,在未來,各個行業(yè)領(lǐng)域都可能依據(jù)自身獨特的場景和豐富的經(jīng)驗,催生出大量的智能體,從而構(gòu)建起一個龐大的智能體生態(tài)(注5)。
其二,隨著大模型行業(yè)應(yīng)用將更加廣泛,涵蓋越來越多的行業(yè)和場景,大模型未涉及的行業(yè)范圍越來越少,導(dǎo)致覆蓋率增速放緩。
其三,垂直大模型致力于解決特定場景問題,因此其發(fā)展節(jié)奏與大模型創(chuàng)業(yè)企業(yè)發(fā)展節(jié)奏基本一致。
大模型本身的特性與金融、醫(yī)療等行業(yè)有著天然的契合,導(dǎo)致大模型應(yīng)用在某些行業(yè)應(yīng)用較多(表3-2)。以金融領(lǐng)域為例,該領(lǐng)域數(shù)據(jù)種類具有廣泛性和深度,要滿足不同用戶的需求,妙想大模型結(jié)合相關(guān)技術(shù)提高性能,滿足不同顧客需求;金融數(shù)據(jù)多且雜,導(dǎo)致大模型可能產(chǎn)生的“幻覺”問題,百融云創(chuàng)金融大模型運用創(chuàng)新增強生成技術(shù)解決此問題。
以醫(yī)療領(lǐng)域為例,該領(lǐng)域存在大量模態(tài)種類豐富且跨學(xué)科的數(shù)據(jù),大模型與醫(yī)療行業(yè)有著天然的契合性,醫(yī)療AI大模型不僅能深刻理解臨床數(shù)據(jù),還能生成富有洞見的醫(yī)療知識(圖3-10)。
從影像診斷到藥物研發(fā),這些模型正逐步改寫醫(yī)療服務(wù)的未來(注6)。
表3-2:國內(nèi)應(yīng)用大模型所屬行業(yè)top10
數(shù)據(jù)來源:GitHub - wgwang/awesome-LLMs-In-China: 中國大模型
圖3-10醫(yī)療健康A(chǔ)I大模型應(yīng)用場景
圖片來源:介入醫(yī)學(xué)工程國創(chuàng)平臺
(四)我國大模型支撐指數(shù)累計增長68%
大模型支撐指數(shù)總體持續(xù)平穩(wěn)增長。從2023年5月至2024年4月,大模型支撐指數(shù)從150.89增至253.37,累計增長了67.92%(圖3-14)。大模型支撐指數(shù)總體增速有兩個月較快,分別是2023年7月和2024年4月。
2023年7月增速最大,達(dá)28.86%;2024年4月增速為6.02%。除此外,其他月份大模型增長速度保持相對平穩(wěn),每月平均增速為2.32%。這兩個月指數(shù)增長較快的原因:
其一,我國算力數(shù)據(jù)有很大提升。2023年6月增幅達(dá)80%,中國算力大會公布數(shù)據(jù)顯示,全國在用數(shù)據(jù)中心機架總規(guī)模超過760萬標(biāo)準(zhǔn)機架,算力總規(guī)模達(dá)到197百億億次/秒(EFLOPS),存力總規(guī)模超過1080艾字節(jié)(EB)。
算力樞紐節(jié)點建設(shè)了130條干線光纜,數(shù)據(jù)傳輸性能大幅改善。這些數(shù)據(jù)體現(xiàn)在2023年7月的大模型支撐指數(shù)和增幅上,導(dǎo)致指數(shù)增長較快。
其二,人才支撐有了大幅度提升。因2020年開設(shè)與大模型相關(guān)專業(yè)(如:大數(shù)據(jù)技術(shù)、數(shù)據(jù)科學(xué)、計算機科學(xué)與技術(shù)、信息技術(shù)等專業(yè))數(shù)量增長明顯,導(dǎo)致2024年1月的畢業(yè)生人數(shù)有較大幅度增加。2019年大模型相關(guān)專業(yè)數(shù)量為304個,到2020年增加至335個,增幅達(dá)10.2%。
圖3-11:大模型支撐指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
1.大模型政策指數(shù)增長4.23倍
大模型政策指數(shù)從2023年5月59.94,增長至2024年4月253.37,增長了4.23倍,增速較快(圖3-15)。
其中,2023年6月和9月增長率激增,分別是55.45%和23.67%,隨后增長率下降至2024年2月的2.14%。
隨后至4月,增長率略有增長至10%左右。大模型政策指數(shù)總體增長增速在放緩。
主要原因是,我國大模型政策集中在2023年出臺發(fā)布,如2023年7月發(fā)布《人工智能氣象應(yīng)用工作方案(2023-2030)》《生成式人工智能服務(wù)管理暫行辦法》,8月發(fā)布《電子信息制造業(yè)2023—2024年穩(wěn)增長行動方案》,10發(fā)布《人形機器人創(chuàng)新發(fā)展指導(dǎo)意見》,12月發(fā)布《關(guān)于加快推進視聽電子產(chǎn)業(yè)高質(zhì)量發(fā)展的指導(dǎo)意見》《“數(shù)據(jù)要素+”三年行動計劃(2024-2026)(征求意見稿)》;2024 年《政府工作報告》中提出開展“人工智能+”行動。
我國各地方政府也在2023年出臺相關(guān)支持政策,加快大模型產(chǎn)業(yè)的持續(xù)發(fā)展。如北京、深圳、杭州、成都、福建、安徽、上海、廣東等地在2023年均發(fā)布了關(guān)于 AI 大模型的相關(guān)政策。
圖3-12:大模型政策支撐指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
2.大模型創(chuàng)新環(huán)境指數(shù)增長14.16倍
大模型創(chuàng)新環(huán)境指數(shù)從2023年5月17.89,增長至2024年4月253.37,增長了14.16倍,并且一直保持高速增長(圖3-16)。其中,2023年6月增長最快,最高達(dá)111.07%;其次是2023年9月,增速為35.01%。主要原因如下:
其一,受大模型實踐成功的刺激。受到ChatGPT4以及SORA等大模型的成功案例影響,激起中國大模型業(yè)內(nèi)人士興趣,開始國產(chǎn)化大模型的研究與應(yīng)用,國內(nèi)的研究院所、高校、企業(yè)等單位成為大模型創(chuàng)新的主要推動者。根據(jù)不完全統(tǒng)計,僅在開源大模型項目commits參與者人數(shù)達(dá)32萬余人。
其二,受到中國大模型政策的鼓舞。中國大模型政策鼓舞了大模型企業(yè),促進大模型行業(yè)應(yīng)用。致使中國大模型從業(yè)者不斷地將大模型技術(shù)運用垂直領(lǐng)域,從而在應(yīng)用領(lǐng)域等相關(guān)方面快速地創(chuàng)新。
其三,受益于中國創(chuàng)新環(huán)境的改善。“中國科技創(chuàng)新能力迅速提升”已成為國際廣泛共識。中國科學(xué)技術(shù)發(fā)展戰(zhàn)略研究院2023年11月21日發(fā)布的《國家創(chuàng)新指數(shù)報告2022—2023》顯示,中國創(chuàng)新能力綜合排名上升至第10位,較上期報告提升3位,是唯一進入榜單前15位的發(fā)展中國家,向創(chuàng)新型國家前列進一步邁進。
在世界知識產(chǎn)權(quán)組織的《全球創(chuàng)新指數(shù)》評價結(jié)果中,中國創(chuàng)新能力綜合排名由2012年的第34位提升至2023年的第12位。在歐盟委員會的《歐洲創(chuàng)新記分牌》評價體系中,中國創(chuàng)新能力2014年總體水平僅相當(dāng)于歐盟的44%,2023年總體水平已達(dá)歐盟的95%。創(chuàng)新環(huán)境的不斷提升,致使我國大模型領(lǐng)域受益,并且取得巨大進步。
圖3-13:大模型創(chuàng)新環(huán)境支撐指數(shù)及增長率
數(shù)據(jù)來源:零壹智庫
04
國內(nèi)外典型案例分析
國外大模型展現(xiàn)出強大的創(chuàng)新驅(qū)動力,通過跨學(xué)科合作和全球視野,不斷推動技術(shù)邊界,引領(lǐng)行業(yè)發(fā)展,同時在數(shù)據(jù)隱私和安全方面展現(xiàn)出高度適應(yīng)性,保障了全球化合規(guī)運營。
國內(nèi)大模型則緊密貼合本土市場和國家政策,通過深入實踐和技術(shù)創(chuàng)新,優(yōu)化算法和數(shù)據(jù)處理能力,推動了金融、醫(yī)療、教育等行業(yè)的數(shù)字化轉(zhuǎn)型,同時積極探索與新興技術(shù)的結(jié)合,成為推動中國科技創(chuàng)新的關(guān)鍵力量。
(一)國外大模型創(chuàng)新典型案例:KAN
2024年5月,MIT劉子鳴的論文《KAN:科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)》,引起了業(yè)內(nèi)人士的高度關(guān)注。KAN網(wǎng)絡(luò)(Kolmogorov-Arnold Networks)是一種創(chuàng)新的神經(jīng)網(wǎng)絡(luò)架構(gòu),其核心創(chuàng)新點主要體現(xiàn)在以下四個方面:
1.理論基礎(chǔ)由MLP轉(zhuǎn)為Kolmogorov-Arnold表示定理
該論文顛覆了 MLP 的數(shù)學(xué)地基——通用近似定理,采用的是Kolmogorov-Arnold表示定理。
KAN網(wǎng)絡(luò)的設(shè)計靈感來源于Kolmogorov-Arnold表示定理,該定理指出,任何多變量連續(xù)函數(shù)都可以表示為單變量連續(xù)函數(shù)和加法運算的組合。這一理論啟示KAN網(wǎng)絡(luò)的構(gòu)建,使之能夠以全新的方式處理多元函數(shù)的學(xué)習(xí)問題。如圖4-1所示。
2.結(jié)構(gòu)設(shè)計由多層感知器轉(zhuǎn)向可學(xué)習(xí)的B樣條激活函數(shù)
與傳統(tǒng)的多層感知器(MLP)不同,KAN網(wǎng)絡(luò)在權(quán)重上放置了可學(xué)習(xí)的激活函數(shù),這些激活函數(shù)被參數(shù)化為B樣條函數(shù)。
在MLP中,激活函數(shù)是固定的,并位于神經(jīng)元上,而權(quán)重則以多維度的參數(shù)矩陣形式存在于邊上。KAN的這種設(shè)計允許每個權(quán)重參數(shù)不再是一個單一的數(shù)值,而是一個函數(shù),從而增強了網(wǎng)絡(luò)的表達(dá)能力。
3.參數(shù)更少精度更高
KAN網(wǎng)絡(luò)聲稱能夠以更少的參數(shù)量實現(xiàn)更高的精度。這是因為它使用B樣條函數(shù)作為激活函數(shù),這些函數(shù)能夠以更少的參數(shù)表征復(fù)雜的函數(shù)關(guān)系。這種參數(shù)效率的提升是KAN網(wǎng)絡(luò)的一個重要優(yōu)勢。
KAN能用更少的參數(shù)在數(shù)學(xué)、物理問題上取得更高精度。在各種任務(wù)中,包括回歸、解偏微分方程和持續(xù)學(xué)習(xí),KAN的表現(xiàn)都優(yōu)于MLP。
4.可解釋性實現(xiàn)零的突破
KAN網(wǎng)絡(luò)在模型的可解釋性方面表現(xiàn)出色。由于其結(jié)構(gòu)的特點,KAN網(wǎng)絡(luò)能夠提供對模型決策過程的更深入理解。這種可解釋性對于需要高度透明度和可靠性的應(yīng)用場景尤為重要。
KAN通過揭示組成結(jié)構(gòu)和拓?fù)潢P(guān)系提供了可解釋性,為科學(xué)發(fā)現(xiàn)帶來了希望。可能在數(shù)學(xué)和物理研究中的輔助模型更受歡迎,幫助發(fā)現(xiàn)和尋找更基礎(chǔ)的數(shù)值規(guī)律。
圖4-1:MLP與KAN對比
資料來源:《KAN:科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)》
(二)國內(nèi)大模型應(yīng)用典型案例:智譜清言
2024年1月16日,智譜 AI 團隊全面展示了其投身于大模型事業(yè)三年多來所積累的技術(shù)成果,并發(fā)布了新一代基座大模型 GLM-4。在自然語言處理領(lǐng)域展現(xiàn)出卓越的性能和豐富的功能,如圖4-2所示,體現(xiàn)了其在專業(yè)領(lǐng)域的特色:
圖4-2:智譜清言大模型界面
資料來源:智譜清言
1.強大的自然語言處理能力
一是先進的預(yù)訓(xùn)練模型。智譜清言大模型基于海量文本數(shù)據(jù)進行預(yù)訓(xùn)練,學(xué)習(xí)到了豐富的語言知識和語言規(guī)律,使其能夠理解和生成自然語言,并進行邏輯推理和連貫性表達(dá)。
二是多模態(tài)融合。智譜清言大模型融合了文本、圖像、語音等多種模態(tài)信息,能夠進行跨模態(tài)理解和生成,例如根據(jù)圖片生成描述性文字,或根據(jù)語音生成文本內(nèi)容,提升了模型的表達(dá)能力和泛化能力。
三是可解釋性。智譜清言大模型內(nèi)部包含多個注意力機制,這些機制能夠識別文本中與當(dāng)前任務(wù)相關(guān)的關(guān)鍵信息,并將注意力集中在這些信息上。
通過可視化注意力機制,可以觀察模型在處理文本時關(guān)注哪些信息,從而理解模型的推理過程。注意力機制只能提供對模型決策過程的有限洞察,難以揭示模型內(nèi)部的深層機制。
2.豐富的功能和應(yīng)用場景
一是自然語言理解。智譜清言大模型能夠理解用戶輸入的自然語言指令,并執(zhí)行相應(yīng)的任務(wù),例如信息搜索、問答、對話等,為用戶提供便捷的交互體驗。
二是自然語言生成。智譜清言大模型能夠根據(jù)用戶需求生成各種類型的文本內(nèi)容,例如文章、報告、郵件、詩歌等,滿足用戶多樣化的內(nèi)容創(chuàng)作需求。
三是智能對話系統(tǒng)。智譜清言大模型能夠與用戶進行流暢自然的對話,并根據(jù)用戶情感和意圖進行理解和回應(yīng),例如進行閑聊、咨詢、建議等,為用戶提供個性化的交互體驗。
四是文本摘要。智譜清言大模型能夠?qū)﹂L文本進行摘要,提取關(guān)鍵信息,幫助用戶快速了解文本內(nèi)容。
五是機器翻譯。智譜清言大模型能夠進行多種語言的機器翻譯,幫助用戶跨越語言障礙,進行跨語言交流。
3.開放的生態(tài)系統(tǒng)
一是開源社區(qū)。智譜清言大模型開源了其代碼和數(shù)據(jù),吸引了大量開發(fā)者參與模型開發(fā)和改進,促進了模型的迭代更新和性能提升。
二是API接口。智譜清言大模型提供了豐富的API接口,方便開發(fā)者將模型集成到自己的應(yīng)用程序中,拓展模型的應(yīng)用場景。
三是開發(fā)者工具。智譜清言大模型提供了開發(fā)者工具,例如模型訓(xùn)練工具、模型評估工具等,方便開發(fā)者進行模型訓(xùn)練、評估和優(yōu)化。
智譜清言大模型在自然語言處理領(lǐng)域展現(xiàn)出卓越的性能和豐富的功能,體現(xiàn)了其在專業(yè)領(lǐng)域的特色。其強大的自然語言處理能力、豐富的功能和應(yīng)用場景、開放的生態(tài)系統(tǒng),使其成為推動自然語言處理技術(shù)發(fā)展和應(yīng)用的重要力量。
(三)大模型應(yīng)用典型案例:東方財富妙想大模型
東方財富妙想金融大模型是由東方財富自主研發(fā)的金融行業(yè)大語言模型,于2024年1月正式上線,在專業(yè)投資顧問服務(wù)、深度財經(jīng)要聞分析、定制化財富管理、內(nèi)容機會挖掘等金融場景上達(dá)到世界先進水平,如圖4-3所示,體現(xiàn)了其在專業(yè)領(lǐng)域的優(yōu)勢與特色:
圖4-3:妙想金融大模型領(lǐng)先優(yōu)勢
資料來源:東方財富
1.自研妙想大模型底座行業(yè)領(lǐng)先
一是金融數(shù)據(jù)特色挖掘:為了讓自研大模型充分學(xué)習(xí)金融知識,特別是細(xì)分深入的業(yè)務(wù)邏輯維度,自研大模型充分挖掘東方財富既有的結(jié)構(gòu)化數(shù)據(jù),將金融的業(yè)務(wù)、財務(wù)、基本面等數(shù)據(jù)構(gòu)造成表格數(shù)據(jù),在增加模型結(jié)構(gòu)化數(shù)據(jù)解讀能力的同時強化金融能力。
二是金融詞表讓模型從源頭懂金融:研發(fā)團隊為自研大模型準(zhǔn)備了高達(dá)12萬的金融詞表,覆蓋中英文金融詞匯、各類金融標(biāo)的、常見指標(biāo)等金融專業(yè)術(shù)語,以確保使大模型從根源上理解金融語義,生成內(nèi)容更貼合金融場景邏輯。
三是創(chuàng)新模型訓(xùn)練算法:在訓(xùn)練過程中,自研大模型通過采用FlashAttention2異步優(yōu)化、虛擬流水線等方法,顯著提高了超千卡集群的訓(xùn)練速度,在模型訓(xùn)練中達(dá)到了高效的顯卡利用率,高于業(yè)內(nèi)平均水平,較高的訓(xùn)練效率有效地支撐了模型的快速迭代。
團隊通過Scaling Law技術(shù)、模型架構(gòu)優(yōu)化、金融數(shù)據(jù)和通用數(shù)據(jù)的配比優(yōu)化等多種創(chuàng)新算法提升模型訓(xùn)練效率,極致提升模型的金融能力。
四是超千卡算力集群支撐快速迭代:自研大模型構(gòu)建了超千卡級別的算力集群,可支撐千億級別的模型訓(xùn)練規(guī)模。集群配套可伸縮分布式調(diào)度系統(tǒng),配合高速大存儲,實現(xiàn)了自動故障檢測與應(yīng)對,報警和訓(xùn)練機器高速切換功能,能夠支撐起模型的快速迭代優(yōu)化。
五是高性能推理支撐場景需求:自研大模型通過量化、模型算子優(yōu)化等措施極大提高了速度,結(jié)合Paged Attention、Continuous Batching、張量并行推理等技術(shù)優(yōu)化推理框架的性能,在金融場景下算力的利用率提高了數(shù)倍。
考慮到高性能推理算力的持續(xù)供給,更新優(yōu)化了推理框架,能夠靈活適配多種異構(gòu)算力。
2. 金融應(yīng)用場景立體閉環(huán)
自研大模型致力于以底座能力賦能金融場景,為用戶創(chuàng)造更多價值。自研大模型發(fā)力投研、投顧、投教、投資等金融核心場景,基于資訊、數(shù)據(jù)、研究、交易、交流等用戶場景痛點,對智能問答和智能投研場景進行了個性化的功能設(shè)計,提供數(shù)據(jù)查詢、信息搜索、事件解讀、知識問答、智能選股、投資建議等數(shù)百種場景解決方案。
致力于成為用戶隨時隨地的金融百科全書和專業(yè)投資者的投研提效利器,貼心服務(wù)金融場景用戶。以下介紹3個主要場景模塊:
一是股票分析模塊。該模塊通過自研大模型提供個股的全面分析;久嬖\股深入分析股票的盈利、成長、營運、現(xiàn)金獲取和償債能力,關(guān)注公司長期發(fā)展趨勢。
技術(shù)面診股側(cè)重短期行情、資金流向和技術(shù)信號,追蹤市場趨勢。消息面診股則關(guān)注公司相關(guān)新聞和公告,為投資決策提供信息支持。
綜合分析整合各維度,幫助投資者全面了解股票優(yōu)缺點,做出更準(zhǔn)確的投資預(yù)判。
二是特色分析模塊。該模塊深入挖掘投資者關(guān)注點,提供多角度智能分析。股票對比模塊通過多維度分析幫助投資者發(fā)現(xiàn)高成長性股票。估值分析模塊深入個股估值,提供多角度比較。
機構(gòu)觀點模塊通過機構(gòu)專業(yè)分析,減少信息不對稱風(fēng)險,提供權(quán)威投資建議。漲跌分析模塊解析個股行情趨勢原因,幫助投資者理解市場規(guī)律。自選分析模塊對用戶自選股進行綜合分析,輔助規(guī)避風(fēng)險,加深了解,優(yōu)化投資決策。
三是內(nèi)容資訊模型。妙想大模型融合多維度智能信息,提供實時股票報價、行業(yè)動態(tài)、板塊走勢等全面資訊。
大模型注重信息真實性,提供可追溯的來源,增加用戶信任。同時,妙想深入分析市場趨勢和歷史數(shù)據(jù),預(yù)測影響,輔助決策。豐富的行情信息及時更新,幫助用戶把握投資機會。妙想旨在提供全面、真實、深入的信息服務(wù),助力用戶快速了解市場并做出明智決策。
3. 專業(yè)數(shù)據(jù)積淀與應(yīng)用生態(tài)
妙想大模型的數(shù)據(jù)庫是一個全面而專業(yè)的金融數(shù)據(jù)集合,覆蓋了多種市場和金融品種。
它包括滬深上市公司的詳盡數(shù)據(jù),為投資者提供了上市公司的全面信息和關(guān)鍵指標(biāo);新三板數(shù)據(jù),為關(guān)注中小企業(yè)的投資者提供了重要的市場信息;科創(chuàng)板數(shù)據(jù),專注于科技創(chuàng)新型企業(yè)的動態(tài)和表現(xiàn);公募基金數(shù)據(jù),涵蓋了基金的凈值、持倉、業(yè)績等關(guān)鍵信息;投資理財數(shù)據(jù),為用戶提供了理財產(chǎn)品的收益、風(fēng)險評估等數(shù)據(jù);綜合資訊數(shù)據(jù),包括市場新聞、政策變動等,幫助用戶及時了解市場動態(tài);債券數(shù)據(jù),提供了債券市場的深度分析和估值信息;宏觀行業(yè)數(shù)據(jù),涵蓋了宏觀經(jīng)濟指標(biāo)和行業(yè)發(fā)展情況,為宏觀經(jīng)濟分析提供了數(shù)據(jù)支持;期權(quán)期貨數(shù)據(jù),為衍生品市場的參與者提供了實時的交易數(shù)據(jù)和市場分析。
這些數(shù)據(jù)種類的廣泛性和深度,使得妙想大模型能夠為用戶提供一個全面、多維度的金融信息視角,滿足不同用戶的需求。
自主可控、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)等數(shù)據(jù)優(yōu)勢,確保了模型的獨立性、安全性和數(shù)據(jù)的豐富性。
自主可控意味著模型從數(shù)據(jù)生產(chǎn)到算法開發(fā)再到模型訓(xùn)練均由東方財富自主完成,這不僅保障了技術(shù)的創(chuàng)新性,也確保了模型的適應(yīng)性和靈活性。
數(shù)據(jù)安全方面,通過全量數(shù)據(jù)審核和用戶數(shù)據(jù)脫敏等措施,保護了用戶隱私和數(shù)據(jù)安全。而數(shù)據(jù)資產(chǎn)的豐富性,為模型的訓(xùn)練和優(yōu)化提供了堅實的基礎(chǔ)。這些優(yōu)勢共同構(gòu)成了東方財富妙想大模型在金融科技領(lǐng)域的核心競爭力。
目前東方財富妙想金融大模型已經(jīng)為Choice金融終端的PC版和APP實現(xiàn)智能化賦能,服務(wù)了超過100萬位專業(yè)投資者,賦能20000余家金融機構(gòu),并獲得各類用戶的高度認(rèn)可。
不僅能為專業(yè)投資者提升用戶體驗,也為金融機構(gòu)提供了強大的技術(shù)支持,后續(xù)也會為更多金融工具實現(xiàn)賦能,進而推動金融行業(yè)的創(chuàng)新和發(fā)展。
(四)大模型應(yīng)用典型案例:百融云創(chuàng)大模型
百融云創(chuàng)自2014年起專注于決策式人工智能(AI)技術(shù)的研發(fā),奠定了其在AI領(lǐng)域的基礎(chǔ)。2017年底,公司拓展至生成式AI領(lǐng)域,專注于智能語音和多輪文本與語音對話技術(shù)的研發(fā)。
憑借對金融行業(yè)的深刻理解和前瞻洞察,于2018年3月在業(yè)內(nèi)率先成立了人工智能實驗室。不久,實驗室升級為X-Dynamics(以下簡稱X動力),實驗室匯集了國內(nèi)外眾多頂尖人工智能專家。X動力在決策式AI、生成式AI、隱私計算、計算語音、自然語言處理、知識圖譜等多個技術(shù)領(lǐng)域進行了深入的研究與實踐,積累了豐富的實戰(zhàn)經(jīng)驗。
2018年,百融云創(chuàng)成功將這些技術(shù)應(yīng)用于智能運營業(yè)務(wù),推出了第一代AI Chatbot產(chǎn)品,標(biāo)志著其技術(shù)在實際業(yè)務(wù)中的首次應(yīng)用。隨著技術(shù)的不斷成熟,百融云創(chuàng)在2021年實現(xiàn)了這些技術(shù)的規(guī);虡I(yè)變現(xiàn),進一步鞏固了其在AI領(lǐng)域的市場地位。
2023年,公司推出了具有里程碑意義的大模型BR-LLM,并以其為技術(shù)基礎(chǔ)框架,陸續(xù)開發(fā)了包括對話大模型VoiceGPT、自動編程模型BR-Coder、建模工具ORCA-GPT以及一站式大模型應(yīng)用開發(fā)平臺——賽博坦。
圖4-4:賽博坦技術(shù)框架圖
資料來源:百融云創(chuàng)
1.行業(yè)專知與多模態(tài)融合
百融云創(chuàng)大模型的核心競爭力在于其深厚的行業(yè)專知(know-how)。公司不僅擁有龐大和復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、眾多參數(shù)和深層數(shù),更重要的是結(jié)合了算力、行業(yè)專知和模型精調(diào)的綜合能力。
行業(yè)專知決定了對行業(yè)洞察的深度和廣度,使得百融云創(chuàng)能夠在CRM等關(guān)鍵領(lǐng)域形成專有部署,并不斷優(yōu)化模型。此外,百融云創(chuàng)的大模型與多模態(tài)技術(shù)有效融合,如數(shù)字員工和數(shù)字人產(chǎn)品,支持多國語言,提供接近真人的交互體驗,勝任多區(qū)域的營銷和接待任務(wù)。
2.檢索增強生成技術(shù)(RAG)
為了解決大模型可能產(chǎn)生的“幻覺”問題,百融云創(chuàng)引入了檢索增強生成技術(shù)(RAG)。RAG通過整合外部知識庫,使得大模型在生成答案前能夠檢索并參考外部信息,從而生成更準(zhǔn)確和相關(guān)的內(nèi)容。這一技術(shù)不僅提升了大模型的輸出質(zhì)量,還避免了重新訓(xùn)練的復(fù)雜性。
百融云創(chuàng)在Q&A場景中對模型能力進行了特別強化,使得大模型能夠?qū)W習(xí)到個性化、專業(yè)化的知識,顯著提高了答案的精準(zhǔn)度和專業(yè)性。在第三方測評中,百融云創(chuàng)大模型的準(zhǔn)確性和精準(zhǔn)性在行業(yè)中處于領(lǐng)先地位,多項指標(biāo)超越了ChatGPT 3.5。
3.綠色金融領(lǐng)域的精準(zhǔn)識別服務(wù)
百融云創(chuàng)在綠色金融領(lǐng)域提供了一項創(chuàng)新服務(wù),通過其強大的大模型技術(shù),幫助金融機構(gòu)精準(zhǔn)識別和分類綠色項目。公司利用大模型處理和分析大量政策文件和金融標(biāo)準(zhǔn),構(gòu)建了一個全面且獨一無二的綠色金融知識庫。
這一知識庫不僅能夠?qū)崟r更新以反映最新的政策調(diào)整,還能通過檢索增強生成(RAG)技術(shù)實現(xiàn)精準(zhǔn)檢索和內(nèi)容生成。這種服務(wù)大幅提升了識別效率,同時確保了業(yè)務(wù)流程的準(zhǔn)確性和合規(guī)性,滿足了監(jiān)管機構(gòu)和金融機構(gòu)的多維度管理需求。
4.證券市場的知識管理和智能決策支持
在證券市場,百融云創(chuàng)的大模型技術(shù)為證券公司提供了一站式的智能解決方案。通過本地化部署和微調(diào),公司快速搭建了企業(yè)級知識庫,利用RAG技術(shù)對海量非結(jié)構(gòu)化數(shù)據(jù)進行挖掘和分析,提煉關(guān)鍵信息,轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。
這一服務(wù)不僅提高了信息處理的效率,還增強了決策的準(zhǔn)確性和合規(guī)性。此外,百融云創(chuàng)的智能版面識別模型確保了從復(fù)雜文檔中提取信息的準(zhǔn)確性,為證券公司提供了強有力的決策支持。
5.財富管理領(lǐng)域的個性化服務(wù)和客戶體驗提升
在財富管理領(lǐng)域,百融云創(chuàng)的大模型技術(shù)為金融機構(gòu)提供了個性化的客戶服務(wù)和資產(chǎn)配置建議。通過生成式AI,公司能夠幫助從業(yè)人員自動化完成大量工作,同時根據(jù)客戶的具體情況量身定制投資組合方案。
這種服務(wù)不僅提升了客戶經(jīng)營的效率,還通過提供專業(yè)且隨時可用的“私人顧問”服務(wù),增強了客戶的體驗和信任。經(jīng)過一段時間的運行,營銷響應(yīng)率顯著提升,資產(chǎn)管理規(guī)模(AUM)也實現(xiàn)了大幅增長。
百融云創(chuàng)的大模型技術(shù)是人工智能在產(chǎn)業(yè)應(yīng)用中的典范,通過技術(shù)創(chuàng)新和行業(yè)深度融合,公司不僅推動了金融服務(wù)的智能化,也為其他行業(yè)的數(shù)字化轉(zhuǎn)型提供了強有力的支持。
公司通過成立人工智能實驗室并升級為X-Dynamics,匯集了全球頂尖專家,深耕決策式AI、生成式AI等前沿技術(shù),并在隱私計算、自然語言處理等領(lǐng)域積累了豐富經(jīng)驗。
百融云創(chuàng)不僅在技術(shù)棧構(gòu)建、大模型開發(fā)和RAG技術(shù)應(yīng)用上展現(xiàn)了卓越創(chuàng)新能力,還在綠色金融精準(zhǔn)識別、證券市場智能決策支持以及財富管理個性化服務(wù)等方面提供了創(chuàng)新解決方案,顯著提升了金融服務(wù)的效率、準(zhǔn)確性和客戶體驗,推動了金融科技的實質(zhì)性進步。
05
結(jié)論與展望
(一)結(jié)論
本報告構(gòu)建了中國大模型發(fā)展指數(shù),對我國大模型發(fā)展情況進行了量化研究。研究結(jié)果顯示,盡管面臨市場競爭、技術(shù)挑戰(zhàn)和政策約束等因素的影響,中國大模型整體上仍保持著積極的增長態(tài)勢,并呈現(xiàn)以下特點:
1.中國大模型的研發(fā)進展顯示出強勁的創(chuàng)新動力和市場適應(yīng)性
盡管遭遇了市場競爭加劇、技術(shù)瓶頸和成本挑戰(zhàn)等問題,研發(fā)指數(shù)的持續(xù)增長反映了國內(nèi)在大模型技術(shù)上的不斷突破和優(yōu)化。特別是在算法創(chuàng)新、模型微調(diào)和多模態(tài)學(xué)習(xí)等方面,國內(nèi)研究者和企業(yè)正積極探索適合本土需求的解決方案,以期在全球人工智能領(lǐng)域占據(jù)一席之地。
2.大模型的實踐應(yīng)用在中國正逐漸拓展至更深層次和更廣泛的領(lǐng)域
從金融風(fēng)控到醫(yī)療診斷,從智能客服到教育輔助,大模型正成為推動各行各業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵力量。實踐指數(shù)的增長,盡管增速有所放緩,但反映了大模型應(yīng)用正從初期探索轉(zhuǎn)向更加成熟和系統(tǒng)化的階段,其中,對垂直化和場景化應(yīng)用的深入挖掘,成為推動大模型實踐應(yīng)用穩(wěn)步增長的重要因素。
3.國家層面對大模型的政策支持和創(chuàng)新生態(tài)的培育,為大模型的快速發(fā)展提供了堅實的基礎(chǔ)
政策指數(shù)的顯著增長和創(chuàng)新環(huán)境指數(shù)的突飛猛進,表明了政府在推動大模型發(fā)展方面的積極作用,包括算力基礎(chǔ)設(shè)施建設(shè)、人才培養(yǎng)計劃、數(shù)據(jù)開放政策以及鼓勵創(chuàng)新的法規(guī)框架等。此外,開源社區(qū)的活躍、產(chǎn)學(xué)研合作的加強以及風(fēng)險投資的增加,共同構(gòu)建了一個有利于大模型技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用的生態(tài)系統(tǒng)。
4.大模型創(chuàng)新涌現(xiàn),應(yīng)用場景不斷拓展
大模型應(yīng)用場景不斷拓展,涵蓋辦公、制造、金融、醫(yī)療、政務(wù)等領(lǐng)域,并逐步深入到各個行業(yè)的核心環(huán)節(jié),……。東方財富妙想金融大模型通過自研技術(shù)和專業(yè)金融數(shù)據(jù)的深度融合,實現(xiàn)了金融場景的智能化應(yīng)用,提升了金融服務(wù)的效率和質(zhì)量,成為金融科技領(lǐng)域的創(chuàng)新先鋒。金融大模型百融云創(chuàng)結(jié)合行業(yè)專知,引入檢索增強生成技術(shù)(RAG),融合多模態(tài),為金融行業(yè)提供了精準(zhǔn)、高效和個性化的服務(wù)。
(二)展望
1.中國大模型體指數(shù)持續(xù)增長
中國大模型指數(shù),包括創(chuàng)新指數(shù)、應(yīng)用指數(shù)、支持指數(shù),將繼續(xù)保持較快增長。隨著AI技術(shù)的快速發(fā)展,中國在大模型領(lǐng)域的研究和應(yīng)用正不斷加深。
中國的AI模型不僅數(shù)量還將增加,而且模型的質(zhì)量也將不斷提升,這表明中國在AI大模型領(lǐng)域的創(chuàng)新能力正在迅速提升。社會公眾對大模型的熱情將持續(xù)高漲,活躍人數(shù)不斷增加,開源項目層出不窮。
2.市場規(guī)模與應(yīng)用場景相互促進
中國市場規(guī)模的增長將繼續(xù)加速。中國AI大模型的市場需求源于多個領(lǐng)域,如辦公自動化、智能制造、金融科技、智慧醫(yī)療和電子政務(wù)等,這些領(lǐng)域的智能化轉(zhuǎn)型為大模型提供了豐富的應(yīng)用場景。不同應(yīng)用場景大模型的應(yīng)用,提高我國大模型的總體應(yīng)用規(guī)模。
我國大模型市場潛力巨大,預(yù)計到2028年,中國大模型產(chǎn)業(yè)市場規(guī)模將達(dá)到1179億元人民幣,顯示出巨大的市場潛力和增長空間,巨大的市場規(guī)模將為我國大模型應(yīng)用提供廣泛應(yīng)用場景。
3.中國在大模型的技術(shù)創(chuàng)新上不斷取得突破
特別是在自然語言處理、計算機視覺和語音識別等領(lǐng)域。
同時,隨著對模型可解釋性的重視,中國正加強對可解釋性AI技術(shù)的研究,以提高模型的透明度和可信度,這將有助于大模型在金融、醫(yī)療等敏感領(lǐng)域的廣泛應(yīng)用將更加緊密地結(jié)合,可解釋性技術(shù)得到發(fā)展。
4.中國算力資源和人才隊伍建設(shè)將得到進一步加強
為了支撐大模型的發(fā)展,中國正在加速構(gòu)建高性能計算中心,提升算力水平。例如,中國的AI模型評測結(jié)果顯示,模型在不同能力維度上的表現(xiàn)優(yōu)異,這背后離不開強大的算力支持。同時,中國正通過教育體系和實訓(xùn)基地的建設(shè),培養(yǎng)更多高素質(zhì)的AI專業(yè)人才,為大模型的發(fā)展提供堅實的智力支持。
注釋:
原文標(biāo)題 : 中國大模型發(fā)展指數(shù)(第1期)
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市