訂閱
糾錯(cuò)
加入自媒體

向量數(shù)據(jù)庫(kù)王冠易主!李開復(fù)的零一萬(wàn)物支棱起來(lái)了

3 月 11 日,龍?zhí)ь^之日,零一萬(wàn)物宣布成功研發(fā)其基于全導(dǎo)航圖技術(shù)打造的新型向量數(shù)據(jù)庫(kù)“笛卡爾(Descartes)”,并包攬權(quán)威榜單 ANN-Benchmarks 的 6 項(xiàng)數(shù)據(jù)集評(píng)測(cè)第一名。

這標(biāo)志著向量數(shù)據(jù)庫(kù)排行榜的頭號(hào)交椅再次易主。

笛卡爾包攬 6 項(xiàng)第一

向量數(shù)據(jù)庫(kù),又被稱為 AI 時(shí)代的信息檢索技術(shù),是檢索增強(qiáng)生成(Retrieval-Augmented Generation, RAG)內(nèi)核技術(shù)之一。

ANN-Benchmarks 是當(dāng)下業(yè)界最權(quán)威的向量數(shù)據(jù)庫(kù)性能測(cè)試工具,它可以展示不同算法在不同真實(shí)數(shù)據(jù)集下的表現(xiàn)。

在 ANN-Benchmarks 離線測(cè)試中,零一萬(wàn)物笛卡爾(Descartes)向量數(shù)據(jù)庫(kù)登頂 6 份數(shù)據(jù)集評(píng)測(cè)第一名,比之前榜單上同業(yè)第一名有顯著性能提升,部分?jǐn)?shù)據(jù)集上的性能提升甚至超過(guò) 2 倍以上。

由圖可見,零一萬(wàn)物向量數(shù)據(jù)庫(kù)在 6 份評(píng)測(cè)數(shù)據(jù)集中都位于最高,曲線位置越偏右上角意味著算法性能越好,笛卡爾包攬 6 項(xiàng)第一。

此前,榜單里六個(gè)數(shù)據(jù)集的榜首分屬于兩家廠商,而笛卡爾的包攬結(jié)束了這種“分庭抗禮”的局面,成為了大一統(tǒng)的“新王”。

關(guān)于零一萬(wàn)物

零一萬(wàn)物,是 2023 年初由李開復(fù)創(chuàng)辦的 AI 公司。零一萬(wàn)物已經(jīng)獲得數(shù)輪融資,估值已超 10 億美元,躋身 AI 2.0 獨(dú)角獸行列。

大家對(duì)李開復(fù)也并不陌生。計(jì)算機(jī)科學(xué)家出身,他的職業(yè)生涯起步于硅谷,先后任職于微軟、谷歌等,后來(lái)創(chuàng)立了創(chuàng)新工場(chǎng),以投資 AI 為人熟知。

零一萬(wàn)物聚集的技術(shù)團(tuán)隊(duì)實(shí)力彪悍。團(tuán)隊(duì)成員涉及大模型技術(shù)、人工智能算法、自然語(yǔ)言處理、系統(tǒng)架構(gòu)、算力架構(gòu)、數(shù)據(jù)安全、產(chǎn)品研發(fā)等領(lǐng)域。聯(lián)創(chuàng)團(tuán)隊(duì)成員包含前阿里巴巴副總裁、前滴滴/百度首席算法負(fù)責(zé)人、前谷歌中國(guó)高管、前微軟/SAP/Cisco/副總裁,算法和產(chǎn)品團(tuán)隊(duì)背景均來(lái)自國(guó)內(nèi)外大廠。

2023 年 11 月,零一萬(wàn)物曾發(fā)布首款開源中英雙語(yǔ)大模型“Yi”。

背后的技術(shù)揭秘

回歸本次主題。RAG 向量檢索主要解決兩大問(wèn)題:一,分別是通過(guò)建立某種索引結(jié)構(gòu),減少檢索考察的候選集。二、降低單個(gè)向量計(jì)算的復(fù)雜度。

對(duì)于第一個(gè)問(wèn)題,零一萬(wàn)物團(tuán)隊(duì)給出量大策略:

全導(dǎo)航圖技術(shù)。零一萬(wàn)物研發(fā)的全局多層縮略圖導(dǎo)航技術(shù),圖上坐標(biāo)系導(dǎo)航,既能保證精度,又能裁剪大量無(wú)關(guān)向量。

自適應(yīng)鄰居選擇策略,填補(bǔ)業(yè)界空白。零一萬(wàn)物自研的自適應(yīng)鄰居選擇新策略,使每個(gè)節(jié)點(diǎn)可以根據(jù)自身及鄰居的分布特征動(dòng)態(tài)地選取最佳鄰居邊,更快收斂接近目標(biāo)向量,從而讓 RAG 向量檢索性能提高 15%-30%。

對(duì)于“降低單個(gè)向量計(jì)算的復(fù)雜度”的問(wèn)題,零一萬(wàn)物采用了兩級(jí)量化方案增強(qiáng) RAG。

通過(guò)用兩級(jí)量化降低計(jì)算復(fù)雜度,同時(shí)列式存儲(chǔ)充分利用 SIMD 的并發(fā)能力,進(jìn)一步發(fā)揮硬件能力,相比傳統(tǒng) PQ 查表,性能得到大幅提升到 2-3 倍。

還有索引結(jié)構(gòu)優(yōu)化、連通性保障等全棧向量技術(shù)方案提高笛卡爾向量數(shù)據(jù)庫(kù)的性能。

解決大模型當(dāng)下缺陷

對(duì)大模型應(yīng)用開發(fā)者來(lái)說(shuō),向量數(shù)據(jù)庫(kù)是非常重要的基礎(chǔ)設(shè)施,在一定程度上影響著大模型的性能表現(xiàn)。

比如,向量數(shù)據(jù)庫(kù)能精準(zhǔn)解決大模型當(dāng)前階段下的重要問(wèn)題:

實(shí)時(shí)信息:大模型無(wú)法反應(yīng)最新的信息。向量數(shù)據(jù)庫(kù)采用輕量化更新機(jī)制,可以快速補(bǔ)充最新信息。

隱私保護(hù):用戶的安全隱私數(shù)據(jù)有泄密風(fēng)險(xiǎn)。向量數(shù)據(jù)通過(guò)在推理階段扮演信息傳遞的中間載體,破解了隱私保護(hù)的難關(guān)。

幻覺矯正:大模型常推理失真或產(chǎn)生幻覺。向量數(shù)據(jù)庫(kù)提供的豐富知識(shí)參照,有效矯正和減輕此類問(wèn)題。

推理高效:大模型推理成本高,向量數(shù)據(jù)庫(kù)能夠作為一種緩存機(jī)制,避免每一次查詢請(qǐng)求都需要重新執(zhí)行復(fù)雜的推理計(jì)算,節(jié)省計(jì)算資源。

伴隨 AI 熱風(fēng),向量數(shù)據(jù)庫(kù)創(chuàng)業(yè)公司也異軍突起。比如,2023 年,OpenAI 的向量數(shù)據(jù)庫(kù)合作方 Pinecone 完成了 B 輪 1.38 億美元融資,國(guó)內(nèi)初創(chuàng)企業(yè) Fabarta ArcNeural 也完成了上億元 Pre-A 輪融資。

笛卡爾將在近期亮相AI產(chǎn)品中

關(guān)于數(shù)據(jù)的重要性,有個(gè)十分形象的比喻:信息時(shí)代的數(shù)據(jù),就是工業(yè)時(shí)代的石油。未來(lái),向量數(shù)據(jù)庫(kù),將成為決定大模型天花板的關(guān)鍵要素。

零一萬(wàn)物笛卡爾向量數(shù)據(jù)庫(kù)目前聚焦于高性能向量數(shù)據(jù)庫(kù),在實(shí)際應(yīng)用場(chǎng)景中具備超高精度、超高性能核心優(yōu)勢(shì)。

超高精度:基于多層縮略圖和坐標(biāo)系實(shí)現(xiàn)層間導(dǎo)航和圖上方位導(dǎo)航,以及圖連通性保障,實(shí)現(xiàn)精度大于 99%,相同性能下,精度大幅領(lǐng)先業(yè)內(nèi)水平。

超高性能:高效的邊選擇和裁剪技術(shù),千萬(wàn)數(shù)據(jù)庫(kù) ms 響應(yīng)。

具體來(lái)說(shuō),高性能向量數(shù)據(jù)庫(kù)可以幫助企業(yè)客戶構(gòu)建私域知識(shí)庫(kù)、智能客服系統(tǒng);在自動(dòng)駕駛領(lǐng)域,使用高性能向量數(shù)據(jù)庫(kù)可來(lái)加速自動(dòng)駕駛模型訓(xùn)練等。

零一萬(wàn)物表示,笛卡爾向量數(shù)據(jù)庫(kù)將用在近期即將正式亮相的 AI 產(chǎn)品中,未來(lái)也將結(jié)合工具提供給開發(fā)者。

聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點(diǎn)。刊用本站稿件,務(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)