作者 | Xuushan，編輯 ｜Evan

“

成立不到7月，估值已過(guò)億。

”前有三位90后創(chuàng)辦的Cohere估值沖向360億美元，后有95后郭文景創(chuàng)辦的Pika拿到55億美元估值。很顯然，硅谷里的AI創(chuàng)業(yè)潮正在影響所有人，00后Leonard Tang也是被裹挾進(jìn)去的萬(wàn)分之一。

Leonard Tang是AI安全創(chuàng)企 Haize Labs 的創(chuàng)始人兼CEO，也是今年哈佛大學(xué)本科畢業(yè)生。

他創(chuàng)辦的Haize Labs通過(guò)一段視頻展示了AI大模型安全防線的“脆弱”。只需短短幾行提示，就能繞過(guò)大模型的安全限制，從而讓AI大模型生成大量的色情文字、血腥圖片等，甚至可以自動(dòng)攻擊其他網(wǎng)絡(luò)。

目前，Haize Labs主要通過(guò)其打造的首款A(yù)I產(chǎn)品——自動(dòng)化套件Haizing。該套件主要通過(guò)攻擊AI大模型進(jìn)行壓力測(cè)試，以發(fā)現(xiàn)AI大模型的安全漏洞。據(jù)外媒winbuzzer報(bào)道，明星AI創(chuàng)企Anthropic、Scale AI均是其客戶(hù)。

Haize Labs成立于2023年12月，在成立不到7個(gè)月的時(shí)間里，Haize Labs就收到至少四份投資意向書(shū)，知名基金Coatue也參與其中。知情人士透露，Haize Labs已經(jīng)獲得了General Catalyst領(lǐng)投的最新投資，估值達(dá)到1億美元。

在短短1-2輪融資中就獲得高額估值，這般融資速度和規(guī)模業(yè)內(nèi)都少見(jiàn)。一方面可以看出，投資者對(duì)Haize Labs信心十足，另一方面也顯示了AI安全賽道的潛力。

國(guó)際調(diào)研機(jī)構(gòu)CB Insight報(bào)告顯示，機(jī)器學(xué)習(xí)安全市場(chǎng)（MLSec）正快速增長(zhǎng)。2023年AI安全創(chuàng)企投融資總額高達(dá)2.13億美元，遠(yuǎn)超于2022年的7000萬(wàn)美元。

據(jù)硅兔賽跑不完全統(tǒng)計(jì)，2024年，北美已經(jīng)出現(xiàn)了至少5家AI安全獨(dú)角獸，至少39家AI安全創(chuàng)企獲得新融資，累計(jì)融資達(dá)8億美元。

“目前AI大模型安全領(lǐng)域還是空白的創(chuàng)業(yè)藍(lán)海市場(chǎng)。”一位投資人士說(shuō)。

隨著AI攻擊、AI大模型越獄事件不斷發(fā)生，人們對(duì)AI失控的風(fēng)險(xiǎn)擔(dān)憂日益增加。Haize Labs以AI越獄為切入口，以AI大模型安全為抓手，投身入局。

01

三位哈佛應(yīng)屆生瞄準(zhǔn)AI“越獄”

“每個(gè)人都對(duì)大模型越獄行為視而不見(jiàn)。”

Leonard Tang在接受媒體采訪時(shí)提到，這也成為了他和兩位朋友Richard Liu、Steve Li一起創(chuàng)辦Haize Labs契機(jī)。

據(jù)VentureBeat報(bào)道，Leonard Tang如今暫停了斯坦福大學(xué)博士課程的第一年學(xué)業(yè)，專(zhuān)注于Haize的發(fā)展。Richard Liu、Steve Li則兼顧學(xué)業(yè)，成為了伯克利人工智能研究實(shí)驗(yàn)室的本科研究員。

Haize Labs的創(chuàng)始人、CEO Leonard Tang告訴VentureBeat，Haize Labs其實(shí)是自己本科階段有關(guān)對(duì)抗性攻擊和大模型穩(wěn)健性研究的商業(yè)化成果。大學(xué)期間，他主修了數(shù)學(xué)和計(jì)算機(jī)科學(xué)兩大專(zhuān)業(yè)課程。

AI直譯，圖源官網(wǎng)

Leonard Tang第一次對(duì)LLM（大語(yǔ)言模型）模型越獄產(chǎn)生興趣大約是在兩年前，當(dāng)時(shí)他嘗試通過(guò)對(duì)圖像分類(lèi)器進(jìn)行對(duì)抗性攻擊，繞過(guò)Twitter的NSFW（Not Safe For Work）過(guò)濾器，該工具專(zhuān)門(mén)過(guò)濾一些不適宜在工作場(chǎng)合查看的內(nèi)容。

隨后，他發(fā)現(xiàn)AI浪潮中似乎每個(gè)人都對(duì)大模型越獄行為視而不見(jiàn)，于是受到啟發(fā)著手專(zhuān)注AI可靠性和安全性的研究。

今年4月，他在Github上發(fā)表了一篇有關(guān)《如何輕松越獄Llama3》的論文。論文指出，Llama 3這類(lèi)大語(yǔ)言模型缺乏自我反省的能力，一旦被誘導(dǎo)，大模型也不知道自己輸出的文字是什么意思。

從其哈佛網(wǎng)站的個(gè)人主頁(yè)來(lái)看，Leonard Tang在大學(xué)期間的經(jīng)歷豐富多彩。除了學(xué)業(yè)上對(duì)LLM模型廣泛研究，他還擁有在多家AI大廠實(shí)習(xí)的經(jīng)驗(yàn)，比如說(shuō)在英偉達(dá)MagLev的ML基礎(chǔ)工程實(shí)習(xí)生，參與到自動(dòng)駕駛汽車(chē)研究。再比如說(shuō)，作為亞馬遜SDE實(shí)習(xí)生，從事大數(shù)據(jù)供應(yīng)鏈物流工作。

另外兩位聯(lián)合創(chuàng)始人Richard Liu和Steve Li同樣是AI領(lǐng)域的研究員。Steve Li是哈佛大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)的大四學(xué)生，主要專(zhuān)注人工智能安全、語(yǔ)音處理、操作系統(tǒng)和機(jī)器學(xué)習(xí)系統(tǒng)的研究。他曾在Roblox的用戶(hù)安全團(tuán)隊(duì)實(shí)習(xí)，參與到報(bào)告功能和 ML分類(lèi)管道的工作中。

AI直譯，圖源官網(wǎng)

背靠哈佛，沖向硅谷。他們還獲得了一些顧問(wèn)和天使投資者的支持，建立自己的人脈圈。這其中包括卡內(nèi)基梅隆大學(xué)和哈佛大學(xué)的教授、Okta、HuggingFace、Weights and Biases、Replit 的創(chuàng)始人，以及谷歌、Netflix、Stripe、Anduril 等公司的人工智能和安全高管。Graham Neubig等顧問(wèn)為Haize Labs 提供 LLM 評(píng)估方面的專(zhuān)業(yè)知識(shí)

業(yè)內(nèi)的AI越獄大神@Pliny the Prompter也是Hazie的朋友和合作方。@Pliny the Prompter以可以迅速攻破Llama 3.1、GPT-4o的安全防線而聞名，他曾表示只需要30分鐘左右的時(shí)間，就能破解世界上最強(qiáng)大的人工智能模型。

可以看出，Haize Labs已經(jīng)在AI大模型安全領(lǐng)域建立了一定初步影響力，并且有了自己的關(guān)系網(wǎng)絡(luò)，推動(dòng)相關(guān)合作。

02

傳統(tǒng)審查機(jī)制不適用AI大模型

最開(kāi)始，Haize Labs測(cè)試了當(dāng)下許多知名的生成式AI程序、像是AI視頻Pika、ChatGPT、圖像生成器DALL-E等等。他們發(fā)現(xiàn)許多知名工具都會(huì)產(chǎn)生暴力或色情內(nèi)容，甚至?xí)�指�?dǎo)用戶(hù)生產(chǎn)生化武器，并允許自動(dòng)進(jìn)行網(wǎng)絡(luò)攻擊。

這是因?yàn)?strong>傳統(tǒng)審查如基于人工審查、關(guān)鍵詞過(guò)濾等方法去檢驗(yàn)大模型輸出內(nèi)容不精確。

因?yàn)锳I大模型通�；�于深度學(xué)習(xí)和大量數(shù)據(jù)訓(xùn)練，其決策過(guò)程可能不透明，這種“黑箱”特性使得傳統(tǒng)審查難以控制潛在的風(fēng)險(xiǎn)。

同時(shí)，AI大模型能夠不斷學(xué)習(xí)和適應(yīng)新的數(shù)據(jù)，其輸出可能隨著時(shí)間和輸入的變化而變化。傳統(tǒng)審查機(jī)制往往靜態(tài)和滯后，難以跟上AI大模型的動(dòng)態(tài)變化。

此外，AI大模型可以處理和分析大量數(shù)據(jù)，生成內(nèi)容的速度、新的表達(dá)方式和內(nèi)容，都有可能會(huì)遠(yuǎn)超于傳統(tǒng)審查機(jī)制的預(yù)期。

這也導(dǎo)致了無(wú)論是OpenAI審查工具M(jìn)oderation API、谷歌的過(guò)濾模型Perspective API，還是Meta的保護(hù)模型Llama Guard，性能表現(xiàn)效果都很差。

AI直譯，圖源官網(wǎng)

Hazie對(duì)各大AI模型進(jìn)行越獄測(cè)試時(shí)，發(fā)現(xiàn)Anthropic旗下Claude模型的安全性表現(xiàn)較好，而像Vicuna和Mistral這類(lèi)沒(méi)有明確執(zhí)行安全微調(diào)的模型很容易進(jìn)行越獄操作。

面對(duì)越獄合法性的質(zhì)疑，Haize Labs表示他們更希望主動(dòng)出擊，才能提供防御性解決方案，預(yù)防此類(lèi)事件發(fā)生。

03

拿下Anthropic、Scale AI 訂單Haize商業(yè)化進(jìn)程迅速

俗語(yǔ)道，不打不相識(shí)。

有意思的是，不少曾被攻擊過(guò)的機(jī)構(gòu)、模型公司并沒(méi)有起訴Haize，反而還成為了合作伙伴。

如今，Haize Labs的客戶(hù)有AI愛(ài)好者、政府的附屬機(jī)構(gòu)、模型供應(yīng)商等。

Haize Labs和AI大模型創(chuàng)企Anthropic達(dá)成了3萬(wàn)美元試點(diǎn)合作、與AI創(chuàng)企AI21簽約了五位數(shù)的協(xié)議，并且還與AI模型平臺(tái)Hugging Face、英國(guó)人工智能安全研究所（AISI）和 AI工程聯(lián)盟MLCommons達(dá)成合作。

不僅如此，Haize Labs與Scale AI簽署了50萬(wàn)美元意向書(shū)，目標(biāo)是對(duì)醫(yī)療保健和金融領(lǐng)域的LLM進(jìn)行特定領(lǐng)域的壓力測(cè)試，每次更新時(shí)都會(huì)重新評(píng)估模型以保持穩(wěn)健性。

Haize Labs打造的Haizing套件是一套搜索和優(yōu)化算法，結(jié)合了模糊測(cè)試和紅隊(duì)測(cè)試技術(shù)，可以較為全面的檢查AI系統(tǒng)。該產(chǎn)品主要在開(kāi)發(fā)階段誘導(dǎo)大模型出現(xiàn)幻覺(jué)，進(jìn)行壓力測(cè)試，從而更好提醒開(kāi)發(fā)者安全漏洞的問(wèn)題。

“只有通過(guò)嚴(yán)格、可擴(kuò)展且自動(dòng)地測(cè)試您的模型以了解其所有極端情況和弱點(diǎn)，客戶(hù)才能開(kāi)始修復(fù)這些弱點(diǎn)。”Leonard Tang說(shuō)。

Haizing Suite升級(jí)了多種算法，使用強(qiáng)化學(xué)習(xí)等技術(shù)檢測(cè)有害內(nèi)容輸入。它利用各種測(cè)試場(chǎng)景來(lái)發(fā)現(xiàn)潛在的問(wèn)題點(diǎn)，并且通過(guò)反向定義不良行為為行動(dòng)指導(dǎo)。

該套件擁有免費(fèi)版和商業(yè)版，其中免費(fèi)版需要申請(qǐng)，商業(yè)版則是Hazie的主要盈利來(lái)源。Haizing套件商業(yè)版，將為基礎(chǔ)模型服務(wù)商和應(yīng)用程序?qū)拥目蛻?hù)提供CI/CD haizing和運(yùn)行時(shí)防御解決方案。

AI大模型的巨頭們也注意到AI大模型越獄安全性問(wèn)題，并先后提醒人們注意。

OpenAI也曾邀請(qǐng)各領(lǐng)域?qū)＜彝ㄟ^(guò)對(duì)抗性方式幫助提高模型的安全性和可靠性，也就是招募“紅隊(duì)隊(duì)員”

微軟詳細(xì)介紹了一種名為“Skeleton Key”的越獄技術(shù)，用戶(hù)通過(guò)誘導(dǎo)的方式，繞過(guò)大模型的安全機(jī)制并讓模型認(rèn)為，自己輸出的內(nèi)容是在“合法范圍”之內(nèi)。

Anthropic則發(fā)現(xiàn)隨著窗口長(zhǎng)度的不斷增加，大模型的“越獄”現(xiàn)象開(kāi)始死灰復(fù)燃。“現(xiàn)在是時(shí)候努力減小大模型越獄的潛在風(fēng)險(xiǎn)了，否則它們可能造成嚴(yán)重危害。”Anthropic在公告中說(shuō)道。

在大模型快速發(fā)展的今天，安全一直成為人們繞不開(kāi)的話題。

現(xiàn)階段，AI激進(jìn)派與AI保守派各執(zhí)一詞，以自己的準(zhǔn)繩預(yù)測(cè)著AI大模型安全的風(fēng)險(xiǎn)值。前不久，馬斯克的AI大模型 Grok 2.0正在以無(wú)所限制地生成AI內(nèi)容，挑戰(zhàn)著用戶(hù)的敏感神經(jīng)。AI激進(jìn)派認(rèn)為如果對(duì)AI越獄行為進(jìn)行全面封鎖，或許會(huì)阻礙AI大模型的靈活性和響應(yīng)能力。

Haize則是通過(guò)自動(dòng)化各種不同類(lèi)型的攻擊，測(cè)試各個(gè)AI大模型的安全漏洞，試圖為AI大模型建立更穩(wěn)固的防線。

但同時(shí)，我們也能看到各大AI大模型廠商已經(jīng)開(kāi)始對(duì)AI越獄行為進(jìn)一步防守。若是Haize的成長(zhǎng)僅局限于AI越獄方向，業(yè)務(wù)方向似乎較為單一，也難以支撐后續(xù)發(fā)展。

文末互動(dòng)：

你看好Haize Labs嗎？

評(píng)論區(qū)告訴我們你的看法哦～

       原文標(biāo)題 : 三位哈佛00后聯(lián)手創(chuàng)業(yè)，7個(gè)月拿下億元估值