你的聊天機(jī)器人可能存在數(shù)據(jù)泄露風(fēng)險(xiǎn)。近期有報(bào)道稱，用戶與 OpenAI 的 ChatGPT、xAI 的 Grok 等 AI 聊天機(jī)器人的對(duì)話 “已出現(xiàn)在搜索引擎結(jié)果中”，Meta AI 應(yīng)用中的用戶指令也可能被公開(kāi)推送。但如果這些查詢和對(duì)話能得到保護(hù)，隱私安全是否能得到強(qiáng)化？

這正是專注于隱私增強(qiáng)技術(shù)的公司 Duality 想要實(shí)現(xiàn)的目標(biāo) —— 其推出的私有大語(yǔ)言模型（LLM）推理框架，核心依托全同態(tài)加密（FHE）技術(shù)。這種加密技術(shù)允許在不解密數(shù)據(jù)的前提下對(duì)加密數(shù)據(jù)進(jìn)行計(jì)算，從根源上保障隱私。

Duality 的框架流程十分清晰：先通過(guò)全同態(tài)加密技術(shù)對(duì)用戶指令或查詢進(jìn)行加密，再將加密后的查詢發(fā)送給大模型；大模型無(wú)需解密即可直接處理查詢，生成加密回復(fù)后反饋給用戶。

“用戶只需解密結(jié)果，就能享受大模型的服務(wù)，而無(wú)需暴露自己的提問(wèn)內(nèi)容或模型的回復(fù)信息?！盌uality 聯(lián)合創(chuàng)始人兼首席技術(shù)官 Kurt Rohloff 說(shuō)。

目前該框架仍處于原型階段，僅支持較小規(guī)模的模型，尤其是谷歌的 BERT 系列模型。團(tuán)隊(duì)對(duì)這些大模型進(jìn)行了微調(diào)以適配全同態(tài)加密，例如用近似函數(shù)替代部分復(fù)雜數(shù)學(xué)函數(shù)，提升計(jì)算效率。即便經(jīng)過(guò)這些細(xì)微調(diào)整，AI 模型的運(yùn)行效果仍與普通大模型一致。

“我們的推理過(guò)程無(wú)需重新訓(xùn)練模型?！盌uality 加密技術(shù)副總裁 Yuriy Polyakov 表示，“我們的思路是保持傳統(tǒng)的訓(xùn)練方式不變，重點(diǎn)優(yōu)化推理過(guò)程的效率?！?/p>

FHE LLM 推理的挑戰(zhàn)

FHE 被認(rèn)為是一種量子計(jì)算機(jī)證明加密。然而，盡管其安全性很高，但加密方法可能很慢?！巴耆瑧B(tài)加密算法嚴(yán)重受內(nèi)存限制，”CipherSonic Labs 的聯(lián)合創(chuàng)始人兼首席技術(shù)官 Rashmi Agrawal 說(shuō)，該公司是她在波士頓大學(xué)加速同態(tài)加密的博士研究中衍生出來(lái)的。她解釋說(shuō)，F(xiàn)HE 依賴于基于晶格的密碼學(xué)，該密碼學(xué)建立在網(wǎng)格中向量周圍的數(shù)學(xué)問(wèn)題之上。“由于基于格的加密方案，你會(huì)放大數(shù)據(jù)大小，”她補(bǔ)充道。這會(huì)導(dǎo)致巨大的密文（數(shù)據(jù)的加密版本）和需要大量?jī)?nèi)存的密鑰。

Agrawal 說(shuō)，另一個(gè)計(jì)算瓶頸需要一種稱為引導(dǎo)的作，需要定期從密文中消除噪聲?！斑@項(xiàng)特殊的作非常昂貴，這就是 FHE 迄今為止進(jìn)展緩慢的原因?！?/p>

為了克服這些挑戰(zhàn)，Duality 的團(tuán)隊(duì)正在對(duì)一種名為 CKKS（Cheon-Kim-Kim-Song）的 FHE 方案進(jìn)行算法改進(jìn)，該方案非常適合機(jī)器學(xué)習(xí)應(yīng)用?！霸摲桨缚梢蕴幚韺?shí)數(shù)的大向量，并且實(shí)現(xiàn)了非常高的吞吐量，”Polyakov 說(shuō)。這些改進(jìn)的一部分涉及集成一項(xiàng)稱為功能引導(dǎo)的最新進(jìn)展。“這使我們能夠?qū)Υ笮洼d體進(jìn)行非常有效的同態(tài)比較作，”Polyakov 補(bǔ)充道。

所有這些實(shí)現(xiàn)都可以在 OpenFHE 上獲得，OpenFHE 是 Duality 貢獻(xiàn)并幫助維護(hù)的開(kāi)源庫(kù)?！斑@是一個(gè)復(fù)雜而復(fù)雜的問(wèn)題，需要社區(qū)的努力。我們正在提供這些工具，以便與社區(qū)一起推動(dòng)最先進(jìn)的技術(shù)并實(shí)現(xiàn)大型語(yǔ)言模型的推理，“Polyakov 說(shuō)。

硬件加速在加速 LLM 推理的 FHE 方面也發(fā)揮了作用，特別是對(duì)于更大的 AI 模型。“使用專門的硬件加速設(shè)備，它們可以加速兩到三個(gè)數(shù)量級(jí)，”Polyakov 說(shuō)。Duality 正在考慮到這一點(diǎn)，并在 OpenFHE 中添加了一個(gè)硬件抽象層，用于從默認(rèn) CPU 后端切換到更快的后端，例如 GPU 和專用集成電路 （ASIC）。

Agrawal 同意 GPU 以及現(xiàn)場(chǎng)可編程門陣列 （FPGA） 非常適合受 FHE 保護(hù)的 LLM 推理，因?yàn)樗鼈兯俣瓤觳⑶疫B接到高帶寬內(nèi)存。她補(bǔ)充說(shuō)，F(xiàn)PGA 尤其可以針對(duì)完全同態(tài)加密工作負(fù)載進(jìn)行定制。

對(duì)于 Duality 的下一步，該團(tuán)隊(duì)正在將他們的私有 LLM 推理框架從原型推進(jìn)到生產(chǎn)。該公司還致力于保護(hù)其他人工智能作，包括針對(duì)特定任務(wù)根據(jù)專門數(shù)據(jù)微調(diào)預(yù)訓(xùn)練模型，以及語(yǔ)義搜索以揭示搜索查詢背后的上下文和含義，而不僅僅是使用關(guān)鍵字。

加密大模型是未來(lái)趨勢(shì)

FHE 與差分隱私和機(jī)密計(jì)算等技術(shù)一起構(gòu)成了更廣泛的 LLM 隱私保護(hù)工具箱的一部分。差分隱私為數(shù)據(jù)集引入了受控的噪聲或隨機(jī)性，在保持集體模式的同時(shí)模糊了個(gè)人細(xì)節(jié)。同時(shí)，機(jī)密計(jì)算采用可信執(zhí)行環(huán)境，即 CPU 內(nèi)用于處理敏感數(shù)據(jù)的安全隔離區(qū)域。

機(jī)密計(jì)算的出現(xiàn)早于全同態(tài)加密這種新技術(shù)，Rashmi Agrawal 認(rèn)為它是全同態(tài)加密的 “直接競(jìng)爭(zhēng)對(duì)手”。但她指出，機(jī)密計(jì)算不支持 GPU，這使其難以適配大模型的運(yùn)行需求。

“當(dāng)需要非交互式端到端保密時(shí)，全同態(tài)加密的優(yōu)勢(shì)最為明顯，因?yàn)樵谡麄€(gè)計(jì)算過(guò)程中，沒(méi)有人能獲取你的數(shù)據(jù)?！盧ashmi Agrawal 說(shuō)。

使用 FHE 的完全加密的法學(xué)碩士開(kāi)辟了一個(gè)可能性的領(lǐng)域。例如，在醫(yī)療保健領(lǐng)域，可以在不泄露敏感患者記錄的情況下分析臨床結(jié)果。金融機(jī)構(gòu)可以在不披露銀行賬戶信息的情況下檢查欺詐行為。企業(yè)可以將計(jì)算外包給云環(huán)境，而無(wú)需透露專有數(shù)據(jù)。用戶與人工智能助手的對(duì)話也可以受到保護(hù)。

“我們正在進(jìn)入隱私技術(shù)的適用性和可用性的復(fù)興，以實(shí)現(xiàn)安全的數(shù)據(jù)協(xié)作，”Rohloff 說(shuō)，“我們都有數(shù)據(jù)。我們不一定必須在公開(kāi)敏感數(shù)據(jù)和從這些數(shù)據(jù)中獲得最佳見(jiàn)解之間做出選擇。