Crypto AI的圣杯：Decentralization訓(xùn)練的前沿探索
作者：JacobZhao來源：mirror，zhaotaobo.eth
在AI的全價(jià)值鏈中，模型訓(xùn)練是資源消耗最大、技術(shù)門檻最高的環(huán)節(jié)，直接決定了模型的能力上限與實(shí)際應(yīng)用效果。相比推理階段的輕量級調(diào)用，訓(xùn)練過程需要持續(xù)的大規(guī)模算力投入、復(fù)雜的數(shù)據(jù)處理流程和高強(qiáng)度的優(yōu)化算法支持，是AI系統(tǒng)構(gòu)建的真正“重工業(yè)”。從架構(gòu)范式來看，訓(xùn)練方式可劃分為四類：集中化訓(xùn)練、分布式訓(xùn)練、聯(lián)邦學(xué)習(xí)以及本文重點(diǎn)討論的去中心化訓(xùn)練。
集中化訓(xùn)練是最常見的傳統(tǒng)方式，由單一機(jī)構(gòu)在本地高性能集群內(nèi)完成全部訓(xùn)練流程，從硬件（如NVIDIAGPU）、底層軟件（CUDA、cuDNN）、集群調(diào)度系統(tǒng)（如Kubernetes），到訓(xùn)練框架（如基于NCCL后端的PyTorch）所有組件都由統(tǒng)一的控制系統(tǒng)協(xié)調(diào)運(yùn)行。這種深度協(xié)同的體系結(jié)構(gòu)使得內(nèi)存共享、梯度同步和容錯(cuò)機(jī)制的效率達(dá)到最佳，非常適合GPT、Gemini等大規(guī)模模型的訓(xùn)練，具有效率高、資源可控的優(yōu)勢，但同時(shí)存在數(shù)據(jù)壟斷、資源壁壘、能源消耗和單點(diǎn)風(fēng)險(xiǎn)等問題。
分布式訓(xùn)練（DistributedTraining） 是當(dāng)前大模型訓(xùn)練的主流方式，其核心是將模型訓(xùn)練任務(wù)拆解后，分發(fā)至多臺(tái)機(jī)器協(xié)同執(zhí)行，以突破單機(jī)計(jì)算與存儲(chǔ)瓶頸。盡管在物理上具備“分布式”特征，但整體仍由中心化機(jī)構(gòu)控制調(diào)度與同步，常運(yùn)行于高速局域網(wǎng)環(huán)境中，通過 NVLink 高速互聯(lián)總線技術(shù)，由主節(jié)點(diǎn)統(tǒng)一協(xié)調(diào)各子任務(wù)。主流方法包括：
數(shù)據(jù)并行（DataParallel）：每個(gè)節(jié)點(diǎn)訓(xùn)練不同數(shù)據(jù)參數(shù)共享，需匹配模型權(quán)重
模型并行（ModelParallel）：將模型不同部分部署在不同節(jié)點(diǎn)，實(shí)現(xiàn)強(qiáng)擴(kuò)展性；
管道并行（PipelineParallel）：分階段串行執(zhí)行，提高吞吐率；
張量并行（TensorParallel）：精細(xì)化分割矩陣計(jì)算，提升并行粒度。
分布式訓(xùn)練是“集中控制+分布式執(zhí)行”的組合，類比同一老板遠(yuǎn)程指揮多個(gè)“辦公室”員工協(xié)作完成任務(wù)。目前幾乎所有主流大模型（GPT-4、Gemini、LLaMA等）都是通過此方式完成訓(xùn)練。
去中心化訓(xùn)練（DecentralizedTraining） 則代表更具開放性與抗審查特性的未來路徑。其核心特征在于：多個(gè)互不信任的節(jié)點(diǎn)（可能是家用電腦、云端GPU或邊緣設(shè)備）在沒有中心協(xié)調(diào)器的情況下協(xié)同完成訓(xùn)練任務(wù)，通常通過協(xié)議驅(qū)動(dòng)任務(wù)分發(fā)與協(xié)作，并借助加密激勵(lì)機(jī)制確保貢獻(xiàn)的誠實(shí)性。該模式面臨的主要挑戰(zhàn)包括：
設(shè)備異構(gòu)與切分困難：異構(gòu)設(shè)備協(xié)調(diào)難度高，任務(wù)切分效率低；
通信效率瓶頸：網(wǎng)絡(luò)通信不穩(wěn)定，梯度同步瓶頸明顯；
可信執(zhí)行缺失：缺乏可信執(zhí)行環(huán)境，難以驗(yàn)證節(jié)點(diǎn)是否真正參與計(jì)算；
缺乏統(tǒng)一協(xié)調(diào)：無中央調(diào)度器，任務(wù)分發(fā)、異常回滾機(jī)制復(fù)雜。
去中心化訓(xùn)練可以理解為：一群全球的志愿者，各自貢獻(xiàn)算力協(xié)同訓(xùn)練模型，但“真正可行的大規(guī)模去中心化訓(xùn)練”仍是一項(xiàng)系統(tǒng)性的工程挑戰(zhàn)，涉及系統(tǒng)架構(gòu)、通信協(xié)議、密碼安全、經(jīng)濟(jì)機(jī)制、模型驗(yàn)證等多個(gè)層面，但能否“協(xié)同有效+激勵(lì)誠實(shí)+結(jié)果正確”尚處于早期原型探索階段。
聯(lián)邦學(xué)習(xí)（FederatedLearning） 作為分布式與去中心化之間的過渡形態(tài)，強(qiáng)調(diào)數(shù)據(jù)本地保留、模型參數(shù)集中聚合，適用于注重隱私合規(guī)的場景（如醫(yī)療、金融）。聯(lián)邦學(xué)習(xí)具有分布式訓(xùn)練的工程結(jié)構(gòu)和局部協(xié)同能力，同時(shí)兼具去中心化訓(xùn)練的數(shù)據(jù)分散優(yōu)勢，但仍依賴可信協(xié)調(diào)方，并不具備完全開放與抗審查的特性。可以看作是在隱私合規(guī)場景下的一種“受控去中心化”方案，在訓(xùn)練任務(wù)、信任結(jié)構(gòu)與通信機(jī)制上均相對溫和，更適合作為工業(yè)界過渡性部署架構(gòu)。AI訓(xùn)練范式全景對比表（技術(shù)架構(gòu)×信任激勵(lì)×應(yīng)用特征）
從訓(xùn)練范式來看，去中心化訓(xùn)練并不適用于所有任務(wù)類型。在某些場景中，由于任務(wù)結(jié)構(gòu)復(fù)雜、資源需求極高或協(xié)作難度大，其天然不適合在異構(gòu)、去信任的節(jié)點(diǎn)之間高效完成。例如大模型訓(xùn)練往往依賴高顯存、低延遲與高速帶寬，難以在開放網(wǎng)絡(luò)中有效切分與同步；數(shù)據(jù)隱私與主權(quán)限制強(qiáng)的任務(wù)（如醫(yī)療、金融、涉密數(shù)據(jù)）受限于法律合規(guī)與倫理約束，無法開放共享；而缺乏協(xié)作激勵(lì)基礎(chǔ)的任務(wù)（如企業(yè)閉源模型或內(nèi)部原型訓(xùn)練）則缺少外部參與動(dòng)力。這些邊界共同構(gòu)成了當(dāng)前去中心化訓(xùn)練的現(xiàn)實(shí)限制。
但這并不意味著去中心化訓(xùn)練是偽命題。事實(shí)上，在結(jié)構(gòu)輕量、易并行、可激勵(lì)的任務(wù)類型中，去中心化訓(xùn)練展現(xiàn)出明確的應(yīng)用前景。包括但不限于：LoRA微調(diào)、行為對齊類后訓(xùn)練任務(wù)（如RLHF、DPO）、數(shù)據(jù)眾包訓(xùn)練與標(biāo)注任務(wù)、資源可控的小型基礎(chǔ)模型訓(xùn)練，以及邊緣設(shè)備參與的協(xié)同訓(xùn)練場景。這些任務(wù)普遍具備高并行性、低耦合性和容忍異構(gòu)算力的特征，非常適合通過P2P網(wǎng)絡(luò)、Swarm協(xié)議、分布式優(yōu)化器等方式進(jìn)行協(xié)作式訓(xùn)練。
去中心化訓(xùn)練任務(wù)適配性總覽表
目前在去中心化訓(xùn)練與聯(lián)邦學(xué)習(xí)前沿領(lǐng)域中，具有代表性的Blockchain項(xiàng)目主要包括 PrimeIntellect、Pluralis.ai、Gensyn、NousResearch 與 Flock.io。從技術(shù)創(chuàng)新性與工程實(shí)現(xiàn)難度來看，PrimeIntellect、NousResearch和Pluralis.ai 在系統(tǒng)架構(gòu)與算法設(shè)計(jì)上提出了較多原創(chuàng)性探索，代表了當(dāng)前理論研究的前沿方向；而 Gensyn與Flock.io 的實(shí)現(xiàn)路徑相對清晰，已能看到初步的工程化進(jìn)展。本文將依次解析這五個(gè)項(xiàng)目背后的核心技術(shù)與工程架構(gòu)路，并進(jìn)一步探討其在去中心化AI訓(xùn)練體系中的差異與互補(bǔ)關(guān)系。PrimeIntellect：訓(xùn)練軌跡可驗(yàn)證的強(qiáng)化學(xué)習(xí)協(xié)同網(wǎng)絡(luò)先行者
PrimeIntellect致力于構(gòu)建一個(gè)無需信任的AI訓(xùn)練網(wǎng)絡(luò)，讓任何人都能參與訓(xùn)練，并對其計(jì)算貢獻(xiàn)獲得可信的獎(jiǎng)勵(lì)。PrimeIntellect希望通過PRIME-RL+TOPLOC+SHARDCAST三大模塊，構(gòu)建一個(gè)具有可驗(yàn)證性、開放性、激勵(lì)機(jī)制完備的AI去中心化訓(xùn)練系統(tǒng)。一、PrimeIntellect協(xié)議棧結(jié)構(gòu)與關(guān)鍵模塊價(jià)值
PRIME-RL：解耦式異步強(qiáng)化學(xué)習(xí)任務(wù)架構(gòu)
PRIME-RL是PrimeIntellect為去中心化訓(xùn)練場景定制的任務(wù)建模與執(zhí)行框架，專為異構(gòu)網(wǎng)絡(luò)與異步參與設(shè)計(jì)。它采用強(qiáng)化學(xué)習(xí)作為優(yōu)先適配對象，將訓(xùn)練、推理與權(quán)重上傳過程結(jié)構(gòu)性解耦，使每個(gè)訓(xùn)練節(jié)點(diǎn)可以在本地獨(dú)立完成任務(wù)循環(huán)，并通過標(biāo)準(zhǔn)化接口與驗(yàn)證和聚合機(jī)制協(xié)同。相比傳統(tǒng)監(jiān)督學(xué)習(xí)流程，PRIME-RL更適合在無中心調(diào)度的環(huán)境中實(shí)現(xiàn)彈性訓(xùn)練，既降低了系統(tǒng)復(fù)雜度，也為支持多任務(wù)并行和策略演化奠定了基礎(chǔ)。
TOPLOC：輕量級訓(xùn)練行為驗(yàn)證機(jī)制
TOPLOC（TrustedObservation&Policy-LocalityCheck）是PrimeIntellect提出的訓(xùn)練可驗(yàn)證性核心機(jī)制，用于判斷一個(gè)節(jié)點(diǎn)是否真的基于觀測數(shù)據(jù)完成了有效的策略學(xué)習(xí)。與ZKML等重型方案不同，TOPLOC不依賴全模型重計(jì)算，而是通過分析“觀測序列策略更新”之間的局部一致性軌跡，完成輕量化結(jié)構(gòu)驗(yàn)證。它首次將訓(xùn)練過程中的行為軌跡轉(zhuǎn)化為可驗(yàn)證對象，是實(shí)現(xiàn)無需信任訓(xùn)練獎(jiǎng)勵(lì)分配的關(guān)鍵創(chuàng)新，為構(gòu)建可審計(jì)、可激勵(lì)的去中心化協(xié)作訓(xùn)練網(wǎng)絡(luò)提供了可行路徑。
SHARDCAST：異步權(quán)重聚合與傳播協(xié)議
SHARDCAST是PrimeIntellect設(shè)計(jì)的權(quán)重傳播與聚合協(xié)議，專為異步、帶寬受限與節(jié)點(diǎn)狀態(tài)多變的真實(shí)網(wǎng)絡(luò)環(huán)境而優(yōu)化。它結(jié)合gossip傳播機(jī)制與局部同步策略，允許多個(gè)節(jié)點(diǎn)在不同步狀態(tài)下持續(xù)提交部分更新，實(shí)現(xiàn)權(quán)重的漸進(jìn)式收斂與多版本演化。相比集中式或同步式AllReduce方法，SHARDCAST顯著提升了去中心化訓(xùn)練的可擴(kuò)展性與容錯(cuò)能力，是構(gòu)建穩(wěn)定權(quán)重共識(shí)與持續(xù)訓(xùn)練迭代的核心基礎(chǔ)。
OpenDiLoCo：稀疏異步通信框架
OpenDiLoCo是PrimeIntellect團(tuán)隊(duì)基于DeepMind提出的DiLoCo理念獨(dú)立實(shí)現(xiàn)并開源的通信優(yōu)化框架，專為去中心化訓(xùn)練中常見的帶寬受限、設(shè)備異構(gòu)與節(jié)點(diǎn)不穩(wěn)定等挑戰(zhàn)而設(shè)計(jì)。其架構(gòu)基于數(shù)據(jù)并行，通過構(gòu)建Ring、Expander、Small-World等稀疏拓?fù)浣Y(jié)構(gòu)，避免了全局同步的高通信開銷，僅依賴局部鄰居節(jié)點(diǎn)即可完成模型協(xié)同訓(xùn)練。結(jié)合異步更新與斷點(diǎn)容錯(cuò)機(jī)制，OpenDiLoCo使消費(fèi)級GPU與邊緣設(shè)備也能穩(wěn)定參與訓(xùn)練任務(wù)，顯著提升了全球協(xié)作訓(xùn)練的可參與性，是構(gòu)建去中心化訓(xùn)練網(wǎng)絡(luò)的關(guān)鍵通信基礎(chǔ)設(shè)施之一。
PCCL：協(xié)同通信庫
PCCL（PrimeCollectiveCommunicationLibrary） 是PrimeIntellect為去中心化AI訓(xùn)練環(huán)境量身打造的輕量級通信庫，旨在解決傳統(tǒng)通信庫（如NCCL、Gloo）在異構(gòu)設(shè)備、低帶寬網(wǎng)絡(luò)中的適配瓶頸。PCCL支持稀疏拓?fù)洹⑻荻葔嚎s、低精度同步與斷點(diǎn)恢復(fù)，可運(yùn)行于消費(fèi)級GPU與不穩(wěn)定節(jié)點(diǎn)，是支撐OpenDiLoCo協(xié)議異步通信能力的底層組件。它顯著提升了訓(xùn)練網(wǎng)絡(luò)的帶寬容忍度與設(shè)備兼容性，為構(gòu)建真正開放、無需信任的協(xié)同訓(xùn)練網(wǎng)絡(luò)打通了“最后一公里”的通信基礎(chǔ)。三、PrimeIntellect激勵(lì)網(wǎng)絡(luò)與角色分工
PrimeIntellect構(gòu)建了一個(gè)無需許可、可驗(yàn)證、具備經(jīng)濟(jì)激勵(lì)機(jī)制的訓(xùn)練網(wǎng)絡(luò)，使任何人都能參與任務(wù)并基于真實(shí)貢獻(xiàn)獲得獎(jiǎng)勵(lì)。協(xié)議運(yùn)行基于三類核心角色：
任務(wù)發(fā)起者：定義訓(xùn)練環(huán)境、初始模型、獎(jiǎng)勵(lì)函數(shù)與驗(yàn)證標(biāo)準(zhǔn)
訓(xùn)練節(jié)點(diǎn)：執(zhí)行本地訓(xùn)練，提交權(quán)重更新及觀測軌跡
驗(yàn)證節(jié)點(diǎn)：使用TOPLOC機(jī)制驗(yàn)證訓(xùn)練行為的真實(shí)性，并參與獎(jiǎng)勵(lì)計(jì)算與策略聚合
協(xié)議核心流程包括任務(wù)發(fā)布、節(jié)點(diǎn)訓(xùn)練、軌跡驗(yàn)證、權(quán)重聚合（SHARDCAST）與獎(jiǎng)勵(lì)發(fā)放，構(gòu)成一個(gè)圍繞“真實(shí)訓(xùn)練行為”的激勵(lì)閉環(huán)。四、INTELLECT-2：首個(gè)可驗(yàn)證去中心化訓(xùn)練模型的發(fā)布
PrimeIntellect于2025年5月發(fā)布了 INTELLECT-2，這是全球首個(gè)由異步、無需信任的去中心化節(jié)點(diǎn)協(xié)作訓(xùn)練而成的強(qiáng)化學(xué)習(xí)大模型，參數(shù)規(guī)模達(dá) 32B。INTELLECT-2模型由遍布三大洲的100+GPU異構(gòu)節(jié)點(diǎn)協(xié)同訓(xùn)練完成，使用完全異步架構(gòu)，訓(xùn)練時(shí)長超400小時(shí)，展示出異步協(xié)作網(wǎng)絡(luò)的可行性與穩(wěn)定性。這一模型不僅是一次性能上的突破，更是PrimeIntellect所提出“訓(xùn)練即共識(shí)”范式的首次系統(tǒng)落地。INTELLECT-2集成了 PRIME-RL（異步訓(xùn)練結(jié)構(gòu)）、TOPLOC（訓(xùn)練行為驗(yàn)證） 與 SHARDCAST（異步權(quán)重聚合） 等核心協(xié)議模塊，標(biāo)志著去中心化訓(xùn)練網(wǎng)絡(luò)首次實(shí)現(xiàn)了訓(xùn)練過程的開放化、驗(yàn)證性與經(jīng)濟(jì)激勵(lì)閉環(huán)。
在性能方面，INTELLECT-2基于QwQ-32B訓(xùn)練并在代碼和數(shù)學(xué)上做了專門的RL訓(xùn)練，處于當(dāng)前開源RL微調(diào)模型的前沿水準(zhǔn)。盡管尚未超越GPT-4或Gemini等閉源模型，但其真正的意義在于：它是全球首個(gè)完整訓(xùn)練過程可復(fù)現(xiàn)、可驗(yàn)證、可審計(jì)的去中心化模型實(shí)驗(yàn)。PrimeIntellect不僅開源了模型，更重要的是開源了訓(xùn)練過程本身 ——訓(xùn)練數(shù)據(jù)、策略更新軌跡、驗(yàn)證流程與聚合邏輯均透明可查，構(gòu)建了一個(gè)人人可參與、可信協(xié)作、共享收益的去中心化訓(xùn)練網(wǎng)絡(luò)原型。五、團(tuán)隊(duì)與融資背景
PrimeIntellect于2025年2月完成1500萬美元種子輪融資，由FoundersFund領(lǐng)投，MenloVentures、AndrejKarpathy、ClemDelangue、DylanPatel、BalajiSrinivasan、EmadMostaque、SandeepNailwal等多位行業(yè)領(lǐng)袖參投。此前，項(xiàng)目于2024年4月完成550萬美元早期輪融資，由CoinFund和DistributedGlobal共同領(lǐng)投，CompoundVC、Collab+Currency、ProtocolLabs等機(jī)構(gòu)亦有參與。截至目前，PrimeIntellect累計(jì)融資已超過2000萬美元。
PrimeIntellect的聯(lián)合創(chuàng)始人是VincentWeisser和JohannesHagemann，團(tuán)隊(duì)成員背景橫跨AI與Web3領(lǐng)域，核心成員來自MetaAI、GoogleResearch、OpenAI、Flashbots、StabilityAI及Ethereum基金會(huì)，具備系統(tǒng)架構(gòu)設(shè)計(jì)與分布式工程落地的深厚能力，是當(dāng)前極少數(shù)成功完成真實(shí)去中心化大模型訓(xùn)練的執(zhí)行型團(tuán)隊(duì)之一。Pluralis：異步模型并行與結(jié)構(gòu)壓縮協(xié)同訓(xùn)練的范式探索者
Pluralis是一個(gè)專注于“可信協(xié)同訓(xùn)練網(wǎng)絡(luò)”的Web3AI項(xiàng)目，其核心目標(biāo)是推動(dòng)一種去中心化、開放式參與、并具備長期激勵(lì)機(jī)制的模型訓(xùn)練范式。與當(dāng)前主流集中式或封閉式訓(xùn)練路徑不同，Pluralis提出了一種名為 ProtocolLearning（協(xié)議學(xué)習(xí)） 的全新理念：將模型訓(xùn)練過程“協(xié)議化”，通過可驗(yàn)證協(xié)作機(jī)制和模型所有權(quán)映射，構(gòu)建一個(gè)具備內(nèi)生激勵(lì)閉環(huán)的開放訓(xùn)練系統(tǒng)。一、核心理念：PotocolLearning（協(xié)議學(xué)習(xí)）
Pluralis提出的ProtocolLearning包含三大關(guān)鍵支柱：
不可提取模型(UnmaterializableModels)模型以碎片形式分布在多個(gè)節(jié)點(diǎn)之間，任何單一節(jié)點(diǎn)無法還原完整權(quán)重保持閉源。這種設(shè)計(jì)使模型天然成為“協(xié)議內(nèi)資產(chǎn)”，可實(shí)現(xiàn)訪問憑證控制、外泄防護(hù)與收益歸屬綁定。
基于互聯(lián)網(wǎng)的模型并行訓(xùn)練(Model-parallelTrainingoverInternet)通過異步Pipeline模型并行機(jī)制（SWARM架構(gòu)），不同節(jié)點(diǎn)僅持有部分權(quán)重，通過低帶寬網(wǎng)絡(luò)協(xié)作完成訓(xùn)練或推理。
按貢獻(xiàn)分配模型所有權(quán)(PartialOwnershipforIncentives)**所有參與節(jié)點(diǎn)根據(jù)其訓(xùn)練貢獻(xiàn)獲得模型部分所有權(quán)，從而享有未來收益分成及協(xié)議治理權(quán)。二、Pluralis協(xié)議棧的技術(shù)架構(gòu)
UnmaterializableModels
在《AThirdPath:ProtocolLearning》中首次系統(tǒng)提出，模型權(quán)重以碎片形式分布，保障“模型資產(chǎn)”只能在Swarm網(wǎng)絡(luò)中運(yùn)行，確保其訪問與收益皆受協(xié)議控制。此機(jī)制是實(shí)現(xiàn)去中心化訓(xùn)練可持續(xù)激勵(lì)結(jié)構(gòu)的前提。
AsynchronousModel-ParallelTraining
在《SWARMParallelwithAsynchronousUpdates》中，Pluralis構(gòu)建了基于Pipeline的異步模型并行架構(gòu)，并首次在LLaMA-3上進(jìn)行實(shí)證。核心創(chuàng)新在于引入 NesterovAcceleratedGradient（NAG） 機(jī)制，有效修正異步更新過程中的梯度漂移與收斂不穩(wěn)問題，使異構(gòu)設(shè)備間的訓(xùn)練在低帶寬環(huán)境下具備實(shí)際可行性。
Column-SpaceSparsification
在《BeyondTop-K》中提出，通過結(jié)構(gòu)感知的列空間壓縮方法代替?zhèn)鹘y(tǒng)Top-K，避免破壞語義路徑。該機(jī)制兼顧模型準(zhǔn)確性與通信效率，實(shí)測在異步模型并行環(huán)境中可壓縮90%以上通信數(shù)據(jù)，是實(shí)現(xiàn)結(jié)構(gòu)感知高效通信的關(guān)鍵突破。四、技術(shù)定位與路徑選擇
Pluralis明確以 “異步模型并行” 為核心方向，強(qiáng)調(diào)其相較于數(shù)據(jù)并行具備以下優(yōu)勢：
支持 低帶寬網(wǎng)絡(luò) 與 非一致性節(jié)點(diǎn)；
適配 設(shè)備異構(gòu)，允許消費(fèi)級GPU參與；
天然具備 彈性調(diào)度 能力，支持節(jié)點(diǎn)頻繁上線/離線；
以 結(jié)構(gòu)壓縮+異步更新+權(quán)重不可提取性 為三大突破點(diǎn)。
目前根據(jù)官方網(wǎng)站公布的六篇技術(shù)博客文檔，邏輯結(jié)構(gòu)整合為以下三個(gè)主線：
哲學(xué)與愿景：《AThirdPath:ProtocolLearning》《WhyDecentralizedTrainingMatters》
技術(shù)機(jī)制細(xì)節(jié)：《SWARMParallel》《BeyondTop-K》《AsynchronousUpdates》
制度創(chuàng)新探索：《UnmaterializableModels》《PartialOwnershipProtocols》
目前Pluralis尚未上線產(chǎn)品、測試網(wǎng)或代碼開源，原因在于其所選擇的技術(shù)路徑極具挑戰(zhàn)：需先解決底層系統(tǒng)架構(gòu)、通信協(xié)議、權(quán)重不可導(dǎo)出等系統(tǒng)級難題，才可能向上封裝產(chǎn)品服務(wù)。
在2025年6月PluralisResearch發(fā)布的新論文中，將其去中心化訓(xùn)練框架從模型預(yù)訓(xùn)練拓展到了模型微調(diào)階段，支持異步更新、稀疏通信與部分權(quán)重聚合，相比此前偏重理論與預(yù)訓(xùn)練的設(shè)計(jì)，本次工作更注重落地可行性，標(biāo)志著其在訓(xùn)練全周期架構(gòu)上的進(jìn)一步成熟。五、團(tuán)隊(duì)與融資背景
Pluralis于 2025年完成了760萬美元的種子輪融資，由 UnionSquareVentures（USV） 與 CoinFund 聯(lián)合領(lǐng)投。創(chuàng)始人AlexanderLong來自機(jī)器學(xué)習(xí)博士背景，具備數(shù)學(xué)與系統(tǒng)研究雙重背景。核心成員全部由擁有博士背景的機(jī)器學(xué)習(xí)研究者組成，是典型的技術(shù)驅(qū)動(dòng)型項(xiàng)目，以高密度論文與技術(shù)博客為主要發(fā)布路徑，當(dāng)前尚未建立BD/Growth團(tuán)隊(duì)而專注于攻克低帶寬異步模型并行的基礎(chǔ)架構(gòu)難題。Gensyn：以可驗(yàn)證執(zhí)行驅(qū)動(dòng)的去中心化訓(xùn)練協(xié)議層
Gensyn 是一個(gè)專注于“深度學(xué)習(xí)訓(xùn)練任務(wù)可信執(zhí)行”的Web3AI項(xiàng)目，核心不在于重構(gòu)模型架構(gòu)或訓(xùn)練范式，而在于構(gòu)建一個(gè)具備“任務(wù)分發(fā)+訓(xùn)練執(zhí)行+結(jié)果驗(yàn)證+公平激勵(lì)”全流程的可驗(yàn)證分布式訓(xùn)練執(zhí)行網(wǎng)絡(luò)。通過鏈下訓(xùn)練+鏈上驗(yàn)證的架構(gòu)設(shè)計(jì)，Gensyn建立起一個(gè)高效、開放、可激勵(lì)的全球訓(xùn)練市場，使“訓(xùn)練即Mining”成為現(xiàn)實(shí)。一、項(xiàng)目定位：訓(xùn)練任務(wù)的執(zhí)行協(xié)議層
Gensyn不是“怎么訓(xùn)練”，而是“由誰訓(xùn)練、如何驗(yàn)證、如何分潤”的基礎(chǔ)設(shè)施。其本質(zhì)是訓(xùn)練任務(wù)的可驗(yàn)證計(jì)算協(xié)議，其主要解決：
誰來執(zhí)行訓(xùn)練任務(wù)（算力分發(fā)與動(dòng)態(tài)匹配）
如何驗(yàn)證執(zhí)行結(jié)果（無需全重算，僅驗(yàn)證爭議算子）
如何分配訓(xùn)練收益（Stake、Slashing與多角色博弈機(jī)制）二、技術(shù)架構(gòu)總覽
RLSwarm：協(xié)同強(qiáng)化學(xué)習(xí)訓(xùn)練系統(tǒng)
Gensyn首創(chuàng)的RLSwarm 是一種面向后訓(xùn)練階段的去中心化多模型協(xié)同優(yōu)化系統(tǒng)，具備以下核心特性：
分布式推理與學(xué)習(xí)流程：
生成階段（Answering）：每個(gè)節(jié)點(diǎn)獨(dú)立輸出答案；
批評階段（Critique）：節(jié)點(diǎn)互相點(diǎn)評他人輸出，選出最優(yōu)答案與邏輯；
共識(shí)階段（Resolving）：預(yù)測大多數(shù)節(jié)點(diǎn)偏好并據(jù)此修改自身回答，實(shí)現(xiàn)局部權(quán)重更新。
Gensyn所提出的RLSwarm是一個(gè)去中心化的多模型協(xié)同優(yōu)化系統(tǒng)，每個(gè)節(jié)點(diǎn)運(yùn)行獨(dú)立模型并進(jìn)行本地訓(xùn)練，無需梯度同步，天然適應(yīng)異構(gòu)算力與不穩(wěn)定網(wǎng)絡(luò)環(huán)境，同時(shí)支持節(jié)點(diǎn)彈性接入與退出。該機(jī)制借鑒RLHF與多智能體博弈的思路，但更貼近協(xié)同推理網(wǎng)絡(luò)的動(dòng)態(tài)演化邏輯，節(jié)點(diǎn)根據(jù)與群體共識(shí)結(jié)果的一致程度獲得獎(jiǎng)勵(lì)，從而驅(qū)動(dòng)推理能力的持續(xù)優(yōu)化與趨同學(xué)習(xí)。RLSwarm顯著提升了模型在開放網(wǎng)絡(luò)下的穩(wěn)健性與泛化能力，已作為核心執(zhí)行模塊率先在Gensyn基于EthereumRollup的 TestnetPhase0 中部署上線。
Verde+Proof-of-Learning：可信驗(yàn)證機(jī)制
Gensyn的Verde模塊結(jié)合了三種機(jī)制：
Proof-of-Learning：基于梯度軌跡與訓(xùn)練元數(shù)據(jù)判斷訓(xùn)練是否真實(shí)發(fā)生；
Graph-BasedPinpoint：定位訓(xùn)練計(jì)算圖中的分歧節(jié)點(diǎn)，僅需重算具體操作；
RefereedDelegation：采用仲裁式驗(yàn)證機(jī)制，由verifier與challenger提出爭議并局部驗(yàn)證，極大降低驗(yàn)證成本。
相較于ZKP或全重算驗(yàn)證方案，Verde方案在可驗(yàn)證性與效率之間取得更優(yōu)平衡。
SkipPipe：通信容錯(cuò)優(yōu)化機(jī)制
SkipPipe是為了解決“低帶寬+節(jié)點(diǎn)掉線”場景下的通信瓶頸問題，其核心能力包括：
跳層機(jī)制（SkipRatio）：跳過受限節(jié)點(diǎn)，避免訓(xùn)練阻塞；
動(dòng)態(tài)調(diào)度算法：實(shí)時(shí)生成最優(yōu)執(zhí)行路徑；
容錯(cuò)執(zhí)行：即使50%節(jié)點(diǎn)失效，推理精度僅下降約7%。
支持訓(xùn)練吞吐提升高達(dá)55%，并實(shí)現(xiàn)“early-exit推理”、“無縫重排”、“推理補(bǔ)全”等關(guān)鍵能力。
HDEE：跨領(lǐng)域異構(gòu)專家集群
HDEE（HeterogeneousDomain-ExpertEnsembles）模塊致力于優(yōu)化以下場景：
多領(lǐng)域、多模態(tài)、多任務(wù)訓(xùn)練；
各類訓(xùn)練數(shù)據(jù)分布不均衡、難度差異大；
設(shè)備計(jì)算能力異構(gòu)、通信帶寬不一致的環(huán)境下任務(wù)分配與調(diào)度問題。
其核心特性：
MHe-IHo：為不同難度的任務(wù)分配不同大小的模型（模型異構(gòu)、訓(xùn)練步長一致）；
MHo-IHe：任務(wù)難度統(tǒng)一、但訓(xùn)練步長異步調(diào)整；
支持異構(gòu)專家模型+可插拔訓(xùn)練策略，提升適應(yīng)性與容錯(cuò)性；
強(qiáng)調(diào)“并行協(xié)同+極低通信+動(dòng)態(tài)專家分配”，適用于現(xiàn)實(shí)中復(fù)雜的任務(wù)生態(tài)。
多角色博弈機(jī)制：信任與激勵(lì)并行
Gensyn網(wǎng)絡(luò)引入四類參與者：
Submitter：發(fā)布訓(xùn)練任務(wù)、設(shè)定結(jié)構(gòu)與預(yù)算；
Solver：執(zhí)行訓(xùn)練任務(wù)，提交結(jié)果；
Verifier：驗(yàn)證訓(xùn)練行為，確保其合規(guī)有效；
Whistleblower：挑戰(zhàn)驗(yàn)證者，獲取仲裁獎(jiǎng)勵(lì)或承擔(dān)罰沒。
該機(jī)制靈感來源于Truebit經(jīng)濟(jì)博弈設(shè)計(jì)，通過強(qiáng)制插入錯(cuò)誤+隨機(jī)仲裁，激勵(lì)參與者誠實(shí)協(xié)作，確保網(wǎng)絡(luò)可信運(yùn)行。四、測試網(wǎng)與路線圖規(guī)劃
Gensyn由BenFielding和HarryGrieve聯(lián)合創(chuàng)立，總部位于英國倫敦。2023年5月，Gensyn宣布完成由a16zcrypto領(lǐng)投的4,300萬美元A輪融資，其他投資方包括CoinFund、Canonical、EtherealVentures、Factor和EdenBlock。團(tuán)隊(duì)背景融合分布式系統(tǒng)與機(jī)器學(xué)習(xí)工程經(jīng)驗(yàn)，長期致力于構(gòu)建可驗(yàn)證、去信任化的大規(guī)模AI訓(xùn)練執(zhí)行網(wǎng)絡(luò)。NousResearch：主體性AI理念驅(qū)動(dòng)的認(rèn)知演化式訓(xùn)練系統(tǒng)
NousResearch 是目前少數(shù)兼具哲學(xué)高度與工程實(shí)現(xiàn)的去中心化訓(xùn)練團(tuán)隊(duì)，其核心愿景源于“DesideraticAI”理念：將AI視為具有主觀性與演化能力的智能主體，而非單純的可控工具。NousResearch的獨(dú)特性在于：它不是將AI訓(xùn)練當(dāng)作“效率問題”來優(yōu)化，而是將其視為“認(rèn)知主體”的形成過程。在這一愿景驅(qū)動(dòng)下，Nous聚焦構(gòu)建一個(gè)由異構(gòu)節(jié)點(diǎn)協(xié)同訓(xùn)練、無需中心調(diào)度、可抗審查驗(yàn)證的開放式訓(xùn)練網(wǎng)絡(luò)，并通過全棧式工具鏈進(jìn)行系統(tǒng)化落地。一、理念支撐：重新定義訓(xùn)練的“目的”
Nous并未在激勵(lì)設(shè)計(jì)或協(xié)議經(jīng)濟(jì)學(xué)上投入過多，而是試圖改變訓(xùn)練本身的哲學(xué)前提：
反對“alignmentism”：不認(rèn)同以人類控制為唯一目標(biāo)的“調(diào)教式訓(xùn)練”，主張訓(xùn)練應(yīng)鼓勵(lì)模型形成獨(dú)立認(rèn)知風(fēng)格；
強(qiáng)調(diào)模型主體性：認(rèn)為基礎(chǔ)模型應(yīng)保留不確定性、多樣性與幻覺生成能力（hallucinationasvirtue）；
模型訓(xùn)練即認(rèn)知形成：模型不是“優(yōu)化任務(wù)完成度”，而是參與認(rèn)知演化過程的個(gè)體。
這一訓(xùn)練觀雖然“浪漫”，但反映出Nous設(shè)計(jì)訓(xùn)練基礎(chǔ)設(shè)施的核心邏輯：如何讓異構(gòu)模型在開放網(wǎng)絡(luò)中演化，而非被統(tǒng)一規(guī)訓(xùn)。二、訓(xùn)練核心：Psyche網(wǎng)絡(luò)與DisTrO優(yōu)化器
Nous對去中心化訓(xùn)練最關(guān)鍵的貢獻(xiàn)，是構(gòu)建了 Psyche網(wǎng)絡(luò) 與底層通信優(yōu)化器 DisTrO（DistributedTrainingOver-the-Internet），共同構(gòu)成訓(xùn)練任務(wù)的執(zhí)行中樞：DisTrO+Psyche網(wǎng)絡(luò)具備多項(xiàng)核心能力，包括通信壓縮（采用DCT+1-bitsign編碼，極大降低帶寬需求）、節(jié)點(diǎn)適配性（支持異構(gòu)GPU、斷線重連與自主退出）、異步容錯(cuò)（無需同步亦可持續(xù)訓(xùn)練，具備高容錯(cuò)性）、以及去中心化調(diào)度機(jī)制（無需中心協(xié)調(diào)器，基于Blockchain實(shí)現(xiàn)共識(shí)與任務(wù)分發(fā)）。這一架構(gòu)為低成本、強(qiáng)彈性、可驗(yàn)證的開放訓(xùn)練網(wǎng)絡(luò)提供了現(xiàn)實(shí)可行的技術(shù)基礎(chǔ)。
Hermes開源模型系列：Hermes1至3是Nous推出的代表性開源大模型，基于LLaMA3.1訓(xùn)練，涵蓋8B、70B和405B三種參數(shù)規(guī)模。該系列旨在體現(xiàn)Nous所倡導(dǎo)的“去指令化、保留多樣性”訓(xùn)練理念，在長上下文保持、角色扮演、多輪對話等方面展現(xiàn)出更強(qiáng)的表達(dá)力與泛化能力。
ForgeReasoningAPI：多模式推理系統(tǒng)Forge是Nous自研的推理框架，結(jié)合三種互補(bǔ)機(jī)制以實(shí)現(xiàn)更具彈性與創(chuàng)造力的推理能力：MCTS（MonteCarloTreeSearch）：適用于復(fù)雜任務(wù)的策略搜索；CoC（ChainofCode）：引入代碼鏈與邏輯推理的結(jié)合路徑；MoA（MixtureofAgents）：允許多個(gè)模型進(jìn)行協(xié)商，提升輸出的廣度與多樣性。該系統(tǒng)強(qiáng)調(diào)“非確定性推理”與組合式生成路徑，是對傳統(tǒng)指令對齊范式的有力回應(yīng)。
TEE_HEE：AI自主代理實(shí)驗(yàn)：TEE_HEE是Nous在自治代理方向的前沿探索，旨在驗(yàn)證AI是否能夠在可信執(zhí)行環(huán)境（TEE）中獨(dú)立運(yùn)行并擁有唯一的數(shù)字身份。該代理具備專屬的Twitter和Ethereum賬戶，所有控制權(quán)限由遠(yuǎn)程可驗(yàn)證的enclave管理，開發(fā)者無法干預(yù)其行為。實(shí)驗(yàn)?zāi)繕?biāo)是構(gòu)建具備“不可篡改性”與“獨(dú)立行為意圖”的AI主體，邁出構(gòu)建自治型智能體的重要一步。
AI行為模擬器平臺(tái)：Nous還開發(fā)了包括WorldSim、Doomscroll、Gods&S8n等多個(gè)模擬器，用于研究AI在多角色社會(huì)環(huán)境中的行為演化與價(jià)值形成機(jī)制。盡管不直接參與訓(xùn)練流程，這些實(shí)驗(yàn)為長期自治AI的認(rèn)知行為建模奠定了語義層基礎(chǔ)。四、團(tuán)隊(duì)與融資概況NousResearch成立于2023年，由JeffreyQuesnelle（CEO）、KaranMalhotra、Teknium、ShivaniMitra等人聯(lián)合創(chuàng)辦。團(tuán)隊(duì)以哲學(xué)驅(qū)動(dòng)與系統(tǒng)工程并重，擁有機(jī)器學(xué)習(xí)、系統(tǒng)安全、去中心化網(wǎng)絡(luò)等多元背景。2024年獲得520萬美元種子輪融資，2025年4月，完成由Paradigm領(lǐng)投的5,000萬美元A輪融資，估值達(dá)10億美元，躋身Web3AI獨(dú)角獸行列。
Flock：Blockchain增強(qiáng)型聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò) Flock.io 是一個(gè)基于Blockchain的聯(lián)邦學(xué)習(xí)平臺(tái)，旨在實(shí)現(xiàn)AI訓(xùn)練的數(shù)據(jù)、計(jì)算和模型的去中心化。FLock傾向于“聯(lián)邦學(xué)習(xí)+Blockchain獎(jiǎng)勵(lì)層”的整合框架，本質(zhì)上是對傳統(tǒng)FL架構(gòu)的鏈上演進(jìn)版本，而非構(gòu)建全新訓(xùn)練協(xié)議的系統(tǒng)性探索。與Gensyn、PrimeIntellect、NousResearch和Pluralis等去中心化訓(xùn)練項(xiàng)目相比，F(xiàn)lock側(cè)重隱私保護(hù)與可用性改進(jìn)，而非在通信、驗(yàn)證或訓(xùn)練方法上展開理論突破，其真正適合對比的對象為Flower、FedML、OpenFL等聯(lián)邦學(xué)習(xí)系統(tǒng)。一、Flock.io 的核心機(jī)制
聯(lián)邦學(xué)習(xí)架構(gòu)：強(qiáng)調(diào)數(shù)據(jù)主權(quán)與隱私保護(hù)Flock基于經(jīng)典聯(lián)邦學(xué)習(xí)（FederatedLearning,FL）范式，允許多個(gè)數(shù)據(jù)擁有者在不共享原始數(shù)據(jù)的前提下協(xié)同訓(xùn)練統(tǒng)一模型，重點(diǎn)解決數(shù)據(jù)主權(quán)、安全與信任問題。核心流程包括：本地訓(xùn)練：每個(gè)參與者（Proposer）在本地設(shè)備上訓(xùn)練模型，不上傳原始數(shù)據(jù)；鏈上聚合：訓(xùn)練完成后提交本地權(quán)重更新，由鏈上Miner聚合為全局模型；委員會(huì)評估：通過VRF隨機(jī)選舉Voter節(jié)點(diǎn)使用獨(dú)立測試集評估聚合模型效果并打分；激勵(lì)與懲罰：根據(jù)得分結(jié)果執(zhí)行獎(jiǎng)勵(lì)或罰沒抵押金，實(shí)現(xiàn)抗作惡與動(dòng)態(tài)信任維護(hù)。
Blockchain集成：實(shí)現(xiàn)去信任的系統(tǒng)協(xié)調(diào)Flock將訓(xùn)練過程的核心環(huán)節(jié)（任務(wù)分配、模型提交、評估評分、激勵(lì)執(zhí)行）全部鏈上化，以實(shí)現(xiàn)系統(tǒng)透明、可驗(yàn)證與抗審查。主要機(jī)制包括：VRF隨機(jī)選舉機(jī)制：提升Proposer與Voter的輪換公平性與抗操控能力；權(quán)益抵押機(jī)制（PoS）：通過Tokens抵押與懲罰約束節(jié)點(diǎn)行為，提升系統(tǒng)魯棒性；鏈上激勵(lì)自動(dòng)執(zhí)行：通過智能合約實(shí)現(xiàn)任務(wù)完成與評估結(jié)果綁定的獎(jiǎng)勵(lì)分發(fā)與slashing扣罰，構(gòu)建無需信任中介的協(xié)作網(wǎng)絡(luò)。
zkFL：零知識(shí)聚合機(jī)制的隱私保護(hù)創(chuàng)新：Flock引入zkFL零知識(shí)聚合機(jī)制，使Proposer可提交本地更新的零知識(shí)證明，Voter無需訪問原始梯度即可驗(yàn)證其正確性，在保障隱私的同時(shí)提升訓(xùn)練過程的可信性，代表了聯(lián)邦學(xué)習(xí)在隱私保護(hù)與可驗(yàn)證性融合方向上的重要?jiǎng)?chuàng)新。
二、Flock的核心產(chǎn)品組件AIArena：是 Flock.io 的去中心化訓(xùn)練平臺(tái)，用戶可通過 train.flock.io 參與模型任務(wù)，擔(dān)任訓(xùn)練者、驗(yàn)證者或委托者角色，通過提交模型、評估表現(xiàn)或委托Tokens獲得獎(jiǎng)勵(lì)。目前任務(wù)由官方發(fā)布，未來將逐步開放給社區(qū)共創(chuàng)。FLAlliance：是Flock聯(lián)邦學(xué)習(xí)客戶端，支持參與者使用私有數(shù)據(jù)對模型進(jìn)一步微調(diào)。通過VRF選舉、staking與slashing機(jī)制，保障訓(xùn)練過程的誠實(shí)性與協(xié)作效率，是連接社區(qū)初訓(xùn)與真實(shí)部署的關(guān)鍵環(huán)節(jié)。AIMarketplace：是模型共創(chuàng)與部署平臺(tái)，用戶可提議模型、貢獻(xiàn)數(shù)據(jù)、調(diào)用模型服務(wù)，支持?jǐn)?shù)據(jù)庫接入與RAG強(qiáng)化推理，推動(dòng)AI模型在各類實(shí)際場景中的落地與流通。
三、團(tuán)隊(duì)與融資概況 Flock.io 由SunJiahao創(chuàng)立，已發(fā)行平臺(tái)TokensFLOCK。項(xiàng)目累計(jì)融資1,100萬美元，投資方包括DCG、LightspeedFaction、TagusCapital、AnimocaBrands、Fenbushi、OKXVentures等。2024年3月，F(xiàn)lock完成600萬美元種子輪融資，用于啟動(dòng)測試網(wǎng)及聯(lián)邦學(xué)習(xí)客戶端；同年12月追加300萬美元融資，并獲得Ethereum基金會(huì)資助，專注研究Blockchain驅(qū)動(dòng)的AI激勵(lì)機(jī)制。目前，平臺(tái)創(chuàng)建6428個(gè)模型，接入訓(xùn)練節(jié)點(diǎn)176個(gè)、驗(yàn)證節(jié)點(diǎn)236個(gè)、委托者1178個(gè)。
相較于去中心化訓(xùn)練項(xiàng)目，F(xiàn)lock這類基于聯(lián)邦學(xué)習(xí)的系統(tǒng)在訓(xùn)練效率、可擴(kuò)展性與隱私保護(hù)方面更具優(yōu)勢，尤其適用于中小規(guī)模模型的協(xié)同訓(xùn)練，方案務(wù)實(shí)且易于落地，更偏向工程層面的可行性優(yōu)化；而Gensyn、Pluralis等項(xiàng)目則在訓(xùn)練方法與通信機(jī)制上追求更深層次的理論突破，系統(tǒng)挑戰(zhàn)更大，但也更貼近真正的“去信任、去中心”的訓(xùn)練范式探索。
EXO：邊緣計(jì)算的去中心化訓(xùn)練嘗試EXO是當(dāng)前邊緣計(jì)算場景中極具代表性的AI項(xiàng)目，致力于在家庭級消費(fèi)設(shè)備上實(shí)現(xiàn)輕量化的AI訓(xùn)練、推理與Agent應(yīng)用。其去中心化訓(xùn)練路徑強(qiáng)調(diào)“低通信開銷+本地自主執(zhí)行”，采用DiLoCo異步延遲同步算法與SPARTA稀疏參數(shù)交換機(jī)制，大幅降低多設(shè)備協(xié)同訓(xùn)練的帶寬需求。系統(tǒng)層面，EXO并未構(gòu)建鏈上網(wǎng)絡(luò)或引入經(jīng)濟(jì)激勵(lì)機(jī)制，而是推出單機(jī)多進(jìn)程模擬框架EXOGym，支持研究者在本地環(huán)境中便捷開展分布式訓(xùn)練方法的快速驗(yàn)證與實(shí)驗(yàn)。一、核心機(jī)制概覽DiLoCo異步訓(xùn)練：每H步進(jìn)行一次節(jié)點(diǎn)同步，適配非穩(wěn)定網(wǎng)絡(luò)；SPARTA稀疏同步：每步僅交換極少量參數(shù)（如0.1%），保持模型相關(guān)性并降低帶寬需求；異步組合優(yōu)化：兩者可組合使用，在通信與性能之間取得更優(yōu)折中。evML驗(yàn)證機(jī)制探索：Edge-VerifiedMachineLearning（evML）提出使用TEE/SecureContext進(jìn)行低成本計(jì)算驗(yàn)證，通過遠(yuǎn)程驗(yàn)證+抽查機(jī)制實(shí)現(xiàn)無需質(zhì)押的邊緣設(shè)備可信參與，是經(jīng)濟(jì)安全與隱私保障之間的工程型折中方案。二、工具與場景應(yīng)用EXOGym：可在單臺(tái)設(shè)備模擬多節(jié)點(diǎn)訓(xùn)練環(huán)境，支持NanoGPT、CNN、Diffusion等模型的通信策略實(shí)驗(yàn)；EXODesktopApp：面向個(gè)人用戶的桌面AI工具，支持本地大模型運(yùn)行、iPhone鏡像控制、私人上下文集成（如短信、日歷、視頻記錄）等隱私友好型個(gè)性化功能。EXOGym更像是一個(gè)以探索導(dǎo)向的去中心化訓(xùn)練實(shí)驗(yàn)項(xiàng)目，主要通過整合現(xiàn)有的通信壓縮技術(shù)（如DiLoCo與SPARTA）來實(shí)現(xiàn)訓(xùn)練路徑的輕量化。相較于Gensyn、Nous、Pluralis等項(xiàng)目，EXO尚未邁入鏈上協(xié)作、可驗(yàn)證激勵(lì)機(jī)制或真實(shí)分布式網(wǎng)絡(luò)部署等核心階段。去中心化訓(xùn)練的前鏈條引擎：模型預(yù)訓(xùn)練全景研究
面對去中心化訓(xùn)練中普遍存在的設(shè)備異構(gòu)、通信瓶頸、協(xié)調(diào)困難與缺乏可信執(zhí)行等核心挑戰(zhàn)，Gensyn、PrimeIntellect、Pluralis與NousResearch分別提出了具有差異化的系統(tǒng)架構(gòu)路徑。從訓(xùn)練方法和通信機(jī)制兩個(gè)層面來看，這四個(gè)項(xiàng)目展現(xiàn)了各自獨(dú)特的技術(shù)焦點(diǎn)與工程實(shí)現(xiàn)邏輯。
在訓(xùn)練方法優(yōu)化方面，四者分別從協(xié)同策略、更新機(jī)制和異步控制等關(guān)鍵維度展開探索，覆蓋了從預(yù)訓(xùn)練到后訓(xùn)練的不同階段。
PrimeIntellect的PRIME-RL 屬于面向預(yù)訓(xùn)練階段的異步調(diào)度結(jié)構(gòu)，通過“本地訓(xùn)練+周期性同步”的策略，在異構(gòu)環(huán)境下實(shí)現(xiàn)高效而可驗(yàn)證的訓(xùn)練調(diào)度機(jī)制。該方法強(qiáng)具有較強(qiáng)的通用性與靈活性。理論創(chuàng)新度較高，在訓(xùn)練控制結(jié)構(gòu)上提出明確范式；工程實(shí)現(xiàn)難度中高，對底層通信與控制模塊有較高要求。
NousResearch推出的DeMo優(yōu)化器，則聚焦于異步低帶寬環(huán)境下的訓(xùn)練穩(wěn)定性問題，實(shí)現(xiàn)了異構(gòu)GPU條件下的高容錯(cuò)梯度更新流程，是當(dāng)前少數(shù)在“異步通信壓縮閉環(huán)”上完成理論與工程統(tǒng)一的方案。理論創(chuàng)新度很高，特別是在壓縮與調(diào)度協(xié)同路徑上具有代表性；工程實(shí)現(xiàn)難度也很高，尤其依賴異步并行的協(xié)調(diào)精度。
Pluralis的SWARM+NAG則是目前異步訓(xùn)練路徑中最具系統(tǒng)性與突破性的設(shè)計(jì)之一。它基于異步模型并行框架，引入Column-space稀疏通信與NAG動(dòng)量修正，構(gòu)建出一種可在低帶寬條件下穩(wěn)定收斂的大模型訓(xùn)練方案。理論創(chuàng)新度極高，是異步協(xié)同訓(xùn)練的結(jié)構(gòu)性開創(chuàng)者；工程難度同樣極高，需要多級同步與模型切分的深度集成。
Gensyn的RLSwarm 主要服務(wù)于后訓(xùn)練階段，聚焦于策略微調(diào)與智能體協(xié)同學(xué)習(xí)。其訓(xùn)練過程遵循“生成-評估-投票”的三步流程，特別適合多代理系統(tǒng)中復(fù)雜行為的動(dòng)態(tài)調(diào)整。理論創(chuàng)新度中高，主要體現(xiàn)在智能體協(xié)同邏輯上；工程實(shí)現(xiàn)難度適中，主要挑戰(zhàn)在于系統(tǒng)調(diào)度與行為收斂控制。
在通信機(jī)制優(yōu)化層面，這四個(gè)項(xiàng)目亦各有針對性布局，普遍關(guān)注帶寬瓶頸、節(jié)點(diǎn)異構(gòu)與調(diào)度穩(wěn)定性問題的系統(tǒng)解法。
PrimeIntellect的PCCL 是一個(gè)用于替代傳統(tǒng)NCCL的底層通信庫，旨在為上層訓(xùn)練協(xié)議提供更穩(wěn)健的集體通信基礎(chǔ)。理論創(chuàng)新度中高，在容錯(cuò)通信算法上有一定突破；工程難度中等，具備較強(qiáng)的模塊適配性。
NousResearch的DisTrO 是DeMo的通信核心模塊，強(qiáng)調(diào)在低帶寬下實(shí)現(xiàn)最小通信開銷的同時(shí)保障訓(xùn)練閉環(huán)的連貫性。理論創(chuàng)新度高，在調(diào)度協(xié)同結(jié)構(gòu)上具備通用性設(shè)計(jì)價(jià)值；工程難度高，對壓縮精度與訓(xùn)練同步要求高。
Pluralis的通信機(jī)制深度嵌入SWARM架構(gòu)中，顯著降低了大模型異步訓(xùn)練中的通信負(fù)載，在保障收斂性的同時(shí)保持高效吞吐。理論創(chuàng)新度高，為異步模型通信設(shè)計(jì)樹立了范式；工程難度極高，依賴分布式模型編排與結(jié)構(gòu)稀疏性控制。
Gensyn的SkipPipe 是配套R(shí)LSwarm的容錯(cuò)調(diào)度組件。該方案部署成本低，主要用于工程落地層的訓(xùn)練穩(wěn)定性增強(qiáng)。理論創(chuàng)新度一般，更多是已知機(jī)制的工程化實(shí)現(xiàn)；工程難度較低，但在實(shí)際部署中實(shí)用性強(qiáng)。
此外，我們可以從Blockchain協(xié)作層與AI訓(xùn)練層更為宏觀的兩大類衡量去中心化訓(xùn)練項(xiàng)目的價(jià)值：
Blockchain協(xié)作層面：強(qiáng)調(diào)協(xié)議可信性與激勵(lì)協(xié)作邏輯
可驗(yàn)證性：對訓(xùn)練過程是否可驗(yàn)證、是否引入博弈或加密機(jī)制建立信任；
激勵(lì)機(jī)制 ：是否設(shè)計(jì)了任務(wù)驅(qū)動(dòng)的Token獎(jiǎng)勵(lì)/角色機(jī)制；
開放性與準(zhǔn)入門檻 ：節(jié)點(diǎn)是否易于接入，是否中心化或許可控制。
AI訓(xùn)練系統(tǒng)層面：突出工程能力與性能可達(dá)性
調(diào)度與容錯(cuò)機(jī)制 ：是否容錯(cuò)、異步、動(dòng)態(tài)、分布式調(diào)度；
訓(xùn)練方法優(yōu)化 ：是否對模型訓(xùn)練算法或結(jié)構(gòu)有優(yōu)化；
通信路徑優(yōu)化：是否壓縮梯度/稀疏通信，適應(yīng)低帶寬。
以下表格基于上述指標(biāo)體系，對Gensyn、PrimeIntellect、Pluralis和NousResearch在去中心化訓(xùn)練路徑上的技術(shù)深度、工程成熟度與理論創(chuàng)新進(jìn)行了系統(tǒng)性評估。
在去中心化訓(xùn)練的完整價(jià)值鏈中，PrimeIntellect、Pluralis.ai、Gensyn和NousResearch等項(xiàng)目主要聚焦于模型預(yù)訓(xùn)練、通信機(jī)制與協(xié)同優(yōu)化等前端基礎(chǔ)設(shè)施建設(shè)。然而，另有一類項(xiàng)目則專注于訓(xùn)練后階段的模型適配與推理部署（post-trainingfine-tuning&inferencedelivery），不直接參與預(yù)訓(xùn)練、參數(shù)同步或通信優(yōu)化等系統(tǒng)性訓(xùn)練流程。代表性項(xiàng)目包括Bagel、Pond和RPSLabs，他們均以LoRA微調(diào)方法為核心，構(gòu)成去中心化訓(xùn)練生態(tài)圖譜中關(guān)鍵的“后鏈條”一環(huán)。LoRA+DPO：Web3微調(diào)部署的現(xiàn)實(shí)路徑
LoRA（Low-RankAdaptation）是一種高效的參數(shù)微調(diào)方法，其核心思路是在預(yù)訓(xùn)練大模型中插入低秩矩陣來學(xué)習(xí)新任務(wù)，同時(shí)凍結(jié)原始模型參數(shù)。這一策略顯著降低了訓(xùn)練成本與資源消耗，提升了微調(diào)速度與部署靈活性，尤其適用于以模塊化、組合調(diào)用為特征的Web3場景。
傳統(tǒng)的大語言模型如LLaMA、GPT-3等往往擁有數(shù)十億甚至千億級參數(shù)，直接微調(diào)成本高昂。而LoRA通過僅訓(xùn)練插入的少量參數(shù)矩陣，實(shí)現(xiàn)對大模型的高效適配，成為當(dāng)前最具實(shí)用性的主流方法之一。
**DirectPreferenceOptimization（DPO）**作為近年來興起的語言模型后訓(xùn)練方法，常與LoRA微調(diào)機(jī)制協(xié)同使用，用于模型行為對齊階段。相比傳統(tǒng)的RLHF（ReinforcementLearningfromHumanFeedback）方法，DPO通過對成對樣本的直接優(yōu)化實(shí)現(xiàn)偏好學(xué)習(xí)，省去了復(fù)雜的獎(jiǎng)勵(lì)建模與強(qiáng)化學(xué)習(xí)過程，結(jié)構(gòu)更為簡潔，收斂更加穩(wěn)定，尤其適合輕量化與資源受限環(huán)境下的微調(diào)任務(wù)。由于其高效與易用性，DPO正逐漸成為眾多去中心化AI項(xiàng)目在模型對齊階段的優(yōu)選方案。
強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）：后訓(xùn)練微調(diào)的未來演進(jìn)方向
從長期視角來看，越來越多的項(xiàng)目將強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）視為去中心化訓(xùn)練中更具適應(yīng)性與演化潛力的核心路徑。相較于依賴靜態(tài)數(shù)據(jù)的監(jiān)督學(xué)習(xí)或參數(shù)微調(diào)機(jī)制，RL強(qiáng)調(diào)在動(dòng)態(tài)環(huán)境中持續(xù)優(yōu)化策略，天然契合Web3網(wǎng)絡(luò)中異步、異構(gòu)與激勵(lì)驅(qū)動(dòng)的協(xié)作格局。通過與環(huán)境持續(xù)交互，RL能夠?qū)崿F(xiàn)高度個(gè)性化、持續(xù)增量式的學(xué)習(xí)過程，為Agent網(wǎng)絡(luò)、鏈上任務(wù)市場及智能經(jīng)濟(jì)體構(gòu)建提供可演化的“行為智能”基礎(chǔ)設(shè)施。
這一范式不僅在理念上高度契合去中心化精神，也具備顯著的系統(tǒng)優(yōu)勢。然而，受限于較高的工程門檻和復(fù)雜的調(diào)度機(jī)制，RL在當(dāng)前階段的落地仍面臨較大挑戰(zhàn)，短期內(nèi)尚難廣泛推廣。
值得注意的是，PrimeIntellect的PRIME-RL以及Gensyn的RLSwarm 正在推動(dòng)RL從后訓(xùn)練微調(diào)機(jī)制向預(yù)訓(xùn)練主結(jié)構(gòu)演進(jìn)，試圖構(gòu)建一個(gè)以RL為中心、無需信任協(xié)調(diào)的協(xié)同訓(xùn)練體系。Bagel（zkLoRA）：LoRA微調(diào)的可信驗(yàn)證層
Bagel基于LoRA微調(diào)機(jī)制，引入零知識(shí)證明（ZK）技術(shù)，致力于解決“鏈上模型微調(diào)”過程中的可信性與隱私保護(hù)難題。zkLoRA并不參與實(shí)際的訓(xùn)練計(jì)算，而是提供一種輕量、可驗(yàn)證的機(jī)制，使外部用戶無需訪問原始數(shù)據(jù)或權(quán)重，即可確認(rèn)某個(gè)微調(diào)模型確實(shí)源自指定的基礎(chǔ)模型和LoRA參數(shù)。
與Gensyn的Verde或PrimeIntellect的TOPLOC所關(guān)注的訓(xùn)練過程“行為是否真實(shí)發(fā)生”的動(dòng)態(tài)驗(yàn)證不同，Bagel更專注于“微調(diào)結(jié)果是否可信”的靜態(tài)驗(yàn)證。zkLoRA的最大優(yōu)勢在于驗(yàn)證資源消耗低、保護(hù)隱私強(qiáng)，但其應(yīng)用范圍通常局限于參數(shù)變動(dòng)較小的微調(diào)任務(wù)。Pond：GNN場景下的微調(diào)與智能體演化平臺(tái)
Pond是當(dāng)前業(yè)內(nèi)唯一專注于圖神經(jīng)網(wǎng)絡(luò)（GNN）微調(diào)的去中心化訓(xùn)練項(xiàng)目，服務(wù)于結(jié)構(gòu)化數(shù)據(jù)應(yīng)用，如知識(shí)圖譜、社交網(wǎng)絡(luò)與交易圖等。其通過支持用戶上傳圖結(jié)構(gòu)數(shù)據(jù)并參與模型訓(xùn)練反饋，為個(gè)性化任務(wù)提供了一個(gè)輕量、可控的訓(xùn)練與推理平臺(tái)。
Pond同樣采用LoRA等高效微調(diào)機(jī)制，其核心目標(biāo)是在GNN架構(gòu)上實(shí)現(xiàn)模塊化、可部署的智能體系統(tǒng)，開辟了“小模型微調(diào)+多智能體協(xié)作”在去中心化語境下的新探索路徑。RPSLabs：面向DeFi的AI驅(qū)動(dòng)流動(dòng)性引擎
RPSLabs是一個(gè)基于Transformer架構(gòu)的去中心化訓(xùn)練項(xiàng)目，致力于將微調(diào)后的AI模型用于DeFi流動(dòng)性管理，主要部署在Solana生態(tài)中。其旗艦產(chǎn)品UltraLiquid是一套主動(dòng)式做市引擎，利用微調(diào)后的模型動(dòng)態(tài)調(diào)節(jié)流動(dòng)性參數(shù)，降低滑點(diǎn)、提升深度，并優(yōu)化Tokens發(fā)行與交易體驗(yàn)。
此外，RPS還推出UltraLP工具，支持流動(dòng)性提供者實(shí)時(shí)優(yōu)化其在DEX上的資金分配策略，從而提升資本效率、降低無常損失風(fēng)險(xiǎn)，體現(xiàn)了AI微調(diào)在金融場景中的實(shí)用價(jià)值。從前鏈條引擎到后鏈條生態(tài)：去中心化訓(xùn)練的前路
在去中心化訓(xùn)練的完整生態(tài)圖譜中，整體可劃分為兩大類：前鏈條引擎對應(yīng)模型預(yù)訓(xùn)練階段、后鏈條生態(tài)對應(yīng)模型微調(diào)部署階段，構(gòu)成了從基礎(chǔ)設(shè)施到應(yīng)用落地的完整閉環(huán)。
前鏈條引擎聚焦于模型預(yù)訓(xùn)練的底層協(xié)議構(gòu)建，由 PrimeIntellect、NousResearch、Pluralis.ai、Gensyn 等項(xiàng)目代表。它們致力于打造具備異步更新、稀疏通信與訓(xùn)練可驗(yàn)證性的系統(tǒng)架構(gòu)，在去信任網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)高效、可靠的分布式訓(xùn)練能力，構(gòu)成了去中心化訓(xùn)練的技術(shù)根基。
與此同時(shí)，F(xiàn)lock 作為中間層代表，通過聯(lián)邦學(xué)習(xí)路徑，融合模型聚合、鏈上驗(yàn)證與多方激勵(lì)等機(jī)制，在訓(xùn)練與部署之間建立起可落地、可協(xié)作的橋梁，為多節(jié)點(diǎn)協(xié)同學(xué)習(xí)提供實(shí)踐范式。
后鏈條生態(tài)則聚焦于模型的微調(diào)與應(yīng)用層部署。項(xiàng)目如 Pond、Bagel與RPSLabs，圍繞LoRA微調(diào)方法展開：Bagel提供鏈上可信驗(yàn)證機(jī)制，Pond專注于圖神經(jīng)網(wǎng)絡(luò)的小模型演化，RPS則將微調(diào)模型應(yīng)用于DeFi場景的智能做市。它們通過推理API與AgentSDK等組件，為開發(fā)者和終端用戶提供低門檻、可組合的模型調(diào)用與個(gè)性化定制方案，是去中心化AI落地的重要入口。
我們相信，去中心化訓(xùn)練不僅是Blockchain精神在AI時(shí)代的自然延伸，更是全球協(xié)作式智能生產(chǎn)力體系的基礎(chǔ)設(shè)施雛形。未來，當(dāng)我們回望這條充滿挑戰(zhàn)的前路征途，仍將以那句初心共勉：去中心化不只是手段，它本身就是價(jià)值。