Еволюція парадигм навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У всьому ціновому ланцюзі ШІ навчання моделей є найбільш ресурсомістким та найскладнішим з технологічної точки зору етапом, що безпосередньо визначає верхню межу можливостей моделі та реальні результати застосування. На відміну від легковагового виклику на етапі висновків, процес навчання вимагає постійних масштабних обчислювальних потужностей, складних процесів обробки даних і підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" в будівництві систем ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найбільш поширеним традиційним способом, який здійснюється єдиним агентством в локальному високопродуктивному кластері, де всі етапи навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів навчального фреймворку, координуються єдиною контрольованою системою. Така глибока співпраця в архітектурі забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великомасштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризиків єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одній машині. Хоча в фізичному сенсі є "Децентралізація", загалом все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісної міжмашинної зв'язку NVLink, головний вузол координує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри діляться, потрібно узгодити ваги моделі
Модельна паралельність: розміщення різних частин моделі на різних вузлах, що забезпечує високу масштабованість;
Паралельні канали: поетапне серійне виконання, що підвищує пропускну здатність;
Тензорне паралелювання: тонка сегментація матричних обчислень, підвищення паралельної грануляції.
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник віддалено керує співпрацею кількох "офісних" працівників для виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька недовірливих вузлів спільно виконують навчальні завдання без централізованого координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, і за допомогою механізму криптостимулів для забезпечення чесності внесків. Основними викликами, які стоять перед цим режимом, є:
Гетерогенність пристроїв та труднощі з розподілом: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань;
Вузьке місце в ефективності зв'язку: нестабільний зв'язок в мережі, помітне вузьке місце в синхронізації градієнтів;
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях;
Відсутність єдиного координування: немає центрального диспетчера, розподіл завдань, механізм повернення при виникненні помилок складний.
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді здійснене масштабне децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильні результати" все ще знаходиться на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між дистрибуцією та децентралізацією, підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, що акцентують увагу на конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, водночас володіючи перевагами розподілу даних децентралізованого навчання, але все ще покладається на надійні координуючі сторони і не має повністю відкритих і антицензурних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях, що акцентують увагу на конфіденційності, що є відносно м'яким у завданнях навчання, структурах довіри та комунікаційних механізмах, і більше підходить як тимчасова архітектура розгортання в промисловості.
Порівняльна таблиця парадигм навчання AI (технічна архітектура × довірчі стимули × характеристики застосування)
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складність структури завдань, високі вимоги до ресурсів або складність співпраці, воно природним чином не підходить для ефективного виконання між гетерогенними, бездоверчими вузлами. Наприклад, навчання великих моделей зазвичай залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритих мережах; завдання, обмежені правовими нормами та етичними обмеженнями, пов'язаними з конфіденційністю даних та суверенітетом, не можуть бути відкрито поділені; а завдання, що не мають основи для співпраці, бракують зовнішнього стимулу для участі. Ці межі разом формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопрограмою. Насправді, у структурно легких, легких для паралелізації та мотиваційних типах завдань децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: LoRA доопрацювання, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для спільного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренувальних завдань адаптації загальний огляд
Децентралізація тренування класичних проектів аналіз
Наразі в галузі децентралізованого навчання та федеративного навчання, представницькими проектами на базі блокчейн є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрями сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, вже можна спостерігати початковий інженерний прогрес. У цій статті буде покроково проаналізовано основні технології та інженерні архітектури, що стоять за цими п'ятьма проектами, а також додатково обговорено їхні відмінності та взаємодоповнюючі відносини в системі децентралізованого AI навчання.
Prime Intellect: Першопроходець у сфері кооперативних мереж з підсиленим навчанням, що може перевіряти траєкторії навчання
Prime Intellect прагне створити мережу тренування ШІ, яка не потребує довіри, що дозволяє будь-кому брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect хоче створити децентралізовану систему тренування ШІ з можливістю верифікації, відкритістю та повноцінною механікою стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний розгляд ключових механізмів тренування Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамковою моделлю завдань та виконання, створеною Prime Intellect для децентралізованих навчальних сцен, спеціально розробленою для гетерогенних мереж та асинхронних учасників. Він використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань на місцевому рівні та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без центрального управління, знижуючи складність системи та закладаючи основу для підтримки паралельних багатозадачних процесів і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки навчання
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а замість цього аналізує локально узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегії", щоб завершити валідацію легковагової структури. Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагород за навчання без довіри, надаючи здійсненний шлях для побудови аудиторської, мотиваційної децентралізованої кооперативної навчальної мережі.
SHARDCAST: асинхронний ваговий агрегат та протокол розповсюдження
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим для реальних мережевих умов з асинхронністю, обмеженою пропускною спроможністю та змінним станом вузлів. Він поєднує механізм розповсюдження gossip із локальною синхронізацією, дозволяючи кільком вузлам безперервно подавати часткові оновлення в умовах асинхронності, досягаючи поступової конвергенції ваг та еволюції кількох версій. Порівняно з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до збоїв децентралізованого навчання, є ключовою основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежно реалізованою та відкритою рамкою оптимізації зв'язку, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення викликів, що часто виникають під час децентралізованого навчання, таких як обмежена смуга пропускання, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що уникає високих витрат на зв'язок під час глобальної синхронізації, покладаючись лише на сусідні локальні вузли для завершення спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL: Бібліотека координаційного зв'язку
PCCL — це легка комунікаційна бібліотека, розроблена Prime Intellect для децентралізованих навчальних середовищ штучного інтелекту, спрямована на вирішення вузького місця адаптації традиційних комунікаційних бібліотек у гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, градієнтне стиснення, низькоточну синхронізацію та відновлення точок зупину, а також може працювати на графічних процесорах споживчого класу та нестабільних вузлах, а також є базовим компонентом, який підтримує можливість асинхронного зв'язку протоколу OpenDiLoCo. Це значно покращує толерантність до пропускної здатності та сумісність з пристроями тренувальної мережі, а також відкриває основу зв'язку «останньої милі» для побудови справді відкритої та недовірчої мережі спільного навчання.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та стандарти валідації
Тренувальний вузол: виконання локального тренування, подача оновлень ваг і спостереження за траєкторією
Вузли перевірки: використання механізму TOPLOC для перевірки справжності навчальної поведінки та участь у розрахунках винагороди і агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг (SHARDCAST) та виплату винагород, що складає стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований навчальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель навчання з підкріпленням, створена за допомогою асинхронних, незалежних від довіри децентралізованих вузлів. Розмір параметрів досягає 32B. Модель INTELLECT-2 складається з трьох великих
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Еволюція парадигми навчання ШІ: від централізованого контролю до Децентралізація співпраці
Еволюція парадигм навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У всьому ціновому ланцюзі ШІ навчання моделей є найбільш ресурсомістким та найскладнішим з технологічної точки зору етапом, що безпосередньо визначає верхню межу можливостей моделі та реальні результати застосування. На відміну від легковагового виклику на етапі висновків, процес навчання вимагає постійних масштабних обчислювальних потужностей, складних процесів обробки даних і підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" в будівництві систем ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найбільш поширеним традиційним способом, який здійснюється єдиним агентством в локальному високопродуктивному кластері, де всі етапи навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів навчального фреймворку, координуються єдиною контрольованою системою. Така глибока співпраця в архітектурі забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великомасштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але одночасно існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризиків єдиної точки.
Розподілене навчання є основним способом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одній машині. Хоча в фізичному сенсі є "Децентралізація", загалом все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісної міжмашинної зв'язку NVLink, головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же начальник віддалено керує співпрацею кількох "офісних" працівників для виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька недовірливих вузлів спільно виконують навчальні завдання без централізованого координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, і за допомогою механізму криптостимулів для забезпечення чесності внесків. Основними викликами, які стоять перед цим режимом, є:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді здійснене масштабне децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильні результати" все ще знаходиться на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між дистрибуцією та децентралізацією, підкреслює збереження даних локально та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, що акцентують увагу на конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, водночас володіючи перевагами розподілу даних децентралізованого навчання, але все ще покладається на надійні координуючі сторони і не має повністю відкритих і антицензурних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях, що акцентують увагу на конфіденційності, що є відносно м'яким у завданнях навчання, структурах довіри та комунікаційних механізмах, і більше підходить як тимчасова архітектура розгортання в промисловості.
Порівняльна таблиця парадигм навчання AI (технічна архітектура × довірчі стимули × характеристики застосування)
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складність структури завдань, високі вимоги до ресурсів або складність співпраці, воно природним чином не підходить для ефективного виконання між гетерогенними, бездоверчими вузлами. Наприклад, навчання великих моделей зазвичай залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритих мережах; завдання, обмежені правовими нормами та етичними обмеженнями, пов'язаними з конфіденційністю даних та суверенітетом, не можуть бути відкрито поділені; а завдання, що не мають основи для співпраці, бракують зовнішнього стимулу для участі. Ці межі разом формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопрограмою. Насправді, у структурно легких, легких для паралелізації та мотиваційних типах завдань децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: LoRA доопрацювання, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних на основі краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для спільного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренувальних завдань адаптації загальний огляд
Децентралізація тренування класичних проектів аналіз
Наразі в галузі децентралізованого навчання та федеративного навчання, представницькими проектами на базі блокчейн є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрями сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, вже можна спостерігати початковий інженерний прогрес. У цій статті буде покроково проаналізовано основні технології та інженерні архітектури, що стоять за цими п'ятьма проектами, а також додатково обговорено їхні відмінності та взаємодоповнюючі відносини в системі децентралізованого AI навчання.
Prime Intellect: Першопроходець у сфері кооперативних мереж з підсиленим навчанням, що може перевіряти траєкторії навчання
Prime Intellect прагне створити мережу тренування ШІ, яка не потребує довіри, що дозволяє будь-кому брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect хоче створити децентралізовану систему тренування ШІ з можливістю верифікації, відкритістю та повноцінною механікою стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний розгляд ключових механізмів тренування Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамковою моделлю завдань та виконання, створеною Prime Intellect для децентралізованих навчальних сцен, спеціально розробленою для гетерогенних мереж та асинхронних учасників. Він використовує навчання з підкріпленням як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань на місцевому рівні та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без центрального управління, знижуючи складність системи та закладаючи основу для підтримки паралельних багатозадачних процесів і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки навчання
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а замість цього аналізує локально узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегії", щоб завершити валідацію легковагової структури. Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагород за навчання без довіри, надаючи здійсненний шлях для побудови аудиторської, мотиваційної децентралізованої кооперативної навчальної мережі.
SHARDCAST: асинхронний ваговий агрегат та протокол розповсюдження
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим для реальних мережевих умов з асинхронністю, обмеженою пропускною спроможністю та змінним станом вузлів. Він поєднує механізм розповсюдження gossip із локальною синхронізацією, дозволяючи кільком вузлам безперервно подавати часткові оновлення в умовах асинхронності, досягаючи поступової конвергенції ваг та еволюції кількох версій. Порівняно з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до збоїв децентралізованого навчання, є ключовою основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo: Розріджена асинхронна комунікаційна рамка
OpenDiLoCo є незалежно реалізованою та відкритою рамкою оптимізації зв'язку, створеною командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення викликів, що часто виникають під час децентралізованого навчання, таких як обмежена смуга пропускання, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралелізмі даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що уникає високих витрат на зв'язок під час глобальної синхронізації, покладаючись лише на сусідні локальні вузли для завершення спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL: Бібліотека координаційного зв'язку
PCCL — це легка комунікаційна бібліотека, розроблена Prime Intellect для децентралізованих навчальних середовищ штучного інтелекту, спрямована на вирішення вузького місця адаптації традиційних комунікаційних бібліотек у гетерогенних пристроях і мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, градієнтне стиснення, низькоточну синхронізацію та відновлення точок зупину, а також може працювати на графічних процесорах споживчого класу та нестабільних вузлах, а також є базовим компонентом, який підтримує можливість асинхронного зв'язку протоколу OpenDiLoCo. Це значно покращує толерантність до пропускної здатності та сумісність з пристроями тренувальної мережі, а також відкриває основу зв'язку «останньої милі» для побудови справді відкритої та недовірчої мережі спільного навчання.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг (SHARDCAST) та виплату винагород, що складає стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перший перевіряємий децентралізований навчальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель навчання з підкріпленням, створена за допомогою асинхронних, незалежних від довіри децентралізованих вузлів. Розмір параметрів досягає 32B. Модель INTELLECT-2 складається з трьох великих