Нещодавній розвиток галузі штучного інтелекту деякі вважають четвертою промисловою революцією. Поява великих моделей значно підвищила ефективність у багатьох сферах, за повідомленнями, GPT підвищила ефективність роботи в США приблизно на 20%. Одночасно, здатність до узагальнення, яку принесла велика модель, вважається новою парадигмою проектування програмного забезпечення, порівняно з точним проектуванням коду в минулому, тепер проектування програмного забезпечення більше зосереджене на інтеграції узагальненої структури великої моделі в програмне забезпечення, що забезпечує кращу продуктивність та підтримку більш широкого спектру модальних введень та виведень. Технології глибокого навчання дійсно принесли четвертий розквіт для галузі штучного інтелекту, і ця тенденція також поширилася на галузь криптовалют.
Цей звіт детально розгляне історію розвитку AI-індустрії, класифікацію технологій, а також вплив винаходу технології глибокого навчання на індустрію. Потім буде проведено глибокий аналіз ланцюга постачання в глибокому навчанні, включаючи GPU, хмарні обчислення, джерела даних, крайові пристрої тощо, а також їхній стан та тенденції розвитку. Після цього з суті буде детально розглянуто взаємозв'язок між криптовалютою та AI-індустрією, а також проведено аналіз структури AI-індустрії, пов'язаної з криптовалютою.
Історія розвитку AI-індустрії
Індустрія штучного інтелекту розпочалася в 50-х роках XX століття. Для реалізації візії штучного інтелекту академічна та промислова сфери в різні епохи та з різними науковими основами розвинули кілька шкіл для досягнення штучного інтелекту.
Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання". Ідея цієї технології полягає в тому, щоб дати можливість машинам покращувати продуктивність системи шляхом повторних ітерацій на основі даних у виконанні завдань. Основні етапи включають подачу даних до алгоритму, використання цих даних для навчання моделі, тестування та впровадження моделі, а також використання моделі для виконання автоматизованих прогнозних завдань.
На даний момент у машинному навчанні існує три основні напрямки: коннекціонізм, символізм та поведінка, які імітують людську нервову систему, мислення та поведінку.
Наразі нейронні мережі, що представляють з'єднувальні моделі, домінують (, також відомі як глибоке навчання ). Основна причина полягає в тому, що ця архітектура має один вхідний шар, один вихідний шар, але кілька прихованих шарів. Коли кількість шарів та нейронів (, а також параметри ) стають достатньо великими, з'являється достатня можливість для апроксимації складних загальних завдань. Через введення даних можна постійно налаштовувати параметри нейронів, і врешті-решт, пройшовши через багато даних, цей нейрон досягне оптимального стану (, параметри ), що називається великим зусиллям, що призводить до чудес, і це також є походженням слова "глибоке" - достатня кількість шарів і нейронів.
Наприклад, можна простими словами зрозуміти, що ми сконструювали функцію, де при введенні X=2, Y=3; при X=3, Y=5. Якщо ми хочемо, щоб ця функція підходила для всіх X, нам потрібно постійно додавати ступінь цієї функції та її параметри. Наприклад, я можу конструювати функцію, яка відповідає цим умовам, як Y = 2X -1, але якщо є дані X=2, Y=11, потрібно перебудувати функцію, що підходить для цих трьох точок даних. Використовуючи GPU для брутфорсу, виявляємо, що Y = X2 -3X +5 є досить підходящою, але не потрібно, щоб вона повністю збігалася з даними, лише дотримуватися балансу, приблизно подібного виходу. Тут X2, X та X0 представляють різні нейрони, а 1, -3, 5 - це їх параметри.
У цей час, якщо ми введемо в нейронну мережу велику кількість даних, ми можемо збільшити кількість нейронів і ітерацій параметрів, щоб адаптуватися до нових даних. Таким чином, ми зможемо адаптуватися до всіх даних.
І основана на нейронних мережах технологія глибокого навчання також має кілька технічних ітерацій та еволюцій, такі як найраніші нейронні мережі, мережі прямого поширення, RNN, CNN, GAN, які врешті-решт еволюціонували до сучасних великих моделей, таких як GPT, що використовують технологію Transformer. Технологія Transformer є лише одним із напрямків еволюції нейронних мереж, яка додала перетворювач ( Transformer ) для кодування всіх модальностей (, таких як аудіо, відео, зображення тощо ) у відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, і таким чином нейронна мережа може адаптуватися до будь-якого типу даних, що означає реалізацію мультимодальності.
Розвиток ШІ пройшов через три технологічні хвилі. Перша хвиля відбулася в 60-х роках XX століття, через десятиліття після появи технології ШІ. Ця хвиля була викликана розвитком символістських технологій, які вирішили проблеми загальної обробки природної мови та взаємодії людини з комп'ютером. У той же період з'явилися експертні системи, зокрема експертна система DENRAL, створена під наглядом Стенфордського університету в NASA. Ця система має дуже глибокі знання з хімії, виводячи відповіді, подібні до відповідей хімічного експерта, через запитання. Цю хімічну експертну систему можна розглядати як поєднання хімічної бази знань і системи висновків.
Після експертних систем у 1990-х роках ізраїльсько-американський учений і філософ Джуда Перл ( Judea Pearl ) запропонував байєсівські мережі, які також називають мережами віри. У той же час Брукс запропонував поведінкову робототехніку, що стало початком поведінкової науки.
У 1997 році IBM Deep Blue з рахунком 3.5:2.5 переміг чемпіона світу з шахів Гаррі Каспарова (Kasparov), ця перемога вважається знаковою для штучного інтелекту, AI технології пережили другий підйом у розвитку.
Третя хвиля технологій штучного інтелекту відбулася у 2006 році. Три гіганти глибокого навчання Ян ЛеКун, Джеффрі Хінтон та Йошуа Бенгіо запропонували концепцію глибокого навчання, алгоритму, що використовує штучні нейронні мережі для навчання представлення даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно формували цю третю технологічну хвилю, а також це був розквіт коннекціонізму.
Багато знакових подій також супроводжувалися дослідженнями та еволюцією технологій глибокого навчання, включаючи:
У 2011 році IBM Watson( переміг людину та здобув титул чемпіона в телевізійній вікторині «Jeopardy)».
У 2014 році Goodfellow запропонував GAN( генеративну протистояння мережу, Generative Adversarial Network), яка навчається шляхом змагання двох нейронних мереж та здатна генерувати фотографії, що важко відрізнити від справжніх. Одночасно Goodfellow написав книгу "Deep Learning", яка називається "квітковою книгою", і є однією з важливих вступних книг у галузі глибокого навчання.
У 2015 році Хінтон та інші представили алгоритми глибокого навчання в журналі «Природа», і це відкриття викликало величезний резонанс у науковому середовищі та промисловості.
У 2015 році OpenAI було створено, Маск, президент Y Combinator Алтман, ангельський інвестор Петер Тіл ( Пітер Тіл ) та інші оголосили про спільні інвестиції в розмірі 1 мільярда доларів.
У 2016 році, на основі технології глибокого навчання, AlphaGo провела битву людей і машин у го з чемпіоном світу з го, професійним дев'ятим даном Лі Седолем, вигравши з загальним рахунком 4:1.
У 2017 році компанія Hanson Robotics з Гонконгу, що розробила гуманоїдного робота Софію, стала відома тим, що цей робот отримав статус повноправного громадянина. Софія володіє багатими виразами обличчя та здатністю розуміти людську мову.
У 2017 році компанія Google, яка має багатий кадровий та технологічний потенціал у сфері штучного інтелекту, опублікувала статтю «Увага — це все, що вам потрібно», в якій представила алгоритм Transformer, почали з'являтися великомасштабні мовні моделі.
У 2018 році OpenAI випустила GPT( Генеративний попередньо навчений трансформер), побудований на основі алгоритму Transformer, який був одним з найбільших мовних моделей на той час.
У 2018 році команда Google DeepMind випустила AlphaGo, заснований на глибокому навчанні, який здатний передбачати структуру білків, що вважається великим кроком уперед у сфері штучного інтелекту.
У 2019 році OpenAI випустила GPT-2, ця модель має 1,5 мільярда параметрів.
У 2020 році OpenAI розробила GPT-3, що має 175 мільярдів параметрів, що в 100 разів більше, ніж у попередньої версії GPT-2. Ця модель була навчена на 570 ГБ тексту і може досягати сучасних результатів у багатьох завданнях NLP(, таких як відповіді на запитання, переклад, написання статей).
У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.
У січні 2023 року було запущено додаток ChatGPT на базі моделі GPT-4, у березні ChatGPT досягнув ста мільйонів користувачів, ставши додатком, що найшвидше досягнув ста мільйонів користувачів в історії.
2024 рік, OpenAI випустить GPT-4 omni.
Примітка: оскільки існує велика кількість наукових статей з штучного інтелекту, багато течій та різноманітних технологій, тому тут в основному слідуватимемо історії розвитку глибокого навчання або зв'язковості, інші течії та технології все ще перебувають на етапі швидкого розвитку.
Сьогодні великі мовні моделі використовують методи глибокого навчання на основі нейронних мереж. Моделі, очолювані GPT, спричинили бум штучного інтелекту, і багато гравців увійшли в цю сферу. Ми також виявили, що ринок має величезний попит на дані та обчислювальні потужності, тому в цій частині звіту ми переважно досліджуємо промислову ланцюг глибоких навчальних алгоритмів, як складається верхня та нижня частини в AI-індустрії, керованій алгоритмами глибокого навчання, а також яка ситуація та відносини попиту і пропозиції на цих етапах, а також їх майбутній розвиток.
По-перше, нам потрібно чітко усвідомити, що під час навчання великих моделей LLM на основі GPT та технології Transformer(, це ділиться на три етапи.
Перед навчанням, оскільки це базується на Transformer, перетворювач має перетворити текстовий вхід у числові значення, цей процес називається "Tokenization", після чого ці числові значення називаються Token. Згідно з загальним правилом, одне англійське слово або символ можна грубо вважати одним Token, а кожен ієрогліф можна грубо вважати двома Token. Це також основна одиниця, що використовується для оцінки GPT.
Перший крок, попереднє навчання. Шляхом надання достатньої кількості пар даних для вхідного шару, подібно до прикладів, наведених у першій частині звіту )X,Y(, для пошуку найкращих параметрів кожного нейрона в моделі, в цей час потрібно багато даних, а цей процес також є найвитратнішим з точки зору обчислювальних ресурсів, оскільки потрібно багаторазово ітераційно випробовувати різні параметри нейронів. Після завершення навчання на одній партії даних, зазвичай використовується та ж сама партія даних для повторного навчання для ітерації параметрів.
Другий етап, доопрацювання. Доопрацювання полягає в наданні невеликої, але дуже якісної вибірки даних для навчання, такі зміни підвищать якість виходу моделі, оскільки попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Етап доопрацювання може підвищити якість моделі за рахунок якісних даних.
Третій крок, зміцнення навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета цієї моделі дуже проста: сортувати результати виходу. Тому реалізація цієї моделі буде досить простою, оскільки бізнес-сценарій є досить вертикальним. Після цього за допомогою цієї моделі ми визначимо, чи є вихідні дані нашої великої моделі високоякісними, таким чином, ми зможемо використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ) Але іноді також потрібна людська участь для оцінки якості виходу моделі (.
Коротше кажучи, під час навчання великих моделей, попереднє навчання має дуже високі вимоги до обсягу даних, а необхідна потужність GPU є найбільшою, тоді як доопрацювання потребує більш якісних даних для покращення параметрів; підкріплювальне навчання може повторно ітераційно налаштовувати параметри за допомогою моделі винагороди для отримання результатів вищої якості.
У процесі навчання, чим більше параметрів, тим вищий потенціал їх узагальнення. Наприклад, у прикладі з функцією Y = aX + b, насправді є два нейрони X та X0, тому як би не змінювалися параметри, дані, які вони можуть апроксимувати, є вкрай обмеженими, оскільки їхня суть залишається прямою лінією. Якщо нейронів буде більше, то можна ітерувати більше параметрів, що дозволяє апроксимувати більше даних. Саме тому великі моделі роблять чудеса, і це також причина, чому їх називають великими моделями, адже суть полягає у величезній кількості нейронів та параметрів, а також у величезній кількості даних, при цьому вимагаючи величезної обчислювальної потужності.
Отже, вплив на результати великої моделі визначається трьома аспектами: кількістю параметрів, обсягом і якістю даних, обчислювальною потужністю. Ці три фактори спільно впливають на якість результатів великої моделі та її здатність до узагальнення. Припустимо, що кількість параметрів дорівнює p, обсяг даних n) обчислюється за кількістю токенів(, тоді ми можемо розрахувати необхідну обчислювальну потужність за загальними емпіричними правилами, таким чином.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Штучний інтелект та криптоактиви: від еволюції технологій до панорамного аналізу галузевої екосистеми
AI x Crypto: від нуля до вершини
Вступ
Нещодавній розвиток галузі штучного інтелекту деякі вважають четвертою промисловою революцією. Поява великих моделей значно підвищила ефективність у багатьох сферах, за повідомленнями, GPT підвищила ефективність роботи в США приблизно на 20%. Одночасно, здатність до узагальнення, яку принесла велика модель, вважається новою парадигмою проектування програмного забезпечення, порівняно з точним проектуванням коду в минулому, тепер проектування програмного забезпечення більше зосереджене на інтеграції узагальненої структури великої моделі в програмне забезпечення, що забезпечує кращу продуктивність та підтримку більш широкого спектру модальних введень та виведень. Технології глибокого навчання дійсно принесли четвертий розквіт для галузі штучного інтелекту, і ця тенденція також поширилася на галузь криптовалют.
Цей звіт детально розгляне історію розвитку AI-індустрії, класифікацію технологій, а також вплив винаходу технології глибокого навчання на індустрію. Потім буде проведено глибокий аналіз ланцюга постачання в глибокому навчанні, включаючи GPU, хмарні обчислення, джерела даних, крайові пристрої тощо, а також їхній стан та тенденції розвитку. Після цього з суті буде детально розглянуто взаємозв'язок між криптовалютою та AI-індустрією, а також проведено аналіз структури AI-індустрії, пов'язаної з криптовалютою.
Історія розвитку AI-індустрії
Індустрія штучного інтелекту розпочалася в 50-х роках XX століття. Для реалізації візії штучного інтелекту академічна та промислова сфери в різні епохи та з різними науковими основами розвинули кілька шкіл для досягнення штучного інтелекту.
Сучасні технології штучного інтелекту в основному використовують термін "машинне навчання". Ідея цієї технології полягає в тому, щоб дати можливість машинам покращувати продуктивність системи шляхом повторних ітерацій на основі даних у виконанні завдань. Основні етапи включають подачу даних до алгоритму, використання цих даних для навчання моделі, тестування та впровадження моделі, а також використання моделі для виконання автоматизованих прогнозних завдань.
На даний момент у машинному навчанні існує три основні напрямки: коннекціонізм, символізм та поведінка, які імітують людську нервову систему, мислення та поведінку.
Наразі нейронні мережі, що представляють з'єднувальні моделі, домінують (, також відомі як глибоке навчання ). Основна причина полягає в тому, що ця архітектура має один вхідний шар, один вихідний шар, але кілька прихованих шарів. Коли кількість шарів та нейронів (, а також параметри ) стають достатньо великими, з'являється достатня можливість для апроксимації складних загальних завдань. Через введення даних можна постійно налаштовувати параметри нейронів, і врешті-решт, пройшовши через багато даних, цей нейрон досягне оптимального стану (, параметри ), що називається великим зусиллям, що призводить до чудес, і це також є походженням слова "глибоке" - достатня кількість шарів і нейронів.
Наприклад, можна простими словами зрозуміти, що ми сконструювали функцію, де при введенні X=2, Y=3; при X=3, Y=5. Якщо ми хочемо, щоб ця функція підходила для всіх X, нам потрібно постійно додавати ступінь цієї функції та її параметри. Наприклад, я можу конструювати функцію, яка відповідає цим умовам, як Y = 2X -1, але якщо є дані X=2, Y=11, потрібно перебудувати функцію, що підходить для цих трьох точок даних. Використовуючи GPU для брутфорсу, виявляємо, що Y = X2 -3X +5 є досить підходящою, але не потрібно, щоб вона повністю збігалася з даними, лише дотримуватися балансу, приблизно подібного виходу. Тут X2, X та X0 представляють різні нейрони, а 1, -3, 5 - це їх параметри.
У цей час, якщо ми введемо в нейронну мережу велику кількість даних, ми можемо збільшити кількість нейронів і ітерацій параметрів, щоб адаптуватися до нових даних. Таким чином, ми зможемо адаптуватися до всіх даних.
І основана на нейронних мережах технологія глибокого навчання також має кілька технічних ітерацій та еволюцій, такі як найраніші нейронні мережі, мережі прямого поширення, RNN, CNN, GAN, які врешті-решт еволюціонували до сучасних великих моделей, таких як GPT, що використовують технологію Transformer. Технологія Transformer є лише одним із напрямків еволюції нейронних мереж, яка додала перетворювач ( Transformer ) для кодування всіх модальностей (, таких як аудіо, відео, зображення тощо ) у відповідні числові значення для представлення. Потім ці дані вводяться в нейронну мережу, і таким чином нейронна мережа може адаптуватися до будь-якого типу даних, що означає реалізацію мультимодальності.
Розвиток ШІ пройшов через три технологічні хвилі. Перша хвиля відбулася в 60-х роках XX століття, через десятиліття після появи технології ШІ. Ця хвиля була викликана розвитком символістських технологій, які вирішили проблеми загальної обробки природної мови та взаємодії людини з комп'ютером. У той же період з'явилися експертні системи, зокрема експертна система DENRAL, створена під наглядом Стенфордського університету в NASA. Ця система має дуже глибокі знання з хімії, виводячи відповіді, подібні до відповідей хімічного експерта, через запитання. Цю хімічну експертну систему можна розглядати як поєднання хімічної бази знань і системи висновків.
Після експертних систем у 1990-х роках ізраїльсько-американський учений і філософ Джуда Перл ( Judea Pearl ) запропонував байєсівські мережі, які також називають мережами віри. У той же час Брукс запропонував поведінкову робототехніку, що стало початком поведінкової науки.
У 1997 році IBM Deep Blue з рахунком 3.5:2.5 переміг чемпіона світу з шахів Гаррі Каспарова (Kasparov), ця перемога вважається знаковою для штучного інтелекту, AI технології пережили другий підйом у розвитку.
Третя хвиля технологій штучного інтелекту відбулася у 2006 році. Три гіганти глибокого навчання Ян ЛеКун, Джеффрі Хінтон та Йошуа Бенгіо запропонували концепцію глибокого навчання, алгоритму, що використовує штучні нейронні мережі для навчання представлення даних. Після цього алгоритми глибокого навчання поступово еволюціонували, від RNN, GAN до Transformer та Stable Diffusion, ці два алгоритми спільно формували цю третю технологічну хвилю, а також це був розквіт коннекціонізму.
Багато знакових подій також супроводжувалися дослідженнями та еволюцією технологій глибокого навчання, включаючи:
У 2011 році IBM Watson( переміг людину та здобув титул чемпіона в телевізійній вікторині «Jeopardy)».
У 2014 році Goodfellow запропонував GAN( генеративну протистояння мережу, Generative Adversarial Network), яка навчається шляхом змагання двох нейронних мереж та здатна генерувати фотографії, що важко відрізнити від справжніх. Одночасно Goodfellow написав книгу "Deep Learning", яка називається "квітковою книгою", і є однією з важливих вступних книг у галузі глибокого навчання.
У 2015 році Хінтон та інші представили алгоритми глибокого навчання в журналі «Природа», і це відкриття викликало величезний резонанс у науковому середовищі та промисловості.
У 2015 році OpenAI було створено, Маск, президент Y Combinator Алтман, ангельський інвестор Петер Тіл ( Пітер Тіл ) та інші оголосили про спільні інвестиції в розмірі 1 мільярда доларів.
У 2016 році, на основі технології глибокого навчання, AlphaGo провела битву людей і машин у го з чемпіоном світу з го, професійним дев'ятим даном Лі Седолем, вигравши з загальним рахунком 4:1.
У 2017 році компанія Hanson Robotics з Гонконгу, що розробила гуманоїдного робота Софію, стала відома тим, що цей робот отримав статус повноправного громадянина. Софія володіє багатими виразами обличчя та здатністю розуміти людську мову.
У 2017 році компанія Google, яка має багатий кадровий та технологічний потенціал у сфері штучного інтелекту, опублікувала статтю «Увага — це все, що вам потрібно», в якій представила алгоритм Transformer, почали з'являтися великомасштабні мовні моделі.
У 2018 році OpenAI випустила GPT( Генеративний попередньо навчений трансформер), побудований на основі алгоритму Transformer, який був одним з найбільших мовних моделей на той час.
У 2018 році команда Google DeepMind випустила AlphaGo, заснований на глибокому навчанні, який здатний передбачати структуру білків, що вважається великим кроком уперед у сфері штучного інтелекту.
У 2019 році OpenAI випустила GPT-2, ця модель має 1,5 мільярда параметрів.
У 2020 році OpenAI розробила GPT-3, що має 175 мільярдів параметрів, що в 100 разів більше, ніж у попередньої версії GPT-2. Ця модель була навчена на 570 ГБ тексту і може досягати сучасних результатів у багатьох завданнях NLP(, таких як відповіді на запитання, переклад, написання статей).
У 2021 році OpenAI випустила GPT-4, ця модель має 1,76 трильйона параметрів, що в 10 разів більше, ніж у GPT-3.
У січні 2023 року було запущено додаток ChatGPT на базі моделі GPT-4, у березні ChatGPT досягнув ста мільйонів користувачів, ставши додатком, що найшвидше досягнув ста мільйонів користувачів в історії.
2024 рік, OpenAI випустить GPT-4 omni.
Примітка: оскільки існує велика кількість наукових статей з штучного інтелекту, багато течій та різноманітних технологій, тому тут в основному слідуватимемо історії розвитку глибокого навчання або зв'язковості, інші течії та технології все ще перебувають на етапі швидкого розвитку.
! Newcomer Science丨AI x Crypto: від нуля до піку
Ланцюг глибокого навчання
Сьогодні великі мовні моделі використовують методи глибокого навчання на основі нейронних мереж. Моделі, очолювані GPT, спричинили бум штучного інтелекту, і багато гравців увійшли в цю сферу. Ми також виявили, що ринок має величезний попит на дані та обчислювальні потужності, тому в цій частині звіту ми переважно досліджуємо промислову ланцюг глибоких навчальних алгоритмів, як складається верхня та нижня частини в AI-індустрії, керованій алгоритмами глибокого навчання, а також яка ситуація та відносини попиту і пропозиції на цих етапах, а також їх майбутній розвиток.
По-перше, нам потрібно чітко усвідомити, що під час навчання великих моделей LLM на основі GPT та технології Transformer(, це ділиться на три етапи.
Перед навчанням, оскільки це базується на Transformer, перетворювач має перетворити текстовий вхід у числові значення, цей процес називається "Tokenization", після чого ці числові значення називаються Token. Згідно з загальним правилом, одне англійське слово або символ можна грубо вважати одним Token, а кожен ієрогліф можна грубо вважати двома Token. Це також основна одиниця, що використовується для оцінки GPT.
Перший крок, попереднє навчання. Шляхом надання достатньої кількості пар даних для вхідного шару, подібно до прикладів, наведених у першій частині звіту )X,Y(, для пошуку найкращих параметрів кожного нейрона в моделі, в цей час потрібно багато даних, а цей процес також є найвитратнішим з точки зору обчислювальних ресурсів, оскільки потрібно багаторазово ітераційно випробовувати різні параметри нейронів. Після завершення навчання на одній партії даних, зазвичай використовується та ж сама партія даних для повторного навчання для ітерації параметрів.
Другий етап, доопрацювання. Доопрацювання полягає в наданні невеликої, але дуже якісної вибірки даних для навчання, такі зміни підвищать якість виходу моделі, оскільки попереднє навчання потребує великої кількості даних, але багато з них можуть містити помилки або бути низької якості. Етап доопрацювання може підвищити якість моделі за рахунок якісних даних.
Третій крок, зміцнення навчання. Спочатку буде створено абсолютно нову модель, яку ми називаємо "модель винагороди", мета цієї моделі дуже проста: сортувати результати виходу. Тому реалізація цієї моделі буде досить простою, оскільки бізнес-сценарій є досить вертикальним. Після цього за допомогою цієї моделі ми визначимо, чи є вихідні дані нашої великої моделі високоякісними, таким чином, ми зможемо використовувати модель винагороди для автоматичної ітерації параметрів великої моделі. ) Але іноді також потрібна людська участь для оцінки якості виходу моделі (.
Коротше кажучи, під час навчання великих моделей, попереднє навчання має дуже високі вимоги до обсягу даних, а необхідна потужність GPU є найбільшою, тоді як доопрацювання потребує більш якісних даних для покращення параметрів; підкріплювальне навчання може повторно ітераційно налаштовувати параметри за допомогою моделі винагороди для отримання результатів вищої якості.
У процесі навчання, чим більше параметрів, тим вищий потенціал їх узагальнення. Наприклад, у прикладі з функцією Y = aX + b, насправді є два нейрони X та X0, тому як би не змінювалися параметри, дані, які вони можуть апроксимувати, є вкрай обмеженими, оскільки їхня суть залишається прямою лінією. Якщо нейронів буде більше, то можна ітерувати більше параметрів, що дозволяє апроксимувати більше даних. Саме тому великі моделі роблять чудеса, і це також причина, чому їх називають великими моделями, адже суть полягає у величезній кількості нейронів та параметрів, а також у величезній кількості даних, при цьому вимагаючи величезної обчислювальної потужності.
Отже, вплив на результати великої моделі визначається трьома аспектами: кількістю параметрів, обсягом і якістю даних, обчислювальною потужністю. Ці три фактори спільно впливають на якість результатів великої моделі та її здатність до узагальнення. Припустимо, що кількість параметрів дорівнює p, обсяг даних n) обчислюється за кількістю токенів(, тоді ми можемо розрахувати необхідну обчислювальну потужність за загальними емпіричними правилами, таким чином.