OPML: 楽観的手法に基づく機械学習ブロックチェーンシステム

OPML(楽観的機械学習)は新しいタイプのブロックチェーンシステムで、楽観的手法を用いてAIモデルの推論とトレーニング/ファインチューニングを行います。ZKMLと比較して、OPMLはより低コストでより高効率のMLサービスを提供できます。OPMLの敷居は低く、一般的なPCはGPUなしで、約26GBの7B-LLaMAモデルなどの大規模言語モデルを実行できます。

OPMLは、MLサービスの非中央集権性と検証可能性を確保するために、検証ゲームメカニズムを採用しています。そのプロセスは以下の通りです:

1. リクエスターがMLサービスタスクを開始します
2. サーバーはタスクを完了し、結果をチェーンに提出します
3. バリデーターが結果を確認し、異議がある場合は検証ゲームを開始します。
4. 最後にスマートコントラクト上でステップバイステップの仲裁を行う

! OPML:楽観的ロールアップによる機械学習

シングルステージ検証ゲーム

単一段階検証ゲームは、計算委託(RDoC)に類似しています。複数の当事者が同じプログラムを実行する際、正確な疑義を通じて争点となるステップを特定し、その後、オンチェーンのスマートコントラクトによって仲裁されます。

OPMLの単段階検証ゲームには次のものが含まれます:

• オフチェーン実行とオンチェーン仲裁の仮想マシン(VM)
• 専用の軽量DNNライブラリを実現し、AI推論の効率を向上させる
• クロスコンパイルを使用してAI推論コードをVM命令にコンパイルする
• メルクルツリーを使用してVMイメージを管理し、ルートハッシュのみをチェーンにアップロードする

二分協定は争点を特定し、その後、オンチェーン契約によって仲裁されます。テストの結果、基本的なAIモデル(MNIST分類DNN)はVM内で2秒以内に推論を完了し、全体のチャレンジプロセスは2分以内に完了しました。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単段階検証ゲームはVM内で実行され、GPU/TPUの加速を十分に活用できません。このため、私たちは多段階検証ゲームを提案します:

• 最後のステージはVM内で計算され、単一段階プロトコルに似ています。
• 他のステージは柔軟に実行でき、ローカルのCPU、GPUなどのリソースを利用します。
• VMの依存を減らし、実行性能を大幅に向上させる

多段階OPMLをLLaMAモデルの例として:

• ML計算プロセスを計算グラフとして表現する
• DNN推論は計算グラフ上の計算プロセスです
• まず計算グラフ上で検証ゲーム(第2段階)
• 位置争議ノードを特定した後、第一段階のVM命令レベルの検証に移行する

! OPML:楽観的ロールアップによる機械学習

マルチステージアプローチはパフォーマンスを大幅に向上させることができます:

• GPU (α並列高速化率 ) の α 倍の加速度を計算
• メルクルツリーのサイズはO(mn)からO(m+n)に減少しました。

! OPML:楽観的ロールアップによる機械学習

一貫性と確実性

ML結果の一貫性を確保するために、OPMLは次のように採用します:

1. 固定小数点アルゴリズムは、量子化手法の( )、固定精度表現を使用します
2. クロスプラットフォームでの一貫したソフトウェア浮動小数点ライブラリ

これらの方法は浮動小数点誤差を効果的に軽減し、結果のクロスプラットフォームの一貫性を保証します。

OPMLはまだ開発中であり、興味のある方の参加と貢献を歓迎します。

! OPML:楽観的ロールアップシステムによる機械学習