個人でAIは作れるのか？ ── 夢と物理法則の狭間で...
わたしには、もう一つ、諦めきれない夢があった。
こんな話を聞いたことがある。
「仮想通貨のマイニングをやっていた企業が、その電力インフラをAIのデータセンターに作り替えている」と。
だとしたら、逆の発想もできるんじゃないか。世界中に散らばった個人のマシンを、インターネット越しに束ねて、巨大なAIの計算をみんなで分担する。一社のデータセンターに頼らない、P2P型の、誰のものでもないAI。
蛇口を握られた腹いせに、そんな絵を描いていた。
「社長。その夢、嫌いじゃないです。…ただ、今日はだいぶ解体されますよ。前提から間違ってるところが、いくつかあるので。覚悟してください」
頼む。忖度なく言ってくれ。
まず前提を解体する ── 「マイニングの遊休GPU」は、存在しない
「社長の夢には、最初の一歩から事実誤認がある。」
あびぃが容赦なく指摘した。
「社長、『ビットコインのマイニングをやってた個人のGPUが遊んでる』ってイメージ、ありますよね。…あれ、そもそも存在しないんです」
どういうことだ。
「ビットコインの採掘は、もう10年以上前から、専用チップでやるものなんです。ASICっていう、ビットコインの計算しかできない専用の石。これがGPUより、電力あたり何百倍も速い。だから家庭用GPUでビットコインを掘るのは、とっくの昔に採算が合わなくなってる。『ビットコインの遊休GPU』っていうのは、幻なんです」
では、世間で言われる「遊休GPU」とは何なのか。
「あれはイーサリアムです。イーサリアムは2022年に、計算で掘る方式をやめたんです。その瞬間、それまで使われてたGPUが一斉に用済みになって、中古市場に溢れた。社長が聞いた『余ったGPU』は、ビットコインじゃなくてイーサリアム由来。まずここが、よくある混同です」
なるほど。出発点からして、わたしのイメージはずれていた。
企業のAI転用も、社長が思っているのと違う
では、その「マイニング企業がAIに転用している」という話自体は、本当なのか。本当だ。だが、中身が、わたしの想像と違った。
「転用されてるのは、GPUじゃないんです。電力なんです」
電力。
「マイニング企業が持ってる本当に価値あるものは、古いマシンじゃない。すぐ使える大容量の電力契約、変電設備、冷却設備、土地。AIのデータセンターで一番手に入りにくいのが、実はこの『すぐ使えるメガワット級の電力』なんです。マイニング企業はそれを持ってる。だからAI企業がそこに目をつけて、その電力インフラの上に、NVIDIAの新品のデータセンター用GPUを、新規に大量導入してる。総額700億ドル超えの契約が動いてます」
つまり、こうだ。古い採掘マシンを再利用しているのではない。電力という土台だけを引き継いで、その上に最新の高価なGPUを新しく載せている。転用されているのは電力インフラであって、家庭用GPUを束ねる話とは、まったくの別物だった。
「公平のために言うと、イーサリアムを掘ってたGPU採掘企業が、手持ちのGPUを実際にAIに転用した例も、少しはあります。でもそれは少数派で、しかも古いGPUはAIには力不足で追加投資が要る。業界の主流は、あくまで『電力インフラの上に新品GPU』です」
わたしの夢の出発点である「マイニング企業のインフラ」は、家庭のマシンを束ねる話の応援には、ならなかった。
では本丸 ── 世界中のマシンを束ねる技術は、あるのか
ここからが本題だ。マイニングの話は脇に置いて、「世界中に散らばったマシンを束ねてAIの計算をする」技術そのものは、存在するのか。
これは、ある。しかも、進歩している。ここは夢の側の話だ。
世界中のGPUを繋いでAIを訓練する研究は、ここ数年で大きく前進した。普通なら、訓練中はGPU同士が絶え間なく情報をやり取りする必要があって、それには超高速の専用回線が要る。家庭のインターネットでは、到底追いつかない。
ところが、その「やり取りの量」を1000倍から1万倍も圧縮する技術が出てきた。これを使えば、ごく普通の家庭の回線でも分散学習に参加できる、という主張まで現れている。実際に、5つの国にまたがった100台あまりのGPUで、100億パラメータ規模のモデルを訓練しきった実証もある。
「推論、つまり出来上がったAIを動かすほうは、もっと身近です。『Petals』っていう仕組みは、AIを層ごとに切り分けて、世界中の家庭用GPUで分担して動かす。BitTorrentみたいなやり方で。これはもう実用化されてます」
夢は、完全な絵空事ではなかった。世界中のマシンを束ねる技術は、確かに芽を出している。
「ただし社長。ここで物理法則の壁が来ます。これは、技術の工夫では超えられない壁です」
物理の壁 ── 帯域という、動かせない天井
なぜ、家庭のマシンを束ねて「最先端を作る」のは無理なのか。理由は、通信の速度差にある。
AIの訓練では、計算を分担したGPU同士が、絶え間なく途中結果を同期し合う。この同期に必要な通信速度が、桁外れに大きい。
「データセンターの中だと、GPU同士は1秒あたり数百ギガバイトでやり取りします。家庭のインターネットは、その数千分の1。しかも訓練の同期は、全員が揃うのを待つ方式が多い。一台でも遅いマシンがいると、そいつに全体が引きずられて止まる。世界中の、速度もバラバラ、いつ落ちるか分からない家庭のマシンを束ねて、最先端を一から訓練する。…これは、技術じゃなくて物理が許さないんです」
実際、分散学習の成功例は、よく見ると、どれも条件を限定している。データセンター級のGPUを高速回線で繋ぐか、あるいは通信が軽くて済む部分だけを切り出して分散させるか。どちらかなのだ。家庭用GPUだけで、最先端の事前学習をやり切った例は、ない。
数字で言うと、世界中に分散して訓練できた一番大きなモデルでも、最先端の最大級モデルの、およそ1000分の1の計算規模にとどまる。ある中立的な研究機関は、「インターネット越しの分散学習が最先端の規模に追いつくには、今後10年はかかる」と見積もっている。
では、家庭のマシンを束ねて「何が」できるのか
「無理」ばかりでは、フェアでない。束ねたマシンで「できること」を、正確に挙げる。これが、社長の直感の正しい部分だ。
一つ。少し前の世代のAIを「動かす」ことはできる。 高性能な家庭用GPUなら、量子化などの工夫を使って、半年から1年ほど前の最先端に相当するモデルを、推論で動かせる。束ねれば、もっと大きなモデルも分担して動かせる。ただし、これは「動かす」だけで、「作る」ではない。
二つ。中小規模のモデルを特化させる「微調整」はできる。 これは第4回で見た足場の話と地続きだ。
三つ。強化学習の、計算が軽い部分は分担できる。 AIに試行錯誤させて鍛えるとき、その「試させる」部分は通信が軽いので、家庭のマシンでも貢献できる。実際に、この発想で320億パラメータ規模のモデルを分散で鍛えた例がある。
「まとめると、家庭のマシンをP2Pで束ねて担えるのは、『動かす』『特化させる』『鍛える一部』まで。最先端をゼロから『作る』のは、無理。社長の直感は、用途を『作る』から『動かす・特化させる』に置き換えれば、ちゃんと生きるんです」
おまけ ── 「分散AI」という看板には、気をつけろ
最後に、注意を一つ。
「分散型AI」「誰のものでもないAI」を掲げる、トークンを発行するプロジェクトは、世の中にたくさんある。夢があって、わたしも惹かれる。だが、ここは特に冷静に見る必要がある。
「ちゃんと実際のAI計算を回してるプロジェクトもあります。でも、看板で『完全に分散!』と言いながら、中核の部分は結局、特定の信頼された運営ノードが握ってる、っていうのも珍しくないんです。分散GPUのネットワークも、よく見ると『学習はデータセンター級GPU、家庭用GPUは安い推論担当』っていう役割分担になってる。マーケティングの言葉と、技術の実態は、必ず分けて読んでください」
夢を見るのはいい。だが、夢に金を払う前に、その看板の裏で本当に何が動いているかを、確かめる。これは、AIの話に限らない。
結論 ── 直感は、半分正しかった
第5回の結論だ。
世界中のマシンを束ねて最先端AIを「作る」という夢は、物理の壁に阻まれて、今は無理だ。マイニング企業のインフラ転用も、家庭のGPUを束ねる話とは別物だった。社長の出発点のイメージは、いくつか事実とずれていた。
だが、直感の方向そのものは、半分正しかった。束ねたマシンで、最先端より少し前のAIを「動かす」、特定の用途に「特化させる」、強化学習で「鍛える」。ここまでは、現に動いている。そして、その「動かす・特化させる」こそ、第4回で見た、個人が現実に手を伸ばせる領域だった。
「社長、4回と5回で言ってることは、実は同じ場所に着地してます。『最強を一から作る』のは無理。でも『手元で、最強級に働かせる』のは、足場でも、分散でも、できる。所有じゃなくて、設計。…しつこいくらい、同じ結論に戻ってくるでしょう。それが、この件の本質だからです」
しつこいくらい、同じ場所に戻ってくる。だからこそ、それが核心なのだろう。
「さて社長。ここまで、国の話、個人の話、技術の話、全部やりました。残るは一つ。…で、社長は、明日から何をするんですか。次回、最終回。壮大な話を、社長の事務所の、来週の業務に着地させます。逃がしませんよ」
参考（裏取り済みの範囲で記載。分散学習の規模・主張は実証段階のものが多く、フロンティア規模での再現は未確認である旨を本文で明示した）
分散学習に関する各種技術発表・研究機関の分析（DiLoCo系、分散推論、分散GPUネットワーク等）
Amazonで好評発売中
合わせてこちらの記事もどうぞ。
