見出し画像

年収20万ドル(3,000万円)のサイン・コサイン──GAFAMのホワイトボードで問われる「位相」と「幾何学」

計算の海を渡る「圧縮」という船

 この時代は、異常なまでの「計算」によって成立している、といっていい。

 2020年代も半ばを過ぎた頃、人類が手にした人工知能(AI)──とりわけ大規模言語モデル(LLM)と呼ばれる巨大な知性の似姿は、その実、数百テラフロップスという、一昔前のスーパーコンピュータですら裸足で逃げ出すほどの圧倒的な演算能力の集積の上に胡座あぐらをかいている。

 彼らは、我々人間のように「意味」を咀嚼し、理解しているのではない。

 ただ、シリコンという無機質の平原の上で、確率という名の波を、物量に物を言わせて埋め尽くしているに過ぎないのである。

 これを「計算の暴力」と呼ばずして、何と呼ぶべきであろうか。

 たとえば、百万の軍勢をもって、わずか一万の敵を包囲殲滅するようなものである。そこには戦術の妙も、指揮官の機知もない。ただ、圧倒的な質量が、ことわりを圧殺しているだけだ。

 これに対し、人間という種が古来磨き上げてきた武器は、「抽象化」という名の、いわば「情報の圧縮術」であった。

 かつて人間は、天体の複雑怪奇な動きを、行列という数字の羅列として捉えることをよしとしなかった。

 彼らはそれを「回転」という概念に封じ込め、サイン・コサインという、たった二つの関数の組み合わせによって記述してみせたのである。

 無限に続く時系列の波を、「周期」という構造の中に畳み込んでしまう。

 そうすることで、人間は計算機が何億回もの演算を費やしてようやく辿り着く場所に、紙と鉛筆だけで、ものの数秒で到達することができた。

 AIが、無限とも思える計算リソースを浪費して力任せに殴りかかってくるならば、人間は「解くべき問題のサイズ」そのものを、数学的洞察によって極限まで削ぎ落とし、その切っ先をかわす。

 これこそが、有機生命体である人間が、シリコンの怪物に対抗しうる生存戦略サバイバルなのである。

 時は2026年。

 GAFAMと呼ばれる、巨大技術資本の深奥──年収20万ドル、日本円にして3,000万円を超える報酬を約束された「AI基盤エンジニア」や「アプライド・サイエンティスト」たちの戦場において、この防衛線は、極めて具体的な技術課題として顕現している。

 もはや、JPEGやWi-Fiといった、前時代の枯れた技術の話ではない。

 今、戦いの舞台は、LLMの推論グラフ(Inference Graph)という、電子の迷宮の内部に移っている。

 演算子オペレータレベルの設計という極微の世界で、人間とAIは、静かに、しかし熾烈な火花を散らしているのである。

LLMが「文脈」を理解する:位相と回転の幾何学

 かつて、人工知能(AI)という、シリコンでできた脳髄に「言葉の順序」というものを教え込むにあたって、技術者たちは当初、極めて単純な加算──つまりは足し算を用いた。

 一文字目には一を、二文字目には二を足す。あるいは、滑らかな波のような数値を加えることで、言葉の並びを示そうとしたのである。子供の数遊びのような理屈だが、初期のAI──トランスフォーマーが登場したばかりの頃には、それで十分であったといえる。

 ところが、文脈が長くなるにつれて、この単純な算術は破綻をきたすようになった。

 千の言葉、万の言葉を積み重ねるうちに、数字があまりに巨大になり、あるいは波が複雑になりすぎて、AIはその意味を見失ってしまったのである。

 人間でいえば、歴史の教科書を丸暗記しようとして、年号と出来事の因果関係がごちゃ混ぜになり、ついには思考停止に陥るようなものであろうか。

 ここで、歴史の転換点が訪れる。

 RoPE(Rotary Position Embedding)という技術の登場である。

 この発想が奇抜であり、かつ天才的であったのは、位置情報というものを、どこまでも伸びていく直線の上の目盛りとしてではなく、円の上の「回転」として捉えたことであろう。

 数学の世界には、複素平面という、虚数を含む奇妙な空間がある。

 現実リアルの数直線に対して、虚数イマジナリーという縦軸を一本立てるだけで、世界は途端に広がりを持ち、回転という概念が自然なものとして記述できるようになる。

 この空間において、クエリとキーと呼ばれる情報の断片を、それぞれの位置に応じてクルクルと回転させてしまうのである。

「回してしまえば、よい」

 と、考案者は考えたのであろう。あるいは、オイラーの公式を眺めながら、ふと天啓を得たのかもしれない。

 回転させてから内積をとれば、その値は絶対的な位置──つまり「1万番目の単語」といった絶対座標ではなく、お互いの「距離」だけに依存するようになる。

 1万文字前の指示であれ、直前の指示であれ、その関係性は「どれだけ回転したか」という位相の差として、極めて明快に記述されることになった。

 AIはここに至って初めて、学習という泥臭い経験を何億回繰り返さずとも、数学的な構造として「文脈」を理解するすべを手に入れたのである。

 余談だが、2026年の最前線──たとえばマイクロソフトやメタといった巨大資本の研究室では、このRoPEに対して、奇妙な問い直しが始まっている。

 彼らは気づいたのである。

「我々は、複素数の実部リアル・パートだけを使って、虚部を捨ててはいなかったか」

 と。 従来のRoPEの実装では、計算の効率を重んじるあまり、複素内積の実部だけを取り出し、虚部は捨てていた。いわば、影を捨てて光だけを見ていたようなものである。実利を尊ぶエンジニアリングの常として、それは正解であったはずだ。

 しかし、『Beyond Real』と題された論文が指摘するように、捨てられた虚部にこそ、文脈の微細なニュアンスや、位相の豊かな情報が含まれているのではないか、という疑念が持ち上がった。

 虚数とは、現実には存在しない数である。しかし、電気工学において交流回路を記述するのに虚数が不可欠であるように、AIという不可視の知性を記述するためには、やはり虚数という「影」が必要だったのではないか。

 これはもはや、コードをどう書くかという小手先の話ではない。

 複素数 $${e^{i\theta}}$$ という数式の奥に潜む物理的な意味を、計算コストの増大──メモリ消費量が増えるという世俗的な現実と天秤にかけ、なおその深淵を覗き込む覚悟があるか。

 仕様を決めるというのは、単なる技術上の選択ではなく、こうした哲学的な決断を下すことに他ならない。そういう設計者としての器量が、今、問われているのである。

量子化の最前線:「丸い回転」と「四角いグリッド」の衝突

 技術の世界には、「量子化」という言葉がある。

 この言葉の響きには、どこか冷徹な実利主義の匂いがする。

 巨大な知性であるLLM(大規模言語モデル)を、スマートフォンやパソコンといった、いわば辺境の小国でも動かせるように、その身体を小さく圧縮する技術のことである。

 かつて、大英帝国の精巧な蒸気機関を、植民地の粗末な工場でも修理できるように簡素化して普及させたことに似ているかもしれない。

 具体的には、それまで16ビット──6万5,536通りもの繊細な階調で表現されていた数値を、わずか4ビット──たった16通りの粗い目盛りに切り詰めてしまうのである。

 精度を犠牲にして、軽さを取る。商売人ならば誰もが頷く合理的な判断といえる。

 ところが、ここに厄介な問題が生じた。

 先述のRoPE──つまり「回転」との相性が、極めて、絶望的なほどに悪いのである。

 想像してみていただきたい。

 RoPEというのは、ベクトルを複素平面の上で滑らかに回転させる技術である。それは、天体の運行のように円を描く優雅な動きであり、連続的な美しさを持っている。いわば「神の幾何学」である。

 一方、四ビットの量子化というのは、数値を四角いグリッド格子の中に無理やり押し込める作業に他ならない。これは計算機の都合が生んだ、カクカクとした「人工の枠」である。

 丸いものを、四角い箱に詰めようとすれば、どうなるか。

 四隅には隙間ができ、あるいは入り切らない部分が削ぎ落とされる。

 斜めに回転したベクトルを、縦横に整然と区切られた格子点に丸め込もうとすれば、そこには必ず「座りの悪さ」が生じる。

 軸に平行なベクトルならば、格子の目にピタリとハマるかもしれない。しかし、回転して斜めになった途端、数値は最寄りの格子点へと乱暴に引きずり込まれる。

 これを専門家は「量子化誤差の異方性」などと難しい言葉で呼ぶが、要するに、回転すればするほど、数値が本来あるべき場所からズレていくのである。

 この微小なズレは、一層だけの計算なら、あるいは笑って済ませられる程度のものかもしれない。

 しかし、現代のAIは百層もの計算を積み重ねる、摩天楼のような構造をしている。

 一階で生じたわずかな歪みは、十階、五十階と上がるにつれて雪だるま式に膨れ上がり、最上階に達する頃には、土台とは似ても似つかぬ歪な形になっている。

 その結果、AIはどうなるか。

 ハルシネーション幻覚を見るのである。

 計算の整合性が取れなくなり、論理の糸が切れ、事実とは異なる嘘を、さも真実であるかのようにまことしやかに語り始める。それはまるで、熱にうなされた病人が見る夢のように、支離滅裂な世界である。

 現場の技術者たちは、頭を抱えた。

 AIに修正コードを書かせたところで、解決するはずもない。AI自身が、自分がなぜ狂い始めたのか、その幾何学的な矛盾を理解していないからである。

 人間が出すべき解は、驚くほど物理的であり、かつ政治的であった。

「回転させる前に、箱詰め(量子化)をしてしまえばいいではないか」

 あるいは、

「回転によって座標が歪むことを見越して、箱の形(量子化テーブル)そのものを、あらかじめ歪ませておけばいい」

 これは、Q-ROARなどの研究に見られる2025年代後半の技術潮流であるが、その本質は技術というよりは、調停に近い。

 連続空間という、妥協を知らぬ「神の幾何学」と、離散空間という「計算機の都合」の境界線上で、人間がいかに巧みな手腕を振るい、両者を和解させるか。

 これこそが、AI時代のエンジニアに求められる、もっとも高度で、人間臭い判断力なのである。

シリコンバレーの入社試験:$200kのホワイトボード

 米国西海岸、シリコンバレー。

 この地は、21世紀における長安であり、あるいはルネサンス期のフィレンツェのような場所といっていい。

 世界中から、腕に覚えのある技術者たちが集まってくる。彼らは黄金を求めているのではない。いや、黄金も求めてはいるだろうが、それ以上に、自らの知性がこの地上で最も鋭利であることを証明したがっているのである。

 この地における技術者の採用面接というのは、一種の儀式めいた様相を呈している。

 かつての中国の科挙かきょにも似ているが、そこで問われるのは儒教の教義ではない。

 特に、年収20万ドル──日本円にして3,000万円を下らぬ報酬を提示される「推論最適化」の職ともなれば、なおさらである。

 通された部屋には、ホワイトボードが一枚、置かれているだけである。

 面接官は、にこやかに現れるが、その目は笑っていない。彼らは、計算ドリルなどは出さない。そんなものはAIにやらせればよいからだ。

 彼らが問うのは、スペック仕様という空想上の城郭と、インプリメンテーション実装という泥臭い戦場を、脳内で瞬時に接続する「構想力」である。

「ONNXという規格があるが」

 と、面接官は唐突に切り出すかもしれない。

「この規格の中で、RoPEを実装したいと考えている。ついては、サインとコサインの値をキャッシュ一時保存するためのシェイプメモリ形状を、どう設計するか。この白板に書いてみせよ」

 素人は、ここで三角関数の公式を思い出そうとする。しかし、それは罠である。

 これは、数学の問題に見えて、その実、兵站へいたんの問題なのである。

 GPUという演算装置は、いわば大食らいの巨獣である。計算そのものは速いが、データを飲み込む速度──メモリ帯域という補給路は、常に細く、混雑している。

 そこに、サイン・コサインという巨大な定数表テーブルをどう配置すれば、滞りなく前線へ数値を送り込めるか。

   試されているのは、戦略眼である。

 偶数番目と奇数番目のデータをどう組み合わせるか。交互に並べる(インターリーブ)のか、それとも半分ずつに分ける(スライス)のか。

 あるいは、16ビットの精度を維持して帯域を圧迫する愚を犯すか、それとも多少の精度を犠牲にしてでも通信量を減らすという英断を下せるか。

 この応募者は、単なる数式としてサイン・コサインを見ているのか。それとも、シリコンの上を流れる電流の奔流として、その物理的な重みを感じながら見ているのか。

 面接官が見定めているのは、その一点であるといっていい。

 あるいは、矢継ぎ早にこう問われるかもしれない。

「画像や動画を扱うAIにおいて、この回転をどう拡張するか」

 と。テキストは一次元の線である。一本の紐のようなものだ。だから回転も一種類で済む。

 しかし、画像は二次元の面であり、動画はそこに時間が加わって三次元となる。

 一次元の回転を、どうやって多次元に拡張するのか。

 行(row)と列(column)に、別々の回転周期を与えるのか。時間軸という第三の次元を、空間軸とどう直交させるのか。

 これを即座に答えるためには、脳の中に高次元の空間を持っていなければならない。

 紙の上の計算ではなく、あたかも粘土をこねるように、空間をねじり、位相をずらし、次元を組み替える。そういう幾何学的なセンスが、この時代の「知性」の正体なのである。

防衛線としての「フーリエ変換」:DSPとAIの融合

 視点を、少しばかり広げてみたい。

 この物語は、なにもシリコンバレーのサーバー室の中だけで完結しているわけではない。

 空を見上げれば、そこにはアマゾンが進める「プロジェクト・カイパー」の無数の衛星が飛び交い、手元を見れば、アップルの端末が音声信号を処理している。

 これらの領域でも、AIの浸食は凄まじい勢いで進んでいる。しかし、ここには依然として、フーリエ変換といういにしえの巨人が、侵すべからざる聖域として鎮座している。

 余談だが、ジョセフ・フーリエという男は、ナポレオンに仕えた行政官でありながら、熱の伝わり方を研究するうちに、「あらゆる波は、単純なサインとコサインの足し合わせで表現できる」という、とてつもない真理に到達してしまった。

 18世紀のこの発見が、2026年の現代においても、最先端の防衛線として機能しているのだから、数学という学問の寿命の長さには呆れるほかない。

 たとえば、ディープフェイク──AIによる偽造音声の検知という技術がある。

 生成AIが作り出した声は、人間の耳で聞く限り、完璧に近い。滑らかで、艶があり、息遣いさえ感じられる。

 しかし、フーリエ変換というプリズムを通して、その声を周波数ごとの成分に分解してみると、どうなるか。

 そこには、人間が発声する時には決して現れないはずの、不自然な位相のズレが、あざといほどに残っていることがある。

 考えてみれば当然であろう。

 人間が声を出すとき、そこには声帯という物理的な震源があり、口腔や鼻腔という物理的な空洞が共鳴する。その音の波には、物理法則に裏打ちされた必然的な秩序──位相の整合性がある。

 ところがAIには、喉がない。

 彼らは、計算機の中で確率的に「人間らしい音」を合成しているに過ぎない。いわば、絵の上手い画家が、実物を知らずに想像で描いた虎のようなもので、毛並みは似ていても、骨格の整合性がどこかおかしいのである。

 その「骨格の嘘」を見抜くことができるのは、最新のAIではなく、二百年前のフーリエが遺した数学的洞察だけなのである。

 あるいは、3D空間のレンダリング技術。

 ここでも、球面調和関数(Spherical Harmonics)という、名前を聞くだけで逃げ出したくなるような、しかしサイン・コサインの親戚ともいえる関数群が使われている。

 ガウス・スプラッティングという最新の描画技術においても、光が物体に当たってどう反射するかを計算するために、この関数が酷使されている。

 これらはすべて、世界を波の重ね合わせとして記述しようとする、人間の執念の結晶といっていい。

  AIは、もっともらしい結果を出力する天才である。

 しかし、その結果が「物理的に正しいか」「自然界の法則に矛盾していないか」を検算する物差しは、AIの中にはない。彼らは確率の奴隷だからだ。

 その絶対的な物差しを持っているのは、フーリエ変換という数学的ツールを使いこなし、物理世界の手触りを知っている、生身の人間だけなのである。

地図を持つ者

 そもそも、プログラミングとは何であったか。

 20世紀の半ばにこの技術が産声を上げて以来、多くの者がその定義を試みてきたが、極言してしまえば、それはコンピュータという真空の箱の中に、擬似的な「時間と空間」を創造する行為にほかならない。

 クロックサイクルという絶対時間を刻み、メモリアドレスという番地を振る。神が天地を創造したときのように、無秩序な電子の奔流に、秩序という名のかせをはめる作業であったといっていい。

 2026年現在、我々の目の前にあるAIという存在は、その創造された空間の中で、猛烈な速度で計算を繰り返す、巨大なエンジンである。

 彼らは疲れを知らず、休みもせず、確率の海を泳ぎ続ける。

 その力は圧倒的であり、かつて人類が発明したいかなる蒸気機関や内燃機関よりも強力である。

 しかし、彼らには致命的な欠落がある。

 彼らは「速く泳ぐ」ことはできても、「どこへ向かって泳ぐべきか」を知らないのである。

 海図を持たず、羅針盤を持たず、ただひたすらに、入力されたデータという波に抗ってスクリューを回し続けるだけの存在といっていい。

 そのエンジンを、どこに向けるべきか。

 どの程度の精度で世界を認識させ、どの程度の誤差を許容してやるべきか。

 その「地図」と「羅針盤」を持っているのは、依然として、脆弱な肉体を持ち、海馬という小さな記憶装置しか持たぬ、人間だけである。

 本稿で語ってきたRoPEにおける回転、量子化におけるグリッドの設計、あるいはフーリエ変換における周波数領域の解析。

 これら一見すると無味乾燥な数学的な構造は、単なる計算式ではない。

 それは、計算の海に溺れそうになるAIという巨船を、正しい航路へと導くための、灯台の光のようなものであろう。

 もし、この光がなければ、AIはその強大すぎる力を持て余し、幻覚という名の岩礁に乗り上げて、座礁するほかないのである。

 AIの時代が到来し、プログラマーはコードを一文字ずつ書くという、写経にも似た手作業からは解放されるかもしれない。

 しかし、それは仕事が楽になることを意味しない。

 むしろ、より本質的で、より過酷な、「概念の構築」という戦いが始まることを意味している。

「現象をモデル化し、計算可能な形に落とし込む」

 この、もっとも人間臭く、それゆえに尊い知的な格闘は、シリコンがどれほど進化しようとも、決して代替されることはない。なぜなら、それは計算ではなく、意志の問題だからである。

 サイン・コサインという防衛線。

 それは、我々人間が、機械の圧倒的な暴力に飲み込まれず、主導権を握り続けるための、最後の、そして最強のとりでなのである。

いいなと思ったら応援しよう!