中国のAI開発事情①（大規模言語モデル）
最近のAI技術の進歩は驚異的です。写真のような高解像度の画像を数秒で生成する画像生成AIや、様々な指示や質問に自然な言葉で回答するChatGPTのような万能型の言語モデルなど、数年前までSFの世界の話だと思われていたような技術が実現し、毎週のように新しいAI技術やそれを応用したサービスが公開されています。
私たちは現在、AI革命の真っただ中にいると言っても過言ではありません。
一方で、Google、OpenAI(Microsoft)、Metaなどのアメリカを中心とする巨大テック企業などの情報は頻繁に届きますが、もう一つのAI開発の核である中国からの情報は、なかなか入ってきません。
そこで、今回、最近の進歩が目覚ましい大規模言語モデルと画像生成AIの分野を中心に中国のAI開発事情について調べてみました。
１．中国のAI開発環境
中国は、2030年にAI分野で世界のリーダーとなることを目指す「次世代AI発展計画」を2017年7月に発表するなど、国を挙げてAI技術の開発に取り組んでいます。
中でも、バイドゥ(百度)、アリババ、テンセント、アイフライテック（音声認識）、センスタイム（画像認識）などは、重点分野のリード企業に位置付けられ、世界最先端のAI技術の研究開発及び実用化を進めています。
また、2012年から2021年までの10年間のAI関連論文数は中国が24万本で、15万本の米国を圧倒しています。
2020年には、学術誌に掲載されたAI関連論文の引用実績でも、中国が初めて米国を逆転しました。
さらに、中国は、西側諸国と比べて政府の力が強いため、個人に関するデータの収集や利用が容易であり、膨大な量の個人データをAIの開発に利用できるという強みがあります。
２．大規模言語モデル
Googleから2017年にTransformer、2018年に言語モデルのBERTが発表されて以来、大規模な計算資源を使った並列計算による大量のテキストデータの学習が可能になり、アメリカの巨大テック企業などによる大規模言語モデルの開発競争が起こりました。
現在、1,000億以上のパラメーターを持つ大規模言語モデルとしては、2020年7月にOpenAIが発表したGPT-3（1,750億）、2022年4月にGoogleが発表したPaLM（5,400億）、2022年5月にMetaが発表したOPT-175B（1,750億）などがあります。
また、さらにパラメーター数の大きなものとしては、2021年1月にGoogleが発表したSwitch Transformer（1兆6,000億）があります。
※括弧内はパラメーター数
これらに対抗して、中国でも、近年、大規模言語モデルが開発されています。
① 悟道2.0（1兆7,500億）
2021年6月、北京智源人工知能研究院（BAAI）がGPT-3の10倍となる1兆7,500億のパラメーターを持つ悟道2.0（WuDao2.0）を発表しました。
BAAIは、2018年に北京市が中心となって、北京大学、精華大学、中国科学院、バイドゥ、バイトダンスなどのAI開発を得意とする大学、研究機関及び民間企業の人材を集めて設立された研究センターです。
中国政府は、多額の投資によってBAAIを積極的に支援しており、2018年と2019年だけで3億4000万元(約58億5000万円)の資金が提供されています。
悟道2.0は、中国語テキスト1.2TB、英語テキスト1.2TB、画像データ2.5TBの計4.9TBのデータで学習した汎用的なマルチモーダルAIで、顔認識、文章の要約、エッセイや詩歌の創作、画像を説明するキャプション生成、テキストからの画像生成など様々なタスクを実行できます。
技術的には、タスクの種類ごとに異なる複数のエキスパートネットワークを組み合わせて利用するFastMoEというシステムを開発して採用することにより、大規模モデルを学習させる際のボトルネックを解決しています。
また、悟道2.0は、ImageNetでの画像認識(ゼロショット)、SuperGLUEでの自然言語処理 (少数ショット)、MS COCOでのテキストからの図表作成などの国際的に広く認識されている9つのベンチマークタスクでSOTA（最高性能）を達成しています。
さらに、2021年6月に中国初のバーチャル女子学生「華智氷」（ファー・ズービン）が精華大学に入学したことが話題となりましたが、このAI技術のベースにも、悟道2.0が利用されています。華智氷は、継続的な学習能力を備え、文書、画像及び動画のデータを学習しながら成長し、現在の認知能力は6歳程度ですが、1年後には12歳レベルの認知能力を持つようになるとされています。
② ERNIE 3.0 Titan（2,600億）
2019年3月、バイドゥが中国語対応のためにBERTを改善した新しい言語モデルのERNIEを発表しました。
ERNIEでは、事前学習のためにBERTが採用しているマスキングによる穴埋め問題（MLM）を、単語ごとにスペースで区切られていない中国語に対応できるように修正しました。この修正により、ERNIEは、中国語を用いた多くの言語処理タスクでBERTを超える性能を達成しました。
なお、単語ごとにスペースで区切られていないのは日本語も同様であり、日本語の処理においても参考になると考えられます。
その後、バイドゥは、2019年7月にERNIE 2.0、2021年7月に100億のパラメーターを持つERNIE 3.0を発表しました。
ERNIE 3.0は、全体で4TBのデータで学習しており、文字情報だけでなく、様々な知識を体系的に連結してグラフ構造にした知識グラフデータを学習データに加え、これによって一貫性のある応答を出力することができると説明されています。
ERNIE 3.0は、自然言語処理の標準ベンチマークであるGLUEを更に高難度にしたSuperGLUEでSOTAを達成し、人間の平均スコアも上回りました。
さらに、2021年12月にバイドゥは、Peng Cheng Laboratory (PCL)と共同で2,600億のパラメーターを持つERNIE 3.0 Titanを発表しました。
ERNIE 3.0 Titanは、自己教師ありの敵対的学習フレームワーク、新たなオンライン蒸留システム、エンドツーエンドの分散トレーニングアーキテクチャーなどを導入して、膨大な知識グラフデータを含む大量のデータで学習しています。
その結果、機械読解、テキスト分類、意味的類似性などの60を超える自然言語処理タスクでSOTAを達成しました。また、多くの少数ショット及びゼロショットのベンチマークでも高い性能を発揮しました。
③ M6（10兆）
2021年1月、アリババの研究開発部門であるDAMOアカデミー（達磨院）は、100億のパラメーターを持ち、292GBの中国語テキストと1.9TBの画像データで学習した言語モデルのM6（MultiModality-to-MultiModality Multitask Mega-transformer）を開発しました。
M6は、悟道2.0と同じように、画像生成、文章生成、質疑応答などができるマルチモーダルAIで、徐々にパラメーター数を増やしていって、2021年5月には1兆に達しました。
さらに、同年11月には、10兆のパラメーターを持つ世界最大規模の言語モデルを実現し、エネルギー消費量をGPT-3の1%にまで削減することに成功したとの発表がありました。
なお、この世界最大の言語モデルとなるM6の性能については、あまり情報が伝わってきません。あまり実用的ではないのでしょうか。更なる情報が待たれるところです。
④ GLM-130B（1,300億）
2022年8月、清華大学が1,300億のパラメーターを持つGLM-130Bを発表しました。
GLM-130Bは、英語と中国語それぞれ2,000億のテキストトークンで学習したバイリンガルの言語モデルで、単一のA100(40G * 8)サーバーで推論を実行することができます。さらに、4ビット量子化により、4 * RTX 3090(24G)を備えた単一のサーバーでも実行可能なコンパクトなモデルとなっています。
また、英語では、LAMBADA、MMLUのベンチマークテストでGPT-3の性能を上回り、中国語では、ゼロショットの性能で2,600億のパラメーターを持つERNIE 3.0 Titanの性能を大幅に上回りました。
以下のGLM-130Bのデモサイトで、マスキングによる穴埋め問題（MLM）を解くことができます。
具体的には、単語をマスキングする[MASK]と長いテキストをマスキングする[gMASK]の2種類の穴埋め問題ができます。
input欄に英語か中国語で穴埋め問題を記入してGenerateボタンを押せば、解答を出力します。
以下が実際にデモを試してみた結果です。
入力：The Japanese highest mountain is [MASK].
出力：The Japanese highest mountain is Mount Fuji.
入力：The main character of Dragon Ball is [MASK].
出力：The main character of Dragon Ball is named Goku.
入力：[MASK] played the role of the cyborg assassin Terminator in the 1984 film "The Terminator."
出力：Schwarzenegger, who played the role of the cyborg assassin Terminator in the 1984 film "The Terminator."
入力：Two men arrive separately in 1984 Los Angeles, having time traveled from 2029. One is a cybernetic assassin known as the Terminator, [gMASK]. The other is a human soldier named Kyle Reese, intent on stopping it.
出力：Two men arrive separately in 1984 Los Angeles, having time traveled from 2029. One is a cybernetic assassin known as the Terminator, Frederick Morgan Phipps (1865–1926) was a British philatelist who signed the Roll of Distinguished Philatelists in 1922. He specialised in British postal history. He was the son of Frederick Morgan Phipps, and brother of Alfred Morgan Phipps. He died in 1926.. The other is a human soldier named Kyle Reese, intent on stopping it.
なお、正解は「programmed to hunt and kill a woman named Sarah Connor」です。（出典：Wikipedia英語版”The Terminator”）
MASKの方は、なかなか良い結果を返してくることがありますが、gMASKの方は、内容に合った回答が返ってくることが少ないようでした。
このデモは、FLANシリーズのインストラクションファインチューニングやChatGPTが採用している人間フィードバックによる強化学習（RLHF）を導入していないので、GPT-3の初期モデルのdavinciモデルとtext-davinci-001モデルの間くらいの性能であり、現在、モデルの改善に努めていて、近い内にアップデート版を公開するつもりだそうです。
⑤ その他
その他にも、中国語に特化した大規模言語モデルとして、ファーウェイが2021年4月に発表した2,000億のパラメーターを持ち、1.1TBの中国語テキストデータで学習したPanGu-α、中国トップシェアのサーバーベンダーであるInspurが同年9月に発表した2,457億のパラメーターを持ち、5TBの中国語テキストデータで学習したYuan 1.0などがあります。
