GPT-1を読む②結論
前回は、要約を読んで論文の主張を理解しました。今回は論文の読み方に従って結論から読み進めていきます。
本文に入る前に、要約を読んだら次に結論を確認することを勧めます。結論が要約で主張されたことを強く肯定していたら、この論文を読むことで要約で主張されていることの詳細がわかる可能性が高いからです。もし、結論が弱く要約の内容を主張している場合は、本文もあまり読む価値がないかもしれません。
まずは、論文の主張を簡単におさらいしてから、結論がそれをしっかりと肯定しているのか確認していきます。
論文の主張（おさらい）
問題提起
論文は自然言語のタスクが多様であるのに対して、ラベル付きのデータセットが不足している点を問題提起しています。様々な自然言語タスクに合わせてラベルを付けるのは、非常に労力と時間がかかります。
また、仮に大量なデータにラベルを付与することが可能だとしても、多様なタスクそれぞれに合わせて教師学習をするのは効率が良くありません。
これはむしろラベル付きのデータセットが不足しているというよりも、教師あり学習という手法だけで対処することが適当ではないことを示唆しています。
そして論文は解決方法を提示します。
解決方法
言語モデルが自然言語の理解を深めることができれば、異なるタスクに適応することができるというアイデアに基づいて、事前学習とファインチューニングによる解決方法が提案されています。
これは、当時の画像処理系のAIでは盛んに行われていた手法と似ています。例えば、ImageNetで教師あり学習をした画像分類モデルをCIFAR10のタスクに合わせて微調整したりするものです。ただし、この方法は、教師あり学習による事前学習をベースとしています。その上で、モデルの出力を各タスクに合わせて入れ替えたのちに、そのタスクのラベル付きデータセットを使って再び教師あり学習を行います。
一方、論文が提案する事前学習は、「ラベル無しテキストコーパス」を使った「生成的事前学習」（Generative Pre-training）です。ただし、「生成的」の具体的な内容については要約の中では触れられていません。もちろん、言語モデルなので文章を生成することに関連するのは容易に想像できますが。いずれにせよラベル付きデータセットの不足が解消されることが期待できます。
さらに、ファインチューニングに関しても従来の方法とは異なり、出力側ではなくモデルに対する入力をタスクに合わせて変換します。このためモデル自体の変更を最小限に抑えれるので様々なタスクに対応しやすくなります。
このため、論文のアプローチは自然言語理解のための幅広いベンチマークで有効であり、それを実証したと述べられています。
以上を踏まえてこの論文の結論の内容を追っていきましょう。
結論の内容
主張の肯定
結論は次のように始まります。
単一のタスクに特化しないモデルを用いて、生成的な事前学習と識別的なファインチューニングを通じて、強力な自然言語の理解を達成するためのフレームワークを紹介しました。
We introduced a framework for achieving strong natural language understanding with a single task-agnostic model through generative pre-training and discriminative fine-tuning.
タスクに特化しないで、自然言語の理解を達成するために、生成的な事前学習とファインチューニングを利用したと述べています。これは要約の主張を繰り返し強調しています。
識別的とは
「識別的な」（discriminative）という言葉がよく登場します。これは、この論文に限ったことではなくAI関連の論文ではよく見られます。
「識別的なタスク」や「識別的な学習」という言い回しでは、タスク・学習の目標が、入力データを異なるクラスやカテゴリへと区別する（違いを識別する）という概念から来ています。ここでは、入力から出力への直接的なマッピング（関数）を学習することに重点が置かれています。
そんなわけで、「識別的学習」は「教師あり学習」とほぼ同じ意味で使われています。では、なぜわざわざ識別的学習という言い方をするのでしょうか。
実は、「識別的学習」は「生成的学習」と対比する文脈でよく使われます。
生成的学習では、モデルがデータの生成プロセスを穴埋め問題などを通してモデル化します。自然言語のモデルではこれを「自然言語の理解」と呼びます。言語そのものの構造や確率分布を学習するからです。理解ができれば、生成も出来る。生成するには理解が必要となる、といった意味が込められています。
一方で、識別的学習では、入力から出力へのマッピングを目的としており、言語の理解・生成が目的ではありません。あくまでもタスクを達成するために必要な特徴を学ぶのであって、タスクに必要のない言語そのもの理解を深めるのは非効率になりかねません。そのため場合によっては、識別的なモデルが実用的なアプリケーションにおいて、生成的なモデルと比較してより単純で計算効率が良い可能性もありますが、そのためにはラベルを準備して教師あり学習を行う必要があります。
まとめると、識別的な学習と生成的な学習とはデータの生成プロセスを明示的にモデリングするかどうかで異なっており、比較のための文脈の中で使われます。
事前学習の威力
言語モデルの多様なタスクに対応するには、事前学習を行ったモデルを識別的なタスクに適応することが効果的であることを、結論は強調しています。
長く連続したテキストを含む、多様なコーパスでの事前学習を行うことで、我々のモデルは、重要な世界知識（world knowledge）を獲得し、長距離の依存関係を処理する能力を身につけました。これらの能力は識別的なタスク（質問応答、意味の類似性評価、含意の決定、およびテキスト分類）へ転移され、12のデータセットのうち9つで最先端の結果を更新しました。
By pre-training on a diverse corpus with long stretches of contiguous text our model acquires significant world knowledge and ability to process long-range dependencies which are then successfully transferred to solving discriminative tasks such as question answering, semantic similarity assessment, entailment determination, and text classification, improving the state of the art on 9 of the 12 datasets we study.
世界知識（world knowledge）とは、膨大なデータからの様々な知識と理解を指します。例えば、人々や場所や物事などの関係、一般的な出来事や事実、文化的な背景などがあります。自然言語の理解には、これらの世界知識を獲得することが重要です。その上、長く連続したテキストからテキストから長距離の依存関係も学習しました。これらの能力が識別的なタスクでも役に立ち、幅広いタスクで成功を収めました。
つまり、要約に述べられた主張を繰り返しているわけで、自信の程が伺えます。提案した手法で「結果を出したぞ」といった感じです。
教師なしの意義
次に論文は、この研究の意義を述べています。
教師なし（事前）学習を使用して、識別的なタスクのパフォーマンスを向上させることは、長い間に渡って機械学習の研究の重要な目標でした。
Using unsupervised (pre-)training to boost performance on discriminative tasks has long been an important goal of Machine Learning research.
教師なし学習によって識別的なタスクのパフォーマンスを向上させることは長い間に渡って重要な目標だったと述べています。これはラベルなしの膨大なデータを利用できるからです。
ちょっと話外れますが、2016年のNIPSでYann LeCunが次のように述べています。
もし知能がケーキであるならば、その大部分は教師なし学習であり、ケーキの表面に広がるアイシングは教師あり学習であり、ケーキの最上部に載るチェリーは強化学習（RL）です。
If intelligence is a cake, the bulk of the cake is unsupervised learning, the icing on the cake is supervised learning, and the cherry on the cake is reinforcement learning (RL).
ケーキ全体が知能だとすると、その表面の粉が「教師あり学習」で、さくらんぼが「強化学習」だとYann LeCunは行っています。要するに、知能のほとんどは「教師なし学習」ということです。
なお、後に彼は「教師なし学習」という言葉の代わりに「自己教師あり学習」という呼び方をしています。これはデータセット自体にある情報をラベルとして使うという意味で、クラスタリングなどの教師なし学習とは区別しています。
「教師なし」という言葉は様々な文脈で使われ混乱を招くので、私は今これを「自己教師あり学習」と呼んでいます。
I now call it "self-supervised learning", because "unsupervised" is both a loaded and confusing term.
将来の展望
次に、論文は少しギアを変えて将来への展望を述べ始めます。
私たちの研究は、実際に大幅なパフォーマンス向上を達成することが可能であり、どのようなモデル（Transformers）やデータセット（長距離の依存関係を持つテキスト）がこのアプローチで最も効果的であるかについてのヒントを提供します。
Our work suggests that achieving significant performance gains is indeed possible, and offers hints as to what models (Transformers) and data sets (text with long range dependencies) work best with this approach.
この論文の研究によって「長い間に渡って機械学習の研究の重要な目標」だった「教師なし学習」を実際に利用することが可能であることが示されました。
また、この論文のアプローチから、トランスフォーマーのようなモデルや、長距離の依存関係を持つテキストを含んだデータセットが効果的であることがわかってきました。
つまり、これからトランスフォーマーと長距離の依存関係を持つテキストを含んだデータセットでもっと研究しようという意気込みが感じられます。
最後に論文は、こう続きます。
我々は、これが自然言語の理解やその他の領域における教師なし学習の新たな研究を促進し、教師なし学習がどのように機能し、いつ機能するかをより深く理解するのに役立つことを期待しています。
We hope that this will help enable new research into unsupervised learning, for both natural language understanding and other domains, further improving our understanding of how and when unsupervised learning works.
2024年現在の我々の視点から見ると、「これが自然言語の理解やその他の領域における教師なし学習の新たな研究を促進し」というのは、まさにその通りになっていったのがわかります。
しかし、論文が発表された2018年の当時のOpenAIの研究者たちは「教師なし学習がどのように機能し、いつ機能するかをより深く理解するのに役立つことを期待しています」といって論文を結んでいます。
次回予告
これまで要約と結論を読んできましたが、この論文の本文を読めばさらに彼らの主張を裏付けする詳細がわかるであろうと期待できます。
次回は、本文の全体にさらっと目を通します。つまみ食いのように表や図などを眺めながら論文の概要を掴んでいきます。
お楽しみに！
