トランスフォーマーの論文を読む②結論
今回は、トランスフォーマーの論文である「Attention Is All You Need」の結論から読んでいきます。まだ、要約を読んでいない方は前回の記事を参考にしてください。
なお、論文のセクションを読む順番は、以前に紹介した論文の読み方に大体従っています。
結論から読む
要約を読んで論文の主張をつかんだら結論を読みます。というのも、要約で壮大なことを主張していても結論で尻窄みになっていることがあるからです。論文を読むのは時間がかかるので読む必要があるか読みたいのかを判断することが重要です。
もし、結論が要約で主張されたことを強く肯定していたら、さらに本文を読むことで要約で主張されていることの詳細がわかる可能性が高くなります。しかし、結論が弱く要約の内容を主張している場合は、本文もあまり読む価値がないと判断することもあるでしょう。
もちろん、「Attention Is All You Need」は今ではあまりにも有名であり、多くの論文によって引用されています。なので、読む価値があるのはほぼ確定ではあります。
いずれにせよ、結論のセクションはあまり長くないのが普通なのでここはさらっと読んでいきましょう。
要約の主張を強調
この論文では、Transformerを提示しました。これはアテンション機構だけに基づいて構築されており、シーケンス変換モデルとしては初めてのものです。エンコーダー・デコーダーアーキテクチャで最もよく使われる回帰層を全く必要としていません。
In this work, we presented the Transformer, the first sequence transduction model based entirely on attention, replacing the recurrent layers most commonly used in encoder-decoder architectures with multi-headed self-attention.
ここでは、要約の主張を繰り返しています。つまり、Transformerがアテンション機構のみを用いて構築された最初のシーケンス変換モデルであり、従来のエンコーダー・デコーダーアーのキテクチャで一般的に使用されていた回帰層を使用していないことを明確に伝えています。なお、こので従来と言っているのは、論文発表時2017年の観点からです。
次に進みましょう。
主張の裏付けの強調
翻訳タスクにおいて、Transformerは回帰層や畳み込み層をベースにしたアーキテクチャよりもかなり早く訓練することができます。WMT 2014の英語からドイツ語、英語からフランス語への翻訳タスクの両方で、私たちは新しい最先端の成果を達成しました。英語からドイツ語への翻訳タスクでは、私たちの最良のモデルはこれまでに報告された全てのアンサンブルモデルさえも上回ります。
For translation tasks, the Transformer can be trained significantly faster than architectures based on recurrent or convolutional layers. On both WMT 2014 English-to-German and WMT 2014 English-to-French translation tasks, we achieve a new state of the art. In the former task our best model outperforms even all previously reported ensembles.
ここでは、実験結果による主張の裏付けが行われています。これも要約における主張を繰り返しています。
なお「アンサンブルモデル」とは、複数の異なる機械学習モデルを組み合わせて、単一のモデルよりも優れた予測能力や性能を実現する手法です。これは、個々のモデルが持つ特有の強みを組み合わせることで、全体としての精度を高めることを目指しています。
この文脈では、アンサンブルモデルが翻訳タスクでより正確な翻訳を生成するために使用されていたことを意味しています。Transformerモデルがこれらのアンサンブルモデルよりも優れた性能を示したと述べられており、その実力が強く肯定されています。
次に進みましょう。
将来への展望
私たちは注目ベースのモデルの未来について興奮しており、他のタスクにそれらを適用する計画を立てています。私たちは、テキスト以外の入出力モダリティを含む問題にTransformerを拡張し、画像、オーディオ、ビデオなどの大規模な入出力を効率的に扱うために、ローカルで制限されたアテンション機構を研究する予定です。生成をより非逐次的にすることも、私たちの別の研究目標です。
We are excited about the future of attention-based models and plan to apply them to other tasks. We plan to extend the Transformer to problems involving input and output modalities other than text and to investigate local, restricted attention mechanisms to efficiently handle large inputs and outputs such as images, audio and video. Making generation less sequential is another research goals of ours.
一般的に、論文の結論で研究の将来性を語るのはしばしばあることです。よくあるのは、今回の研究ではここが足りなかったので今度はこのように向上させたいといったパターンです。どのような研究でも改善の余地はあるので、それを欠点とは呼ばずに、さらに研究を進展させるためのアイデアとして語るというポジティブな論文の結びの余韻を残すのが常套的な流れです。
しかし、この論文の結びは、ちょっと異なります。「私たちは注目ベースのモデルの未来について興奮しており、他のタスクにそれらを適用する計画を立てています」とTransformerモデルの成功に論文の著者自身が驚き興奮しているように読み取れます。これから、いろんなことができそうだという、まるで初日の出を見ているような気分が伝わってきます。
テキスト以外のモダリティ
「私たちは、テキスト以外の入出力モダリティを含む問題にTransformerを拡張し、画像、オーディオ、ビデオなどの大規模な入出力を効率的に扱う」という文章は、少し唐突なイメージさえあります。翻訳モデルがどのようにして画像、オーディオ、ビデオのデータを扱うのか、と。今でこそTransformerで画像を扱うモデルの一例としてVision Transformerがありますが、当時の著者たちはそれを想像していたでしょうか。
また、2023年に起きた生成AIの爆発的な発展を見越していたのでしょうか。それとも、ChatGPTやStable Diffusionなどの登場は彼らの想像を超えていたのでしょうか。
それはわかりませんが、この論文を書いた時点ですでに、文章以外のデータをアテンション機構で処理することができると考えていたのが伺えます。それは、Transformerに対する強い自信の表れと言えます。
ローカルで制限されたアテンション
なお、「大規模な入出力を効率的に扱うために、ローカルで制限されたアテンション機構を研究する予定です」と言っているのは、大規模なデータセットをより効率的に処理するために、全てのデータポイントに対して全面的なアテンションを適用するのではなく、データの特定の部分（「ローカル」部分）に対してアテンションを適用させることを意味しています。
これは、例えば大きな画像や長いビデオなど、処理するのに膨大な計算リソースが必要なデータに特に有効だと考えたからでしょう。要約と結論を読んだだけの時点では、アテンションの仕組みの詳細は分かっていないので、これはハイライトして後で詳しく考察するのも一案です。
ちなみに、アテンションの計算は言語の場合、文章内の関連するトークン同士の関係を知るために行うのでトークンの数が増えるほど関係の組み合わせが増えるので計算量が莫大的に増加します。よって、画像やビデオなどではデータが多すぎて処理が困難になると考えたのでしょう。
そのため、全データポイントにアテンションを適用するのではなく、関連性の高い部分や特に重要な部分にアテンションを限定することで、計算の効率化と処理速度の向上を図れると推測したと思われます。それがうまくいけば、Transformerの適用範囲を広げ、より大規模かつ複雑なデータセットに対応できるようにできると将来の展望を広げています。
生成をより非逐次的
「生成をより非逐次的にすることも、私たちの別の研究目標です」ともう一つの研究目標を掲げています。
ここでの「非逐次的」という言葉は、一つずつ順番に連続的な処理を行うのではないという意味です。おそらく、並列的な複数の独立した処理をより増やすことを考えていたのだと思われます。
アテンション機構では、すでに並列処理があり、回帰層よりもずっと高速な処理が可能ですが、それをより一層推し進めたいと考えたのでしょう。
言語モデルや翻訳モデルの文脈で考えると、出力文章を生成する際に、一連の連続したステップ（例えば、一語一語を順番に生成する）に頼るのではなく、より多くの要素を同時に、または独立して生成する方法を開発しよう思っていたのかもしれません。
その後、論文の著者たちがどのような研究をしたのかは、Google Scholarなどで調べれば分かりますが、この記事ではこの論文に集中していきます。
次回予告
この論文の結論は、自信に満ち溢れています。よって、少なくとも論文の著者たちは要約で主張したことが実際に成功したと考えているわけです。なので、本文を読めばさらに彼らの主張を裏付けする詳細がわかるであろうと期待できます。もちろん、本文がダメダメというケースもあり得ますが、それは読んでみないと分かりません。少なくとも、今の段階では、読む価値はあると判断できそうです。もちろん、自分の興味と合致していればの話ですが。
次回は、自分が知りたい情報にフォーカスし本文の全体に目を通します。表や図などを眺めながら論文の概要を掴んでいきます。
お楽しみに！
