ディープラーニングの基本＃６：スキップコネクション（スキップ接続）の仕組み
スキップコネクション（スキップ接続）とは
ディープラーニングでは、ネットワークを深くすることで表現力が高まる一方、層を重ねすぎると学習がうまく進まなくなるという問題がありました。この課題を大きく改善した要素技術が スキップコネクション（スキップ接続） です。スキップコネクションの登場により、非常に深いニューラルネットワークが現実的に学習できるようになりました。
深層化による課題とその解決策
ニューラルネットワークを単純に深くしていくと、
勾配消失が起きやすくなる
学習が進まない層が出てくる
かえって性能が下がる
といった問題が発生します。
これは、情報や誤差が多くの層を通過するうちに弱まってしまうためです。
スキップコネクションは、この問題に対する明確な解決策として考えられました。層をいくつか飛ばして、前の情報を直接後ろの層へ伝えることで、情報の流れをスムーズにする仕組みです。
スキップコネクションの仕組み
スキップコネクションでは、通常の層の処理に加えて、
入力をそのまま
あるいは軽く変換して
後段の層に足し合わせます。
これにより、ネットワークは
新しい変換を学習する
うまくいかなければ、元の情報をそのまま使う
という柔軟な振る舞いが可能になります。
直感的には、「この層で無理に変換しなくてもいい」という逃げ道を用意しているイメージです。これが、深いネットワークでも学習が安定する理由の一つです。
ResNetに代表される効果
スキップコネクションを採用した代表的なモデルが ResNet（Residual Network） です。ResNetは、非常に多くの層を持ちながらも、画像認識コンテストであるILSVRC（ImageNet Large Scale Visual Recognition Challenge）において、高い精度を安定して達成できることを示しました。
ResNetの成功により、
ネットワークは「深ければ深いほど悪くなる」という常識が覆された
深層化による性能向上が現実的になった
と言えます。
現在では、スキップコネクションの考え方はResNetに限らず、さまざまなモデル設計に応用されています。
ResNetについてはこちらの記事もどうぞ
おすすめマガジンです。
ここまでお読み頂きありがとうございます。
AIって何？ AIの歴史から最新情報まで、わかりやすく説明した、
これまでの記事（マガジン）の一覧をプロフィールページにまとめています。
AIの全体像をつかむヒントになると思いますので、ぜひご覧ください。
次へ＞
ディープラーニングの基本＃７｜RNN（再帰型ニューラルネットワーク）とは
免責事項
・本記事は生成AI（ChatGPT等）を活用して執筆しています。内容の正確性・最新性には十分配慮しておりますが、誤りや古い情報が含まれる場合があります。ご利用・ご判断はご自身の責任でお願いいたします。万一、著作権等に問題がある場合はご連絡ください。
