第3次AIブーム：機械学習・深層学習
学習目標
機械学習、ニューラルネットワーク、ディープラーニングの研究と歴史、それぞれの関係について学ぶ。
データの増加と機械学習
機械学習と統計的自然言語処理
ニューラルネットワーク
ディープラーニング
キーワード：ビッグデータ、レコメンデーションエンジン、スパムフィルター、統計的自然言語処理、コーパス、人間の神経回路、単純パーセプトロン、誤差逆伝播法、自己符号化器、ILSVRC、特徴量、次元の呪い、機械学習の定義，パターン認識、画像認識、特徴抽出、一般物体認識、OCR
データの増加と機械学習
機械学習は人工知能の一種です。
データから学習するプログラム
データの数が多いほど予測精度が上がりやすい
機械学習は文字認識などのパターン認識の分野で古くから研究されてきた技術。
こうしてみると、機械学習は、それほど多くのデータを必要とせず、アルゴリズム中心に発展してきたのがわかります。
ちなみに、OCRもパターン認識、人工知能、コンピュータビジョンなどの影響を受け発展した。シンギュラリティの予測で有名なレイ・カーツワイルはあらゆる書体を読み取れるOCRの開発を行う Kurzweil Computer Products, Inc. を1974年に創業した。
近年、インターネットとビッグデータ（大容量のデータ）の普及によって機械学習の実用的な用途が増えました。
ニューラルネットワーク
ニューラルネットワークは機械学習の一種で、人間の神経回路を真似して学習できるようにするものです。
単純パーセプトロン
1958年にアメリカの心理学者フランク・ローゼンブラットが提案した単純パーセプトロンがニューラルネットワークの元祖です。複数の入力値を受け入れて一つの値を出力します。
単純パーセプトロンは入力層と出力層のみの2層からなる。線形分離可能な問題を有限回の反復で解くことができる。
下図は単純な例で、２つの入力値から出力値として0か1を返します。
単純パーセプトロンの限界
1969年にマービン・ミンスキーとシーモア・パパートが単純パーセプトロンは線形分離可能なパターンしか識別できない事を示した。この後、第１次AIブームの熱が冷め、冬の時代になったと言われています。
ディープラーニング
多層パーセプトロン
単純パーセプトロンの限界を克服するために、ニューラルネットワークに隠れ層を追加したものを多層パーセプトロンと呼びます。また、4つ以上の層（入力層と出力層と2つ以上の「隠れ層」）からなるニューラルネットワークをディープニューラルネットワークと呼びます。
ジェフリー・ヒントンの研究チームが2006年に考案した自己符号化器（オートエンコーダー）では、3層ニューラルネットを使い、入力層と出力層に同じデータを用いて教師なし学習を行なった。
このディープニューラルネットワークを使った機械学習をディープラーニング（深層学習）と呼びます。これによって線形分離不可能なパターンの識別ができるようになりました。
学習の際に誤差逆伝播法（バックプロパゲーション）を使うのですが、初めは学習精度を上げるのが困難でした。後に活性化関数の研究などを経て層を深くしても学習することが可能になりました。
また、コンピューターによって画像中に写っているものを認識することを一般物体認識と呼びます。認識結果をどのような形式で出力するかによって３つに大別されます。
画像分類（Image Classification）
物体検出（Object Detection）
セマンティック・セグメンテーション（Semantic Segmentation）
データ量の増加とハードウェアの処理能力の向上により、ディープラーニングがより現実的になってきました。
ILSVRC
ILSVRC（ImageNet Large Scale Visual Recognition Challenge）は画像認識の精度を競うコンペです。1000万枚の画像データを使って学習した成果を15万枚のテスト画像による正解率で競いました。
2011年のILSVRCまではディープラーニングは使われていませんでした。機械学習の特徴量は人間が決めたものを使っていました。
2012年にカナダのトロント大学からジェフリー・ヒントンが率いるチーム「SuperVision」がディープラーニングを使ったAlexNetで第２位（東大のISI）を大きく引き離して優勝しました。AlexNetの名前の由来は大学院生だったAlex Krizhevskyです。同じチームにIlya Sutskever（現OpenAIのチーフ・サイエンティスト）もいました。
ディープラーニングを使うことで特徴抽出を自動で行う方法が人間が考えた特徴量による機械学習よりも優秀であることが証明されました。これを機に、画像認識ではディープラーニングを使うのが一般的になり、2015年にはMicrosoftのResNetが人間の認識率を超えました(トップ5エラーが4%以下になった)。
