【G検定】⑤ 第２章 人口知能をめぐる動向（３）機械学習・深層学習 ・・・「今のAI、すべては『誤差逆伝播法』のおかげ。考えた人天才。」

「ニューラルネットワークを多層化し、誤差逆伝播法を用いることで、単純パーセプトロンの限界を克服することができるようになりました。」

公式テキストには確かこんな感じで書かれていたような・・・

まるで「誤差逆伝播は『常識』の一つですよね？」とでも言わんばかりに。。しかも「え？常識ですからそんな説明する必要もないかと。。」とでも言わんばかりに、サラ――っと紹介して・・・

んな雑な紹介でいいんですか？これがなければ今の深層学習はなかった技術だろうに。確かに「深層学習の勉強するなら『常識』ですね」でしょうが、初学者にそれ求めるなっちゅうねん。。

誤差逆伝播法の説明自体は後述しますが、G検定公式テキストでは結構こういう「不親切箇所」が多々あります。おそらく「自分で調べてみてね」ということかと思いますが、ド文系脳の私からしたら、この「自分で調べてみてね」がめちゃくちゃ苦痛・・・と言いますか「自分で調べた結果のレベルが、テキストのレベルと合致しない」という気持ち悪さに躓くことが多々ありました。

どういうことか？といいますと、上述の通り、テキストでは２～３行ぐらいでサラリと説明されており、「キーワードとして意味わからんな」と思って『誤差逆伝播』を調べると、「誤差逆伝播とは、ニューラルネットワークの学習アルゴリズムである。数理モデルであるニューラルネットワークの重みを層数にかかわらず更新できるアルゴリズムである。そのアルゴリズムは次のとおりである・・・」もうええて！２～３行ぐらいでさらっと説明してほしいねん！

で、「もっとわかりやすい説明ないかな・・・」でWEB探し回る。それぞれ書いてることがちょっとずつ違う。イメージもしにくいのでYOUTUBEも漁る。ようやく「あ～なんとなく誤差逆伝播法、イメージできました。」はい3時間。みたいな。

テキスト自体400ページほど1冊だけなので、読むだけなら1週間もあれば十分読める量ですが、随所随所「は？」「なに？」調べて進めていくハメになります。後のE資格はもっとその能力が必要になるので、たしかに「解らないところは根気良く調べる」能力は重要なのですが、「AI学習」の入り口に「G検定」据えるなら、もーーーちょい初学者にやさしくしてもいいのでは？とは思います。「G検定」事態の歴史が浅いためか、受験生も少ないためか、公式テキスト以外の良いテキスト本がない。。作ろうかな。。

愚痴で1000文字…申し訳ありません。今後は反省して修正いたします。誤差逆伝播法なだけに。。この項目のカンペノートはこちら。

＊＊＊＊＊＊＊＊＊＊

2－3．機械学習・深層学習

①機械学習

・・・人工知能のプログラム自身が学習する仕組み。サンプルが多ければ多いほど望ましい学習結果が得られる＝2000年以降のインターネット普及による急増したデータ（＝ビッグデータ）が機械学習を実用レベルに押し上げた。

②深層学習

・・・機械学習を進化させて「多層的ニューラルネットワーク」にして表現力（いろんな複雑な出力ができる能力）を大幅に上げたもの。

図：機械学習と深層学習　年表込み

・深層学習の問題点

「単純パーセプトロンの限界」（線形回帰問題（直線で表せるような問題）しか解けない。）があったが、逆に「多層パーセプトロン」にしても学習精度が上がらない（修正箇所が多すぎて、学習精度を上げるのが困難）という問題があった。

・二つの大きなブレイクスルー

１）誤差逆伝播法（バックプロパゲーション）

・・・損失関数（予測と正解の差『誤差』）を最小化するように、各係数（『重み』や『バイアス』）を自動で調整する仕組み。簡単に言うと、最後答え合わせして、間違いを基に、微調整を「自動で」する仕組み。この「自動で」がとんでもないポイント。「自動でやってくれるなら、ちょっと複雑なモデル組んでも調整楽だし、できるな。」で複雑なモデル（多層パーセプトロン）が組めるようになった。

２）自己符号化器（オートエンコーダー）

・・・自分を入力し、それを一度「圧縮したデータ」を出力する。そこから、もう一度自分を復元化する器。「それの何がええのん？」ですが、ポイントは「圧縮したデータ」から自分を正確に復元化できること。つまり「圧縮したデータ」に「復元に必要な要素（特徴量）が正確に詰め込まれている」ことになる。これによって膨大な量のデータを扱えるようになったり、特徴量をつかみやすくなったりした。

③新時代を切り開くディープラーニング

・・・2012年ILSVRC（Imagenet Large Scale Visual Recognition Challenge)画像認識大会 →チーム名「Super Vision」モデル名「Alex Net」byジェフリー・ヒントン＠トロント大が圧勝！

従来）「特徴量決めるのは人」　→　新）「深層学習にて特徴量まで自動学習」

従来）ERROR率：26％台（前後1％程）　→　新）Alex Net 15.3％！！圧勝！！

2015年には人間の画像認識ERROR率4％を切って、3.6％をたたき出した。

＊＊＊＊＊＊＊＊＊＊

いや～2012年ILSVRC、めちゃくちゃ盛り上がったでしょうね。。それまでは「いかに最適な特徴量設計を人が行えるか？」みたいな流れで、28％・27％・26％・・・「よし！優勝狙えるぞ？！」というチームが犇めく中、「15.3％？？はぁ？？」で圧勝。。さぞかし驚愕だったでしょうし、その場に参加した人々はみな、新たな時代の進歩を目の当たりにしたことと思います。一度でいいからそういう現場、立ち会ってみたいです。。

実際この時の『Alex Net』は、画像認識の『基礎』と言われる技術をすべて包括したモデルで、『CNN』だけじゃなく、『GPU利用』『ReLU』『データ拡張』『ドロップアウト』（全部後の章で出てきます）等々、単に「革新的技術一つでずばーんと行きました」ちゅうわけじゃない、細やかな課題解決の努力の結晶でした。しかし当時としては『驚愕・・・』だったこれら各種テクニックが、たった10年ちょっとで、今となっては『基礎』なわけですから。。技術革新の進化の速さは恐ろしいですね。。

ちなみにこのジェフリー・ヒントンさん、後で調べたら現在トロント大学の名誉教授。先に紹介した『誤差逆伝播法』『自己符号化器』もこの人が考えた（うちの一人）だそう・・・知らずに「考えた人天才」とかいうてました。ほんとに天才だったのね。。その功績から2018年に「計算機科学のノーベル賞」といわれるチューリング賞を受賞。同賞はヤン・ルカン（ニューヨーク大・Meta・確かこの人も誤差逆伝播の開発の一人）、ヨシュア・ペンジオ（モントリオール大）も受賞されているそうで、この三人は「AIのゴッドファーザー」と言われているそう。。かっこよすぎ。。2023年5月「AI発展が自身の想定超えている。AIの危険性を伝える。」ために所属していたGoogleを退職・・・技術革新の進化の速さは、、、ほんとに恐ろしいんですね。。