A.3 AI 発展史：15 段階と重要論文
このページは任意の背景資料です。「この概念はどこから来たのか」を知るためのもので、初回から論文名を暗記するためのページではありません。
おすすめの使い方:
- まず 15 段階の図を見る。
- 段階表をざっと読む。
- 今学んでいる章に関係する段階だけを見る。
- 後で論文名やアルゴリズム名が出てきたら戻ってくる。
15 段階マップ
Section titled “15 段階マップ”| 段階 | 初学者向けの意味 | 対応する章 |
|---|---|---|
| 1. AI という問い | 機械は知的にふるまえるのか | 導入 |
| 2. 記号主義 AI | 人がルールを書き、機械がルールで推論する | 背景知識 |
| 3. エキスパートシステム | 専門知識をルールベースのソフトウェアにする | システム思考 |
| 4. 確率と統計 | 固定ルールだけでなく、証拠と不確実性で判断する | 第 4 章 |
| 5. 古典的機械学習 | データと特徴量からパターンを学ぶ | 第 5 章 |
| 6. 初期ニューラルネット | モデルが単純な判断境界を学び始める | 第 5-6 章 |
| 7. 誤差逆伝播 | 多層ネットワークが本格的に学習可能になる | 第 6 章 |
| 8. カーネルとアンサンブル | SVM、木、森、Boosting が ML を実用的にする | 第 5 章 |
| 9. 深層学習の突破 | データ + GPU + 深いネットワークが画像と音声を開く | 第 6、10 章 |
| 10. 埋め込みと系列モデル | テキストがベクトルになり、系列を学習できる | 第 11 章 |
| 11. Transformer と事前学習 | Attention が大規模言語モデルを実用化する | 第 6-7 章 |
| 12. LLM とアラインメント | モデルが指示に従うアシスタントらしくなる | 第 7 章 |
| 13. RAG | モデルが外部知識と引用に接続する | 第 8 章 |
| 14. Agent とツール利用 | モデルが計画し、ツールを呼び、実行履歴を残す | 第 9 章 |
| 15. マルチモーダルと AIGC | AI がテキスト、画像、音声、動画、生成を扱う | 第 12 章 |
一番大事な流れはシンプルです。各段階は前の段階の限界を解き、同時に新しいエンジニアリング課題を生みます。
主線をリレーとして読む
Section titled “主線をリレーとして読む”
AI の歴史は、論文名の一覧というよりリレーに近いです。
| 受け渡し | 何が変わったか |
|---|---|
| ルール -> 確率 | システムが固定ロジックから不確実な証拠へ進んだ |
| 確率 -> 機械学習 | モデルがデータからパターンを学び始めた |
| 機械学習 -> 深層学習 | 特徴量を完全に手作りするのではなく、モデルが学ぶようになった |
| 深層学習 -> Transformer | 系列モデリングを大規模化しやすくなった |
| LLM -> RAG / Agent | モデルが知識、ツール、ワークフローに接続した |
| テキスト -> マルチモーダル | AI が複数のメディアを理解し生成し始めた |
まず覚えたい 6 つの転換点
Section titled “まず覚えたい 6 つの転換点”
| 転換点 | 初学者が気にする理由 |
|---|---|
| パーセプトロン | 機械がデータから学べるかもしれないという強い期待を生んだ |
| XOR の限界 | 単純な線形モデルだけでは足りないことを示した |
| 誤差逆伝播 | 多層ニューラルネットワークが実用的に学習可能になった |
| AlexNet | データ、GPU、深い CNN が深層学習を一気に押し上げた |
| Transformer | Attention が系列モデリングの主線を書き換えた |
| RAG / Agent | モデルが文章回答から知識とツール利用へ進んだ |
最初から年号を覚える必要はありません。まずは流れを覚えます。期待、挫折、修復、スケール、エンジニアリングです。
論文ノードの読み方
Section titled “論文ノードの読み方”
どんな論文やアルゴリズムでも、最初は 4 つだけ問いましょう。答えは復習カードに入る長さにします。
| 問い | 初学者向けの答え方 |
|---|---|
| 以前のボトルネック | 古い制約を言う。Transformer なら、RNN は並列化しにくく長距離の経路が高コストだった。 |
| 新しい方法 | 仕組みの変化を言う。Transformer なら、self-attention が重要な一手だった。 |
| 開いた能力 | 何が簡単になったかを言う。大規模な系列モデリングが現実的になった。 |
| 影響したプロジェクト | 下流システムを言う。LLM、RAG、Agent、マルチモーダルがこの変化を受け継ぐ。 |
初学者の歴史理解としては、ここまでで十分です。数式の詳細は、該当する章まで進んでからで大丈夫です。
コース主線別の重要ノード
Section titled “コース主線別の重要ノード”
| コース主線 | 先に知っておきたいノード | なぜ重要か |
|---|---|---|
| 数学基礎 | Bayes、Shannon、最尤推定、EM | 確率、情報量、損失関数 |
| 古典的機械学習 | CART、SVM、Random Forest、AdaBoost、XGBoost | 強いベースラインと表データの実務 |
| ニューラルネット | Perceptron、XOR、Backpropagation、LSTM、AlexNet、ResNet | 深さ、勾配、データ、計算資源がなぜ重要か |
| NLP と LLM | Word2Vec、Seq2Seq、Transformer、BERT、GPT、InstructGPT | 単語ベクトルからアシスタントへ進む流れ |
| RAG と Agent | RAG、Chain-of-Thought、ReAct、Toolformer | 外部知識、推論トレース、ツール利用 |
| マルチモーダル | CLIP、DDPM、Latent Diffusion、Whisper、SAM | テキスト、画像、音声、動画、生成パイプライン |
具体的な論文もあれば、アルゴリズム群や歴史的な転換点もあります。大事なのは、「そのノードは何を簡単にしたのか」です。
任意の分岐図
Section titled “任意の分岐図”関連する章を学んでいるときだけ見れば十分です。各分岐図は、どのボトルネックが変わったか、どの章へ戻るべきか、という 2 点で読みます。
第 6、7 章でパーセプトロン、誤差逆伝播、CNN、Transformer が出てきたら、この波の図を見ます。期待、低迷、データ、計算資源の関係に注目します。
第 5 章で SVM、木、森、Boosting、XGBoost が出てきたら、古典的 ML の分岐図を見ます。境界を扱う方法、アンサンブルの方法、表データの強いベースラインを分けて読みます。
第 11 章でトークン化、埋め込み、Seq2Seq、BERT、GPT を学ぶとき、この NLP 分岐図を使います。単語の意味表現から指示に従うアシスタントへの道として読みます。
第 7-9 章で instruction tuning、RLHF、ツール利用、trace、デプロイを扱うとき、このシステム主線図を見ます。モデル品質とシステム制御が一緒に改善される点が重要です。
プロジェクトに prompt、検索、ツール、完全な Agent ループのどれが必要か判断するとき、このエンジニアリング時間線を見ます。trace と評価のチェックポイントを飛ばさないことが大切です。
第 12 章では、このマルチモーダル分岐図を使います。テキスト、画像、音声、セグメンテーションのモデルが生成パイプラインの部品になる流れを追います。
章別クイック索引
Section titled “章別クイック索引”| この名前を見たら | 戻る章 |
|---|---|
| Bayes、MLE、entropy、EM | 第 4 章 数学基礎 |
| SVM、Random Forest、XGBoost | 第 5 章 機械学習 |
| Perceptron、backpropagation、CNN、LSTM、Transformer | 第 6 章 深層学習 |
| GPT、RLHF、LoRA、instruction tuning | 第 7 章 LLM 原理 |
| RAG、vector retrieval、citations | 第 8 章 RAG |
| Chain-of-Thought、ReAct、Toolformer、tool use | 第 9 章 Agent |
| AlexNet、ResNet、YOLO、SAM | 第 10 章 コンピュータビジョン |
| Word2Vec、Seq2Seq、BERT、GPT | 第 11 章 NLP |
| CLIP、diffusion、Whisper、マルチモーダル生成 | 第 12 章 マルチモーダル |
好きなノードを 3 つ選び、プロジェクトの言葉に書き換えます。
プロジェクトカードの例:
- ノード:
Attention Is All You Need - 以前のボトルネック: RNN は長い系列や並列学習に向いていなかった。
- 新しい方法: self-attention が系列モデリングの主線になった。
- 影響したプロジェクト: LLM、RAG、Agent、マルチモーダルモデル。
- 戻って学ぶ章: 第 6、7、8、9 章。
目的は歴史を暗記することではありません。歴史上のノードを、これから作る実際の能力と結びつけることです。
プロジェクト参考とレビュー観点
合格例として、次の3つを選べます。
Backpropagation
- 以前のボトルネック: 多層ニューラルネットワークをうまく訓練するのが難しかった。
- 新しい方法: 勾配を層ごとに前の層へ伝えられるようになった。
- 影響したプロジェクト: 画像分類、言語モデル、ほぼすべての深層学習システム。
- 戻って学ぶ章: 第 6 章。
RAG
- 以前のボトルネック: 言語モデルは流暢に答えられても、外部証拠に基づくとは限らなかった。
- 新しい方法: 生成前に関連文書を検索し、外部知識を文脈に入れる。
- 影響したプロジェクト: ナレッジアシスタント、規程 Q&A、引用付き研究ツール。
- 戻って学ぶ章: 第 8 章。
CLIP
- 以前のボトルネック: 画像モデルとテキストモデルは別々の表現空間で訓練されがちだった。
- 新しい方法: 対照学習で画像とテキストを対応づけた。
- 影響したプロジェクト: 画像検索、マルチモーダル検索、画像生成の誘導。
- 戻って学ぶ章: 第 12 章。
強い解答は、それぞれのノードについて、解いたボトルネック、方法の変化、影響したプロジェクト、戻って学ぶ章を説明します。有名な名前だけを並べて「何が簡単になったか」を書かない場合は、まだ弱い解答です。
このページを終えたら、この証拠カードを残します。
- タイムラインの基点
- stage、key idea、代表的な paper/system、そしてそれが重要だった理由
- 章の関連
- このマイルストーンがどのコース章の理解に役立つか
- 記憶フック
- 図、漫画の1コマ、または1文の歴史的転換点
- 失敗確認
- 各マイルストーンが解決した課題を理解せずに名前だけを暗記している
- 期待される成果
- 少なくとも1つのプロジェクト判断につながる短いタイムラインメモ