Introduction to Semi-Supervised Learning #6

Introduction to Semi-Supervised Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning)

1. Introduction to Statistical Machine Learning

2. Overview of Semi-Supervised Learning

3. Mixture Models and EM

4. Co-Training

5. Graph-Based Semi-Supervised Learning

6. Semi-Supevised Support Vector Machines

6.1 Support Vector Machines

• SVMの概要説明。
  • マージン最大化を制約付き最適化問題に帰着して解く
  • 線形分離可能でない訓練事例に対してはスラック変数（制約の緩和量）を導入して対応
  • 正則化リスク最小化として定式化することもできる
  • その場合，損失関数はhinge loss function，正則化項はL2。
• カーネルトリックなどの説明はS3VMの導入には不要なので省略

6.2 Semi-Supervised Support Vector Machines

• ラベルあり事例とラベルなし事例の双方をマージン外に置く。
• 損失関数として，hat loss functionを用いる
• S3VMの目的関数はnon-convexなので，局所最適解に陥ってしまうことがある。

6.3 Entropy Regularization

• SVMもS3VMも確率モデルではない
• ロジスティック回帰モデルをS3VMの確率モデルと考えることができる
• logistic lossがhinge loss，entropy regularizerがhat lossに対応する。

6.4 The Assumption of S3VMs and Entropy Regularization

• クラスはwell-separatedである，という前提が崩れると良い境界面を見つけ出すことができない
• 特に，分布の低密度なところが識別境界にならない場合，その影響が顕著である。

7. Human Semi-Supervised Learning

• 人間の学習モデルと機械学習モデルの比較
• 簡単なタスクでは半教師あり学習と同じようなことをしている
  • ラベルなしデータを活用している
• 複雑なタスクでは，ラベルなしデータは学習結果に影響しない。

8. Theory and Outlook

• 半教師あり学習の理論的根拠を説明
  • 教師あり学習に関するPAC学習可能性
  • 半教師あり学習に関するPAC学習可能性
• 真の誤差をある閾値以下にするために必要なサンプル数を理論的に見積もることができる。