グリーン・ニューディール

グリーン・ニューディール―オバマ大統領の科学技術政策と日本

オバマ大統領の科学技術政策（グリーン・ニューディール）を識者たちが詳細に解説した本です。JSTの理事長である北澤先生が書いた第1章が全体観を掴むのに良いです。第2章は，各識者たちがそれぞれの観点から論じているので，多面的な見方の参考になります。

メモ

第1章 日米のグリーン・ニューディール（北澤 宏一）

p.13

第一次から三次産業が作り出す既存の価値に対するニーズが飽和しているとすれば，今後のイノベーションは新たな価値，すなわち「第四の価値」を社会の中に追及せねばならない。このことは「大量生産・大量消費」の反省に立ち，教育や文化，仲間や地域，環境といったより高度な社会のニーズに向けての内需拡大，すなわち，生き甲斐としての新たな価値を見出し，新たな消費者がそれを購入する，という経済的な動きを作り出していくことを意味する。

p.26

科学技術は世界を相手にする競争である。世界のトップの成果でなければ意味を持たない。世界のトップに躍り出ると，研究から生じる新たな知見はすべてオリジナリティーが生じ，知財としての価値が生じる。追いかけるレベルでの知財創出は不可能ではないが苦しい。

p.30

近年，日本でもNPO活動が活発化し，団塊の世代の人たちが退職後様々なボランティア活動やNPO活動を始めている。このような傾向を支援する方向の本格的な政策が第四次産業の成長を促進できるであろう。

第2章 有識者が見るオバマ大統領の科学技術政策

p.42（相澤益男）

オバマ大統領の変革の中核は，「グリーン・エコノミー政策」である。日本では，「グリーン・ニューディール」と喧伝され，大きなインパクトを与えている。しかし，オバマ大統領自信は，この表現は用いていない。

p.52（飯田哲也）

スマートグリッドは新しい技術領域だが，いわゆるハイテク技術開発競争とは異なる。技術面での革新はもちろん不可欠だが，それと同等以上に重要なのは，組織・制度面での革新である。
…
技術の上位レベル（メタレベル）の側面が極めて重要になる。

p.55（飯田哲也）

環境エネルギー技術をめぐる政府の役割が「ディベロップメント」（開発）から「ディプロイメント」（普及）へと大きく転換したことを示している。

p.68（大歳卓麻）

「パルミサーノ・レポート」において，イノベーションとは「インベンション（発明）とインサイト（洞察）の融合」であると定義されている。イノベーションとは技術革新に留まる概念ではなく，社会変革をもたらす革新的なアイデアの実現を指す。

p.138（土井美和子）

二十一世紀型の実空間知は，携帯電話や自動車に搭載されたGPSや，小包や衣類などのタグや携帯電話などに搭載されたRF（Radio Frequency）IDなどモノからの情報である。つまり，人間が直接介在することがなく収集された情報である点が，二十世紀型の情報空間知とは大きく異なっている。

p.154（中村道治）

日本の強みは，誠実，勤勉，かつチームワークの良い国民を擁していることにある。
…
使命感や倫理観を備えた人材の育成，活用は，ぜひとも発展的に継承されねばならない。このために，高邁な目標に向かって挑戦する気風や奉仕の精神を社会に醸成することがとりわけ重要である。

Introduction to Semi-Supervised Learning #3

Introduction to Semi-Supervised Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning)

自分用のメモ書きです。

1. Introduction to Statistical Machine Learning

2. Overview of Semi-Supervised Learning

3. Mixture Models and EM

3.1 Mixture model for supervisd classification

• 2つのガウス分布（クラスAの分布とクラスBの分布）から事例が生成されていると仮定し，ラベル付き事例とラベルなし事例から，この二つの分布のパラメータ（平均，分散，事前確率）を推定する。

• p(y|x)を最大化するクラスに分類

• Bayes Rule: p(y|x) = p(x|y)p(y)/...
  • p(x|y): class conditional probability（クラス条件付き確率）
  • p(y): prior probability（事前確率）

• 生成モデルの例
  • ガウス混合分布モデル（Gaussian Mixture Model）
  • 混合多項分布モデル（Multinominal Mixture Model）
  • 隠れマルコフモデル（Hidden Markov Model, HMM）

• 最尤推定（maximum liklihood estimate, MLE）
  • 訓練事例D，パラメータθ
  • P(D|θ)を最大にするパラメータを求める
  • ラグランジュの未定乗数法を使って計算
    • 事前確率=各クラスに含まれる事例の割合
    • 平均=各クラスに含まれる事例の平均
    • 分散=各クラスに含まれる事例の分散

3.2 Mixture models for semi-supervised classification

• 半教師あり学習では，解析的にMLEを計算することはできないが，EMアルゴリズムのような繰り返し手続きによって局所最適解を求めることができる。

• p(D|θ)にラベルなし事例の周辺確率p(x|θ)が加わる。

• ラベルなし事例のラベルを隠れ変数という。

• HMMに対するEMアルゴリズムは，Baum-Welchアルゴリズムと呼ばれる。

3.3 Optimization with the EM algorithm

• E-step: 現時点のモデルパラメータを使って隠れ変数の分布を求め，M-step: その分布を使って，尤度関数を最大化するモデルパラメータを更新
• EMアルゴリズムは初期値に依存する局所最適解しか求められない。

• EMアルゴリズムはself-trainingの特殊形とみなせる。違いは，ラベルなしデータに対して，確信度の高いラベルを付与する（self-training）のか，各ラベルへの寄与度を付与する（EMアルゴリズム）である。

3.4 The assumptions of mixture models

• 混合分布モデルの仮定
  • コンポーネントの数，事前確率，クラス条件付き確率のすべてが正しい

• 分布が四つにわかれるのに，それを二つに分けようとすると，うまくいかない場合がある。こういう場合，教師あり学習のみを使用した方がうまくいく。あるいは，尤度関数におけるラベルなしデータの寄与率を下げて学習する。

3.5 Other issues in generative models

• idenfitiability
  • 分布が同じ＝パラメータが同じ
  • GMMはidentifiableであるがそうではないモデルもある

• 局所最適解の問題
  • EMアルゴリズムは局所最適解しかもとめられない。
  • ランダムに選択した初期値から始めることで回避できる（かもしれない）
  • EMアルゴリズム以外の手法として擬似ニュートン法がある。

3.5 Cluster-then-label methods

• ラベルあり事例とラベルなし事例を合わせた事例に対して，クラスタリングアルゴリズムでクラスタリング（教師なし）する。その後，教師あり学習でラベルなし事例に対してラベルを付与する。

ゲーム理論の思考法

ゲーム理論の思考法

ゲーム理論がどういうものかを，いくつかのゲームの例をあげながらわかりやすく説明しています。ゲーム理論を，相手に勝つための道具として捉えるのではなく，お互いによりよい選択をするための道具として捉えることを述べています。ゲーム理論に限らず，理論を現実世界に適用するときには多面的に物事を考えないといけないということを意識させてくれました。

メモ

はじめに

p.2

ゲーム理論には，大きく分けて次の３つの目的があります。
・ゲームの構造（問題の全体像）を把握する。
・起こりうる未来を予測する。
・適切な解決策を見つける。

序章 ゲーム理論で「３つの力」を手に入れる

p.31

「相手を出し抜く」という狭い意味合いだけでなく，行き詰まった組織全体を活性化させたり，互いにとってよりよい選択をするためにこそ，ゲーム理論は活用されるべきものです。

p.38

プレイヤーが誰で，どんなルールによってゲームが支配されているか。

p.42

「勝てないゲーム」なら，「ルール」を変えよう

第１章 囚人のジレンマ

p.83

世の中で行なわれている経済活動（あるいは，その他の活動も含む）は，自己の利益だけを目的にしていると，思わぬジレンマに陥ってしまいます。

第２章 コーディネーション・ゲーム

p.102

「いま，目の前でどんなゲームが展開されているのか」を正確に見抜くことは，経営者はもちろん，あらゆるビジネスマンにとって必要不可欠のスキルなのです。

第４章 ダイナミック・ゲーム

p.209

ゲーム理論の目的の一つとして「最適な解決策を見つける」とき，「どうしたら，協調関係を築くことができるのか」を考えるのも重要なアプローチ

第５章 人間は「不合理」に動く

p.220

「人はそれほど先を読んでいない」

p.240

「他人が先を見通していない可能性を考慮する」

p.241

「人は金銭的価値だけで行動するわけではない」

Introduction to Semi-Supervised Learning #2

Introduction to Semi-Supervised Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning)

自分用のメモ書きです。

1. Introduction to Statistical Machine Learning

2. Overview of Semi-Supervised Learning

2.1 Learning from both labeled and unlabeled data

• 半教師あり分類（semi-supervised classification)
  • ラベル付き事例とラベルなし事例の両方を使う
  • ラベルなし事例の方が圧倒的に多い

• 制約クラスタリング（constraind clustering）
  • ラベルなし事例とクラスタ制約
  • must-link（事例が同じクラスタ）
  • cannot-link（事例が別のクラスタ）

• 半教師あり学習がなぜ必要か
  • ラベル付き事例を作成するのは大変だが，ラベルなし事例はたくさん存在
  • 教師あり学習と同等レベルの性能を，より少ないラベル付き事例から学習することで，ラベル付与のコストを削減

• 人間の学習は半教師あり学習

2.2 How is semi-supervised learning possible?

ある分布（ガウス分布など）からラベルなし事例を抽出したと仮定する。つまり，p(x|y)（x:事例，y:クラス）がある分布にしたがっていると仮定する。

2.3 Inductive vs. Transductive semi-supervised learning

• inductive semi-supervised learning
  • 学習事例に含まれてないラベルなし事例の予測精度を高める
• transductive learning
  • 学習事例に含まれているラベルなし事例の予測精度を高める

2.4 Caveats

周辺分布p(x)と条件付き確率p(y|x)の関係に対する仮定が成り立つかどうかが，半教師あり学習の成否を決める。

• 教師あり学習と3つの半教師あり学習を使った実際の例
  • generative model with two Gaussian distributions
  • semi-supervised SVM
  • graph-based model

2.5 Self-training models

ラベル付きデータで学習した学習器（マッピング関数f）を使って，ラベルなしデータのラベルを予測。その中から信頼度の高いものを選び，学習事例に追加して再学習する。これを繰り返す。

self-trainingがうまくいくための仮定は，分類対象のクラスが適切に分離された（well-separated）クラスタであることである。

self-trainingの良いところは，学習器を任意に選べるラッパーメソッドであることである。
悪いところは，初期段階で誤った学習事例を追加してしまうと，その後，連鎖的に誤った学習をしてしまうことである。

クラウド化する世界

クラウド化する世界~ビジネスモデル構築の大転換

コンピューティング環境の変化を，電力が分散供給から集中供給へ変化したことと対比して説明しています。現状のクラウドコンピューティングの隆盛を見れば，この流れは不可避なものですが，クラウド化が進むに連れて，どのようなことが起こるかが，（悲観的な観点も含めて）述べられています。

メモ

第1章 バーデンの水車

p.18

分散化は，莫大な設備投資と固定費を企業に課す。また，技術そのものの観点からも，設備を動かす労働力の観点からも，不要な支出と過剰設備をもたらす。
…
いったん一元的に技術を提供することが可能になれば，大規模なユーティリティ供給者が出現して，自家供給者に取って代わるだろう。
…
ユーティリティが提供する経費削減は，巨大企業にとっても抗いがたい説得力を持つだろう。ネットワークが勝利するのだ。

第3章 デジタル時代のからくり装置

p.68

ほとんどの従業員が，他社のIT部門で行われているのと全く同じ定期保守の作業を行っている。
…
経済のあらゆる領域でIT資産が過剰に抱え込まれて，コンピュータ化による自動化がもたらしえる生産性の向上を阻害しているのである。

第6章 ワールドワイドコンピュータ

p.141

大企業は，社内コンピューティングへの過去の投資と，ユーティリティがもたらす利益のバランスを取る必要がある。
…
企業のIT部門にとっての主要課題は，何を手放し，何を手放さないかを，正しく判断することなのだ。

第7章 多数から少数へ

p.162

工業化は一般に，そして電化は特に，工場の効率化を進める一方で，多くの新しい事務作業を作り出したが，コンピュータ化によって奪われた仕事に代わる多くの新しい種類の仕事は生み出されていない。
…
コンピュータ化は新しい仕事を生み出したが，それは機械で処理できる仕事である。人間は必要とされていないのだ。

p.163

オーターたちが強調しているように，「柔軟性や創造力，全般的な問題解決能力や，複雑なコミュニケーション能力を必要とする業務―いわゆる非定型の認識作業は，今のところコンピュータにその座を明け渡してはいない」。

p.176

ワールドワイドコンピュータが生み出す経済力が要因となって，ますます多くの経済分野で利益が劇的に増加し，技能のあるなしにかかわらず，労働者はソフトウェアに取って代わられ，知的労働が世界規模で取引され，企業がボランティア労働を集約して経済的利益を収奪している現状は，ユートピアとはほど遠いと思わざるを得ない。

第10章 クモの巣

p.229

ワールドワイドコンピュータは，自己表現と自己実現のための新たなチャンスとツールをもたらすと同時に，一部の人々には前例のない能力を与えている。それは，他人の考え方と行動に影響を与えて，その関心と行動を自分たちの目的に沿うように収斂させる能力である。

第11章 iGod

p.275

インターネットの能力，範囲および有用性の拡大がもたらした最も革命的な結果は，コンピュータが人間のように考え始めることではなく，我々がコンピュータのように考えることなのだ。
…
その結果，我々の意識は希薄になり，鈍化していくだろう。

Introduction to Semi-Supervised Learning

Introduction to Semi-Supervised Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning)

自分用のメモ書きです。

1. Introduction to Statistical Machine Learning

2章以降の準備の章です。機械学習に用いるデータ，教師なし学習と教師あり学習を簡単に説明しています。

• データ
  • インスタンス（instance）
    • あるオブジェクトを表現するD次元素性ベクトル
  • 訓練事例（training sample）
    • 学習の入力となるインスタンスの集合
    • 未知の確率分布Pから抽出されたものと仮定

• 教師なし学習（unsupervised learning）
  • 代表例
    • clustering, novelty detection, dimensionality reduction
  • クラスタリング（clustering）
    • 似ているデータを同じクラスタ，似ていないデータを別のクラスタにわける
  • 階層的クラスタリング（hierarchical agglomerative clustering）
    • 一番距離が小さいクラスタをまとめていく
    • クラスタ間の距離計算の方法にはいくつかのやり方がある

• 教師あり学習（supervised learning）
  • インスタンスにラベルが付いている
  • ラベル付きの訓練事例から学習する
    • インスタンスからラベルへの関数fを求める
  • ラベルのついていないインスタンスのラベルを予測する

• • クラスタリング
    • ラベルが離散的（discrete）な値の場合，fを分類器（classifier）

• • 回帰（regression）
    • ラベルが連続的（continuous）な値の場合，fを回帰関数（regression function）

• • fの良さ
    • 損失関数（loss function，例えば二乗和誤差）の値が小さくなるようなfを見つける
    • もとの確率分布は未知なので訓練事例で計算する
    • しかし，訓練事例だけだと過学習（overfit）を引き起こす
    • ラベル付きインスタンスを訓練事例とテスト事例に分割し，テスト事例に対するエラーで評価

• • 過学習
    • 訓練事例に対しては高精度だが，新しい事例に対しては低精度
    • 訓練事例に含まれる統計的なノイズが影響

• • 計算論的学習理論（computational learning theory）
    • 訓練事例に対するエラー（training sample error）と真のエラー（true error）の関係をモデルの複雑さ（VC次元，Radamacher Complexity）で説明
    • 複雑になりすぎないように正則化（regularizing）

• • kNN (k-nearest-neighbor) classifier
    • 分類したいインスタンスの近傍k個のインスタンスについているラベルの多数決で判断
    • 素性空間（feature space）を領域にわける
    • その境界を決定境界（decision boundary）

これならわかる最適化数学

これなら分かる最適化数学―基礎原理から計算手法まで

第1章 数学的準備
第2章 関数の極値
第3章 関数の最適化
第4章 最小二乗法
第5章 統計的最適化
第6章 線形計画法
第7章 非線形計画法
第8章 動的計画法

機械学習関係の本を読んでいると，最適化問題や線形計画法，非線形計画法などがでてくることが多いです。学生時代に勉強した気もするのですが，あまり真面目には勉強していなかったので，忘却の彼方でした。
そこでざっと復習すべくこの本を手にとって読んでみました。例が豊富で非常にわかりやすいです。とてもお勧め。