読書と社会科学（内田義彦）

読書と社会科学 (岩波新書)

読書の意義を深く考えさせてくれる本です。読書をすることによって，自分の眼の構造を変え，世の中の見方を変える。世の中を理解するための手段（概念装置）を獲得する。単純に情報を得るためだけに読書をするのか，それとも，新しい視点・別の視点を得るために読書をするのか，を意識しておくことが大切です。

メモ

I 「読むこと」と「聴くこと」

p.3

本をではなくて，本で「モノ」を読む。これが肝心で，つまり，真の狙いは本ではなくてモノです。

p.39

一読明快に目に映るかぎりで読みとばして何等の疑問も生じない無神経な人も多いですけれども，それでは本を読んだことにはなりませんね。

p.74

本当の批判力とは，俗眼に見えない宝を――未だ宝と見られていない宝を，宝として――発見する能力です。

II 自由への断章

p.99

学問を「学問として」うけとっちゃ駄目だ。ずぶの素人になり切ること。学問によりかからず，自由を希求する一個の自由な人間として，自分の眼をぎりぎり使い，自分の経験を総動員しながら学問にきく。そういう体あたりの努力によって，学問は初めて有効に身についてくるものです。

III 想像現場の社会科学

p.136

見得たこと，知ることによって，同時にいかに自分が知らなかったかをも知るということを強調しておきましょう。

p.157

本を読むことは大事ですが，自分を捨ててよりかかるべき結論を求めて本を読んじゃいけない。本を読むことで，認識の手段としての概念装置を獲得する。これがかなめです。

p.158

いま習いつつあるこの概念装置，あるいは専門語の意味はどこにあるのか。専門語，あるいは概念装置を使うことによって，いままで見えなかったものが果たしてどのように見えるようになったかどうか。

Introduction to Semi-Supervised Learning #5

Introduction to Semi-Supervised Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning)

1. Introduction to Statistical Machine Learning

2. Overview of Semi-Supervised Learning

3. Mixture Models and EM

4. Co-Training

5. Graph-Based Semi-Supervised Learning

5.1 Unlabeled data as stepping stones

• グラフに基づく半教師あり学習の直感的説明
  • 同じ単語を含む文書を線（エッジ）で結ぶ
  • ラベルあり文書のラベルをエッジに沿って伝搬

5.2 The graph

• 訓練事例に対してグラフを構築
  • ノードが事例（ラベルあり，ラベルなし）
  • エッジの重みw_ijは事例x_iとx_j間の類似度
  • w_ijが大→同じラベル（y_i = y_j）

• エッジの重みの定義が大事
  • 完全連結グラフ（fully connected）
    • すべてのノード間に重みを定義
    • w_ij = exp(- ||x_i - x_j||^2 / 2σ^2)
    • Gausiian kernel，もしくは，Radial Basis Function (RBF) kernelと呼ばれる
  • k近傍グラフ（kNN）
    • 距離が近いk個のノードに対してだけ重みを定義
    • 対称ではない
    • 経験的にはkの値が小さい方がよい
  • ε近傍グラフ（εNN）
    • 距離がε以下のノードに対してだけ重みを定義

5.3 Mincut

• source: positive label instances
• sink: negative label instances
• グラフ上におけるsourceからsinkへの流れをカットするエッジ集合にうち最小のものを見つける。

• カット：グラフを二つの部分に分けること。
• カットサイズ：カットしたエッジの重みの総和

• source側の部分グラフのノードにpositiveラベル，sink側の部分グラフのノードにnegativeラベルを付与。

• 正則化損失最小化問題
  • ∞\sigma(y_i - f(x_i))^2 + \sigma w_ij (f(x_i) - f(x_j))^2
  • 第1項がラベルありデータに対する正則化項
  • 第2項がラベルなしデータに対する正則化項

5.4 Harmonic function

• ラベルありデータに対しては，

f(x_i) = y_i
つまり，与えられたラベルと同じ値をとる。

• ラベルなしデータに対しては，

f(x_j) = \sigma w_jk(f(_k)) / \sigma w_jk
つまり，自分の周りのノードのラベルの重み付き平均をとる。

• 反復手続きによってf(x_j)を計算できる。
• 行列演算で解くこともできる。

5.5 Manifold Regularization

• Mincutとharmonic functionは
  • トランスダクティブな学習アルゴリズム
  • ラベルに誤りがあった場合にうまくいかない

• Manifold regularization
  • harmonic function自体の複雑さを正則化項に加える。
  • ラベルありデータに対してもラベルなしデータと同じように損失関数を計算する。

5.6 The Assumption of graph-based methods

• リンクの強さ（エッジの重み）とラベルがスムースであることが前提
• スムースさはspectral graph theoryで説明できる
• グラフの構造とエッジの重みがとても重要

未来思考（朝永正博）

未来思考 10年先を読む「統計力」

様々な情報や報道に対して，人口推計データに基づく経済学的・社会学的な補足をしています。信頼性の高い統計データ（例えば，国連が1963年に行なった2000年の人口推計の誤差は0.09%！）を用いることで，より事実に即した分析を行なうことができます。報道された情報を鵜呑みにするのではなく，そこで示された統計データの妥当性（バイアスの有無など）をしっかり見据えながら，分析・判断していく必要があります。

メモ＆コメント

第1章 日本の少子化，世界の少子化

p.36

社会の安定は，子どもの出生数に大きな影響を与えることが分かります。

現在の少子化問題の原因はこれだけではないと思いますが，産みたいとおもったときに，産める環境があることは重要な要因です。

第3章 産む自由，生まれる義務

p.87

2007年度の調査では，全国で140万人を超える生徒が，就学援助を受けています。
・・・
義務教育の年齢の子供のうち，14%近くが，援助なしに満足に義務教育を受けられない状態なのです。

この数字は私にとっては驚きでしたが，これが格差社会の現実なのでしょう。

第7章 仕事というぜいたく

p.191

理屈の上では，正規雇用の給料を下げて，非正規雇用に回すのが道理です。同一労働の場合，失職のリスクが低い分だけ正規雇用の給料を下げ，リスクが高い分だけ非正規雇用の給料を上げるわけです。

稼ぎたい人はリスクを取ってフリーエージェント化ということなのでしょうが，難しい問題です。安定収入を得たい人が正規雇用にとどまることで，正規雇用を多く抱える企業が衰退していきそうな気がします。

p.192

非正規雇用が増えていること自体が問題なのではなく，「非正規雇用者の待遇が，リスクの割によくないこと」が問題なのではないでしょうか。

第8章 もし世界がひとつの村だったら

p.232

統計を眺めていて気づくのは，「グローバル化が絶対的な貧困を減らす」という事実です。

p.234

世界は全体として不平等になってきているようです。また，総合してみると，格差を拡大する大きな理由はグローバル化ではなく，技術進歩のようです。

人間がこれまでやってきたことが，機械やコンピュータに代替されていくことで，仕事がなくなっていく人が増えていく。代替できない，付加価値の高い仕事へシフトしていける人は少数で，大部分の人が取り残されていってしまう。ということなのでしょうか。

第9章 日本は変わるのか

p.263

成長会計からわかることは，「人口減少の影響はそれほど大きくない」こと，そして，「より生産性の高い産業に資本と労働力を投入する（全要素生産性を上げる）ことで，まだ経済成長できる」ということでもあります。

このあたりは，少しだけ未来に希望がもてるところです。生産性の低い産業から生産性の高い産業への移行がうまく進むかが鍵ですね。

構造体の定義

Cの場合は

struct foo {
    int a;
    int b;
};

int main() {
    struct foo hoge;
}

C++の場合は

struct foo {
    int a;
    int b;
};

int main() {
    foo hoge;
}

となります。C++では，構造体で新しいデータ型を定義できますが，Cでは，構造体の名前は単なるタグで，型名ではないことによります。

フリー（クリス・アンダーソン）

フリー 〈無料〉からお金を生みだす新戦略

「ロングテール」という言葉で一躍有名になった，ワイヤードの編集長クルス・アンダーソンの著書です。フリーにはどういうもの（直接的内部相互扶助，三者間市場，フリーミアム，非貨幣市場）があって，それぞれがどういうものかについて多くの事例があげられています。

巻末付録の無料のルールがすべてな感じなので，そこだけ読めば良い気もしますが，「無料のルール」をきちんと理解するには，やはり本文全文を読む必要があると思います。

世の中がフリーに向かっている（なっている）のは，紛れもない事実です。フリーをうまく理解＆コントロールし，どこに価値を見出すかをしっかりと考えてビジネスをしていく必要があります。また，「潤沢さ」と「希少さ」に対する感度をもっておくことが重要だと思いました。

メモ

第3章 フリーの歴史

今日，希少なのは，元米国労働長官のロバート・ライシュが「シンボリック・アナリスト」と呼ぶ，知識と技能と抽象的思考をあわせ持つ有能な知識労働者だ。むずかしいのは，人間とコンピュータの仕事の最適な配分を考えることで，その線引きは常に動いてる。
p.74

第5章 安すぎて気にならない

技術者の仕事はどんなテクノロジーがためになるかを決めることではない，とケイにはわかっていた。テクノロジーを安く，使いやすくし，誰もが使えるようにユビキタスなものにして世界中に普及させ，あらゆる場所に届けることだ。それをどう使うかはユーザが決めればいい。
p.117

第15章 潤沢さを想像する

ドクトロウの描く世界で希少なのは「ウッフィー」と呼ばれる＜評判＞だ。それはデジタル通貨で，良いおこないをした人に与えられ，悪いおこないをした人は没収される。
p.281

第16章 「お金を払わなければ価値のあるものは手に入らない」

フリーと競争するには，潤沢なものを素通りしてその近くで希少なものを見つけることだ。
p.308

フリーは魔法の弾丸ではない。無料で差し出すだけでは金持ちにはなれない。フリーによって得た評判や注目を，どのように金銭に変えるかを創造的に考えなければならない。
p.310

Introduction to Semi-Supervised Learning #4

Introduction to Semi-Supervised Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning)

自分用のメモ書きです。

1. Introduction to Statistical Machine Learning

2. Overview of Semi-Supervised Learning

3. Mixture Models and EM

4. Co-Training

4.1 Two views of an instance

• 固有名詞分類（named entity classification）における事例の素性の二つの見方
  • 固有名詞そのものの単語列
  • 固有名詞の周辺にある単語列

4.2 Co-Training

• 素性空間を二つに分割:素性空間１，２
• 素性空間１でラベル付き事例を学習：分類器１
• 素性空間２でラベル付き事例を学習：分類器２
• 分類器１でラベルなし事例を分類し，信頼度の高いk個を分類器２の学習データに追加
• 分類器２でラベルなし事例を分類し，信頼度の高いk個を分類器１の学習データに追加
• 素性空間１でラベル付き事例＋追加事例を学習：分類器１
• 素性空間２でラベル付き事例＋追加事例を学習：分類器２
• 分類器１でラベルなし事例を分類し，信頼度の高いk個を分類器２の学習データに追加
• 分類器２でラベルなし事例を分類し，信頼度の高いk個を分類器１の学習データに追加
• ラベルなしデータがなくなるまで繰り返す

• 二つの分類器が互いに教えあう。
• Co-trainingはラッパーメソッドなので，分類結果にスコアを付与する分類器であれば使える。

4.3 The assumptions of co-training

• 二つの見方のそれぞれでも十分良い分類器がつくれること。
• クラスラベルに対して二つの見方が条件付き独立であること。

• Co-EM
  • Co-TrainingのEMアルゴリズム版
  • それぞれの見方の確率モデルを更新していく

4.4 Multiview Learning

• 損失関数（loss function）: c(x, y, f(x))
  • 事例x, ラベルy, 分類器による予測f(x)
  • 回帰では二乗誤差: (y-f(x))^2
  • 分類では0/1 loss: 1 if y ≠ f(x), and 0 otherwise

• 経験損失（empirical risk）
  • 訓練事例に対する損失関数の平均

• 経験損失最小化（empirical risk minimization, ERM）
  • 訓練事例の間違いを最小化する。
  • オーバーフィッティングしてしまうことがある。

• 正則化項（regularizer）の導入
  • fの関数
  • fがスムースであるほど0に近づく
  • fがジグザグしていると値が大きくなる

• 正則化損失（regulalized risk）
  • 経験損失と正則化項の線形和
  • 正則化項はパラメータ空間中の球面半径を制約づけるもの

• 半教師あり学習では，正則化項は，ラベルありデータに対する正則化項と，ラベルなしデータに対する正則化項の線形和になる。

• Multiview Learning
  • k個の見方を持ったCo-trainingの一般化
  • k個の学習器
  • 可能であれば素性分割
  • 異なるタイプの学習器を同じ素性集合に対して適用するケースをアンサンブル学習という
  • ラベルありデータに対する正則化損失の総和と半教師あり正則化項の総和の線形和を最小化する
  • 半教師あり正則化項は，ラベルなしデータに対するk個の仮説の不一致度

• Two-View Linear Ridge Regression
  • view: x=[x1,x2]
  • regression function 1: f1(x)=w^T * x1
  • regression function 2: f2(x)=v^T * x2
  • 以下を最小化
    • \sigma(y-f1(x))^2 + \sigma(y-f2(x))^2 + λ1||w||^2 + λ1||v||^2 + λ2\sigma(f1(x)-f2(x))^2
  • リッジ回帰：L2-ノルムが正則化項

自由をつくる 自在に生きる

自由をつくる 自在に生きる (集英社新書)

学生時代から森博嗣氏の本はよく読んでいました。S&MシリーズやVシリーズは大好きな小説でした。
この本では，森博嗣氏が「自由」に対してもっている考え方が述べられています。何かに支配されいることに気づくこと，自由を求めて行動することが大事です。

メモ

1章 人生の目的は自由の獲得である

p18

自由というのは，「自分の思いどおりになること」である。自由であるためには，まず「思う」ことがなければならない。次に，その思いのとおりに「行動」あるいは「思考」すること，この結果として「思ったとおりにできた」という満足を感じる。その感覚が「自由」なのだ。

2章 他者からの支配，社会からの支配

p.63

目指すものは，自分で決めなければ意味がない。本当の自由がそこから始まる目指すものへ向けて，少しづつ近づいていく自分，それを体感する楽しさ，そして，おそらくは辿り着けないかもしれないそのゴールを想うときの仄かな虚しさ，でも，とにかく，その前向きさが，自由の本当の価値だと僕は想う。

4章 支配に対するレジスタンス

p.96

自由をぼんやり思っているだけでは改善はしない。なんらかのアクションを起こさなければ，現実は変化しない。

5章 やっかいなのは自分による支配

p.157

…，「〜のつもりになって考える」「〜のつもりになって感じる」という具合だ。このような習慣を身につけると，自然に今の自分に囚われない客観的な視点を持つようになる。これこそが，創作的な仕事には最も強力な武器となる。「研ぎ澄まされた刃」の意味である。

p.176

…人間が偉業を成し遂げられるのは，すべて，小さな前進，小刻みな努力を積み上げた結果である。先を見越した優れた計画が不可欠であるし，なによりも，それを実行しようという決心，やり始める最初の一歩に勇気がいる。
…
目的が見えていて，自分自身で計画したノルマは，一歩一歩の前身の手応えが嬉しい。この感覚は，やってみると必ず体感できるもので，これだけでも充分楽しい。たとえ目標が達成されなくても日々の充実感は得られるし，これ自体がもう「自由」なのではないかと思えるほどである。