論文読んだ記録の記録 3 - 機械学習ぼっち論文読み

最近、Machine teachingという分野の論文を読んだ.

https://aokn-kytjp.tumblr.com/post/168921000007/zhu-xiaojin-machine-teaching-an-inverse

機械学習(ここでは $A$ と書く)とは、究極まで突き詰めれば、あるデータ $D \in \mathcal{D}$ を使ってモデル $f(\theta)$ のパラメータ $\theta \in \Theta$ を推定する写像

$A:D \to \theta$

とみなすことができる. Machine teachingとは、(多分他にも定義とか使い方があるんだろうけれど), 最高のパラメータ $\theta^*$ を知っている「先生」が、「生徒」たる機械学習アルゴリズムがパラメータ $\theta^* \in \Theta$ をうまく推定できるようにデータ $D \in \mathcal{D}$ を作ることを目的にしている.要するに, $A(D)=\theta^*$ となるようなDを求める逆問題

$A^{-1}(\theta^*)$

をうまいこと解けないだろうか? という問題である. 当然ながら大量にデータ $D$ を与えればうまく学習できるだろうと思われるので、可能な限りデータ数 $|D|$ を小さくなるようにする. ただ、この論文(AAAI2015)ではデータ $D$ を一回渡しただけで終わってしまっていたので、一回データを渡して、学習の成果を見て、その成果を見つつまた良さげな学習データを渡して、という操作を繰り返そう、というのがICML2017でIterative Machine Teachingとして提案されていた.

https://aokn-kytjp.tumblr.com/post/168921335727/liu-weiyang-et-al-iterative-machine

問題設定などはまぁわからなくもないのだが、いったいどういう場面で使われるのだろうか? 機械学習で真のパラメータを知っててデータを生成するシチュエーションなんてあるか? なんかhigh-dimのデータがどうとか言ってたので、簡単な場合に結果がわかってるデータでモデルを弱く学習させてから本気でトレーニングするとか、そういう初期化の部分で使われる、というのならわかるのだが・・・.

この話には続きがあって、AAAI2015にはof Humansというセクションがある. 学校などで人間に何かを教えるときに教材を作れないか、みたいな話らしい. まぁ人間にそんなにうまいことパラメータ $\theta^*$ があるわけはないのだが、非常に理解しやすい話だし、博物館にいる猿に芸を仕込むとかそういうシチュエーションで使えたりしないのかなぁとか妄想してしまった.