論文読んだ記録の記録 2 - 機械学習ぼっち論文読み

Manifold regularization *1は，説明変数 $\boldsymbol x_i \in \mathbb{R}^{p}$ と応答変数 $y_i \in \{0,1\}$ からなるデータ列 $\{(\boldsymbol x_i,y_i)\}_{i=1}^{n}$ と，データの"relation" $\boldsymbol W=(w_{ij}) \in \{0,1\}^{n \times n}$ が得られているときに損失

$\sum_i \ell(f(\boldsymbol x_i),y_i) + \sum_{i,j} w_{ij}\|f(\boldsymbol x_i)-f(\boldsymbol x_j)\|^2$

を最小化することで関数 $f(\cdot)$ を学習する. Belkin et al. (2006)では $f(\cdot)$ にカーネルを利用したが，Weston et al. (2008)ではDeep neural networkが利用された．Westonらの論文はICML(2008)で発表されたあと，2012にジャーナルになっている．もともとのmanifold regularizationが引用3,000回超，Westonらの方法が引用500回程度と考えればやっぱり常識として知っておくべき手法ではあると思う．

https://aokn-kytjp.tumblr.com/post/168816084737/weston-jason-et-al-deep-learning-via

manifold learningは2010年に入る前にやり尽くされたという印象ですが，AS2017でLLEの理論解析がでてるっぽかったりして未だに理論解析が続けられているのと，ディープを取り込んでパワーアップしたものを研究してる人がちらほらいるという印象です．

https://aokn-kytjp.tumblr.com/post/168745964827/basri-ronen-and-david-jacobs-efficient

これはDeep learningの浅い層はデータの多様体の構造を捉えているというようなことを綴ったarXivで，まぁそうだろうな，という気持ちにはなりました．

まぁでも，多様体学習は流行が終わった分野という実感があって，盛り返すこともなさそうだし今後どういう感じで発展していくのか興味はあります．

*1:Belkin, Mikhail, Partha Niyogi, and Vikas Sindhwani. "Manifold regularization: A geometric framework for learning from labeled and unlabeled examples." Journal of machine learning research 7.Nov (2006): 2399-2434.