論文読んだ記録の記録 1
最近，Tumblrで自分が読んだ論文の記録を付けています https://aokn-kytjp.tumblr.com/
それなりに良かったか悪かった論文をピックアップして(暇な時に)記録していこうと思います
行列分解とNNの出力を並べてベクトルにしてもう一層NNくっつけるみたいな感じのようです．なんか今日見たツイート
線形モデルと深層モデルを組み合わせるTensorFlow Wide & Deepについて。日本語での解説はめずらしい。 https://t.co/Ql7NFIkLDe pic.twitter.com/bKAIJrLcn3
— Kazunori Sato (@kazunori_279) 2017年12月19日
と根本は同じっぽく，流行ってる(流行ってた)んですかね．くっつけただけでは?という気もしなくもないですが，行列分解とNNで違う特徴をcaptureできるのでくっつけると良いそうです．とにかくくっつけると良い．どんどんくっつけていきましょう．
これは主張が強い割に言ってることショボい感じがあって少しイラッとした論文でした．巧妙に答えを与えていってる感じがある．論文の書き方は見習わないといけない・・・．
これはTwitterで回ってきて読みました．サーベイ論文です．読み物としては面白かったですが，この界隈に詳しいっぽいアメリカ人っぽい人に割と辛辣なコメントされてました．話題が古いらしい．学習理論とか必要ないので(証明とかも無いですが)1年ぐらい前までやられてた研究を俯瞰するには良さそう．この論文のセカンドオーサーのRene Vidal先生?はCVPR2017にニューラルネットのGlobal optimalityについての論文を出してます：
個人的にはこっちのほうが面白かった．さっき紹介したarXivでのサーベイ論文の文献30番です．証明ちゃんと読んでないけど，いくつかの仮定の下で局所最適解が大域最適解であることをバシッと証明したっぽいので重要な気がする．ただ，こんなに簡単に議論できるのかが未だに信じられない．正しいにせよ間違ってるにせよ，重要な論文であると認識してる人はそれなりにいるっぽくて，ググったら日本人のslideshareとかも出てくるんで読んでみると良いかもしれません．
これはNNの学習の論文です．NNの学習にNNを使うっぽく，AIがAIを産んだとかなんとかかっこいいこと言ってる人を最近どっかで見た気がする．これのことを言ってたんだろうか? AIはAIを産んでません．これはarXivで2016年に出てたやつですが，ICML2017に出るまで時間あったっぽくてそれの理論もICML2017に出てました
やっぱりDeepMindすごいですね．
