100年以上前に提案された主成分分析を含めて，多変量解析は長いことたくさん研究されてきました．もはや訳がわからんくらいいろいろな手法がありますが，やってることは割と単純です．最近読んだarXiv記事で良さげなのがありました． https://aokn-kytjp.tum…

skip-gramモデル*1をwikipediaなり小説なり大量の文章に当てはめて，パラメータを最尤推定することで文章中の各単語にベクトル表現を与えることができます．skip-gramを用いて単語のベクトル表現を得る手法はword2vecとも呼ばれていて，数年前に一世を風靡し…

最近、Machine teachingという分野の論文を読んだ. https://aokn-kytjp.tumblr.com/post/168921000007/zhu-xiaojin-machine-teaching-an-inverse 機械学習(ここではと書く)とは、究極まで突き詰めれば、あるデータを使ってモデルのパラメータを推定する写像 …

(勢いで第1回を書いたけど早速書くのが面倒になってきた…．) 第1回の記事で書きましたが，入力とについて を出力値とするのがニューラルネットワークでした．ニューラルネットワークの使い道はいろいろありますが，典型的なものでは，線形回帰などと同様に，…

Manifold regularization *1は，説明変数と応答変数からなるデータ列と，データの"relation"が得られているときに損失 を最小化することで関数を学習する. Belkin et al. (2006)ではにカーネルを利用したが，Weston et al. (2008)ではDeep neural networkが…

最近，Tumblrで自分が読んだ論文の記録を付けています https://aokn-kytjp.tumblr.com/ それなりに良かったか悪かった論文をピックアップして(暇な時に)記録していこうと思います https://aokn-kytjp.tumblr.com/post/168710527072/he-xiangnan-et-al-neural…

最近，というか数年前からニューラルネットがアツいです．世界史はよく知りませんが，第3次ブームだそうです．きょうびニューラルネットを無視して線形で何かをやろうとすると，すぐ非線形がどうとかディープとの比較がどうとか言われてボコボコにされます．…