線形代数
ようやく実装できた．参考にした論文は以下の２つ． proceedings.neurips.cc ojs.aaai.org それにしても，こんなに著名な手法のjulia実装でどこにもあがってないのはちょっと驚き． サンプリングの方法はいろいろあるんだけど，最も古典的（？）と思われるラ…
通常，カーネル重回帰では入力がベクトル，出力がスカラーの関数を学習する訳ですが，入力も出力もベクトルにしたいことがあります．そんなときに使える手法を次の文献で勉強しました． link.springer.com ieeexplore.ieee.org いろいろ調べても実装している…
よく研究で使うのでメモがてら，ここにおいておこう． 行列Kの固有値を大きい順にrank個求める． 計算手法としては，lapack, lapack_sym, arpack, nys, randomizedの5種類． lapackとarpack以外は入力行列が対称であるという条件を課しているので注意． nys…
いままで実装してきたRandomizedな方法での固有値計算(RED)では，アルゴリズム中にランダム行列と入力行列との積を計算する必要がある．これにはO(nmr)かかる訳だけど，SRFTとかいう方法でO(nm log r)に高速化できるらしい．SRFTというのは特別な条件を満た…
n×nの実対称行列Aの固有値を大きい順にr
Julia標準搭載のeigenを使うと，N×N行列Aの固有値分解がO(N^3)になっちゃうと思ってたからArpack使ってたんだけど，Arpackはそもそも疎行列向きっぽい． どうやら入力行列Aが実対称行列ならば val, vec = eigen(A, 1:r) で小さい順に固有値をr個とりだせるみ…
こないだのJuliaでNMFしたコードを一般のαダイバージェンスの尺度でNMFできるようにしました． αダイバージェンスの定義はここを参考にしました． 更新式はこの論文の2節に書いてあります．なんと更新式の一部をα倍したり1/α倍したりするだけ，簡単！ using …
このスライドのp26, アルゴリズム2をJulia言語で実装しました． https://mycourses.aalto.fi/pluginfile.php/1249889/mod_resource/content/1/Lecture6.pdf 素朴なHOSVDや，T-HOSVDより効率よく低ランク近似が実現できているらしいです． ArpackだとフルHOSV…
行列の低ランク近似がSVDによって実現されるように，テンソルの低（タッカー）ランク近似がHOSVDで実現できます． なお，Eckart Youngの定理より，SVDがフロベニウスノルムの意味で最良低ランク近似を実現しますが，テンソルの場合はそのような保証はないと…
IBISに参加してみて，「行列分解の研究をしているの行列分解をあんまりよく理解していないな，確率的主成分分析でも勉強するか」と思い，中島変分ベイズの3-5,3-8,6章のほとんど,7章の全てを読んでみた． 須山ベイズを読み込んでいたので，スムーズに読めた…
原 啓介「線形性・固有値・テンソル」を読んだ． とてもとても良かった． 物理で線形代数には慣れ親しんでいたはずだけど，いつの間にか私が物理の計算で使うのは線形代数ではなく行列演算になってしまっていて，多重線形性とテンソルの関係とかすっかり忘れ…
