よく研究で使うのでメモがてら，ここにおいておこう． 行列Kの固有値を大きい順にrank個求める． 計算手法としては，lapack, lapack_sym, arpack, nys, randomizedの5種類． lapackとarpack以外は入力行列が対称であるという条件を課しているので注意． nys…

いままで実装してきたRandomizedな方法での固有値計算(RED)では，アルゴリズム中にランダム行列と入力行列との積を計算する必要がある．これにはO(nmr)かかる訳だけど，SRFTとかいう方法でO(nm log r)に高速化できるらしい．SRFTというのは特別な条件を満た…

n×nの正定値対称行列Aの固有値を大きい順にr個求めたいです．これを高速に計算するアルゴリズムとしてRandomized eigenvalue decomposition via Nystrom Methodを実装しました．以下の論文のFig.6.を実装しました． arxiv.org 前に実装したREDは固有値を大き…

n×nの実対称行列Aの固有値を大きい順にr

Julia標準搭載のeigenを使うと，N×N行列Aの固有値分解がO(N^3)になっちゃうと思ってたからArpack使ってたんだけど，Arpackはそもそも疎行列向きっぽい． どうやら入力行列Aが実対称行列ならば val, vec = eigen(A, 1:r) で小さい順に固有値をr個とりだせるみ…

カーネルPCAを実装した．参考にしたのは 赤穂先生のカーネル本とこの修士論文． 「RKHS内でのΦ(x)の平均を簡単のためにゼロにする」という巷の説明をあちこちで見かけるが，無限次元空間でΦ(x)の平均をゼロにする方法は自明じゃない．この修論のappendixがと…

KLダイバージェンスを最小化するNMFはよく知られていますし，sklearnで'beta_loss=1'にすればすぐに利用できます． 今回はKLダイバージェンスの拡張であるαダイバージェンスを小さくするNMFを実装しました． この論文の更新式をさくっと実装しました． www.s…

前回，補助行列が一つだけのNMMFの実装を公開した． 今回は同様に，これらの論文にのっとり，補助行列が２つある場合のNMMFを実装した． 行列X,Y,Zを，WH, AH,WBに同時に分解するというタスクである．コスト関数はKL情報量．（LSの場合の更新式ってどこかに…

複合データ分析技術についてこのpdfで勉強してたら，NMMFというものを知った． ちゃんとした議論は，IJCAIでしている． www.ijcai.org 人工知能学会の予稿や論文，絵本のパターン抽出や，和文論文が参考になる． 私も研究で使うことになったのでささっと実装…

重み付き非負行列分解というタスクがある．欠損ありのNMFとかに使える． 研究に必要だったので，オーソドックスな次の手法を実装した． www.semanticscholar.org 実装は簡単で普通のNMFの更新式をちょっと変えるだけ． フロベニウスノルム尺度のものとKL尺度…

左確率行列分解（Left-Stochastic Matrix Factorization）というタスクがある．NMFに対称性と列規格化を要請する．これでうまいことクラスタリングができる． 研究で比較実験を行うためにクラスタ数2の場合のみを実装した． jmlr.org アルゴリズム中に確率単…

非負の対称行列を低ランク二重確率行列で近似するタスクに関する論文を読んだ． ここでいう近似は，KL情報量の意味での近似． jmlr.org 論文中のAlgorithm 1を実装した． using LinearAlgebra function D_KL(A,B) (N, M) = size(A) dkl = 0.0 for i=1:N for …

3階のテンソルTをST-HOSVD, T-HOSVDより正確に高速に１ランク近似できる手法をJulia言語で実装した． あ，ここでいう階っていうのは，rank(T)じゃなくて，ndims(T)ね．3-waysとか，3-orderってこと．日本では，ndimsを階っていうので，（CP）ランクと混ざっ…

Sequential nonnegative Tucker decomposition based on low-rank approximation(lraSNTD) を実装した．アルゴリズムは原論文を参考にした． www.semanticscholar.org 前回のlraNMFを活用して高速に非負タッカー分解をしようっていうノリ． using TensorTool…

すごく速くNMFができるらしい2012年の論文を実装しました． ieeexplore.ieee.org epsilon を 0 にするとロスがNaNになるので注意．しばしばロスがNaNになるので使うときはverbose=trueにして様子を見ること推奨． using LinearAlgebra using Random using Ar…

αダイバージェンスやβダイバージェンスでのNMFを一般化するために，αβダイバージェンスというものを定義します．入力行列と出力低ランク行列間のαβダイバージェンスが小さくなるようなNMFアルゴリズムをJuliaで実装しました．αβダイバージェンスやアルゴリズ…

こないだのJuliaでNMFしたコードを一般のαダイバージェンスの尺度でNMFできるようにしました． αダイバージェンスの定義はここを参考にしました． 更新式はこの論文の2節に書いてあります．なんと更新式の一部をα倍したり1/α倍したりするだけ，簡単！ using …

このスライドのp26, アルゴリズム2をJulia言語で実装しました． https://mycourses.aalto.fi/pluginfile.php/1249889/mod_resource/content/1/Lecture6.pdf 素朴なHOSVDや，T-HOSVDより効率よく低ランク近似が実現できているらしいです． ArpackだとフルHOSV…

ここにある更新式を見て，実装した．白抜きの丸はelement-wiseの積だと理解した． https://www.jjburred.com/research/pdf/jjburred_nmf_updates.pdf収束判定条件はsklearnのNMFの標準設定とできるだけ揃えた． scikit-learn.org以下実装． using LinearAlge…