Julia の TensorToolbox を使うと気軽に CP 分解ができます． github.com 例えば，ランダムな4×4×4×4テンソルXをCP分解するなら using TensorToolbox X = rand(4,4,4,4) F = cp_als(X, 3) でOKです．ここで，ターゲットランクは3にしました．これで，F.lambd…

カーネル回帰においてデータ数が多くてカーネル行列が巨大になると，逆行列の計算がボトルネックになる．そういう時は random feature map を用いて前処理行列を構成して線型方程式を反復法で高速に解く処方箋(この文献のアルゴリズム１参照）もあるみたい．…

ようやく実装できた．参考にした論文は以下の２つ． proceedings.neurips.cc ojs.aaai.org それにしても，こんなに著名な手法のjulia実装でどこにもあがってないのはちょっと驚き． サンプリングの方法はいろいろあるんだけど，最も古典的（？）と思われるラ…

通常，カーネル重回帰では入力がベクトル，出力がスカラーの関数を学習する訳ですが，入力も出力もベクトルにしたいことがあります．そんなときに使える手法を次の文献で勉強しました． link.springer.com ieeexplore.ieee.org いろいろ調べても実装している…

よく研究で使うのでメモがてら，ここにおいておこう． 行列Kの固有値を大きい順にrank個求める． 計算手法としては，lapack, lapack_sym, arpack, nys, randomizedの5種類． lapackとarpack以外は入力行列が対称であるという条件を課しているので注意． nys…

数値計算で逆行列の計算を避けましょうというのはもはや常識と思います．例えば，givenの行列AとBについて，C = inv(A) * B を計算したいときは，左除算演算子\を使って using LinearAlgebra C = A \ B とした方が速いです．実際に using BenchmarkTools n =…

いままで実装してきたRandomizedな方法での固有値計算(RED)では，アルゴリズム中にランダム行列と入力行列との積を計算する必要がある．これにはO(nmr)かかる訳だけど，SRFTとかいう方法でO(nm log r)に高速化できるらしい．SRFTというのは特別な条件を満た…

n×nの正定値対称行列Aの固有値を大きい順にr個求めたいです．これを高速に計算するアルゴリズムとしてRandomized eigenvalue decomposition via Nystrom Methodを実装しました．以下の論文のFig.6.を実装しました． arxiv.org 前に実装したREDは固有値を大き…

n×nの実対称行列Aの固有値を大きい順にr

Julia標準搭載のeigenを使うと，N×N行列Aの固有値分解がO(N^3)になっちゃうと思ってたからArpack使ってたんだけど，Arpackはそもそも疎行列向きっぽい． どうやら入力行列Aが実対称行列ならば val, vec = eigen(A, 1:r) で小さい順に固有値をr個とりだせるみ…

Juliaで，n×m行列Xに，n次元の特徴量がm個格納されていて，これを，trainとvalidに分けたい． 要は，列をランダムにk個選んだn×k行列とn×(m-k)行列をつくりたい． 手っ取り早い方法がわかんないんだけど，いまのところ，暫定のマイベストプラクティスはこん…

カーネル回帰のjulia実装が研究で必要になったから１０分で実装した． とりあえず，前に書いたカーネルを呼ぶ式． function rbf_inners(X,Y,c) rbf_inner(x,y,c) = exp( -c*norm(x-y)^2 ) d, n = size(X) d, m = size(Y) K = zeros(m,n) for j = 1:n for i =…

（解決済み） 非深層学習系の提案手法を実装するならJulia一択だと思うのですが，既存の比較手法をすぐに試せないとpython民に戻りたくなりますね．．LightGBMで多クラス分類をしようとして，ちょっと詰まったので，二度と再び本件で躓かないためのマイメモ…

カーネルPCAを実装した．参考にしたのは 赤穂先生のカーネル本とこの修士論文． 「RKHS内でのΦ(x)の平均を簡単のためにゼロにする」という巷の説明をあちこちで見かけるが，無限次元空間でΦ(x)の平均をゼロにする方法は自明じゃない．この修論のappendixがと…