まぃふぇいばりっと

機械学習やってます.Julia大好きです.勉強したことの殴り書きです.

数理科学 2020年 11 月号 情報幾何学の探求を読んだ.

すっごい勉強になった.自分の専門分野もろかぶりだった. 情報幾何と機械学習あたりやっている人にとっては役に立つと思う.

特に印象に残ってるのは次の3つ.

江口真透:情報幾何学入門

1.通常の最小二乗法はユークリッド幾何の三平方の定理

2.目的変数にガウス分布を仮定して最尤推定するとKL情報量の三平方の定理

3.γロス最小化でγダイバージェンスでの三平方の定理

が自然に出てくる話.3のロバスト性のコメントとか面白い.直近でγダイバージェンスでNMFとかやってたのでかなり整理された.三平方の定理を中心にして幾何を整理するの,自然で分かりやすい.

駒木文保:Bayes統計の情報幾何

事前分布を雑に決めると,パラメータ変換に対し不変じゃなくて嬉しくない.そこでJeffreysの事前分布(パラメータ空間の体積みたいなもの)を採用しましょという内容.プロパーという性質を満たす事前分布に基づいた予測密度が許容的になる話など大変勉強になった.自分が考案したモデルのパラメータ空間の体積が運よく解析的に求まったが,何が嬉しいのか分からなかった.なので,長らく,パラメータ空間の体積の意味を知りたかった.そこでたまたまこの記事を見かけて,目から鱗.8節に,低ランク行列の集合の話が1行だけ書いてあるがもっと詳しく知りたい...

村田昇:機械学習における確率的推測

そもそも機械学習で確率分布を考えるのなぜか,に始まり,アルゴリズムを幾何的に捉えるとどう嬉しいのかを具体的に紹介してくれている.相変わらずイラストが多くて理解が進む(情報理論の基礎もsketchが多くて助かった).emアルゴリズムやboostingの説明が直感的に理解できる.勉強になったを通り越して,私の研究を進めるのに役に立った.


他にも深層学習の数理に関する記述も多くあったし,情報幾何のもっと基礎的なトピックもあった.量子情報幾何の話もあった.NTKと情報幾何に関心がある人は読んでみたらよいと思う.最近のトピックも載っていてよかった.

日本語で書かれた情報幾何に関する文献は少ないよね.(まぁ英語読めばいいんですが)

数理科学つながりでいうと,2018年の8月号にも機械学習や情報幾何に関するトピックが載っていた.こっちも勉強になった記憶がある.