LRA，SOM版 about exametrika

[sh0j1ma]

P205の件、おっしゃるとおりです。こちらは、テキストの方が間違いでした。分母がR(T-1)ではなくT-1が正解です。Errataに反映させました。あざっす！

そうなんす。SOMは終わりどころが分からないんですよね。おっしゃるとおり。収束するまで回すと、過学習（過適合）になっちゃうかもなー、なんて気持ちもあって、やりすぎない感じで止めたほうがいいのかなーという。。。BICを基準に回せばいいのかもしんないですね。

また、回しすぎるとユーザーを待たせるので快適じゃなくなるのかなー、とかですね。。。結構、いい加減に作っているのがどんどんバレていってますね笑　とはいえ、小杉さんをエンターテインできているのならば、それだけでやったかいがあったというものです笑

そもそもSOMは機械学習系ってこともあって、alphaやsigmaなどチューニングパラメタが多くて、制御するのが難しいですよね。そんなこんなでSOMのメカニズムからは少しずつ心が離れていって、GTMに行ったのでした笑

[sh0j1ma]

おおおー、収束はええぇええ！！！！！いいかも！

[kosugitti]

あい、maxT=100です。確かに謎エルボーですねえ

[sh0j1ma]

げげ、抜けてますね。。。ご指摘あざっす！プログラム更新しておきました。
modフォルダのModule_IRP.nbのemclusモジュールの中、clsrefmat=...の下に
If[mic == 1, clsrefmat = Sort /@ clsrefmat];
を追加しておきました。あざっす！！！！

[sh0j1ma]

もう、、、マジですみません。。。おっしゃるとおりです！！すみません！
当該行を転置してソートを掛け、転置で戻すようにしました。
（列ごとにソートをする命令がない（知らない）ので）
If[mic == 1, clsrefmat = Transpose[Sort /@ Transpose[clsrefmat]]];
いつもいつもあざっす！

[kosugitti]

よかったでーす！

[kosugitti]

データの方でシードを決めちゃうのはアイデアですねえ！
Rの方でもデフォルトはこれで，かつ，seedをオプションで入れられるようにします！

[kosugitti]

SOM，やってみました。あー，楽しい。
これは100回回し切るようになってるんですね。試しに200,1000,2000とあげていったら，どんどんloglikが大きくなっていくので「ほおお？」と思ってます。終わりどころがわからない。
一つの基準として，Rank Reference Matrixが1セルあたり平均0.001以上変化しなくなったら止める，というのを考えました。
847回まわりました。

[kosugitti]

BICの変化でみたら，616回で変化が1e-4以下になりました。これがいいかどうかはともかく。

[kosugitti]

これ、学習係数をmaxTにして、それ以降も回るときはその係数を変えないようにするようにしました。単に最大反復数を上げると、最初の学習が遅くてw

[sh0j1ma]

なるほど！確かに。上の図はmaxT=100のときですか？t=200のときに変曲点がありますね。おもろ！

[kosugitti]

LRA_GTMの最後のソート(P.220)ってコードにふくまれてますか・・・？

[kosugitti]

すみません，Mathematicaのことはよくわからないんですが，今回手を入れてもらったSort，行・列の方向が逆じゃないでしょうか。mic==1にするとIRPがなんか全然違う形になっちゃって。
Item1のIRP1，mic==0のときに0.585だったのが，mic==1にすると0.07になります。

[kosugitti]

おかげさまで，LRA，バッチリ答えが合うところまでできました！ウヒョー，楽しい。
あ，もちろんSOMはダメですw
まあでもSOMのゆるさ，嫌いじゃないんですよねー

[sh0j1ma]

おつかれさんです。いろいろと膿み出し、すみません＆あざっす！
SOMの再現性のなさ、やばいっすよね笑　同じデータを分析するときにでも変わってしまうので、
せめて、同じデータを分析するときには同じ結果を返すように、データ由来の性質でもってシードを
決めてあげてます。
SeedRandom[Total[Total[uuu]] + somt];
しかし、ＳＷ間の一致は無理ですね笑