tekitou898009890 / stable_diffusion_webui_embedding_estimate Goto Github PK

それぞれのスケジューラごとにパラメータ・引数が違うので、それごとに設定する方法

現状fp16だと0.0040あたりでloss値が振動するが、起動オプションで
'--no-half --precision full'
と付けると0.004050あたりで振動するようになった。ただここまで来ると画質の変化はほとんどない。
fp32/16の選択が出来るようにしたい。

optimizer = Adam([input_tensor], lr=gr_late)

input_tensorにはleaf-tensrが必要だが、tensorにrequires_grad=Trueつけてそのまま入力すると
torch\optim\optimizer.py", line 515, in add_param_group
raise ValueError("can't optimize a non-leaf Tensor")
ValueError: can't optimize a non-leaf Tensor
となるが、it_opt = input_tensor.detach().requires_grad_(True)
と代入すると通るが、この後のパラメータ更新において、input_tensorが更新されないので、そこを直す

loraを使おうとするとエラーが出てwebui自体が止まる。

ただloraを使いつつ推定できるならloraからtiへの変換ということができそう。

loss値が高い状態で収束してしまう。

inittextが入力された際のlayerは

1. チェックボタンでinittextのトークン数を優先するかどうか決定する

保存後にリスト更新していないからかinitで入力したembeddingを使って学習&保存させてもう一度学習させてもloss値が変わっていない。

逆伝播を各stepごとに行う。

各stepごとのscheduleはiの数値を指定して入力に前回のdenoisedされた結果を用いる。

backwardによる膨大な計算量を必要とせず任意ステップまでembeddingを学習できる

初期ワードを設定する際、トークン数を指定数か初期ワードのトークン数にするかをtoggleで選択できるようにする。

これの平均値からloss値を求めるため例えば2トークンを見たい場合そこのloss値が与える影響が少なくなる。

ゆえに範囲を限定する。

大きすぎるトークン数の場合は分割して処理した方がいいか。