>> TALKS, BUGS, SUGGESTIONS about dfl-colab

[iperov]

ок без проблем, учись, развивайся =)

[iperov]

во гуд) теперь все изменения смогу отслеживать

[chervonij]

@iperov
Залил код. Надеюсь ничего не заруинилось )
За Trainer.py сильно не казни, так было надо )

[iperov]

в колабе только matplotlib выводит изображение?

[iperov]

потоки же должны работать

[iperov]

трейнер в отдельном потоке, а в мейн потоке - превью. Надо просто сделать для колаба свою превью функцию, которая будет активироваться через --preview-colab аргумент

[iperov]

я понимаю ты для быстроты проверки в начале просто всё лишнее вырубил ) но теперь же можно сделать чтобы збс было

[chervonij]

@iperov
Потоки работают. Но на колабе нельзя создать отдельное окно, как на стационарном компе. Только то, что выводит в стандартный output питона и то только из кода самого Колаб Ноутбука. + из-за потоков криво выводился лог ошибки(не обновлялся). Убрал поток превью и лог заработал.

Более того, в Колаб я запускаю всё как скрипт питона. А из внешнего скрипта даже matplot превью не выводится. Пробовал перенести код из Trainer.py прямо в Колаб, но тогда у него проблемы с импортом из файлов DFL возникают.

[iperov]

в мастере нет потока превью. В потоке только тренировка идет и получает/отправляет ему команды.
луп превью идёт прямо из мейна.

[iperov]

а что не пробовал прямо
from mainscripts.Trainer import main as trainer_main
и запускать trainer_main(...) ?

[iperov]

так что не должно быть проблем с созданием --preview-colab с текущим кодом )

[chervonij]

Возможно, я неправильно выразился )
Но колабу это сильно не понравилось и он отказался нормально выводить лог.

Я пробовал написать вывод через matplot в Trainer.py, но в вывод идет только сообщение типа: <Figure size 720x576 with 0 Axes>

[chervonij]

Импортировать не пробовал.
Сейчас протестирую.

[chervonij]

@iperov
Написал напрямую импорт из Trainer
Получил каскад ошибок, как и было раньше.
Import error.
Вот последнее, что было в выводе.

[iperov]

это потому что питон запущен как бы не из корня DFL папки.
Надо гуглить как переназначить рут, или сделать ipynb поместить его в рут и запускать его

[chervonij]

Да, я тоже так подумал.
Уже ищу.

[chervonij]

@iperov
там надо ковырять ipython_config и перезапускать сервер ноутбука.
не уверен, как это всё работает.

а если я перепишу импорты в файлах, через абсолютные пути?

[iperov]

не, надо сделать минимум переписываний и изменений кода

[iperov]

а че экстракт в папку с кодом?

[iperov]

а у тя чет не последняя версия с мастера

Use lightweight encoder? (y/n, ?:help skip:n) :
n

я же удалял лайтвейт

[chervonij]

а че экстракт в папку с кодом?

Так было удобней просто.
Что бы при запуске main.py прописывать относительные пути в колабе.
Если будет нужно, всегда можно поменять на абсолютные.

[iperov]

конечно надо делать чтобы всё по уму )

[chervonij]

Да, версия не последняя.
Обнову делал позавчера, а вчера не успел.
Там кстати, лайтвейт стартовать не хотел из-за того, что SeparableConv2D не принимает padding='zeroes'.

[chervonij]

А почему ты его убрал? Полезная вроде опция была.

[iperov]

для сае - нет. Энкодер по отдельным каналам выдавал артефакты.
Лучше просто уменьшить дименсии энкодера в последней версии чтобы сделать его лайтовее =)

[chervonij]

конечно надо делать чтобы всё по уму )

Думаешь, нужно сделать что бы в content экстратился?

[iperov]

ну не в папку с кодом это точно ) не логично же.
/content/workspace отлично

[iperov]

всё сделал ссылку на твой форк с главной страницы

[chervonij]

всё сделал ссылку на твой форк с главной страницы

спасибо )
может полезно будет для кого-то.

[chervonij]

экстракт прямо сейчас переделаю.
это быстро вроде.

[iperov]

я всё же очень надеюсь что ты разберешься че за фигня с тренировкой из отдельного потока в колабе.
Просто текущая архитектура тренировки она самая логичная в дфл,
когда тренировщик как бы отдельный модуль с сообщением к нему пакетами, а превью из основного потока

[iperov]

просто когда превью в своём потоке, руки более развязаны, вдруг получится потом сделать или гугл введут такую фичу, чтобы превью картинку заливать прямо в браузер из мейна итд итп

[chervonij]

Попробую. Возможно, я погорячился, когда тупо удалил половину кода. Но я в питоне только месяц пытаюсь разобраться и изначально думал, что второй поток только для вывода окна. А если окно мне выводить не надо, то и поток не нужен.

Превью, можно выводить через matplot прямо в браузер. Это точно. Но почему он не хочет выводить его, если код вывода прописан в питоновском скрипте, а не ноутбуке - непонятно.

[iperov]

а ты на реддит не выкладывал свой видос? https://www.youtube.com/watch?v=zNUuXPFauy8

[chervonij]

нет, не выкладывал.

[iperov]

выложить?

[chervonij]

думаешь оно норм?

[chervonij]

сделано ещё на 64 res fullface, когда я только тестил колаб.

[iperov]

это отлично

[iperov]

напишу trained with google colab

[chervonij]

залей тогда пжл, если можешь

[chervonij]

спасибо )

[iperov]

https://www.reddit.com/r/GifFakes/comments/b5mfed/robert_downey_as_elon_musk/

[iperov]

лица Маска и Дауни отлично фейчатся между собой.

[chervonij]

Да, тоже заметил.
Сейчас тренирую модель и они прям неплохо сходятся.

[chervonij]

а если у меня на реддите новый акк, я могу выкладывать видео в будущем туда?
нет никаких ограничений на этот счет?

[iperov]

ограничений нет.

В превью на вид как будто у тебя выключено face style

[iperov]

К тому же выкладывая хорошие фейки качнешь на халяву рейтинг на аккаунте =)

[chervonij]

он включен, но маленький.

face_style_power : 0.1
bg_style_power : 0.5

[iperov]

я обычно до 20к эпох ставлю оба стиля по 5 - 10
потом фейс ставлю 0.1 и бг 0.5

[chervonij]

у меня здесь до 10К было FS - 1, BS - 5.
а потом каждые 5К эпох постепенно опускал до текущих.
на 20К включил pixel loss.

когда у тебя был открыт чат, заметил что у людей были проблемы скорее всего из-за стиля.
учитывая, что мне нужно где-то 50-60К эпох, то решил что пусть учит стиль понемногу.

[iperov]

не, там крашило от весов. До ввода vg были дефолтные веса. а с random_normal или CA весами получается краш

[chervonij]

ок, я понял.
попробую, поднять сейчас.
пусть выправляется.

[iperov]

что значит выправляется?

[chervonij]

я имею в виду - стиль.
что бы цвет и освещение лица перенеслось.

[chervonij]

вот главный недостаток колаба.
можно задать большой размер батча, но на одну итерацию тогда 5 секунд уходит.

[iperov]

ну да медленная у них карточка

[iperov]

а у них там 12 гб? или 24

[chervonij]

12гб

[iperov]

[iperov]

с 3-м оптимизером норм, выжирая RAM.
Вот в гугле охуеют )

[iperov]

я ведь еще трейнер обновлял фиксил ошибки и сделал чтобы усредненное значение лосс показывало с момента последнего сохранения.

[iperov]

чето мне кажется что со временем если куча народу придет в колаб, то гугл просто забанит наши репо ))

[chervonij]

та гуглу, мне кажется, ни холодно ни жарко с этого )
они прекрасно знали, что за платформу они выкатывают.
потому и сделали ограничение в 12 часов на рантайм, что бы майнеры это дело не засрали.

да, я видел.
но там изменения в Trainer.py, а я сейчас не за своим компом.
вечером разберу изменения, допишу в свой Trainer.py и закомичу.

[chervonij]

гугл недавно анонсировал свою стриминговую платформу для игр.
пообещали что всё будет идти на Ultra настройках графики, в 4К и 60FPS.
для это нужно сильно большие ресурсы, чем те что сейчас на колабе.
и речь там уже пойдёт на миллионы пользователей.

[iperov]

да ты прав

[chervonij]

это я к тому, какие у них вычислительные мощности там.
мы им не сильно помешаем ))

[iperov]

ладно, надо кровь из носа понять че за фигня с трейнером по дефолту и как это пофиксить.
Попробую заняться.

[chervonij]

буду рад любой помощи )

[iperov]

а че ffmpeg извлечение тоже работает?

[chervonij]

вообще работает.
единственная проблема с ним - тоже не выводится лог.
с тех пор, как ffmpeg переехал внутрь скрипта питона.

[chervonij]

ffmpeg даже не пробовал трогать, ибо там ошибка с логом некритичная.

[chervonij]

вернее, я неправильно выразился.
лог выводится, но в процессе не обновляется.

[iperov]

мастер репо ведь грузится норм и одна итерация обучения проходит
а потом

Starting. Press "Enter" to stop training and save model.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Use tf.cast instead.
[09:02:14][#000001][19.65s][3.0943][1.8054]
: cannot connect to X server 

[chervonij]

оно полностью вылетает или обучение продолжается, но без обновления лога?

[iperov]

уже всё пофиксил. Осталось только показывать изображение

[iperov]

да, надо походу еще из трейнер треда пересылать и консоль в превью

[chervonij]

эмм, сильно сложно сказал, для меня ))

[chervonij]

так разве можно было? )

[iperov]

nothing is impossible

[iperov]

хотя чето не фурычит. Проблема в end=/r из отдельного потока.
с ней не обновляется ниче, это реально баг колаба.
А без end нормально но каждая строка итерации будет новой.

[iperov]

так что пока пусть будет каждая строка итерации - новой. Зато у тебя не будет изменений кода в трейнере )

[chervonij]

Попробуй убрать end=/r и вместо него запихать /r в начало строки.

[chervonij]

У меня было что-то похожее.
И так вроде заработало обновление.

[iperov]

оно у тебя щас работает потому что из главного потока пишется

[iperov]

точнее отсутствуют еще потоки с выводом =)

[iperov]

\r в начале не работает, потому что конец строки уже переносит ее на новую.)

[iperov]

лана я потом отправлю просто баг в колаб, может пофиксят

[iperov]

как нормально вывести изображение из кода? чето нема

[chervonij]

ну, так если сделать end="" и потом loss_string = "/r"+loss_string, то не должно быть переноса.
логика вроде та же.
или потоки руинят это всё?

[iperov]

а ща проверю

[chervonij]

как нормально вывести изображение из кода? чето нема

я пробовал через matplot, но оно из внешнего скрипта не хочет нормально работать на вывод.

[iperov]

io.log_info ('\r' + loss_string, end='')
тож не пашет

[iperov]

а сек

[iperov]

да запахало

[chervonij]

о, шикарно

[iperov]

и для десктопа такой же подход пашет

[iperov]

хотя для десктопа тогда Saving... переносится в конец

[chervonij]

ну, на Saving можно также прилепить \n в начало

[iperov]

сделаю кондишн на колаб