Взаимодействие с Torrent-клиентами about torrentmonitor

[ElizarovEugene]

Нет. Затачивать под один клиент - не честно, под все - не реализуешь.

[bladeofsteel]

А реализовать некую систему адаптеров/плагинов? Что бы можно было подключать адаптер для любого клиента? Кстати, сохранение скачанного торрента в конкретный каталог тоже хорошо укладывается в схему с адаптерами.
Под трансмишн я бы написал.

[murzz]

Да просто скрипт запускать после сохранения нового торента с
параметрами/переменными окружения, а в скрипте делай что хочешь.

2013/2/5 Oleg Lobach [email protected]

А реализовать некую систему адаптеров/плагинов? Что бы можно было
подключать адаптер для любого клиента? Кстати, сохранение скачанного
торрента в конкретный каталог тоже хорошо укладывается в схему с адаптерами.
Под трансмишн я бы написал.

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/23#issuecomment-13140788.

[ElizarovEugene]

Если мне память не изменяет - только трансмишн позволяет удалённым приложениеям собой управлять, я вот пользуюсь deluge, у него нет cli, по это каким образом к нему можно подрубиться я понятия не имею (по крайней мере средствами php). Если вы знаете как это реализовать - я только за

[psvmcc]

У меня к примеру, после работы крона, запускается скрипт который заливай файлы в dropbox, тк torrent клиент и torrentmonitor расположены физически в разных локациях:
*/10 * * * * /usr/bin/php /home/www/s/tm/engine.php ; cd /home/www/torrents/; list=$(ls); if [ -n "${list}" ]; then (ls | xargs -I {} dropbox_uploader.sh upload {} torrent4media/{}) | mail -s 'DropBox synced' [email protected]; fi

Те аналогично можно дергать любой другой скрипт.

[ElizarovEugene]

2psvmcc скрипт то дёргать можно, другой вопрос - этим скриптом вы можете управлять торрент-клиентом?
пс зачем такой странный замут? ну проще смонтировать в системе директорию дропбокса и указать её местом сохранения torrent файлов в TM? У меня народ именно так поступал

[bladeofsteel]

запускается скрипт который заливай файлы в dropbox

@psvmcc, по сути это монитор и сейчас умеет, а хочется, чтобы перед добавлением торрента можно было старый удалить. А если пойти еще дальше - можно управлять наборами файлов в торренте (например, загружать только не просмотренные серии)

[psvmcc]

На той стороне стоит utorrent, он сам всем занимается, я даже не вникал что там и как, он просто качает.
Я не стал ничего монтировать или ставить клиента, малоли что с коннектом будет, подвиснет маунт и хз что потом будет, мне удобнее кажется что лучше открыть ссесию, залить файлы и закрыть.

[bladeofsteel]

У меня народ именно так поступал

я так же сделал - мой трансмишн смотрит в дропбокс

[bladeofsteel]

@ElizarovEugene, если deluge имеет RPC, то управлять не составит проблем

[psvmcc]

@bladeofsteel у меня хранится все, я не удаляю просмотренные серии, только лишь когда заканчивается сезон, а при добавлении в utorrent он просто перекеширует все пойдет качать новые файлы

[bladeofsteel]

@ElizarovEugene судя по его сайту, он имеет какие-то механизмы управления, т.к. есть и браузерные плагины, и WebUI

[ElizarovEugene]

2bladeofsteel ну так при добавлении нового торрента со старой раздачей он проверит уже закачаные файлы и будет качать только добавленные в новой раздаче файлы, а не целиком всю раздачу перекачивать, потом нужно будет просто прибить старую (без удаления файлов), что бы их 10 штук потом не болталось (сам так живу). Скрипт запустить не проблема, только сможете ли вы при помощи скрипта делать всё то что хотите? Я лично просто не умею и не разбирался с этим, у каждого клиента свой набор команд. Если сможете реализовать - я буду только рад добавить в репозиторий, сейчас просто тружусь над транспортом для уведомлений в icq/jabber на питоне через свой сервер.

2psvmcc ну тоже в общем то верно, хотя я первый раз вижу что бы кто то это так извращённо использовал :)

[bladeofsteel]

@psvmcc @ElizarovEugene , я за остальные клиенты не скажу, а трансмишн при добавлении торрента с той же раздачи, но с новым хешом, добавит еще один, а не заменит предыдущий. Т.о. к концу сезона будет 20 - 25 одинаковых торрентов. Их конечно можно руками удалять, но ведь мы стремимся к автоматизации, так ведь? ;)

[psvmcc]

@ElizarovEugene ну у каждого свои тараканы в голове :)

Я в целом писал что можно просто дернуть потом скрипт, который сделает все что угодно, и для этого не обязательно прикручивать плагины. Но да если бы это работало со всеми клиентами, тогда вероятно может быть имел бы смысл вызов этих функций из плагина.

[subvillion]

Если мне не изменяет память, для удаления торрента в transmissionrpc нужно знать его хешь, для получения хеша нужно тащить библиотеку парсинга torrent файлов. Я предлагаю сделать более удобный "адаптер" например в случае новых файлов engine.php запускает что-то и может передать этому чему-то множество параметров (имя файла, url по которому был получен, размер torrent, трекер и тд) Это позволит избавиться от различных костылей вида "list=$(ls); if [ -n ..."

[ElizarovEugene]

2bladeofsteel я не очень вас понимаю. он качать то будет в одну и ту же директорию и при добавлении нового торрента будет видеть что там уже есть файлы, т.е. он не будет их перекачивать, а только перехеширует и докачает новые, просто в клиенте будет десяток раздач. это да - не удобно.

2psvmcc если бы у всех клиентов был один механизм работы - я бы попробовал это реализовать, но тк у каждого он свой - это достаточно ресурсоёмкая задача, на которую я, по крайней мере сейчас, просто не готов. Но если "комьюнити" замётся разработкой таких плагинов для работы с клиентами - я реализую механизм их подсключения и запуска из ТМ - это не проблема.

[bladeofsteel]

На мой взгляд, если реализовать API, которое будет дергаться при обновлении торрента на треккере, то можно будет реализовать любую схему. Начиная от простого сохранения в каталог на диске, до различных RPC-клиентов и т.п.

[bladeofsteel]

нужно тащить в библиотеку парсинга torrent файлов

@x0x01, для полноценного управления трансмишеном достаточно одного уже готового php-класса

[ElizarovEugene]

@bladeofsteel да передавать данные в какой то API дело 5 минут, нужно только переписать имеющийся метод сохранения файла, что бы просто API вызывался, а уже через него решать что делать дальше, вопрос лишь за самим API :)

[bladeofsteel]

он качать то будет в одну и ту же директорию и при добавлении нового торрента будет видеть что там уже есть файлы, т.е. он не будет их перекачивать, а только перехеширует и докачает новые

@ElizarovEugene, так и есть, но куча одинаковых торентнов в клиенте раздражает :(

Ну и бывает иногда, что уже просмотренные серии удаляешь, в следующий раз все заново закачается. Реализовать механизм частичной загрузки немного сложнее, но тоже вполне возможно. Но это уже забота плагина/адаптера.

[ElizarovEugene]

@bladeofsteel полностью согласен. я вот например, качая с лоста сериалы по серии, с выходом каждой новой - удаляю предыдущую, ну просто что бы у меня небыло огромного списка раздач. Если кто то возьмётся за написание этого плагина/адаптера хотя бы под 2-3 самых популярных торрент-клиента, я готов помочь всем чем могу. Сам сейчас взяться за такой проект просто не в состоянии, и питоном сильно занят и на работе тестов навалом, руководство наседает всё сильнее, не оставляя свободного времени для творчества :)

[bladeofsteel]

@ElizarovEugene под тарансмишн я готов написать

[ElizarovEugene]

@bladeofsteel я переименовал тикет, давайте немного подождём - возможно появятся ещё желающие поучаствовать в этой задумке, а я пока поизучаю с этой точки зрения deluge, на сколько я помню консольный rtorrent так же умеет xml-rpc, а через некоторое время тогда посмотрим - какой список поддерживаемых клиентов у нас получается и стоит ли браться за реализацию.

[bladeofsteel]

@ElizarovEugene ок

[grunya404]

@ElizarovEugene у deluge есть отличный ui.web.json_api там достаточно нескольких манипуляций с curl чтоб добавить торрент. главное знать пароль доступа, и хранить куки после авторизации в api.
но если обновлять скажем при выходе новой серии, нужно с начала удалить старый торрент (без удаления данных), а затем уже добавлять. иначе будет то что писали выше куча мертвых торрентов в списке к концу сезона..

[Big-Shark]

В Deluge есть Console UI и Web UI, я пишу свой небольшой сервис и он у меня связан с моим qBittorrent как раз по webUI, так что если будите писать API для различных клиентов я могу написать для qBittorrent

[mrsrvman]

Вы утонете в поддержке.
IMHO будет достаточно вызова скриптов при появлении новой серии и удалении торрента с мониторинга.
Остальное реализуется через cli и многими другими способами.
При удалении надо как-то найти торрент среди многих и удалить его. Лучше всего искать по хешу.

[DHDonki]

Нет ли в планах прикручивания RSS-ленты к TorrentMonitor? Раз уж программа знает куда выкачиваются *.torrent файлы, то и отдать их клиенту могла бы в автоматическом режиме.

[ElizarovEugene]

@DHDonki на самом деле никогда не думал в эту сторону. Учитывая что сам TM работает с некоторыми трекерами при помощи RSS, я не очень понимаю - зачем ему собственная RSS-лента? Что бы не класть файлик в директорию а клиент его цеплял из ленты? А почему тогда не настроить торрент-клиент на ленту трекера? В общем то подобный функционал выполнить - работа 10 минут, но мне хочется понимать - зачем это делать и будет ли этой функцией пользоваться больше 1-2 человек?

[DHDonki]

Например, с lostfilm настроить закачку с помощью rss никаких проблем не составляет, там только один релизер. А если на трекерах их много, если сериал выкладывается в одинаковом качестве разными пользователями? Да и лента рутрекера utorrent'ом и bittorrent'ом не читается.

[ElizarovEugene]

@DHDonki тогда расскажите мне как работает чтение RSS лент в торрент-трекерах (сам просто никогда не пользовался) - он может забирать все подряд раздачи из ленты без всяких фильтров? С какой периодичностью клиент обращается к ленте (это настраивается?)?

[DHDonki]

Сосвем без фильтров сериал на закачку не поставить. Как только он добавляется из ленты в избранное, настраивается название (можно и руками заранее добавить), номер сезона и диапазон номеров эпизодов, чтоб не качались уже не нужные серии, клиент подхватывает закачку.
Насчёт периодичности особо не смотрел, но когда мой браузер получает ленту с трекера, клиент уже начинает качать.

[ElizarovEugene]

@DHDonki т.е. получается что сначала TM фильтрует торрент-трекеры по заданным параметрам, а потом строит свою RSS-ленту, которою в свою очередь фильтрует торрент-клиент (хотя я всё же думаю что он может качать всё подряд из ленты без фильтров). А нужно это только по тому что лента рутрекера не читается торрент-клиентами (там помнится ATOM, думаю дело в этом). Все же остальные трекеры имеют собственные ленты, которые можно фильтровать и без участия ТМ (ведь работа ТМ построена так же на регулярных выражениях). Да и ТМ не хранит ссылки на торрент-файлы, а на том же рутрекере в обновляемой раздаче id торрент-файла будет отличаться от id темы, которая храниться в БД ТМ, так что мой ответ - нет, данного функционала не будет в ТМ, он может быть реализован с некоторым количеством геморроя, но при этом я не вижу большого количества людей, кому это нужно.

[ElizarovEugene]

Господа, никто так и не осилил поднятый вопрос? Я просто вообще никогда не работал с xmlrpc, по тому не сильно представляю даже в какую сторону читать, да и ни rtorrent, ни transmission под рукой не имею

[Bugemon]

Да всё давно работает. ТоррентМонитор сохраняет скачанный торрент файл в папку, которая мониторится, например Трансмиссией. Закачка подхватывается, торрент файл переименовывается в .torrent.added
Если раздача пополняемая в той же папке - предыдущее индексируется и закачка продолжается.

[bladeofsteel]

Этот тикет о другом - при обновлении торента более интеллектуально
управлять клиентом: например, положить скачиваемый контент в тоже место,
что и в предыдущей верисии торента, или указать клиенту скачивать только
новые файлы (по сравнению с предыдущей версией) и т.п.

[cisco2]

Об этом проекте знаете ? https://github.com/brycied00d/PHP-Transmission-Class/

xmlrpc для deluge и transmission-daemon использовать вовсе не обязательно. Transmission можно управлять с помощью transmission-remote. Deluged аналогично можно управлять с помощью deluge-console. Для mac-а такие пакеты имеются или нет - не знаю. Есть работающий вариант на быдлокоде (я ни разу не программер) для transmission-daemon - вызывается внешним скриптом из ТМ при уведомлении об обновлении. Использует transmission-remote + transmission-show (для получения хэша из торрент-файла) + для его работы нужно дополнительное поле в базе (хэш самой раздачи) + дополнительные параметры в config.php. Умеет удалять старую раздачу при появлении новой, качать определенные раздачи в заданные папки (без какого-либо интерфейса - ручками править условия), устанавливать рейтинг раздачи при добавлении закачки (несколько вариантов - в зависимости от трекера - правила прописываются ручками). Кто-то возьмется прикрутить это к TM ?

[ElizarovEugene]

@cisco2 присылайте мне на почту - посмотрю

[ElizarovEugene]

В общем нарисовал два класса для transmission и deluge, всё работает, надо немного потестировать, нарисовать настройки в веб-интерфейсе, наладить варнинги и т.д. но в общем всё вроде получилось

[bladeofsteel]

Хорошие новости

[cisco2]

Да, ждем новую версию... Там с интерфейсом набора/выбора условий геммор будет еще тот . К тому же выше описаны не все доступные действия - наверняка со временем кому-то возжаждется прикрутить что-то из неиспользованного.
Найти бы еще где форточника чтобы для utorrenta такое же сделать - все-таки самый распространенный клиент.

[ElizarovEugene]

Да, с условиями проблема. Первое с чем я вот столкнулся и хочу посоветоваться - удаление файлов раздачи. Вижу 3 адекватных варианта и один громоздкий:

1. Не удалять файлы раздачи
2. удалять файлы раздачи
3. Удалять только для lost/nova (где раздачи идут по одному файлу), для остальных не удалять (где раздачи идут директориями, дабы кадлый раз не перекачивать)
4. (мне не нравится идея) сделать настройку для каждого трекера отдельно

[cisco2]

Не удалять вообще. Перехэшируются, докачаются и будут раздаваться полной раздачей. Уж если делать удаление просмотренных эпизодов - то это нужно делать отдельной фичей/страницей/таблицей в базе с пометками/выбором пользователя - что он уже посмотрел и что нужно удалять, а что оставить как поддержание раздачи. И вообще это нужно самому ручками в клиенте делать после того, как посмотрел/решил освободить место. А это уже не ТМ-овская епархия. ИМХО.

[ElizarovEugene]

Не совсем верно. "Перехэшируются, докачаются и будут раздаваться полной раздачей." это с рутрекера такие раздачи будут, а с того же лостфильма, где обновление раздачи это новый файл - такой подход не работает. В итоге мы и файл раздавать не будем и он будет просто занимать место, по этому удалять то конечно надо, но надо придумать по какому принципу.

[cisco2]

Да, я имел ввиду настоящие обновляемые раздачи типа этого
http://nnm-club.me/forum/viewtopic.php?t=711013
Т.е. когда в одном и том же топике заливается новая версия торрент-файла с дополненным содержимым.
За Лостом, Новой и т.п. (когда новый эпизод выходит новой раздачей/топиком) вообще проще следить rss агрегаторами стандартными из пакетов типа flexget или automatic. И все равно - во всех случаях функционал удаления уже скачанных файлов ИМХО делать не стоит:

1. Сбой и удалилось что-то не то
2. Поддержка уже скачанных раздач
3. Это вопрос, требующий принятия решения человеком исходя из его нужд.
4. Это значительное расширение функционала ТМ и начало дублирования им функций всяких кинобаз, My Shows и т.д. Его задача - просто следить за выходом обновлений указанных раздач и скачивать их.
   Может Вы имеете ввиду вообще новый проект ? Учет графика выхода новых сериалов; отметки что хочется посмотреть; что уже посмотрел; что сохранить чтобы пересмотреть позже/показать кому-то; что посмотрел уже и можно удалять и т.д. - огромный пласт, над ним работают целые команды.

[ElizarovEugene]

Нет, никакого расширения фанкционала и дублирование фанкционала существующих сервисов мною не планируется. Просто я лично, удаляю сразу закачку (лост/нова) при выходе новой серии (успеваю за неделю посмотреть)

[ElizarovEugene]

Ну вот как то так оно теперь выглядит

[cisco2]

Для старта неплохо, но

• Не очень ясно что значат пункты "Директория для скачивания" и "Удалять .torrent файлы после добавления". Человеку, не читавшему эту тему, будет вообще неясно что это и для чего оно.
• "Удалять .torrent файлы после добавления" - это удалять "старую" раздачу в клиенте, которая после обновления релиза ушла в статус "Unregistered torrent" или чистка .torrent файлов ?
• "Директория для скачивания" - это куда качать обновленные раздачи ? Если да, то переименовать бы как-нибудь. Что-то типа "Путь сохранения файлов из раздачи". Путь этот глобально один для всех отслеживаемых раздач ? Как можно качать к примеру раздачи с lost-а и Nov-ы в /xxx/yyy/zzz/сериалы , а с остальных трекеров - в папки по умолчанию ?
• Установку "Коэффициента отдачи" для добавляемой раздачи зря не стали описывать - удобно на трекерах, где уже есть хороший рейтинг и более его повышать не хочется - установить в 0,1. А на трекерах, где нужно поднять рейтинг - поставить огромным (или не указывать там его вовсе - т.е. раздавать неграниченно).

[cisco2]

• Пакеты transmission-remote + transmission-show для управления трансмишеном нужны ? Для делюги нужен один deluge-console ?
• "Включить авторизацию" и "Использовать socks5 прокси" осталось, а куда теперь вводить пароль и IP:порт прокси ?

[cisco2]

А как такое - сложно реализовать ли ?

1. Отдельная страница с набираемым пользователем списком "условий и действий".
   Стартовое условие только одно - "если $tracker=xxx и $theme=yyy". Можно вместо ручного ввода $tracker и $theme сделать выпадающий список с листингом столбца name из таблицы torrent. Чтобы в итоге однозначно определить раздачу, для которой будут выполняться действия. Количество строк в списке "условий-действий" соответственно максимум может быть равным количеству отслеживаемых раздач в TM (по одной строке "условие-действие" на каждую раздачу).
2. Далее для этой одной выбранной раздачи выбрать из опять же выпадающего списка первое действие. Список действий например такой:
   а) удалить старую раздачу, файлы оставить
   b) удалить старую раздачу вместе с файлами (только для лост и новы)
   c) установить папку закачки - дальше ввод этой папки
   d) установить для раздачи "Коэффициента отдачи"
3. (опционально). Галкой включить/выключить пункт "выполнить для раздачи второе действие". Далее для этой одной определенной раздачи выбрать из опять же выпадающего списка (такого же) второе действие.
4. (опционально). Галкой включить/выключить пункт "выполнить для раздачи третье действие". Далее для этой одной определенной раздачи выбрать из опять же выпадающего списка (такого же) третье действие.
   п. 3 и 4 - чтобы была возможность для раздачи выбора составного действия типа "качать в папку 'сериалы' + установить 'Коэффициент отдачи' такой-то + удалить старую раздачу "
5. Галкой включить/выключить пункт "Для остальных раздач добавить закачку по умолчанию".

В дальнейшем стартовые условия из п.1 можно расширить условиями "и" "или" "не равен" и т.д. Для неоднозначных условий типа "если трекер = а или в или с", "если трекер не равен 'xxx' " и т.д.

[ElizarovEugene]

1. Ну пункты можно и переименовать, хотя мне кажется человеку, пользующемуся торрентами тут должно быть понять что есть что.
2. Что касается отдельных путей и рейтинга - не стал это делать по крайней мере сейчас, что бы настройка не вылилась в 100500 полей и не стала слишком уж сложной, ну и плюс хотелось универсальности, а дополнительные параметры с рейтингом в т.д. умеет только трансмишн, у делюга таких параметров нет
3. transmission-remote + transmission-show нужны
4. Я просто сделал поля скрывающиеся, если функция не активна, так же все настройки торрент-клиента будут прятаться, если отключить управление клиентом. Ну просто что бы интерфейс был подружелюбнее
5. Это конечно всё интересно, но это очень сильно уложнит настройку, чего бы мне делать не хотелось

[cisco2]

Не может такого быть, чтобы делюга не могла управлять рейтингами, ограничениями скоростей и т.п. Из web интерфейса устанавливается, да и по идее она должна уметь больше трансмишена. Пользуюсь ей редко, но наверняка дело в плагинах. Навскидку из вики - Desired Ratio или Scheduler

[ElizarovEugene]

Нет, в принципе она это умеет, но не через консоль
https://whatbox.ca/wiki/Deluge_Console_Documentation

[cisco2]

Евгений, сорри за оффтоп, но что бы Вам не перебраться на трансмишен ? В связке с Transmission Remote GUI (он есть и под Mac) http://code.google.com/p/transmisson-remote-gui/ исключительно удобен. Против делюги не умеет только работать через прокси для пиров и трекеров (не беда - блокируют только http форумы) + нет приоритета скачивания первой и последней части раздачи для возможности просмотра недокачанного содержимого.

[ElizarovEugene]

Прикипел я к нему душою :))) На самом деле у меня трансмишн как то не очень стабильно работает и иногда падает без всяких причин.