Предложение - парсинг торрент файлов для получения инфы about torrentmonitor

[ElizarovEugene]

А собственно какой нам от него толк? В этих данных в общем то смысла для TM нет никакого, иначе бы я давно уже парсил его на предмет нужных данных :)

или я что то упускаю?

[andreymukha]

Например на рутрекере в отслеживаемых сериалах можно смотреть список файлов (количество серий) и при изменении как-то реагировать или для дополнительной информативности их можно выводить пользователю

[ElizarovEugene]

Ну а что делать с этим списком файлов? Если бы ещё клиенту через консоль можно было сказать - какой именно файл качать, то да, можно было бы реализовать скачивание одной серии, а не всего торрента целиком, а так?

[andreymukha]

Я не пробовал, но в теории можно модифицировать этот торрент, интересно, что бы получилось...

А в общем через список можно проверять изменилась ли раздача

[ElizarovEugene]

ну у ТМ последовательность работы другая, он торрент-файл не качает, если не изменилось время загрузки раздачи на трекер, а так это только увеличит в пустую его время работы - каждый раз надо будет качать файл и его проверять, когда можно проверить сразу страницу

[andreymukha]

А разве торрент файл больше весит, чем страница? :) Не проще ли его грузить?))

[andreymukha]

Да и на мой взгляд так интереснее в реализации :) Хотя это не показатель...

[ElizarovEugene]

Так страницу всё-равно грузить, что бы ссылку на торрент-файл спарсить, там же и дата сразу парсится - не на всех трекерах id темы совпадает с id торрента.
Меня не интерес тут волнует, а что бы оно работало хорошо.
Другое дело что его можно прикрутить к функции checkTorrentFile() для проверки содержимого торрента, вместо того что он у меня сейчас ищет вхождение /announce/ и проверяет что содержимое файла больше 100 символов.

[vlmaksime]

Ну а что делать с этим списком файлов? Если бы ещё клиенту через консоль можно было сказать - какой именно файл качать, то да, можно было бы реализовать скачивание одной серии, а не всего торрента целиком, а так?

В Transmission можно реализовать такой функционал, через RCP есть возможность выбора файлов. Я знаю, что это не ложиться на общую логику ТМ.

[andreymukha]

А вообще я подумал, что данный класс будет полезен, если это не так, то прошу прощения за потраченное время :)

[ElizarovEugene]

класс то хороший, но в силу некоторых "ограничений" в ТМ его сложно использовать. К примеру на некоторых трекерах есть ограничение по кол-ву скачанных в день торрент-файлов. Без оглядки на рейтинг и тд, просто не дают скачать допустим 10-20 файлов, соответственно получится что ТМ поработает часа 3, а потом трекер его будет отлупливать. Ну и если бы я небыл заморочен одинаковым функционалом для обоих торрент-клиентов или ТМ работал только с трансмишн - то же можно было бы использовать, но...
В любом случае спасибо за информацию

[andreymukha]

Вообще ТМ можно было бы сделать модульным, то есть сделать API и что бы каждый трекер был отдельным модулем со стандартным функционалом, который будет характерен для всех трекеров + дать возможнотсь расширять функционал, на усмотрение разработчика, для каждого трекера отдельно. Вот тут и можно было бы в API включить возможность парсинга torrent файлов и существенно расширить базовое использование ТМ

Вообще некоторое время назад я сам задумался над тем, что было бы не плохо своевременно получать информацию о выходе новых серий, потом додумался, что можно автоматизировать и процесс закачки новых серий, а потом случайно наткнулся на ТМ, где смог подсмотреть пару полезных фишек :) Но идею, я думаю, забрасывать не буду.

[ElizarovEugene]

я сторонник того, что бы работа со всеми трекерами была одинакова, по этому

дать возможнотсь расширять функционал, на усмотрение разработчика, для каждого трекера отдельно

ну это просто не правильно. ну вот представьте, есть ТМ, и с трекером А и клиентом Б он умеет выкачивать с фоумных трекеров и добавлять не всю раздачу, а только один файл, а с трекером Б и клиентом С - нет. Пользователю придётся постоянно смотреть в хелп, что бы понять - какие возможности у какого трекера и клиента есть - лишняя путаница. И так, несмотря на то, что в общем ТМ используют далеко не домохозяйки - вопросов возникает множество относительно логики его работы.
Банально - разный принцип работы с формуными и RSS трекерами, ну тут я технически не мог их сделать одинаковыми - постоянно возникали вопросы - я добавил на лост сериал, а он не качается, потом добавил в хелп :(

[vlmaksime]

А сейчас получается так, что весь потенциал Transmission не используется только из-за того, что Deluge не умеет того, что может Transmission.

[ElizarovEugene]

@vlmaksime ну вы же уже сделали форк, со всеми необходимыми вам коммитами, не вижу что могло бы вам препятствовать расширить у себя класс для работы с Transmission на 100% его возможностей

[vlmaksime]

@ElizarovEugene, ну по хорошему торрент-клиенты надо переделать по аналогии с нотификаторами и треккерами. Но какой в этом смысл, если эти доработки не увидят свет.

[andreymukha]

ну это просто не правильно. ну вот представьте, есть ТМ, и с трекером А и клиентом Б он умеет выкачивать с фоумных трекеров и добавлять не всю раздачу, а только один файл, а с трекером Б и клиентом С - нет. Пользователю придётся постоянно смотреть в хелп, что бы понять - какие возможности у какого трекера и клиента есть - лишняя путаница.

Вы немного усложняете всё :) При подобном подходе в ядре должны быть инструмены для удобной реализации настроек для каждого модуля и в API можно включить возможность удобного написания справки для функционала модулей. Это на самом деле позволит выйти за рамки ограничений, которые есть сейчас у ТМ, когда из-за скудного интерфейса одного трекера/программы нельзя расширить функционал для другого трекера/программы

[ElizarovEugene]

@vlmaksime от того что вы перепишите класс для работы с клиентами - у них возможностей не прибавится
@andreymukha да вопрос не в возможностях и не в апи. расширяйте как угодно, пусть это сейчас может и не очень удобно, но возможно. дело в другом - я не хочу что бы разные модули работали по разному, с разной логикой и реализацией для конечного пользователя, а не по тому что это писать не удобно. да и апи по большому счёту - нафиг не нужен, @vlmaksime уже предпринимал попытку переписать всё и вся что бы это было красиво и удобно, у меня только один вопрос - зачем, если кроме меня за 4 года никто даже не изъявил желание написать хоть один модуль? хотите сказать что стоит сделать апи - сразу набегут желающие? очень сильно в этом сомневаюсь. а меня устраивает и тот код, что я уже 4 года ворочаю - я знаю его отлично и у меня с ним работать труда не составляет. В общем то я об этом уже говорил #174

[andreymukha]

я не хочу что бы разные модули работали по разному, с разной логикой и реализацией для конечного пользователя, а не по тому что это писать не удобно. да и апи по большому счёту - нафиг не нужен

Это уже другой вопрос :)

@vlmaksime уже предпринимал попытку переписать всё и вся что бы это было красиво и удобно, у меня только один вопрос - зачем, если кроме меня за 4 года никто даже не изъявил желание написать хоть один модуль?

Я только начинающий программист и для меня мой скрипт - хорошая возможность получить опыт. Так что у меня мотив такой же, как у вас в самом начале разработки ТМ. Но у меня немного другой подход, вы проверяете rss ленту, а я сравниваю количество серий (на данный момент я в своём скрипте отслеживаю только лост) и если оно изменилось, то скачиваю торрент на последнюю серию. А по поводу написания модулей, то я заметил, что движки трекеров - это не просто отдельные классы, а они ещё прописываются в ядре, что не очень-то упрощает написание модуля для трекера :)

По поводу модульной системы, можно сделать отдельную папку, например modules, куда будет смотреть ТМ. Каждый модуль может помещаться в отдельный каталог, в нём xml файл, описывающий данный модуля, как ссылка на трекер, имя автора и так далее. В общем вариантов много и расширять можно бесконечно :)

хотите сказать что стоит сделать апи - сразу набегут желающие? очень сильно в этом сомневаюсь

Тут зависит от того, какие шаги вы будете предпренимать дальше, в теории из ТМ можно сделать SaaS с премиум подпиской или просто опен сорс движок, сделать локализацию на несколько языков, добавить несколько зарубежных трекеров и дать информацию на тематических форумах о том, что можно самому писать модули под свои любимые трекеры, тогда сами увидите эффект :)

С другой стороны вы можете оставить всё, как есть, потому что вы делаете это для себя, в любом случае решать вам :)

[andreymukha]

Простите, промазал по кнопке

[ElizarovEugene]

Да всё это я уже проходил. И мысли по поводу модульности пару лет назад, которые не привели меня ни к чему, по тому что модули я всегда пишу сам. И про работу в качестве сервиса разговор уже то же был #41 и про многопользовательскую систему думал...в общем идей был вагон, но я не увидел заинтересованности общественности. 95% пользователей ТМ устраивает в том виде, в котором он есть сейчас, что я сам дописываю модули и расширяю функционал, решаю проблемы с трекерами и тд. Не вижу просто смысла тратить время на то, что на самом деле не нужно, лучше я его с пользой потрачу - или напишу что то нужное или отдохну, всё-таки это "домашний" проект не за деньги :)

За все 4 года - рекламы было...два поста на хабре моих, парочка постов от людей там же, которы из песочницы даже не вылезли, ну и пара постов на трекерах - на лосте я сам писал, а на ннм-клабе раздачу попросили оформить ещё когда апдейтера небыло, и несмотря на это - информация о ТМ расходится широко, даже на редите есть пост о нём, ну а кол-во уникальных скачиваний в конце 14-го года было порядке 8000, потом я на статистику уже забил, ибо на самом деле я не верю что есть больше сотни активных пользователей :))

Ну а для тех оставшихся 5%, кого не устраивает моё видение ТМ - я не против форков, хотя и не считаю это правильным, но каждый имеет право делать то, что он хочет

[andreymukha]

Понятно))))