#2. Первый бот, открытый поиск и opensource

08-03-2024

Каменщик был и Король я — и, знанье свое ценя,
Как Мастер, решил построить Дворец, достойный меня.

Редьярд Киплинг


Следующий, довольно логичный шаг (который давно хотелось сделать) — открыть поиск без необходимости использования Telegram-ботов. Знаю, что многим искать в боте довольно удобно, однако есть большая группа людей, у которых телеги нет и не будет (по разным причинам). Но сначала немного о том, почему вообще так вышло.

Почему и как появился мой первый бот @rutracker_org_test_bot

Как рассказали мне знакомые года два назад, Флибуста и некоторые другие товарищи давно завели ботов в Telegram для свободного файлообмена (книжечки, например). Работа с ботами в таких кейсах обладала довольно серьёзными преимуществами:

Вышеуказанные плюсы привлекали в Telegram и к ботам довольно много людей. Одно время у рутрекера тоже был бот для поиска торрентов, но как я понял из истории вопроса, бот был довольно слабый и не выдерживал хабраэффекта. А потом его просто перестали поддерживать (оно и понятно, ведь учения с VPN и посещаемость сайта aka доход с рекламы казино никто не отменял). Я считаю, рутрекер намерено саботировал развитие и поддержку своего бота.

Чтобы помочь своим знакомым, родным и др., я стал исследовать вопрос, какой сейчас актуальный бот у Флибусты, и есть ли вообще адекватные рабочие боты для того, чтобы искать торрент-раздачи. Удалось найти только фэйковые боты, которые просили что-то сделать используя номер телефона (сразу в помойку), либо подписаться на какие-то левые каналы (тоже нет доверия и оправданий), либо они просто молчали и не работали. В одном случае удалось найти что-то относительно рабочее, но кнопки на полэкрана (телефона) и откровенно слабый (да, слабее, чем у меня сейчас в проекте) поиск.

Хотелось, чтобы зашёл в бот — нашёл и получил (если есть) то, что надо, без дополнительных телодвижений.

В общем, я запилил свой бот, решив что этот pet-project отличный способ разобраться в ботостроении и помочь тем самым нуждающимся людям. Бот назвал, не мудрствуя особо, @rutracker_org_test_bot. Во-первых, потому что там был только rutracker.org, ну и во-вторых, тест же. Никакой цели выдать себя за оригинальный рутрекер не было, хотя некоторые товарищи позднее особо не разбирались. Люди из окружения оценили, и я понёс это поделие на пикабу (опять же, по рекомендациям). Сам я на пикабу до этого вообще не сидел и не собирался, предпочитая анонимные имиджборды. Сейчас этот пост, как и другие, уже удалён, но в первый же день он собрал там 9 тысяч плюсов (что довольно хорошо) и попал в лучшее, всякие ретрансляции на других платформах, в поисковые системы и т.д. Видя, что людям очень понравилось (несмотря на массу багов), я довольно сильно вдохновился на развитие и поддержку этого дела.

Хронологию развития с того дня можно посмотреть здесь. Поиск на сайте довольно давно уже реализован, но в целях защиты сайта от РКН поиск был спрятан, с доступом по уникальной одноразовой ссылке, которую можно было получить только через бот поиска торрентов. Кроме того, сессия пользователя была ограничена 100 поисками, а ссылок на поиск можно было получить не более 10 за сутки. Однажды в целях эксперимента я открыл поиск для всех пикабушников (особенная ссылка для входа была в посте) на сутки, чтобы посмотреть на активность. Активности особо не получилось, и я на какое-то время заморозил разработку поиска на сайте, сосредоточившись на ботах.

search, opensearch, github

В свете недавных событий стало очевидно, что смысла держать поиск на сайте в замороженном и спрятанном виде нет, и сначала я открыл поисковый раздел search.exfreedomist.com. В его основе старая версия (которая до сих пор тоже работает, с доступом через бота), но в старой версии использовались кастомные решения для поиска. Но уже давно готово API, и даже некоторые люди его используют или пытаются использовать и задают вопросы.

Так почему бы не сделать эталонную реализацию использования данного API? Да и возможности оно предоставляет гораздо более широкие, нежели то, что находится в версии скрытого поиска.

Ну и в конце концов, я давно обещал приоткрывать код по мере его и меня готовности к этому. В случае сайта на API поисковой системы это относительно нетрудно.

Аккаунт на github создан, и две репы заполнены готовым к вашим доработкам и критике кодом. Во-первых, это конечно репозиторий со списком актуальных ботов и ссылкой на них как ещё один запасной способ не теряться в случае недоступности других. Контрибьютить туда, с вашего позволения, буду только я.

А вот во-вторых, репозиторий с кодом сервера поисковой системы на основе API проекта. Туда, конечно, приглашаются все желающие внести вклад в общее дело, либо разобраться, как работать с API. Дополнительно, этот самый сервер из этого репозитория развёрнут на opensearch.exfreedomist.com, и будет обновляться при обновлении ветки main. Хочу обратить внимание, что search и opensearch незначительно в данный момент различаются. Из последнего была полностью выпилена самописная система аналитики сайта и выполнены некоторые упрощения. Улучшения, poetry, issues только приветствуются.

Ах да, ещё вы конечно можете развернуть это прямо у себя дома и пользоваться откуда угодно (нужен будет только коннект до API). Или у себя на сервере. Или где хотите. Особенно если дружите с Linux.

Разработка этого сайта также поспособствует развитию API, так как на данный момент функционал бота @torrents_2_bot заметно опережает и сайт, и API. Welcome, друзья.

Комментарии

Как вы могли заметить, на сайте в некоторых местах (в том числе и здесь, в блоге) появилась возможность оставить комментарий — анонимно или авторизовавшись через Telegram. Было решено попробовать известную разработку remark42 в качестве движка комментариев. Если вы искали, что использовать для своего сайта со статическим контентом — похоже, это неплохой выбор!

Best regards,
Captain Freedomist.