У многих сетевых хранилищ, вроде Rapidshare и Megaupload, являющихся неплохой альтернативой торрентам, принципиально отсутствует поиск по файлам. Нет его, и всё тут. Сделано это не столько из этических соображений, сколько для выживаемости: интернет-пользователи сам заливают и сами распространяют ссылки на файлы, а организация, предоставляющая услуги хостинга, не несет никакой ответственности за содержимое файлов и действия других людей. Идеальное прикрытие от ярых борцов с пиратством, не правда ли?
Но, не всё так плохо, как кажется на первый взгляд. Благодаря стараниям многочисленных энтузиастов, неустанно сражающихся за свободу и комфортность пользования файлообменниками, в Интернете представлено немало сервисов, обеспечивающих поиск по онлайновым хранилищам. Именно о таких сетевых ищейках, упрощающих жизнь вконец обленившимся «любителям халявы», и пойдет речь в сегодняшней заметке. Подробно описывать каждый поисковик не будем (все они похожи друг на друга как братья-близнецы и, как правило, повсеместно используют возможности Google, Yahoo и других служб), остановимся только на кратком описании каждого сервиса и количестве индексируемых файлообменников.
Sharing Engines. Сервис с претензией на универсальность. Позволяет со знанием дела «топтаться» по дюжине сетевых хранилищ и производить поиск по типам файлов (изображения, музыка, видео, документы определенного формата, книги, мобильный контент и проч.). Помимо этого Sharing Engines ищет торренты, eMule-ссылки и данные, хранящиеся на FTP-серверах. Для знатоков поиска предусмотрен специальный тулбар, устанавливаемый в браузер.
Rapidsharer.org. Поисковик, возможности которого ограничиваются файловыми службами Rapidshare, Megaupload, Depositfiles и Filefactory. Как говорится, простенько и со вкусом.
DaleYa. Испанский сервис, дружащий с «рапидшарой», «мегааплоадом» и десятком других файлообменников. Умеет искать файлы определенного формата и выискивать ролики в различных видеохостингах, таких, как YouTube, Google Video, Metacafe и других. Удобно: пока из Сети скачиваются файлы, можно занять себя просмотром онлайнового видео.
Search Files. Судя по доменной зоне, немецкая сетевая ищейка. По сути, является надстройкой над Google, заворачивающей запросы в определенные тэги и скармливающей их именитому поисковику. Search Files умеет проводить розыскные мероприятия практически по всем файлообменникам (в том числе и отечественным), а также позволяет исключать из поиска объекты, дата создания которых не соответствует выбранному пользователем критерию. Интерфейс сервиса изобилует рекламными вставками и пользоваться им, мягко говоря, не очень удобно.
ShareMiner. Ещё одна онлайновая служба, использующая кастомизированный поиск от Google. Так же как и вышеупомянутый сервис, ищет по всем сетевым хранилищам сразу и умеет работать с различными категориями файлов. По словам разработчиков, сайт ShareMiner обрабатывает более 5 миллионов поисковых запросов в месяц. Внушительная цифра.
Rapidshare Search Shared Files. Онлайновый инструмент, обеспечивающий выборочный поиск по сетевым хранилищам, коих мы насчитали в списке аж 64 штуки. Вдобавок сервис оснащен мощной системой поиска torrent-файлов и трейлеров к фильмам. Для ценителей утонченных нюансов в розыске халявы предусмотрены плагины для браузеров Internet Explorer и Firefox.
Комментарии
Странно, что нет поисковика для такого известного файлолобменника, как Turbobit.net
2010-10-20 11:09:12 —
2011-03-28 18:37:51 — 683
2012-04-17 21:48:33 — анна новак
как убрать подчеркивание?
Оставить комментарий
Ваш комментарий будет опубликован после модерации.
Ищем и скачиваем непопулярные и старые файлы в интернете
Преимущественно медиафайлы. На полном серьезе, без шуток.
Введение
Бывает, случается так, что вы хотите скачать альбом 2007 года исполнителя, который кроме вас известен 3.5 людям, какой-нибудь испанский ска-панк или малопопулярный спидкор европейского происхождения. Находите BitTorrent-раздачу, ставите на закачку, быстро скачиваете 14.7%, и… все. Проходит день, неделя, месяц, а процент скачанного не увеличивается. Вы ищете этот альбом в поисковике, натыкаетесь на форумы, показывающие ссылки только после регистрации и 5 написанных сообщений, регистрируетесь, флудите в мертвых темах, вам открываются ссылки на файлообменники вроде rapidshare и megaupload, которые уже сто лет как умерли.
Увы, частая ситуация в попытке хоть что-то скачать
Такое случается. В последнее время, к сожалению, случается чаще: правообладатели и правоохранительные органы всерьез взялись за файлообмен; в прошлом году закрылись или были закрыты KickassTorrents, BlackCat Games, what.cd, btdigg, torrentz.eu, EX.ua, fs.to, torrents.net.ua, и еще куча других сайтов. И если поиск свежих рипов фильмов, сериалов, музыки, мультиков все еще не представляет большой проблемы, несмотря на многократно участившееся удаления со стороны правообладателей контента из поисковых систем, торрент-трекеров и файлообменников, то поиск и скачивание оригинала (DVD или Blu-Ray) фильмов и сериалов или просто ТВ-рипов 7-летней давности на не-английском и не-русском языке — не такая уж простая задача.
Зачем это нужно?
• Отличие контента ТВ- и DVD-версии Например, мультсериал «Дарья» лишился почти всей музыки, которая была в ТВ-версии, из-за юридических проблем с перелицензированием. Долгое время люди, желающие посмотреть данный сериал, стояли перед выбором: либо полноценная ТВ-версия с музыкой и плохим качеством видео, либо DVD-версия с хорошим качеством, но без музыки.
• Региональные различия Справедливы как для видео, так и для музыки. Мультсериал W.I.T.C.H. выпускался с 4 разными опенингами, только один из которых попал на DVD. Зачастую, музыкальные альбомы, выпускаемые для рынка Японии, содержат бонусные треки, которых нет в других изданиях.
Как вы уже поняли, причин может быть множество. Где искать непопулярные и старые файлы?
Usenet
Usenet — распределенная сеть из серверов, синхронизирующих информацию между собой. Структура Usenet напоминает что-то среднее между форумами и электронной почтой: в «новостных группах» (так называются тематические категории в Usenet) сообщения имеют древовидную структуру, пользователи могут подписываться на конкретные группы, читать и писать в них. Как и в Email, у сообщений есть тема (subject), которая позволяет ориентироваться в содержании дискуссий. Сейчас используется преимущественно для обмена файлами.
История Usenet
С увеличением пропускной способности линий, улучшением модемов и их протоколов, к девяностым сеть уже вовсю использовали для передачи бинарных файлов: вареза, музыки, видеофайлов. Делалось это примерно таким же образом, как и в Email: файл разбивается на небольшие части (тома), кодируется печатными символами в 7-битной кодировке с использованием Base64 или uuencode, и отправляется в ньюсгруппу. Кодирование в 7 бит добавляет около 30% накладных расходов на передачу файла. Спецификация позволяет использовать большинство символов из ASCII-таблицы, поэтому в 2001 году появляется алгоритм передачи файлов yEnc, увеличивающий файл всего на 1-2%, экранируя только символы переноса строки, NULL-байты и символ равенства (=). Им пользуются и по сей день. Для контроля целостности и восстановления поврежденных или отсутствующих данных используется Parchive.
До 2008 года крупнейшие Usenet-провайдеры хранили бинарные файлы около 100-150 дней с момента их загрузки (так называемый retention time, срок хранения файлов). С 2008 года самые крупные провайдеры вообще перестали что-либо удалять, и на текущий момент можно без проблем скачать файлы восьмилетней давности, а провайдеры поменьше выставили retention time в 1000+ дней, что тоже немало. К этому моменту текстовое общение в Usenet сошло на нет и сеть использовалась преимущественно для хранения и передачи файлов.
Начиная где-то с середины 2011 года за сетью начали следить правообладатели, из-за чего Usenet-провайдерам пришлось удалять файлы, что сильно повлияло на целостность релизов. Некоторые провайдеры сделали автоматизированные системы удаления файлов, чтобы правообладатели могли удалять загрузки самостоятельно. Дабы предотвратить или хотя бы замедлить обнаружение файлов правообладателями, энтузиасты начинают загружать файлы с обфусцированными именами, в архивах под паролями, и добавляют их в каталоги систем индексации релизов (indexers), доступ к которым, как правило, осуществляется либо за деньги, либо по приглашениям. Обычными способами ни найти, ни скачать такие релизы не удастся.
В современной России о Usenet почти никому не известно, хотя рунет зарождался именно с него, по протоколу UUCP, и был одним из двух рабочих каналов для связи с Западом во время путча 1991 года (второй — FIDO). Сейчас Usenet наиболее популярен в странах, законы которых позволяют штрафовать пользователей за скачивание или раздачу контента, защищенного авторским правом, например, в Германии. В отличие от BitTorrent, узнать IP-адресы пользователей Usenet сторонней организации невозможно.
Подключение к Usenet
Индексаторы
Скачивание с Usenet
Давайте попробуем скачать фильм The FP 2011 года, достаточно неизвестный и непопулярный, BDRip’а которого в 1080p так просто найти мне не удалось. Для этого вам нужно найти nzb-файл и импортировать его в программу для закачки, например, NZBGet или SABnzbd, предварительно ее установив. Заходим на nzbking.com, выполняем поиск по «the.fp.2011». Видим в индексе файл, у которого доступна только одна часть из 3867. Такой файл не скачать, поэтому индексатор отображает этот параметр красным цветом.
Файлы, защищенные паролем, как правило, являются просто фейками.
На второй странице обнаруживается DVDRip, с адекватным размером, в архиве без пароля — хороший знак.
По окончанию скачивания, NZBGet автоматически распакует архивы и удалит их. Файл размером 6.74 ГБ, загруженный 4.5 года назад, скачался за 15 минут!
IRC / DCC / XDCC
На сегодняшний день существуют как отдельные каналы, так и целые серверы, посвященные файлообмену через XDCC. Почти у любой мало-мальски серьезной аниме релиз-группы, у которой даже может не быть веб-сайта, есть свой бот, с которого можно скачать все релизы группы независимо от их возраста. Популярность XDCC обусловлена функциональностью скриптов, легкостью их настройки и администрирования: выкладывающему релиз достаточно загрузить каким-либо образом файл на сервер с ботом, например по FTP, а бот сам добавит его в индекс, оповестит пользователей на канале о появлении нового файла, автоматически отправит его пользователям, подписавшимся на обновления этого бота (например, если это новый эпизод сериала).
В специальных IRC-сетях распространяют варез, свежие и не очень фильмы, музыку, игры, книги. XDCC не наделен вниманием правообладателей, поэтому у ботов можно найти множество вещей, которые сложно найти в других местах.
Индексаторы
Скачивание из IRC
Попробуем скачать «How Music Got Free» («Как музыка стала свободной» по-русски) — замечательная книга об истории музыкальной индустрии, технологиях обмена музыкой и человеке, который почти в одиночку стащил 2000 альбомов и выложил их в сеть.
Бот присылает результат поиска в виде ZIP-архива с текстовым файлом:
Отправляем боту запрос на скачивание файла:
…и принимаем его!
Конечно, не обязательно искать напрямую на канале. Если вы нашли нужный файл через индексатор, можете сразу запросить его у бота командой, которую вам сгенерирует сайт.
Direct Connect-сеть представляет собой клиент-серверную архитектуру, где все коммуникации, кроме непосредственно обмена файлами, происходят через сервер. В DC++ есть возможность расшаривания файлов и директорий, поиск файлов с учетом их типа (видео, аудио, архивы, документы, образы дисков), ссылки на файлы, независящие от имени файла и, конечно же, чат, из-за чего DC++-хабы были очень популярны в локальных сетях интернет-провайдеров РФ. Сибирский провайдер GoodLine рекламировал свой внутрисетевой хаб на уличных рекламных щитах, писал ПО для упрощения файлообмена и даже встраивал его в свои Set-top box, чтобы клиенты могли смотреть новинки кинематографа прямо с телевизора. На хабе сидело более 100000 человек — больше, чем в любом другом хабе в мире.
Из-за того, что пользователю достаточно указать путь к файлам, к которым он хочет открыть публичный доступ, в DC++ можно найти жуткое, малоизвестное старьё, которое, по мнению пользователя с этим файлом, уж точно никому не сдалось, но он его все равно расшарил, так, на всякий случай.
3 человека раздают видеоурок 11-летней давности, который ни одному вменяемому человеку смотреть не захочется, поверьте.
Скачивание из DC++
Вам потребуется какой-нибудь DC-клиент. Под Windows рекомендую FlylinkDC++ (который, к тому же, поддерживает BitTorrent), под Linux — EiskaltDC++ и AirDC++ Web. Далее нужно подключиться к популярным хабам, лучше сразу к десятку. Список хабов есть в самих программах, но можно воспользоваться специальной страницей и скопировать адреса оттуда.
Настоятельно рекомендую включить «активный» режим, пробросить порты, ввести ваш внешний IP-адрес в настройках программы и удостовериться, что к вам возможны подключения извне, иначе, в «пассивном» режиме у вас будут ограничения на количество результатов поиска, вы не сможете качать файлы с других пользователей в «пассивном» режиме.
Поиск и скачивание файлов интуитивно понятно: вводите название, опционально выбираете тип контента и фильтр по размеру, нажимаете кнопку поиска, кликаете два раза по результату, файл начинает скачиваться. Также можно посмотреть все файлы пользователя (и, например, скачать папку с найденным файлом целиком), нажав правой кнопкой по конкретному результату и выбрав соответствующий пункт меню.
Если нужного вам файла не нашлось, имеет смысл периодически повторять поиск. Некоторые люди запускают DC-клиент только тогда, когда им нужно что-то скачать, и вам нужно поймать момент, чтобы найти файл у таких пользователей.
Индексаторы
Поиск внутри программы может найти только файлы пользователей, находящихся в DC-сети на момент поиска, поэтому индексаторы очень полезны для нахождения и скачивания файлов с редко запускающих программу людей.
Насколько мне известно, полноценный индексатор DC++ есть только один — spacelib.dlinkddns.com (и его второй адрес dcpoisk.no-ip.org). Поиск основан на движке Sphinx и учитывает морфологию (в том числе и русского языка). Поисковик генерирует magnet-ссылки для результатов поиска, которые можно поставить на закачку в клиенте. Иногда он подолгу недоступен, например, в прошлый раз он не работал два месяца подряд.
eDonkey2000 (ed2k), Kad
ed2k — протокол децентрализованной передачи файлов, требующий сервер-хаб для нахождения пользователей и соединения с ними. Был протоколом №1 для передачи файлов среди всех слоев населения, до закрытия самого популярного сервера Razorback 2 в 2006 году и роста популярности BitTorrent.
eDonkey2000 выжил. Этому поспособствовал протокол полностью децентрализованного обмена Kad, который был внедрен в сторонние клиенты незадолго до закрытия Razorback 2 и главного сервера оригинальной программы, уступающей в функциональности и скорости альтернативным реализациям.
В ed2k можно найти примерно то же самое, что и в DC++ — старые файлы, ТВ-шоу на разных языках, разнообразную музыку, игры, варез, старые книги по программированию, математике, биологии. Новинки, разумеется, тоже в наличии. Хоть протокол и поддерживает чаты и просмотр всех файлов пользователя в открытом доступе, эти функции по умолчанию отключены, и, скорее всего, вам не удастся пообщаться с интересующими вас людьми через программу.
Скачивание в eDonkey2000 / Kad
Как вы уже догадались, потребуется ed2k-клиент. Хороший выбор для Linux — aMule, для Windows, наверное, eMule, хоть он и не обновлялся с 2011 (Обновление: появилась официальная версия eMule от сообщества, доступная для скачивания на официальном сайте, она обновляется). Крайне рекомендую пробросить порты, чтобы иметь возможность скачивать с пользователей за NAT (LowID).
Процесс поиска и скачивания файлов очень похож на таковой в DC++ — вводим поисковой запрос, получаем результаты поиска с пользователей, находящихся онлайн, кликаем на файлы для начала скачивания. Файл отобразится в результатах даже в том случае, у пользователей, находящихся онлайн, есть только его части, но не файл целиком.
Попробуем найти малоизвестный документальный фильм 2009 года We Live In Public — картину, повествующую о событиях 90-х, которые частично предсказали современный интернет. Часть времени в фильме уделяется сайту pseudo.com — сервису аудио- и видеотрансляций, основанном в 1993 году.
Вводим поисковую фразу, получаем результаты:
Кликаем, начинается скачивание:
Загрузка файла может растянуться на недели и месяцы. По какой-то причине, многие пользователи сети имеют отвратительное интернет-соединение, да еще и появляются раз в неделю на пару часов, а то и меньше.
Soulseek
Soulseek — централизованная сеть обмена музыкальным файлами по принципу P2P, созданная в 2000 году одним из разработчиков Napster. Долгое время была популярна среди слушателей и авторов IDM и прочей электронной музыки, и по сей день сеть развивается и остается хорошим местом для поиска аудиофайлов. Есть групповые и приватные чаты, возможность раздачи файлов только друзьям, удобный поиск музыки с указанием битрейта и других характеристик аудиофайлов. Некоторые поисковые запросы цензурируются.
Существует официальный кроссплатформенный проприетарный клиент SoulseekQt и два развивающихся неофициальных: Nicotine+ и Museek+.
BitTorrent DHT
Файлообменники и FTP-серверы
Почти в каждом регионе существуют свои местные файлообменники, пользующиеся популярностью у конкретной языковой группы. Например, на uloz.to можно найти много чешского и словацкого контента, zone-telechargement.ws подойдет любителям французского языка, а chomikuj.pl для поляков.
До совсем недавнего времени большое количество контента можно было найти на ex.ua, но увы.
Как искать
Рели́зная гру́ппа — сообщество людей-энтузиастов, объединенных идеей свободы информации. Выпускает электронные копии CD или DVD с фильмами, музыкой, программами и играми для компьютеров и игровых приставок, руководствуясь правилами релизов и соревнуясь со своими коллегами-конкурентами в скорости и качестве выпуска таких копий (релизов). Сообщество релизных групп, объединенных одной темой (музыка определенного жанра, кинофильмы или варез), называется сценой.
https://ru.wikipedia.org/wiki/Релизная_группа Сценические релизы очень часто содержат сокращенные или намеренно испорченные имена архивов, которые нельзя найти обычным поиском по имени файла. Чтобы узнать настоящее имя, нужно поискать его в специальных индексаторах сцен-релизов: layer13.net, pre.corrupt-net.org и predb.me.
Попробуем узнать сценическое название архивов с релизом We Live In Public от PUZZLE на Layer13:
NFO-файл называется «puzzle-wlip.nfo». Названия архивов практически всегда, в 99% случаев совпадают с названием NFO, поэтому попробуем поискать это название в Usenet-индексаторе:
Ура, теперь мы можем скачать DVD фильма!
Для аниме есть anidb, хранящий информацию о релизах групп на разных языках. Карточка группы, как правило, содержит ссылку на сайт или IRC-канал, где можно пообщаться с ее членами и скачать файлы через XDCC.
Помимо источника, разрешения видео, языков аудиодорожек и субтитров, на anidb есть TTH-хеш для DC++ и ed2k-ссылка для каждого файла.
На первый взгляд, поиск файла в интернете по нужному файлообменнику тема малоперспективна. Но это только на первый взгляд. Пока не появляется необходимость найти конкретный файл на конкретном файлообменнике. Почему на определенном файлообменнике? Потому, что обычный пользователь чаще всего является счастливым обладателем одного платного голд-аккаунта. Ну и естественно, коль деньги заплачены, надо использовать этот файлообменник на все 200 процентов.
Конечно, можно забить название нужного файла в любом из поисковиков, но результаты поиска в них отображаются без привязки к обменнику. Можно поизголяться и дописать к названию файла название файлообменника. Результаты уже будут лучше, но все равно плохо читаемыми.
Намного проще воспользоваться каким-нибудь из онлайн сервисов. Лично я, потратив полчаса, на сегодняшний день рабочих нашел только три. И очень буду благодарен, если посетители в комментариях добавят свои находки.
Онлайн сервис Filecrop.com.
Поиск здесь можно вести на Rapidshare, Dfiles, Mega, 4shared, Mediafireи Turbobit. Прописываем или копируем название файла в поле поиска, отмечаем нужный файлообменник (файлообменники) и нажимаем кнопку «SearchFile». Можно отсортировать поиск по размеру файла.
На скриншоте отображена страница с результатами поиска по моему запросу. Проверил все файлообменники по очереди. Работают все. Имеется опция поиска по региону, правда нам это не актуально, России в списке нет.
Онлайн сервис Daleya.com.
Заявленных на нем файлообменников уже на много больше, правда про большинство из них я никогда и не слышал: Mega.co.nz, Bitshare.com, Wupload.com, Freakshare.com, Depositfiles.com, Mediafire.com, Filefactory.com, Rapidshare.com, Uploadstation.com и Uploaded.to. Сама процедура поиска аналогична вышеописанной.
Приятное дополнение поиск видео на сервисах YouTube, Dalealplay, Metacafe и Googlevideo. Правда стоит учесть, что сервис испанский, так что некоторое видео имеет статус без показа в России.
Онлайн сервис Filestube.to.
Самый мощный из этой тройки онлайн сервисов. Первоначальный поиск проводится по расширению файла. Среди доступных: avi, mp3, mpeg, mpg, rar, wma, wmv, zip, rmvb, mkv, mp4, 3gp, flv, torrentили все.
Получив предварительные результаты, поиск можно скорректировать. Под меню «Hosting» скрывается около 60 файлообменников. Опять же нужный надо отметить галочкой.
В меню «Size» – ввести предпочтительный размер файла. В меню «Date» – время заливки файла. В меню «Extensions» по необходимости изменить расширение искомого файла.
Хотя все три онлайн сервиса для поиска в интернете файлов по файлообменнику отличаются друг от друга, с основной своей задачей справляются отлично. На мой взгляд, останавливаться на одном из них не стоит, разумней использовать все три.
