Scrape запросы что это
Scrape запросы что это
Что такое torrent файл?
Где взять uTorrent?
1. Общие
Выставляем всё как на скриншоте. Настройка Общие готова. Изменять эти настройки в большинстве случаев не приходится.
2. Отображение
Можно оставить всё по дефолту.
3. Папки
Смотрим скриншот и настраиваем папки для загрузки (имена для папок можете задать свои).
Выставляем как на скриншоте.
По умолчанию uTorrent хранит файлы своих настроек в отдельной папке в профиле пользователя, чтобы её открыть, выберите Пуск > Выполнить, вставьте %appdata%\utorrent и нажмите Ок.
Задержите курсор мыши на кнопке, чтобы увидеть всплывающую подсказку.
Долго оставлять задание на паузе не следует — так вы зря занимаете ресуры других пиров, и показываетесь на трекере как нормальный участник, хотя фактически в раздаче не участвуете.
Стоп[Stop]: Остановить задание.
RSS[RSS Downloader]: окно настроек RSS загрузчика. Если у вашего трекера есть RSS лента раздач, то вы можете настроить клиент автоматически находить и скачивать новые раздачи по определённым критериям (например все серии одного сериала).
Настройки[Preferences]: окно настроек uTorrent, можно также вызвать по Ctrl-P
Кликните на задании правой кнопкой мыши, и появится Контекстное меню. Некоторые его пункты:
Приоритет скорости[Bandwidth Allocation]: высокий/низкий приоритет на скорость отдачи, работает только при наличии глобального ограничения на отдачу
Перепроверить[Force Re-Check]: пересчитать и проверить контрольные суммы всех имеющихся кусочков раздачи
Обновить трекер[Update Tracker]: обратиться к трекеру прямо сейчас, не дожидаясь следующего периодического обращения
Почему я не могу скачивать быстрее?
Скачивание не пошло, сообщается что-то вроде ошибки при коннекте к трекеру. В чём дело?
Это означает, что в данный момент вы не можете получить данный файл. Это может быть старый линк на файл, который больше никто не расшаривает. Возможно, трекер перегружен и в данный момент не допускает новых коннектов. Сайт, на котором был размещён файл, может быть офлайн, и это, скорее всего, означает, что трекер также упал. Либо оставьте его открытым и надейтесь, что всё в итоге улучшится, либо попробуйте вернуться к нему позднее.
Я прекрасно скачивал, но скачивание достигло xx% и остановилось. Почему?
Как и в предыдущем вопросе, скорее всего, никто больше не расшаривает часть, которая вам необходима. Как это возможно? Скажем, старый файл расшаривался одним человеком, у которого был целый файл, а трое людей пытаются получить от него файл. Если первый офлайн, трое остальных продолжат расшаривать файл между собой. Однако могут быть несколько частей, которых нет ни у кого из троицы. В конечном итоге все трое достигнут определённой полноты скачиваемого файла и перестанут скачивать, после того как не у кого будет скачать недостающие части. Если это произошло, мы можете попытаться оставить его открытым и подождать, пока не приконнектится кто-то, у кого есть недостающие части.
Кто такой Сидер (seeder), Кто такой Личер (leecher)?
Что такое трекеры (trackers)?
Что такое Ратио (ratio)?
Что такое суперсид?
Как это работает?
Клиент в режиме суперсид выглядит для остальных как обыкновеный пир без данных.
При соединении с другим пиром клиент информирует его, что у него есть новый уникальный кусок данных, и позволяет этот кусок скачать.
Клиент не даст пиру больше кусков, пока не увидит предыдущий отданный кусок у кого-нибудь из других пиров.
Эффективность обычно оценивают по объему, отданному раздающим до появления первого скачавшего. Поскольку раздающий старается не отдавать один и тот же кусок два раза, то в идеале этот объем должен быть ненамного больше объема самой раздачи. Например, 110% считается хорошим результатом.
Обычно при суперсиде также минимизируется и время до появления первого скачавшего, но не обязательно. Кроме того, вполне возможно, что появление например первых 20ти скачавших будет быстрее без суперсида.
Когда включать режим суперсид?
Как закачать отдельный файл из торрента или докачать ранее пропущенные файлы торрента?
uTorrent слишком сильно загружает операционную систему
В настройках клиента выбрать пункт «Дополнительно», в нем подпункт «Кэширование» и установить галочки «Отключить Windows-кэширование при записи на диск» и «Отключить Windows-кэширование при чтении с диска».
также надо установить галочку в п. Распределять все файлы.
alex_emilsson
alex_emilssonEmilsson Magazine. Обо всём, кроме политики
Продолжение статьи, посвящённой основным настройкам µTorrent.
В этой части речь пойдёт о группах настроек «Скорость«, «BitTorrent«, «Предел передачи«, и «Очерёдность«.
По умолчанию:
Не установлен (нет ограничений).
Рекомендации:
Желательно включить. Но если у Вас «быстрый» Интернет, эффект не будет особо заметен.
По умолчанию:
Флажок снят (нет ограничений).
Рекомендации:
Если Вы желаете настроить индивидуальные значения скорости загрузки и отдачи для каждого торрента (это полезно, если у Вас не самый быстрый Интернет-канал, или же Вы хотите, чтобы один из торрентов загрузился быстрее, чем другой), то тогда смело устанавливайте этот флажок!
По умолчанию:
Флажок снят.
Рекомендации:
Действительно полезная опция, и я рекомендую Вам её использовать.
Рекомендации:
Можете выбрать на Ваше усмотрение (или оставить по умолчанию), но не стоит в этом переусердствовать. Для скорости 2 Мбит/с превосходно подходит значение 400.
Рекомендации:
Опять-таки, постарайтесь не переусердствовать в выборе этого значения. Для скорости 2 Мбит/с годятся значения в диапазоне 60-80, и лично я использую 60.
Рекомендации:
Это значение не должно быть слишком большим. Для скорости 2 Мбит/с можно использовать от 5 до 7 слотов (я использую 5).
Рекомендации:
В большинстве случаев, Вы можете спокойно оставить это поле пустым.
Рекомендации:
Если у Вас нет проблем с ISP, не снимайте флажок.
Группа » Предел передачи «
Флажок » Ограничивать полосу «:
Используется для включения возможностей ограничения полосы пропускания.
Подгруппа » Установки ограничения «:
В этой области отбражается статистика всего переданного трафика за указанный период.
Рекомендации:
На Ваше усмотрение; главное, чтобы Ваш Интернет-канал это позволял!
Рекомендации:
На Ваше усмотрение.
Рекомендации:
Опять-таки, на Ваш выбор.
По умолчанию:
Флажок не установлен (обычный порядок).
Рекомендации:
И здесь так же данная опция может быть включена на Ваше усмотрение.
ВАЖНО: эта опция, как и две предыдущие влияют только на торренты, добавленные после того, как эти значения были установлены. Уже существующие торренты не затрагиваются, и продолжают использовать свои настройки цели сидирования.
По умолчанию:
Флажок не установлен (нет ограничений).
Рекомендации:
Как обычно, на Ваше усмотрение 8)
BitTorrent/Термины
Здесь описаны некоторые дополнительные понятия, встречающиеся при использовании Битторрент.
Содержание
Шифрование протокола [ править ]
Шифрование протокола (Protocol Encryption) поддерживается в БТ клиентах Azureus, BitComet и µTorrent (совместимо друг с другом). В основном шифрование используется для борьбы с провайдерами, распознающими и подавляющими БТ трафик.
Теперь рассмотрим настройки шифрования в µTorrent:
Есть три варианта для исходящих (тех, которые начинает ваш клиент) соединений:
Выкл: устанавливать обычное (нешифрованное) соединение
Это настройка по умолчанию.
Если ваш провайдер не подавляет БТ трафик и у вас открыт порт для входящих соединений, то можете смело оставлять так. Пользователи, которые из-за своего провайдера могут пользоваться только шифрованным соединением, сами к вам подсоединятся с предложением его начать (если, конечно, они правильно настроили себе клиенты).
Включено: предлагать шифрование, но в случае неудачи устанавливать обычное соединение
То есть шифрованные соединения вам предпочтительнее, но принципе подходят и обычные.
Эта настройка имеет смысл если ваш провайдер частично подавляет ваш БТ трафик (т.е. ваш клиент может и качать и отдавать по обычным соединениям, но медленно).
Кроме того, вы можете выбрать этот вариант, если лично у вас провайдер нормальный, при этом вы снаружи недоступны (порт закрыт), но все-таки хотите общаться с «подавленными» пользователями (которые сами с вами установить соединения не могут из-за вашего порта).
Форсировано: предлагать шифрование, и в случае неудачи обычное соединение НЕ устанавливать
То есть обычные соединения для вас бесполезны (ваш провайдер полностью или слишком сильно их подавляет).
(Разумеется, если у вашего клиента недоступен снаружи порт прослушивания, то входящих соединений у вас в принципе нет и эта галочка ни на что не влияет)
Как определить, подавляет ли ваш провайдер нешифрованный БТ трафик?
Можно поспрашивать соседей по провайдеру. Или посетить местные форумы. Или сделать web поиск по названию провайдера и словам БитТоррент или BitTorrent или encryption, и т.п.
Несколько крупных западных провайдеров есть в списке Azureus: ISP that are bad for BT или можно про них поискать на форуме на dslreports.com.
Можно попытаться примерно определить самому: разрешить в клиенте шифрование, подсоединиться к популярным раздачам и в клиенте посмотреть как много качается/отдается на шифрованных и обычных соединениях. В µTorrent шифрованные соединения обозначаются буквами ‘e’ или ‘E’ в столбце «Флаги» на вкладке «Пиры».
Некоторые провайдеры подавляют трафик только в определенное время суток, если например после 12 ночи у вас каждый раз очень резко возрастает скорость, то возможно это оно и есть.
Разные термины [ править ]
Раздача [ править ]
Процесс распространения файла по протоколу BitTorrent. Обращение клиента к трекеру.
Пир [ править ]
(англ. peer — участник) — клиент, участвующий в раздаче. Иногда пирами называют только скачивающих участников.
Сид [ править ]
(англ. seeder — сеятель) — пир, имеющий все сегменты распространяемого файла, то есть либо начальный распространитель файла, либо уже скачавший весь файл.
Личер [ править ]
(англ. leech — пиявка) — пир, не имеющий пока всех сегментов, то есть продолжающий скачивание. Термин часто употребляется и в негативном смысле, который он имеет в других файлообменных сетях: пользователь, который отдает гораздо меньше, чем скачивает.
Рой [ править ]
(англ. swarm) — совокупность всех пиров, участвующих в раздаче.
Доступность [ править ]
(англ. availability) (также distributed copies) — количество полных копий файла, доступных клиенту. Каждый сид добавляет 1.0 к этому числу, личеры увеличивают доступность в зависимости от количества скачанного, которого нет у других личеров. К примеру, если на раздаче есть один сид и два личера с 50%, и скачанные части равны между собой, то доступность равна 1.50.
Рейтинг (ратио) [ править ]
(англ. share ratio) — отношение отданного к скачанному. Часто на трекерах выставленно ограничение на кол-во одновременно скачиваемых файлов при маленьком рейтинге(ратио).
Announce [ править ]
Обращение клиента к трекеру.
При каждом announce клиент передаёт на трекер информацию об объёмах им скачанного и отданного, a трекер передаёт клиенту список адресов других клиентов.
Обращение клиента к трекеру происходит через определённые интервалы времени, которые определяются настройками клиента и трекера.
Announce URL [ править ]
Адрес трекера, к которому клиент делает announce. Во многих клиентах называется Tracker URL. Может включать passkey. udp://bt.rutor.info:2710
Scrape [ править ]
Дополнительный протокол запроса клиента к трекеру, при котором трекер сообщает клиенту общее количество сидов и пиров на раздаче.
В отличие от announce, запрос scrape:
Клиент с помощью scrape может показать пользователю точные количества сидов и пиров на каждом задании, включая остановленнные.
Некоторые клиенты, например Azureus, также могут с помощью scrape:
Для уменьшения бесполезной нагрузки на клиент и на трекер scrape в клиенте лучше выключить. Включайте scrape только если он вам действительно нужен, и админы вашего трекера подтвердили, что их трекер поддерживает scrape. Существует мнение, что большинство русскоязычных трекеров scrape не поддерживают.
Файл метаданных [ править ]
BitTorrent не имеет системы поиска: для каждого распространяемого файла создаётся файл метаданных с расширением torrent, который содержит следующую информацию:
Файлы метаданных могут распространяться через любые каналы связи — например, эти файлы (или ссылки на них) могут выкладываться на веб-серверах, размещаться на домашних страницах пользователей сети, рассылаться по электронной почте, публиковаться в блогах или новостных лентах RSS.
Клиент начинает закачку, получив каким-либо образом файл с метаданными, в котором есть ссылка на трекер.
Трекер [ править ]
(англ. tracker — проводник) — специализированный сервер, работающий по протоколу HTTP. Трекер нужен для того, чтобы клиенты могли найти друг друга. Фактически, на трекере хранятся IP-адреса и входящие порты клиентов и хэш-суммы, уникальным образом идентифицирующие объекты, участвующие в закачках. По стандарту, имена файлов на трекере не хранятся, и узнать их по хэш-суммам нельзя. В практических реализациях, однако, трекер часто, помимо своей основной функции, выполняет и функцию небольшого веб-сервера. Такой сервер хранит файлы метаданных и описания распространяемых файлов, предоставляет статистику закачек по разным файлам, показывает текущее количество подключенных пиров и пр.
Супер сид [ править ]
(англ. Super seeding) — является особенностью некоторых клиентов BitTorrent, которые пытаются минимизировать объём данных до первого завершения загрузки пира. Это было задумано Джоном Хофманом и сначала было осуществлено на клиенте BitTornado в середине 2003 г. Эта особенность должна использоваться, когда есть только один сидер. Super seeding характеризуется изменением в поведении сидеров и не может быть осуществлено без нарушения протокола BitTorrent. Тем не менее, это не утверждается ни разработчиком протокола, Брэмом Коэном, ни в официальном клиенте. Супер-сид заставляет пользователей делиться скачаным. Отдав одному участнику какую-либо часть файла, клиент ничего больше ему не даст, пока не увидит в сети вторую копию этой части. Естественно, общая скорость отдачи падает. Как только происходит переключение в обычный режим, клиент начинает раздавать всем и скорости возрастают. Супер-сид эффективен при раздачах с большим количеством качающих. Если качающих 2-3 человека и их клиенты в силу разных причин отказались устанавливать связь друг с другом, то передача данных останавливается. Когда качающих много (10-20 человек), из экономии достаточно раздать до коэффициента 1. Тогда в сети окажутся все части файла и пиры смогут ими обменяться.
Ещё один способ обновления торрентов
На одном трекере я являюсь активным сидером. Но когда приходит время обновлять раздачи, для меня начинается ужас: некоторые раздачи имеют разные название в торрент-клиенте и на трекере, раздач с идентичным названием на трекере очень много, да и искать какую-то конкретную раздачу очень трудно. К тому же у меня нет столько времени, чтобы заниматься таким рутинным делом. Поэтому мне понадобился небольшой скрипт, который бы обновлял раздачи в клиенте, при обновлении оных на трекере.
Что же делать?
Передо мной встала задача: найти какое-нибудь готовое решение или же попробовать написать нужный скрипт самому. На хабре встречались способы, в некотором роде выполняющие мою задачу, но способ либо мне не подходил, либо он мне не совсем нравился. При этом я никогда не писал программ или даже скриптов, поэтому вариант собственноручно написанного скрипта мне нравился ещё больше. Сначала надо было выбрать инструмент, язык, который был бы лёгок для освоения и погружения в программирование, и моё внимание привлёк python.
Python мне сразу понравился. Кажется, что он придаёт некую «легкость» в написании кода. Как первое чтиво по python’у я выбрал книгу Марка Лутца «Изучаем Python (4-е издание)». Что ж, инструмент есть, какая-никакая помощь в виде книги есть, поехали!
Постановка задачи и её решение
Итак, для начала нужно определить, что торрент-файл в нашем клиенте (в данном случае имеется в виду uTorrent 2.2) устарел и надо скачать новый. Первое, что я смог придумать, — парсинг страниц и сравнение с данными в торрент-файле. Такой способ работал, но у него был огромный минус в быстродействии: парсинг ста страниц, а именно такой лимит раздач на трекере, занимал около трёх минут. К тому же надо было все параметры раздачи сравнивать с результатом парсинга страницы, а это тоже отнимало немало времени. Такой метод работал без сбоев, но мне он не особо нравился, поэтому я продолжил поиски всевозможных решений поставленной задачи.
Вскоре, после долгих раздумий и поисков, я узнал о такой вещи как scrape. Scrape, как говорит википедия, — это дополнительный протокол запроса клиента к трекеру, при котором трекер сообщает клиенту общее количество сидов и пиров на раздаче. При помощи scrape-запроса можно легко узнать о том, существует ли раздача или нет. Также scrape-запрос клиентами посылается чаще, чем announce. Но надо знать, поддерживает ли конкретный трекер этот протокол или же нет. К моему счастью, мой трекер его поддерживает. Scrape-запрос посылается при помощи метода GET с заголовком и вот так выглядит адрес, по которому идёт запрос:
Приступим к расшифровке файла:
Теперь у нас на руках есть словарь с именами и хэшами раздач. Теперь нам остается только посылать scrape-запросы с подставленным и видоизменённым хэшем и проверять, есть ли раздача с таким хэшем на трекере или её уже нет. Также не стоит забывать о том, что делать такой запрос нужно как бы от лица клиента, иначе трекер откажет в доступе.
Обычный ответ на запрос выглядит так:
В uTorrent авторизация в web-интерфейсе реализована не так, как на сайте, поэтому простая отправка данных не пройдёт. Затем мы получаем токен и вместе с ним выполняем какую-нибудь функцию в клиенте. Конечно, можно было бы выделить класс под действия в клиенте, но я посчитал, что для этого хватит и обычной функции.
(Прим.: К сожалению, моих знаний на данный момент не хватило, чтобы правильно авторизироваться в web-интерфейсе, поэтому я воспользовался способом, описанном на просторах интернета.)
Что в итоге
В итоге я получил скрипт, удовлетворяющий мою потребность, немного знаний и море удовольствия: очень весело до утра сидеть над кодом, а потом, когда ляжешь спать, понять, в чём была загвоздка.
Надеюсь, данный способ сможет кому-нибудь помочь.
UPD: Дико извиняюсь за свою невнимательность: приводил код в более читаемый вид перед публикацией, в результате чего и сам запутался, и вас запутал.
Код залил на Github. Работаю с ним впервые, так что, если я сделал что-то неправильно, обращайтесь.
Scrape
Scrape — дополнительный протокол запроса клиента к трекеру, при котором трекер сообщает клиенту общее количество сидов и пиров на раздаче.
В отличие от announce, запрос scrape:
Клиент с помощью scrape может показать пользователю точные количества сидов и пиров на каждом задании, включая остановленные.
Некоторые клиенты, например Azureus, также могут с помощью scrape:
Ссылки
 |
Протокол обмена файлами BitTorrent (программы-клиенты)