Как искать файлы на сайте
Секреты поиска. Как найти нужный документ в интернете?.
Всем привет, это следующий урок о том, как правильно искать информацию в сети с помощью Google. Есть одна хитрость, которая, впрочем как всегда, никаким секретом не является. Мало кто из нас задумывается, но логически это понимают все – интернет это далеко не только веб-страницы ресурсов. Это видео, фото и аудио файлы, это документы различных форматов и многое другое. Даже не всегда на том или ином ресурсе в силу каких-то обстоятельств (в том числе и по недосмотру владельца файла) мы имеем доступ к нему по прямой ссылке для скачивания. Но в сети они есть и Google их прекрасно видит. Файлы проиндексированы поисковой системой, а значит, они доступны и для нас. Так что найти нужный документ бывает проще, чем каждый из нас думает. Давайте найдём их.
Перед тем, как перейти конкретно к поиску, стоит упомянуть о специальном сервисе Google, о котором, оказывается, мало кто знает. Это страница расширенного поиска:
Я нарочно оставлю это без комментариев, там всё по-русски. Изучайте и пользуйтесь. Это, скажем, страница продвинутого поиска без знания операторов Google.
У каждого из файлов есть своё расширение, которое определяет тип программы, с помощью которой ему положено открываться. По умолчанию тип сокрыт от глаз пользователя. Но не для Google. Даже не зная названия документа полностью, вы сможете (теоретически) попытаться найти нужный документ, зная, что он имеет вид, например, документа Word из набора Microsoft Office. Вобщем, Google понимает вот такие расширения:
По аналогии с известным вам исключением ненужной информации из поисковой выдачи, можно, наоборот, исключить из неё ненужные расширения и работать только с определёнными их типами. Используем, тем самым, оператор исключения «-». Например:
Всё. В поисковой выдаче страниц с договором в формате Word не будет. Будут PDF, TXT, но не Word.
Как найти нужный документ на конкретном сайте или домене.
Так вот, чтобы заняться поиском только по конкретной доменной зоне, укажите тип домена в поисковом запросе с помощью оператора “site:”. Например:
И при наборе информации в определённой зоне:
Google будет искать результаты только в русскоязычном интернете (рунете).
По аналогии с доменной зоной можно сократить место поиска до конкретного веб-сайта. Например, если нужно прочитать справку о том или ином событий в операционной системе Windows, есть смысл обратиться к первоисточнику. Ищите в пределах только официальной справки от Microsoft на официальном сайте. Для этого используйте тот же самый оператор в таком виде:
Все найденные результаты будут касаться только этого сайта.
Как использовать Google для поиска файлов в Интернете
Google может быть полезен для поиска не только веб-страниц. Используя описанные ниже приемы, вы даже сможете находить файлы в Google.
Поиск в Google по типу файла означает, что вы сужаете результаты, чтобы показать только те, которые включают файлы. Когда Google используется для поиска файлов, вы можете находить книги, документы, ноты, файлы Microsoft Word и многое другое.
Файлы, которые вы можете найти в Google
Google может найти большое количество файлов, а некоторые даже проиндексированы, что означает, что вы можете искать файлы, в которых есть определенный термин.
Это список только некоторых файлов, которые вы можете найти с помощью поиска Google (другие могут также поддерживаться):
Как искать по типу файла
Команда filetype используется для поиска файлов в Google. Когда вы используете этот оператор в своих поисках, расширение файла, которое вы связываете с ним, немедленно сужает все результаты, чтобы показать только этот тип файла.
Например, вы можете искать PDF-файлы в Google, если вы ищете книги в этом формате:
За типом файла следует поисковый запрос, который вы хотите, чтобы Google искал в файлах.
Всегда заключайте несколько слов в кавычки, если вы хотите, чтобы они были в одной фразе.
Этот же шаблон работает для любого из типов файлов. Например, чтобы найти образцы резюме в формате файла DOCX:
Если вы музыкант и хотите использовать Google для поиска ноты, лучше всего воспользоваться поиском в формате PDF:
Объединение других команд
Не можете найти онлайн-игру, в которую вы любили играть? Поиск по типу файла для SWF-файлов может помочь, если игра доступна в виде Flash-файла.
Используем малоизвестные функции Google, чтобы найти сокрытое
Содержание статьи
Получение частных данных не всегда означает взлом — иногда они опубликованы в общем доступе. Знание настроек Google и немного смекалки позволят найти массу интересного — от номеров кредиток до документов ФБР.
WARNING
К интернету сегодня подключают всё подряд, мало заботясь об ограничении доступа. Поэтому многие приватные данные становятся добычей поисковиков. Роботы-«пауки» уже не ограничиваются веб-страницами, а индексируют весь доступный в Сети контент и постоянно добавляют в свои базы не предназначенную для разглашения информацию. Узнать эти секреты просто — нужно лишь знать, как именно спросить о них.
Ищем файлы
В умелых руках Google быстро найдет все, что плохо лежит в Сети, — например, личную информацию и файлы для служебного использования. Их частенько прячут, как ключ под половиком: настоящих ограничений доступа нет, данные просто лежат на задворках сайта, куда не ведут ссылки. Стандартный веб-интерфейс Google предоставляет лишь базовые настройки расширенного поиска, но даже их будет достаточно.
Результаты поиска с filetype и ext теперь одинаковые
Linux для хакера
Фильтруем выдачу
Попробуем на практике. Берем фильтр allintext и делаем так, чтобы запрос выдал список номеров и проверочных кодов кредиток, срок действия которых истечет только через два года (или когда их владельцам надоест кормить всех подряд).
275 тысяч актуальных кредиток, фейков и ханипотов для любителей халявы
Когда читаешь в новостях, что юный хакер «взломал серверы» Пентагона или NASA, украв секретные сведения, то в большинстве случаев речь идет именно о такой элементарной технике использования Google. Предположим, нас интересует список сотрудников NASA и их контактные данные. Наверняка такой перечень есть в электронном виде. Для удобства или по недосмотру он может лежать и на самом сайте организации. Логично, что в этом случае на него не будет ссылок, поскольку предназначен он для внутреннего использования. Какие слова могут быть в таком файле? Как минимум — поле «адрес». Проверить все эти предположения проще простого.
Используя два оператора, можно получить «секретные» документы NASA за 0,36 с
и получаем ссылки на файлы со списками сотрудников.
Адреса и телефоны ключевых сотрудников NASA в файле Excel
Пользуемся бюрократией
Подобные находки — приятная мелочь. По-настоящему же солидный улов обеспечивает более детальное знание операторов Google для веб-мастеров, самой Сети и особенностей структуры искомого. Зная детали, можно легко отфильтровать выдачу и уточнить свойства нужных файлов, чтобы в остатке получить действительно ценные данные. Забавно, что здесь на помощь приходит бюрократия. Она плодит типовые формулировки, по которым удобно искать случайно просочившиеся в Сеть секретные сведения.
Пример штампа в документе уровня секретности С
Чертеж из руководства к учебно-боевому вертолету TH-57С Sea Ranger
Забираемся в облака
Помимо случайно рассекреченных документов правительственных ведомств, в кеше Гугла временами всплывают ссылки на личные файлы из Dropbox и других сервисов хранения данных, которые создают «приватные» ссылки на публично опубликованные данные. С альтернативными и самодельными сервисами еще хуже. Например, следующий запрос находит данные всех клиентов Verizon, у которых на роутере установлен и активно используется FTP-сервер.
Таких умников сейчас нашлось больше сорока тысяч, а весной 2015-го их было на порядок больше. Вместо Verizon.net можно подставить имя любого известного провайдера, и чем он будет известнее, тем крупнее может быть улов. Через встроенный FTP-сервер видно файлы на подключенном к маршрутизатору внешнем накопителе. Обычно это NAS для удаленной работы, персональное облако или какая-нибудь пиринговая качалка файлов. Все содержимое таких носителей оказывается проиндексировано Google и другими поисковиками, поэтому получить доступ к хранящимся на внешних дисках файлам можно по прямой ссылке.
Серийники, документы и еще сорок тысяч файлов с частных облаков
Подсматриваем конфиги
Один из файлов ws_ftp.ini в открытом доступе
Расшифровать такие пароли легко с помощью утилиты WS_FTP Password Decryptor или бесплатного веб-сервиса.
Расшифровка пароля занимает около секунды
Раскрываем пароли от СУБД
В конфигурационных файлах SQL-серверов имена и адреса электронной почты пользователей хранятся в открытом виде, а вместо паролей записаны их хеши MD5. Расшифровать их, строго говоря, невозможно, однако можно найти соответствие среди известных пар хеш — пароль.
Подбор пароля по хешу MD5
До сих пор встречаются СУБД, в которых не используется даже хеширование паролей. Конфигурационные файлы любой из них можно просто посмотреть в браузере.
Пароль к базе данных открыто хранится в конфигурационном файле
С появлением на серверах Windows место конфигурационных файлов отчасти занял реестр. Искать по его веткам можно точно таким же образом, используя reg в качестве типа файла. Например, вот так:
Серверы с открытыми окнами
Не забываем про очевидное
Иногда добраться до закрытой информации удается с помощью случайно открытых и попавших в поле зрения Google данных. Идеальный вариант — найти список паролей в каком-нибудь распространенном формате. Хранить сведения аккаунтов в текстовом файле, документе Word или электронной таблице Excel могут только отчаянные люди, но как раз их всегда хватает.
Национальный НИИ здоровья им. Ли Дэнхуэя случайно засветил список паролей
С одной стороны, есть масса средств для предотвращения подобных инцидентов. Необходимо указывать адекватные права доступа в htaccess, патчить CMS, не использовать левые скрипты и закрывать прочие дыры. Существует также файл со списком исключений robots.txt, запрещающий поисковикам индексировать указанные в нем файлы и каталоги. С другой стороны, если структура robots.txt на каком-то сервере отличается от стандартной, то сразу становится видно, что на нем пытаются скрыть.
Белый дом приветствует роботов
Goolge помогает зреть в корень списка директорий
Следим за обновлениями
Дырявых систем сегодня так много, что проблема заключается уже не в том, чтобы найти одну из них, а в том, чтобы выбрать самые интересные (для изучения и повышения собственной защищенности, разумеется). Примеры поисковых запросов, раскрывающие чьи-то секреты, получили название Google dorks. Одной из первых утилит автоматической проверки защищенности сайтов по известным запросам в Google была McAfee SiteDigger, но ее последняя версия вышла в 2009 году. Сейчас для упрощения поиска уязвимостей есть масса других средств. К примеру, SearchDiggity авторства Bishop Fox, а также пополняемые базы с подборкой актуальных примеров.
Актуальность тут крайне важна: старые уязвимости закрывают очень медленно, но Google и его поисковая выдача меняются постоянно. Есть разница даже между фильтром «за последнюю секунду» ( &tbs=qdr:s в конце урла запроса) и «в реальном времени» ( &tbs=qdr:1 ).
Временной интервал даты последнего обновления файла у Google тоже указывается неявно. Через графический веб-интерфейс можно выбрать один из типовых периодов (час, день, неделя и так далее) либо задать диапазон дат, но такой способ не годится для автоматизации.
Диапазон указывается в формате юлианских дат без учета дробной части. Переводить их вручную с григорианского календаря неудобно. Проще воспользоваться конвертером дат.
Таргетируемся и снова фильтруем
Пример напоследок
Поступить в Боннский университет значительно сложнее, чем подключиться к их VPN
Пароли хранятся в зашифрованном виде, но Морис Массар уже написал программу для их расшифровки и предоставляет ее бесплатно через thecampusgeeks.com.
При помощи Google выполняются сотни разных типов атак и тестов на проникновение. Есть множество вариантов, затрагивающих популярные программы, основные форматы баз данных, многочисленные уязвимости PHP, облаков и так далее. Если точно представлять то, что ищешь, это сильно упростит получение нужной информации (особенно той, которую не планировали делать всеобщим достоянием). Не Shodan единый питает интересными идеями, но всякая база проиндексированных сетевых ресурсов!
Что такое поиск по файлообменникам и как они работают?
В Интернете доступно огромное количество серверов, работающих по протоколу FTP. (Чем протокол FTP отличается от HTTP/HTTPS, что будет, если заменить начало URL-адреса большинства сайтов — можно прочитать в любом специализированном справочнике, сейчас же интересно рассмотреть поисковики, индексирующие файлы на FTP-серверах).
Так как большинство FTP-серверов хранит данные в свободном доступе, без необходимости ввода логина и пароля, (а если с паролем — то создатели поисковой системы стараются узнать его и предоставить доступ своим пользователям) потому, что не каждый хост определен владельцем как хранилище приватных данных или данных сайта — очевидно, что возникает возможность просматривать и индексировать файлы, лежащие на серверах, допускающих анонимное подключение.
Вот, вкратце, и вся предыстория появление FTP-поисковиков: они «проходят» по доступным серверам, создают базу данных файлов, создают точную копию расположения и иерархического устройства директорий и предоставляют расположение файла в ответ на запрос пользователя с названием, фрагментом или другими параметрами файла, доступными к пониманию поисковой системы. Да, хорошие решения в это сфере ищут по любому фрагменту, доступному внутри файла.
Особенности FTP-поисковиков
Подобные поисковики — это история только про файлы. Без агрессивной рекламы, редиректов, всплывающих окон, внезапных звуков, громоздких фреймов и т.д. Просто ссылки на файлы — и все. Вы получаете комплект файлов, подключаетесь к серверу и загружаете к себе на компьютер нужные вам файлы через FTP-клиент или «проводник».
FTP-поисковики нужны для быстрого поиска, быстрой загрузки и концентрации ресурсов компьютера и пользователя исключительно на поиске файлов — без навязчивой рекламы, всплывающих окон и потери скорости.
Обзор имеющихся решений в области FTP-поиска. Сравнение, описание и тест-драйв
Сразу стоит сказать, что рассматриваемые ниже сервисы — это далеко не полный список решений, доступных в нише поисковых систем, работающих по протоколу FTP, но это список наиболее крупных и мощных сервисов с обширной базой доступных серверов и мощным функционалом поиска.
FileSearch.ru
Проект запущен более 20 лет назад. FS индексирует огромное количество российских FTP-серверов и тысячи зарубежных. Доступны только серверы с анонимным доступом. На момент написания данной статьи, индексная база составляет 31 595 791 файлов общим объемом 51565.6 Gb. Сервис регулярно обновляет индексы и следит за наличием файлов на серверах, что видно при поиске — неактивных ссылок в выдаче практически нет, так как они удаляются из базы индексации в течение нескольких недель
Данный поисковик предлагает искать файлы, каталоги, аудио и видео файлы, изображения и сервера по их именам. Данный сервис поддерживает поиск внутри домена, а также поиск конкретной папки на сервере, поиск по размеру, по маске, по регулярным выражениям или точному фрагменту текста. Кроме того сервис выдает всю информацию о файле и внесенных в него изменениях.
Мамонт
Проект Константина Айги, на который обязательно стоит обратить внимание, так как проект разрабатывал всего один человек с абсолютного нуля.
Во многом функционал этого поисковика совпадает с FileSearch.ru, уступает в количестве проиндексированных файлов, поддерживает обычный веб-поиск по сайтам, а также поиск внутри архивов.
FreeWareWeb.com
Как уже было сказано выше, это далеко не все имеющиеся решения, позволяющие осуществлять FTP-поиск, а лишь список, состоящий из нескольких крупных проектов, и необходимый для получения общего представления о теме статьи. С появлением файлообменников и развитием таких поисковых гигантов как Google, изолированные FTP-поисковики постепенно уходят в прошлое, становятся заброшенными (частично или полностью) или вовсе уходят в историю развития интернет-технологий.
Скорее всего, буквально через несколько лет поиск по протоколу FTP уйдет в прошлое так как современные поисковые решения уже стирают границы, во всяком случае, для конечного пользователя и умеют находить и текстовые документы, и архивы, и музыку по напеваемому фрагменту, а с помощью нейронных сетей могут догадываться о том, что конкретно хочет увидеть конкретный пользователь на видео. К сожалению, основное преимущество FTP-поисковиков в скорости уничтожается, становится незаметным и неосязаемым с развитием вычислительной мощности, а также технологий индексации и хранения данных. Но, если вам интересен поиск файлов по FTP — теперь вы знаете, куда обратиться.
Пожалуйста, опубликуйте свои мнения по текущей теме статьи. За комментарии, дизлайки, отклики, лайки, подписки огромное вам спасибо!
Пожалуйста, оставляйте свои комментарии по текущей теме статьи. Мы очень благодарим вас за ваши комментарии, дизлайки, подписки, отклики, лайки!
Бесплатный сканер каталога сайтов: просмотр всех файлов и директорий
Сканирование каталогов веб-сайтов и конфиденциальных файлов – одна из важных задач при тестировании вашего сайта. Сканирование необходимо для обнаружения конфиденциальных каталогов или поиска скрытых каталогов на веб-сайте. С помощью Сканера каталогов веб-сайтов вы можете сканировать и находить такие файлы, как PHP Robots.txt и другую информацию;
Если мошенники просканируют ваш сайт и найдут загруженные файлы, они могут загрузить на ваш сайт вредоносный код. Если на вашем сайте есть скрытые файлы, о которых вы не знаете, вы можете стать легкой добычей киберпреступников. Они могут получить доступ к конфиденциальной информации и использовать ее в незаконных целях.
По этой причине очень важно знать, как найти скрытые файлы на веб-сайтах и в каталогах.
В этой статье мы объясним, как просмотреть список каталогов веб-сайтов с помощью сканера каталогов веб-сайтов. Это простой и бесплатный способ получить полный список скрытых каталогов, которые могут стать уязвимостью для вашего сайта.
Что такое сканер каталогов веб-сайтов?
Как найти скрытые страницы и файлы на сайте?
Это отличная идея – сканировать веб-сайт на предмет скрытых каталогов и файлов (скрытых – это каталоги и файлы, на которые нет ссылок и о которых знает только владелец сайта!) С помощью онлайн-сканера каталогов веб-сайтов. Как минимум, вы можете узнать что-то новое о сайте, просмотреть структуру каталогов сайта, а иногда просто выпадает суперприз – архив сайта или базы данных, резервное копирование конфиденциальных документов и т. Д.
Что такое каталог веб-сайта? Это основная папка, в которой хранятся все каталоги и файлы сайта. Именно в эту папку загружается архив с файлами сайта и базой данных. Если вы поместите файлы сайта не в ту папку, вместо сайта будет отображаться ошибка 403.
Средство поиска каталогов помогает обнаружить в системе указанный каталог для файлов, содержащих сообщения (например, в формате XML или JSON). Когда сообщения прочитаны, они могут быть переданы в основной конвейер сообщений, где на них может воздействовать полный спектр фильтров обработки сообщений.
Средство просмотра файлов веб-сайта обычно используется в тех случаях, когда внешнее приложение помещает файлы (возможно, по FTP) в файловую систему, чтобы их можно было проверить, изменить и потенциально направить через HTTP или JMS.
Это помогает профессионально сканировать каталог веб-сайтов. Особенно, когда вы запускаете ориентированные на безопасность тесты и просматриваете каталог веб-сайта, он закрывает некоторые дыры, не закрываемые классическими сканерами веб-уязвимостей. Он ищет определенные веб-объекты, но не ищет уязвимости и не ищет веб-контент, который может быть уязвимым.
Что могут быть «скрытые файлы»?
В общем, эти каталоги могут быть следующими:
Вам следует регулярно сканировать сайты, чтобы узнать, не передаются ли какие-либо конфиденциальные и проприетарные файлы. Просмотр каталога веб-сайта – это действительно простое правило, которое поможет защитить вас от хакерских атак и сохранит ваши файлы в полной безопасности.
Различные типы сканеров каталогов веб-сайтов
Как просмотреть каталог сайта? Сканеры работают по разным принципам. Есть инструменты для сканирования вашего сайта (и это авторизованные инструменты), но есть также хакерские инструменты. С этической точки зрения вы не можете сканировать каталоги других сайтов. Юридически это считается взломом и мошенничеством.
Давайте посмотрим, по какому принципу будут работать различные типы сканеров каталогов.
Как видите, существует несколько способов сканирования и поиска скрытых файлов на вашем сайте. Вы можете выбрать наиболее удобный для себя или воспользоваться нашим простым инструментом «Сканер каталогов веб-сайтов». С помощью нашего бесплатного сканера вы легко просмотрите каталог веб-сайта и найдете все скрытые файлы, которые могут стать вашей уязвимостью.
Руководство по эффективному использованию нашего сканера каталогов
Если вы хотите найти скрытые URL страниц на веб-сайте и знаете, как просмотреть список каталогов веб-сайтов, используйте наш инструмент сканирования каталогов веб-сайтов.
Так просто выглядит процесс поиска в каталоге сайта.
Особенности нашего сканера каталогов веб-сайтов
Что ж, давайте кратко рассмотрим основные функции нашего сканера каталогов веб-сайтов.
Как только сканирование остановится, вы увидите оценку своего сайта, количество отсканированных страниц и количество страниц в индексе Google. Например, мы просканировали наш сайт sitechecker.pro. Вы можете увидеть результаты сканирования на скриншоте ниже.
Это предупреждения, информирующие владельца сайта о том, что можно улучшить. А второстепенные – это уведомления, которые не являются важными предупреждениями.