Sitemap changefreq что это

Правильный файл sitemap.xml или как создать карту сайта своими руками | Карта сайта для Joomla + VirtueMart с помощью компонента Xmap

Здравствуйте уважаемые читатели блога Site on! Сегодня я хочу продолжить тему «создания своими руками» и если в прошлый раз мы говорили о создании ЧПУ (SEF) ссылок, то сегодня речь пойдёт о составлении собственной XML карты сайта.

Что такое карта сайта?

Карта сайта – это древовидный (упорядоченный) список всех разделов и/или страниц сайта, который состоит из ссылок на эти страницы. Карты сайта бывают двух видов: для посетителей сайта (HTML версия) и для поисковых роботов (XML версия).

Зачем нужна карта сайта?

HTML карта сайта служит навигацией для ваших посетителей, благодаря ей они должны быстро сориентироваться в структуре вашего сайта и перейти в нужный им раздел.

XML карта сайта помогает найти поисковым роботам страницы вашего сайта, которые нужно проиндексировать. В случае большого количества страниц и уровней вложенности на сайте, XML карта даёт нам гарантию, что поисковые системы не пропустят страницы, которые должны быть проиндексированы. Также это показывает ваше желание помочь поисковым роботам, что повысит их доверие к вашему сайту.

Ещё одно различие обычной (HTML) карты сайта от XML версии помимо всего прочего заключается в том, что в XML нам не нужно строить упорядоченный, древовидный список (чтобы было красиво и понятно), мы можем указывать URL вразброс, так как важен сам факт их наличия, а не наглядность или последовательность.

Я считаю, что, если наличие HTML версии нужно далеко не всегда, то XML я использую даже для трёхстраничных сайтов, как минимум ради «галочки» в кабинете поисковых систем и мизерного повышения траста к своим сайтам. Делать её всего пару минут, а лишней она точно не будет.

Положительные стороны наличия XML карты сайта:

Для файлов Sitemap должна использоваться кодировка UTF-8.

Размер XML карты сайта не должен превышать 10 MB и не должен содержать больше 50000 URL. Если ваша карта превышает данные показатели, вы можете разбить её на несколько файлов и создать файл индекса sitemap. Подробнее об этом дальше.

В XML версии все ссылки должны быть абсолютными! То есть начинаться с
http://имя_домена/

Как создать sitemap.xml своими руками?

Далее открываем файл на редактирование, например, с помощью редактора кода Sublime Text 2 или phpDesigner 8 и первой строчкой, без пробелов и табуляций пишем xml-пролог, в котором мы указываем кодировку:

После этого идёт обязательный корневой XML-тег:

Он должен содержать стандарт текущего протокола:

Затем мы перечисляем всё ссылки и их параметры, для того чтобы начать описание новой ссылки мы должны написать обязательный тег

В дочерних тегах которого будет адрес ссылки и её параметры. Чтобы указать URL адрес страницы мы должны записать его абсолютный путь внутри тега

Тег lastmod

Предназначен для указания даты последнего изменения страницы, дата должна быть записана по стандарту W3C Datetime. Например:

Можно опустить точное время и записывать lastmod в более привычном виде:

Тег changefreq

Позволяет указать приблизительную частоту изменений страницы. Его допустимые значения:

В данном примере мы указали частоту обновления главной страницы: раз в неделю. Обращаю ваше внимание, что как и в случае с директивами robots.txt – тег changefreq носит лишь рекомендательный характер, поэтому если вы укажите частоту обновления страницы раз в год, то это ещё не значит что роботы будут посещать её всего лишь 1 раз в год, они могут наведываться хоть каждую неделю, если посчитают нужным.

Тег priority

И последним тегом, которым вы можете пользоваться при составлении своего файла sitemap.xml является:

Он показывает, какие страницы нужно проиндексировать как можно скорее, а какие можно и потом, то есть данный тег расставляет приоритет важности (очередь на сканирование). Значение задаётся от 0.0 до 1.0, значение для всех URL по умолчанию равно 0.5.

Priority – это относительная величина, поэтому нет смысла писать для всех страниц (с целью накрутки) приоритет – 1.0, это действие бессмысленно.

Priority – не влияет на позиции страниц в поисковой выдаче! Его значение влияет только на очередь индексирования между страницами вашего сайта.

В каждом URL вашей карты сайта вы можете использовать разные сочетания необязательных тегов (атрибутов):

Маскирование символов

По стандарту, в sitemap.xml все нижеприведённые символы должны быть замаскированы с помощью соответствующих им значений в таблице:

Вам необязательно маскировать символы вручную, вы можете воспользоваться этим сервисом: www.accessify.com

Создание файла индекса Sitemap для использования нескольких sitemap.xml

По стандарту, если у вас несколько файлов sitemap.xml, то они должны быть перечислены в файле индекса – это, как бы парадоксально не звучало, карта ваших карт сайта. То есть в файле индекса содержится перечень всех ваших файлов sitemap, в нём вы также можете пользоваться необязательным атрибутом lastmod.

Структура файла индекса полностью идентична структуре обычной карты сайта, поэтому чтобы не растягивать статью просто приведу вам пример:

Вся вышеприведённая информация взята с официального источника: www.sitemaps.org

Как создать правильную карту сайта для Joomla

Если ваш сайт имеет пару десятков страниц и не собирается увеличивать их количество, то вы, конечно же, можете создать карту сайта вручную. Между прочим, я считаю такой способ более предпочтительным по ряду причин:

Однако если количество страниц вашего сайта давно перевалило за 20 и постоянно растёт, то составление карты сайта своими руками теряет свою целесообразность на фоне всех неудобств и затрат времени. Поэтому ребята из Guillermo Vargas решили создать замечательный компонент для Joomla под названием XMAP, который помимо самой Джумлы имеет поддержку большинства популярных компонентов (VirtueMart, Zoo, K2 и др.).

Благодаря этому компоненту вы всего за пару минут создадите правильную карту (HTML и XML) для сайта любого объёма!

Компонент для создания карты сайта на Joomla + VirtueMart – XMAP

Актуальная версия Joomla на момент написания статьи: 2.5.11, актуальная версия XMAP: 2.3.3. Итак, скачиваем бесплатный компонент XMAP с официального сайта разработчиков, этот компонент доступен для любой версии Joomla и VirtueMart, не забудьте выбрать именно вашу версию:

Далее устанавливаем его стандартным способом с помощью «Менеджера расширений», затем заходим в административную панель Джумла: Компоненты/Xmap и сразу зайдём во вкладку «Расширения», чтобы включить нужные нам плагины:

Обычно это Content, WebLinks и VirtueMart для интернет-магазинов. После чего возвращаемся на предыдущую страницу и нажимаем красивую жёлтую кнопочку «Создать» вверху справа:

Теперь вы должны поставить галочки для меню, страницы которых будут автоматически появляться в вашей карте сайта, также здесь вы можете выставить необязательные атрибуты (приоритет и частота обновления), о которых мы уже говорили.

В остальном вам должно быть всё понятно, разве что я рекомендую отключить опцию «Украшать XML», так как она вовсе не к чему:

После всех настроек не забываем поставить состояние «опубликовано» и нажать «сохранить и закрыть»:

Теперь нам остаётся лишь нажать на ссылку «XML Sitemap» и скопировать URL карты сайта в robots.txt и кабинеты Яндекса и Гугл:

Чтобы в вашей карте сайта появились товары из VirtueMart, вы должны создать отдельный пункт меню для категорий VirtueMart и проследить, чтобы в настройках XMAP стояла галочка напротив этого меню.

Если что-то осталось непонятным или вы с чем-то не согласны – оставляйте свои комментарии, я обязательно отвечу.

Всем спасибо за внимание, вы можете подписаться на выход новых статей, используя форму ниже или с помощью кнопок в самом вверху (или справа) страницы. Всем удачного дня и до встречи в новых статьях!

Источник

Как сделать XML-карту и задать режим обхода сайта

Создание XML-карты сайта (sitemap.xml) — обязательный пункт в списке работ по внутренней оптимизации. Зачем нужен файл sitemap, где он находится и как его создать, разбираемся в статье.

Под термином «карта сайта» понимают 2 вида документов:

На сайте должны присутствовать и HTML карта, и XML. Первая нужна для пользователей, вторая — для роботов. Далее будем говорить об XML-карте сайта.

XML-карту удобно использовать для парсинга данных с сайтов. Парсер мета-тегов и заголовков системы PromoPult: быстро, с любого сайта. Соберем мета-теги и заголовки H1 с любого сайта. Подгрузите список страниц или карту сайта.

Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка стандартная и всегда выглядит вот так:

XML-карта сайта должна иметь кодировку UTF-8 и содержать следующие теги:

— дает роботам рекомендацию о приоритете индексирования. Главная страница всегда имеет

1, остальные можно расставить в зависимости от предпочтений оптимизатора (например, 0,8, 0,6 и так далее до 0,1).

Рекомендация по количеству ссылок в файле sitemap.xml — не более 50 тысяч. Если количество страниц сайта превышает это число, нужно сделать несколько карт, а в файле по адресу site.com/sitemap.xml указать на них ссылки:

Модуль SEO в системе Promopult: все инструменты для улучшения качества сайта и поискового продвижения. Полный комплекс работ — с нами вы не упустите ни одной мелочи. Чек-листы, подсказки, прозрачная отчетность и рекомендации профессионалов. Гарантии, оплата работ в рассрочку.

Краулер (паук) — поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это количество страниц за одно посещение робота, для разных сайтов бюджет ограничен — это может быть несколько десятков или сотен документов. Именно поэтому нужно направить краулера по тем страницам, которые важны для продвижения сайта, и сделать все, чтобы он не добрался до некачественных, малоинформативных, служебных страниц.

Важно понимать, что указания в файлах robots.txt и sitemap.xml — только рекомендации для роботов.

Отсутствие файла sitemap не является критичной ошибкой. Но если поисковый бот не найдет файл sitemap.xml, он станет сканировать и добавлять в индекс документы по своему усмотрению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать препятствием к выходу сайта в топ.

Роботы всех поисковых систем могут самостоятельно обнаружить XML-карту сайта, если она доступна по адресу site.com/sitemap.xml, но есть способы донести до поисковиков важную информацию быстрее.

1. Указать ссылку на файл в директиве sitemap файла robots.txt:

2. Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.

Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.

Рассмотрим подробнее самые популярные способы создания XML-карты.

Если на сайте небольшое количество страниц, создайте sitemap при помощи онлайн-генераторов.

Большой недостаток онлайн-генераторов — они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, такой способ не подходит.

Во всех популярных системах управления сайтом (CMS) есть возможность создать XML-карту. Файлы sitemap в этом случае обновляются автоматически, вам не придется генерировать карту сайта заново после каждой добавленной страницы.

Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели сайта:

Добавьте файл, назовите его и активируйте чекбокс о добавлении ссылки в robots.txt:

Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковым роботам:

То же самое проделайте во вкладке «Инфоблоки».

Сохраните все изменения и нажмите кнопку «Запустить»:

После создания карты сайта вы увидите сообщение, что генерация закончена:

XML-карта сайта настраивается в двух популярных SEO-плагинах: All in One SEO Pack и Yoast SEO. Есть также отдельный плагин для создания XML-карты — Google XML Sitemaps.

Покажем настройку на примере первого.

Сначала нужно установить плагин. Это делается в разделе «Плагины» консоли сайта. После установки он будет доступен для настройки. Нам нужен раздел «Управление модулями»:

В нем активируем модуль, который отвечает за XML-карту:

После активации модуль становится доступным для редактирования:

Далее вы можете оставить настройки по умолчанию или задать свои. Полная документация по модулю — здесь. Она на английском языке, но даже встроенный переводчик в Chrome поможет вам разобраться.

В Yoast SEO карта сайта создается автоматически по адресу site.com/sitemap_index.xml. Модуль также доступен для редактирования или можно оставить настройки по умолчанию.

Выбирайте подходящий способ создания XML-карты сайта и сообщайте поисковым роботам, какие страницы им стоит посетить — это даст вам уверенность в том, что поисковый робот проиндексирует все нужные страницы вовремя.

Использовать новый дефолтный битриксовский генератор никому не советую: он генерит sitemap исходя из инфоблоков, в результате в карту сайта постоянно попадает разный мусор, который пользователю на сайте вообще не выводится. И еще при его использовании одна карта сайта разбивается на много мелких файлов, что нецелесообразно если только у вас не портал на миллионы страниц.

Для себя на битриксовских сайтах генерирую карту через Screaming Frog SEO Spider в ручном режиме. Им же генерится и отдельный sitemap для изображений, чего «из коробки» никак не сделать.

А также сколько они стоят и почему выращивать их — неплохой бизнес.

Источник

Карта сайта (файл Sitemap) от А до Я

В статье:

Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса.Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты.

Для чего нужна Карта сайта:

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Карта обязательно нужна сайтам с такими признаками:

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.

Служебные теги Sitemap

Обязательные теги Карты сайта:

— указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang.

Пример Карты сайта в формате XML

Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

CMS-плагины для создания Sitemap

Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.

1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.

Источник

Sitemap: все про файл карты сайта

Автообновляемый sitemap обязательно нужен сайтам на которых часто создаются новые страница, а также имеются проблемы с их доступностью (глубокая вложенность, большое количество или отсутствие внутренних ссылок). В особенности он важен для новостных сайтов и интернет-магазинов.

Поисковые системы могут находить новые страницы на сайте не только на основе файла xml карты сайта. Источниками информации о новых страницах могут быть как ссылки на них внутри сайта, так и внешние ссылки, а также данные со счетчиков аналитики поисковиков.

Формат файла

Файл sitemap может иметь формат XML или TXT. Первый позволяет передать больше полезной информации поисковой системе, а потому является рекомендуемым.

При этом адрес файла не обязательно должен иметь на конце соответствующее разрешение, достаточного того что само содержимое файла придерживается нужного формата. Например, XML карту сайта можно разместить по адресу /sitemap.php и поисковые системы его не будут считать ошибочным или недоступным.

Ограничения

Файл должен иметь кодировку UTF-8.

Максимальный размер файла — 50 МБ (в несжатом виде).

Файл должен содержать ссылки только на страницы вашего домена.

Файл должен быть расположен на том же домене для которого он создан.

Все символы в URL должны быть экранированы (например, & нужно заменить на & ).

Код ответа сервера при обращении к файлу должен быть 200 ОК.

Указывайте только абсолютные ссылки на страницы сайта с корректным указанием домена (www/no-www, http/https).

XML формат

Формат XML является наилучшим выбором благодаря своей функциональности. Именно на этом стандарте создают sitemap большинство сайтов интернета.

Данный формат позволяет создавать не только сам файл карты сайта со ссылками на страницы сайта, но и файл индекса sitemap (в котором содержатся ссылки на все карты сайта).

Sitemap со страницами

Файл должен начинаться с XML-пролога:

Пример содержимого такого файла:

https://ilyagorbachev.com/page.html
2020-05-20
monthly

Индекс карт sitemap

Пример файла индекса sitemap:

Sitemap с изображениями

Карта сайта с изображениями особенно актуальна если изображения которые необходимо проиндексировать у вас на сайте загружаются через JavaScript (или находятся на страницах закрытых от сканирования), ведь поисковые системы могут их не увидеть.

Синтаксис такого файла карты сайта немного отличается от обычного. Для контейнера требуется дополнительно указать атрибут xmlns:image со ссылкой на пространство имен (тегов изображений). Также в контейнер помимо тега для изображений добавляются свои специфические теги.

Пример содержимого файла карты сайта с картинками:

https://ilyagorbachev.com/page.html

https://ilyagorbachev.com/image.png
Медный всадник
Памятник Петру I на Сенатской площади
Санкт-Петербург

.

.

Sitemap с локализованными страницами

Помимо обычного тега hreflang связать локализованные страницы можно с помощью карты сайта. Синтаксис похож на обычный файл sitemap для страниц сайта, но в теге указывается атрибут xmlns:xhtml со ссылкой на пространство имен xhtml.

Пример файла sitemap с локализованными версиями страницы:

В примере страница /page.html размечена как англоязычная, а страница /great-brit/page.html как англоязычная для жителей Великобритании. Страница /ru/page.html размечена для русскоязычных пользователей.

Sitemap с видео

С помощью sitemap для видео можно передавать заголовок видео, его изображение миниатюру, стоимость и много чего другого.

Sitemap с новостями

Карта сайта XML с новостями позволяет им быстрее попадать в результаты поиска Google Новости. Но, конечно же, не гарантирует им высокое ранжирование в результатах поиска. Файл должен содержать ссылки на новости за последние два дня и содержать не более 1000 страниц новостей.

TXT формат

Формат TXT у файла sitemap позволяет лишь передать информацию об адресах страниц сайта, без указания последней даты их обновления и других параметров который позволяет XML формат.

Ссылки указываются списком, как в примере:

https://ilyagorbachev.com/page1.html https://ilyagorbachev.com/page2.html https://ilyagorbachev.com/page3.html

Как настроить

Где же взять файл sitemap? Лучше всего настроить его генерацию на сайте установив соответствующий плагин (если вы используете популярную CMS) или заказать настройку генерации файла sitemap у программиста.

Онлайн-генераторы

Стоит понимать что если онлайн-генератор сможет найти все страницы вашего сайта, то и поисковая система сможет. Но вас все равно это не остановит, так как висит ошибка в Яндекс.Вебмастере, верно? Тогда держите таблицу сравнения бесплатных сервисов для генерации sitemap под его ручное размещение на сайте.

Сформировав файлы XML карты через генераторы скачайте их себе и разместите на сайта для которого их сделали.

Десктопные программы

Сформировать sitemap можно и на своем компьютере, для этого достаточно поставить любую из указанных программ-краулеров, запустить обход сайта и затем сделать экспорт в формате sitemap XML.

Так как мы традиционно не привыкли платить за программное обеспечение, далее будут рассмотрены бесплатные программы.

Xenu’s Link Sleuth

Бесплатная программа от немецкого разработчика, нацеленная на поиск битых ссылок на сайте. Позволяет сделать экспорт карты сайта в формате XML. Правда, не подходит для сайтов внутренние ссылки которых загружаются через JavaScript.

В отличие от других программ представленных далее у XENU нет ограничения по количество сканируемых страниц.

Screaming Frog SEO Spider

Очень удобный инструмент созданный британцами. Правда, сканирование в нем ограничивается 500 страницами. Позволяет сделать экспорт карты сайта страниц и изображений в формате XML. Очень гибкие настройки экспорта sitemap.

В платной версии нет ограничения по количеству сканируемых страниц и есть возможность учитывать ссылки, создаваемые через JavaScript. У меня самого установлена платная версия «лягушки».

G-Mapper

Бесплатный инструмент специально заточенный под создание карты сайта. Экспортирует данные в любом формате: XML, TXT, HTML и RSS. Формирует sitemap как для страниц, так и для изображений.

Из минусов стоит отметить что для каждой страницы (или изображения) нужно вручную проставлять все нужные параметры: lastmod, changefreq и другие. То есть для больших сайтов это не самый лучший выбор.

Настройка в популярных CMS

Если вы используете одну из популярных CMS, то проблему генерации файла sitemap за вас уже наверняка давно решили. Это могут быть плагины или примеры кода, с которыми настройка карты сайта не займет много времени.

Плагины для WordPress

WordPress является самой популярной CMS в мире и для неё есть целая куча отличных плагинов для генерации XML карты сайта.

Плагины для Joomla

Сами разработчики Joomla на официальном сайте рекомендуют следующие плагины для формирования карты сайта.

Настройка в Тильда

Если вы продвигаете сайт на конструкторе Тильда, то можете расслабиться. Конструктор сам создает и обновляет карту сайта. Найти её можно дописав к адресу сайта /sitemap.xml на конце.

Хотите изменить карту сайта? Слезайте с конструктора на полноценную CMS, так вы и оптимизировать сайт сможете лучше.

Настройка в Битриксе

В 1С-Битрикс у вас автоматически создается карта сайта, по умолчанию. Настроить её можно в админ-панели, перейдя по следующими пунктам в меню: маркетинг > поисковая оптимизация > настройка sitemap.xml.

Настройка для OpenCart

По умолчанию в OpenCart уже имеется модуль Google Sitemap. Включить модуль можно в разделе: меню > модули > каналы продвижения. Если у вашего интернет-магазина более 10 000 товаров, то раньше вы могли столкнуться с ошибками при обновлении карты сайта. Тогда требуется выбрать более продвинутый платный модуль.

Настройка в Drupal

Настройка в Prestashop

В Prestashop для настройки карты сайта нужно скачать модуль Google sitemap. После установки и настройки модуля нам придется самим настраивать обновление карты сайта через планировщик cron, либо после добавления каждого товара на сайт вручную обновлять карту сайта.

Для настройки автоматического обновления нужно зайти в свою хостинг-панель и настроить событие cron выполнения указанного в модуле скрипта со временем 0 * * * * (если хотите чтобы карта обновлялась раз в час).

В случае, если у вас очень много товаров и обновление карты сайта вызывает ошибку следует в настройках хостинга установить большее время для выполнения php-скриптов.

Добавить для поисковых систем

Включение ссылки на карту сайта в файле robots.txt позволяет отправить её на обход во все поисковые системы. В том числе файл посетят и не особо популярные поисковики, которые мы дальше не будем разбирать отдельно.

Добавить в Яндекс

Добавить карту сайта можно через сервис Яндекс.Вебмастер. Добавьте в сервис свой сайт, подтвердите на него права. А затем перейдите в раздел: индексирование > файл sitemap.

В поле ввода укажите ссылку на карту сайта и нажмите «Добавить». Если карт несколько, можно добавить каждую отдельно (в случае если у вас нет карты индекса sitemap, иначе достаточно добавить только её).

На основе технологий Яндекса работает поиск Рамблера, а также его результаты поиска использует поисковая система DuckDuckGo.

Добавить в Google

Добавить в Mail

Добавить карту сайта в Поиск Mail.Ru можно через их Кабинет Вебмастера. Подтверждение прав на сайт сразу может не дать доступ к самому кабинету, только после того как роботы поисковой системы обойдут сайт появится возможность добавить карту сайта. Это делается в разделе: мета информация > sitemap, форма добавления появиться при клике по кнопке «добавить».

У некоторых сайтов у меня больше года висит статус «Робот уже в пути» и нет возможности указать карту сайта, но популярные сайты добавляются быстро.

Добавить в Bing

Если вы добавили карту сайта для Google в Search Console, то для Bing достаточно перейти в сервис «Bing веб-мастер» и настроить интеграцию сайтов с Google Search Console. В результате переносится вся информация, в том числе и о файлах sitemap.

Поисковую базу Bing использует и Yahoo, поэтому сделав это вы убили двух зайцев.

Часто встречаемые ошибки

О многих ошибках в файле sitemap вас оповестят поисковые системы при проверке добавленного файла. Но есть и такие ошибки, которые они не видят. Давайте разберем самые часто встречаемые из них.

Некорректный ответ сервера

В случае если вы включили в карту сайта ссылки на недоступные страницы (с ответом сервера не равным 200 OK), значительных проблем у сайта конечно не возникнет. Но, в таком случае поисковой системе придется потратить свои усилия на обход этих страниц, а она могла бы их направить на обход новых. Поэтому рекомендуется исключать такие страницы из файла sitemap.

Быстро проверить файл на такие ошибки можно через Screaming Frog. Для этого заходим в режим сканирования (Mode) List и выбираем в качестве источника «Download Sitemap» (или «Download Sitemap Index»), затем ждем завершения процесса и заходим во вкладку «Response Codes».

Сортируем по параметру «Status Code» и получаем список страниц в карте сайта с некорректным ответом сервера (всё что отлично от 200).

Стоит отметить что можно создать отдельную XML карту сайта для удаления страниц из индекса поисковика, туда как раз могут попадать страницы с ответом сервера отличным от 200.

Закрытие в robots.txt

Иногда случается что директивами Disallow в файле robots.txt может быть по случайному совпадению запрещен обход каких-то важных страниц сайта. Выявить их поможет обход карты сайта инструментом Screaming Frog. После обхода нам нужно зайти во вкладку «Response Codes» и выбрать фильтр «Blocked by Robots.txt».

Технические страницы

Закрывайте технические страницы через мета-тег robots (или X-Robot-Tag) со значением noindex. А страницы с данными пользователя должны отображаться только после его авторизации (например, с кодом ответа сервера 401 Unauthorized).

Заключение

Пользуйтесь всеми возможностями файлов sitemap для управления индексацией сайта. И не забывайте периодически возвращаться к нему для проверки ошибок.

Источник