При наполнении сайта ссылками или запуске нового раздела важно, чтобы поисковики быстрее провели их индексацию. Если ресурс имеет большое количество страниц, возникает проблема: они долго не появляются в поисковой выдаче. Ускорить индексацию поможет карта XML. Рассказываем о принципах работы карты сайта, о правилах ее заполнения и настройки — вручную и через онлайн-сервисы.
- Для чего создавать XML-карту
- Как создать XML-карту сайта
- Как сообщить об XML-карте поисковикам
- Частые ошибки при создании XML-карт
- Кратко: как настроить XML-карту сайта
Для чего создавать XML-карту
XML-карта предоставляет основные данные о ресурсе: URL, ссылки на разделы, периоды обновлений. Поисковики просматривают документ, получают информацию для анализа разделов и быстрее проводят индексацию. В текстовый документ XML входят:
- Ссылки.
- Даты внесения изменений и частота обновления контента.
- Приоритетные разделы, которые нужно анализировать быстрее других.
- Данные о визуальном контенте.
- Доступные версии на иностранных языках.
Документ sitemap.xml — необязательный элемент на сайте. В случаях, когда он отсутствует, роботы все равно будут проводить анализ. Но если ресурс создан недавно, имеет большое количество разделов, на которые требуются ссылки, в контент периодически вносятся изменения, без помощи карты процесс замедляется.
Поисковые краулеры не успевают проиндексировать все страницы за отведенное время, и важная информация не доходит до аудитории. Карта сайта выполняет роль навигатора — транслирует его структуру и направляет на страницы, которые нужно индексировать в первую очередь.
Существует еще HTML-карта, предназначенная для людей. Документ также необязательно размещать на сайте. Его наличие помогает посетителям лучше ориентироваться и улучшает индексацию страниц. Он представляет отдельный раздел, где собраны приоритетные URL. Хорошо, когда есть оба документа — это ускоряет анализ страниц и помогает быстрее появиться в выдаче.
Как создать XML-карту сайта
К картам XML предъявляются определенные требования. Полный перечень рекомендаций можно найти на официальной странице Sitemap. Разберем основные:
- Документ не должен включать больше 50 тысяч страниц. Если хотите добавить сверх лимита, их нужно сделать отдельно, а потом собрать в одном документе.
- Исходный вес не больше 50 мегабайт.
- Нельзя добавлять ссылки на мусорные и несуществующие разделы. А еще на такие страницы, где есть личная информация, временные и тестовые данные, с повторяющимся контентом.
- Документ и ресурс должны располагаться на одном домене.
- Файл sitemap.xml нужно загрузить в корневую папку ресурса.
- Код ответа URL документа — 200. Правильность кода проверяют в Яндекс Вебмастере и сервисе Sitemap-Checkers.
- Кодировка файла — UTF-8. Ее выбирают перед сохранением настроек. Она отображается в верхней части документа.
Существует 3 варианта настройки карты сайта: генерация в специальных сервисах, плагины для CMS и ручной способ. Разберем, какие возможности они предоставляют и для каких ресурсов подходят.
Онлайн-генераторы
Существуют специальные системы, способные генерировать Sitemap.xml за 1–2 минуты. Способ хорош тем, что экономит время, не требует специальных знаний. Все, что нужно, — вставить в поле URL сайта, указать количество ссылок и запустить автоматический процесс.
Вариант подойдет для простых сайтов с небольшим числом ссылок, для сайтов-одностраничников. Не подойдет для ресурсов, где часто обновляются ссылки и постоянно добавляются новые страницы.
- XML-sitemaps. Бесплатная версия дает возможность разместить до 500 ссылок. Регистрация не требуется. Проверсия позволяет добавить до 1,5 млн страниц. Нужно создать учетную запись и оплатить подписку от $4,19 в месяц.
- Free Sitemap Generator. В сервисе можно бесплатно создать карту XML онлайн на 500 ссылок. Требуется регистрация и подтверждение почты. Если нужно разместить больше страниц, переходят на Premium-аккаунт с лимитом до 25 000 ссылок.
- СайтРепорт. Доступен без регистрации. Sitemap.xml создают бесплатно и добавляют в него до 5000 ссылок.
- XML Sitemap Generator. Есть бесплатный доступ к генерациям двух файлов Sitemap.xml в месяц с ограничением до 25 ссылок в каждом. Для доступа требуется регистрация. Если нужно добавить больше страниц, переходят на платные тарифы: «Базовый», стоимостью $7 в год, где можно создать 10 карт XML в месяц по 1000 ссылок в каждой, и «Стандарт», где нет лимита на количество карт, но есть ограничение по числу страниц — до 5000.
- MySitemap. Бесплатно создает карты Sitemap.xml и размещает в них до 500 ссылок. Есть платные тарифы: $2,5 в месяц — добавление до 1 млн ссылок, и $4 — без лимита.
Разберемся, как выгрузить карту сайта в XML-sitemaps:
1. Заходим на страницу xml.sitemaps.
2. Добавляем ссылку на сайт в специальное поле и нажимаем Start.
3. Через пару минут получаем ссылку на документ.
Советуем предварительно просмотреть sitemap.xml на ошибки: правильно ли прописаны ссылки на страницы, есть ли основные обязательные теги. Если все в порядке, скачайте документ. Дальше нужно положить его в корневую папку.
Как загрузить XML-карту в корневую папку домена. Для загрузки пригодится FTP-менеджер — специальная программа для работы с файлами. Через менеджера подключаются к серверу, загружают нужные файлы и управляют ими онлайн. Подойдет любая из следующих бесплатных программ: WinSCP, Cyberduck, FileZilla или FTP Manager.
Шаги, которые нужно пройти в менеджере:
- Запустите любой из менеджеров и залогиньтесь на сервер ресурса через логин и пароль.
- Вставьте URL документа сгенерированной sitemap.xml в корневую папку домена.
- Затем найдите в этой же папке файл robots.txt. В него впишите строчку: Sitemap: https://адрес-сайта/sitemap.xml
Обратите внимание: при отсутствии в корневой папке файла robots.txt, требуется обязательно его создать. В нем пропишите все ту же строчку: Sitemap: https://адрес-ресурса/sitemap.xml
Выберите слева документ sitemap и перетащите в корневую папку справа
Онлайн-сервисы для CMS
В популярные движки, например WordPress, Shopify, WIX, Joomla и другие, уже встроены плагины. Они удобнее генераторов, потому что позволяют настраивать параметры ссылок, удалять устаревшие, выбирать приоритетные.
Для WordPress:
- Google XML Sitemaps. Бесплатный и простой в применении онлайн-сервис. В нем создают карты XML, соответствующие всем требованиям, настраивают приоритеты и исключения для URL страниц.
- All in One Webmaster. Здесь можно бесплатно настроить карту с автоматическими обновлениями.
- Yoast Seo. Бесплатно генерирует документы XML c автоматическим обновлением в случае добавления новых и удаления старых страниц.
- Sitemap by Bestwebsoft. Бесплатно создает карту, собирает URL страниц и добавляет их в документ XMLl.
Для Shopify:
- Mapify Sitemap Generator. Без оплаты соберет карту сайта с автоматическим обновлением. При помощи настроек выбирают приоритетные страницы, прописывают обновления.
- Custom XML Sitemap Builder Pro. Здесь получают настраиваемые документы XML с SEO-оптимизацией. Бесплатный в течение 7 дней, далее — $3,99 в месяц.
- Sitemapper. Бесплатно создает файлы с автоматическим обновлением ссылок. Синхронизируется со страницами ресурса и фиксирует изменения, добавляет новые URL.
Для WIX: для автоматического создания карты XML применяют бесплатное встроенное приложение WIX Sitemap.
Для Joomla: можно бесплатно сгенерировать карту через OsMap, AimySitemap, JL Sitemap.
Ручной способ
Вариант подойдет для площадок, где менее 30 страниц. Таким способом можно делать карту и для более сложных сайтов, но это затратный по времени процесс.
Зайдите в любой текстовый редактор: Notepad, Notepad++, Sublime Text. Впишите обязательные и необязательные теги по следующему шаблону:
- urlset — требуемый тег, который обязателен для каждой карты XML. Прописывается в самом начале.
- url — еще один требуемый родительский тег, который добавляют перед каждой ссылкой на страницу.
- loc и /loc — требуемые дочерние теги, их прописывают в начале и в конце URL каждой страницы соответственно. Имеют ограничения по размеру — до 2048 символов.
- lastmod — необязательный дочерний тег, рассказывающий об очередном изменении страницы. Записывается в формате год/месяц/день.
- changefreq — необязательный дочерний тег, который дает информацию, как часто страница будет обновляться. Выбирают из следующих вариантов: всегда, каждый час, каждый день, один раз в неделю/месяц/год, никогда. Это нужно, чтобы поисковые краулеры проводили индексирование после каждого обновления.
- priority — необязательный дочерний тег, который показывает приоритетные URL-адреса. Выбирают значения от 0,1 до 1,0. По умолчанию уже выставлено значение 0,5.
- /url — необходимый родительский тег, который прописывается после перечисления всех тегов.
- /urlset — требуемый тег, который обязательно размещают в конце XML-карты сайта.
URL адреса, которые не рекомендуется добавлять: относительные URL вида: /mypage.html. Подойдут полные абсолютные URL: https://www.conversion.com/mypage.html.
Sitemap.xml должен быть доступен для индексирования. Это означает, что он соответствует требованиям, добавлены ссылки и прописана периодичность внесения изменений. Его местоположение проверяют через файл robots.txt, Google Search Console и Yandex.Webmaster. Правильность составления документа проверяют на площадке XML Sitemap Validator.
В ситуации, когда ресурс сложный, имеет свыше 50 тысяч страниц и большинство из них необходимо добавить в документ, ссылки разделяют по разным sitemap xml. Их включают в единый файл, называемый индексом карты сайта. Он представляет собой отдельный документ, где перечисляются все созданные sitemap.xml ресурса. Действуют и ограничения — добавить можно до 50 тысяч карт объемом по 50 МБ каждая.
В начале документа обязательно прописывают тег sitemapindex
Когда завершите работу над составлением документа, разместите его в robots.txt. Там пропишите строчку: Sitemap: https://адрес-ресурса/sitemap.xml
Для начала запуска процесса индексации о документе требуется известить Google Search Console и Yandex Webmaster.
Как сообщить об XML-карте поисковикам
Сообщение о файле в Google Search Console:
- Найдите в списке строку «Файлы Sitemap».
- В появившемся поле добавьте ссылку на sitemap.xml.
- Кликните «Отправить».
Индексация может занять от нескольких дней до 2 недель. Для ресурсов, уже известных поисковику, время может сократиться до 5 дней.
После окончания индексации в этом же разделе появляется статус «Успешно». Для просмотра отчета и анализа ошибок нажимают на значок пиктограммы в правом нижнем углу.
Сообщение о файле в Яндекс Вебмастере:
- Найдите раздел «Индексирование».
- Выберите «Файлы Sitemap».
- В появившуюся строку вставьте ссылку на карту.
- Кликните «Добавить».
Индексация может затянуться до двух недель. На проверку нескольких документов, которые включены в один индекс, нужно больше времени. Информация об окончании проверки и недочетах, которые нужно исправить, отображается в разделе «Диагностика».
Частые ошибки при создании XML-карт
Иногда в процессе составлении карты XML онлайн могут возникнуть проблемы. Разберем самые распространенные из них:
- Забыли разместить информацию о файле в robots.txt. Из-за подобной ошибки сетевые краулеры не смогут быстро проиндексировать сайт.
- Больше 5000 страниц. Если нужно разместить большое количество ссылок, их распределяют по нескольким файлам и собирают в индексе карты, который ограничен лимитом до 50 тысяч ссылок.
- В документе присутствуют ссылки на мусорные или удаленные разделы.
- Неправильно прописаны ссылки, отсутствуют обязательные теги: urlset, /urlset, url, /url, loc, /loc. Это приводит к тому, что краулеры не смогут правильно прочитать документ и провести индексацию.
Проверить файл на ошибки бесплатно предлагают онлайн-сервисы: XML Sitemap Validator, Mysitemapgenerator, Яндекс Вебмастер.
Кратко: как настроить XML-карту сайта
Подведем итоги и еще раз напомним моменты составления карты XML онлайн. Файл создают несколькими способами:
- Через онлайн-генераторы. Вариант применяют для небольших площадок. Хорош тем, что соответствующую всем требованиям sitemap.xml получают за несколько минут и нет привязки к плагинам. Вот список автоматических генераторов: XML-Sitemaps, Free Sitemap Generator, Сайт Репорт, XML Sitemap Generator, MySitemap.
- Через плагины для CMS. Более затратный по времени, чем предыдущий. Подходит для многостраничных сайтов. Позволяет настроить данные, которые помогают системным анализаторам и ускоряют выдачу в поиске: периодичность внесения изменений, приоритетные URL, исключения. Вот перечень плагинов для CMS: Google XML Sitemaps, Mapify Sitemap Generator, WIX Sitemap, JL Sitemap.
- Вручную. Затратный по времени способ. Подходит для ресурсов до 30 страниц. В процессе настройки карты вручную проверяйте перечень обязательных тегов:
urlset, url, loc.
Правильно составленная карта сайта отвечает следующим требованиям:
- Размещено до 5000 ссылок. Если их больше, создают индекс карты, ограниченный лимитом до 50 тысяч ссылок на sitemap xml.
- Весит не выше 50 МБ.
- Ресурс и документ находятся в одном домене.
- Имеет прописанный код UTF-8.
- Размещена в корневом уровне домена.
- Находится в доступе для индексирования в robots.txt.
Созданную карту отправляют в поисковые системы Google Search Console и Yandex Webmaster для того, чтобы поисковики быстрее проиндексировали страницы.
