Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса.Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты .

Для чего нужна Карта сайта:

1. Ускорить процесс полной индексации .
   Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
2. Дать дополнительную информацию.
   В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
3. Отобразить количество проиндексированных URL
   Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
4. Ускорить процесс пакетной деиндексации.
   Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом , он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта - это рекомендации, важнее всего составить грамотную , в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна - бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Карта обязательно нужна сайтам с такими признаками:

• Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
• В структуре сайта много архивов веб-документов, не связанных между собой.
• У проекта большое количество страниц, разделов и подразделов;
• В структуре преобладают динамические страницы.
• На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

1. Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По , для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
2. Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия , но в несжатом виде он все равно должен быть меньше 50 Мб.
3. Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
4. Можно использовать кодировку UTF-8, а также латинские буквы и цифры.
5. на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
6. URL идентификаторы сессий не должны быть в Карте сайта.
7. Ссылки должны иметь одинаковый синтаксис.
8. В Карте указаны только канонические URL.
9. Карта не конфликтует с информацией в robots.txt - если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google , что очередность не имеет значения вообще, главное - поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте .

Служебные теги Sitemap

Обязательные теги Карты сайта:

• - контейнер с указанием стандарта протокола;
• - родительский тег для каждой записи URL-адреса;
• - указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

• - частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
• - дата последнего обновления на странице;
• Указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang .

Пример Карты сайта в формате XML

Sitemap для сайт, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

http://www.сайт/ 2016-03-21 daily 0.8

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно - Карта сайта должна быть динамической, если вы регулярно обновляете сайт - публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

Приветствую Вас, дорогие друзья, на страницах сайт ! Сегодня я покажу, как добавить Sitemap.xml в Google и Яндекс . Напомню, что файл Sitemap – это карта сайта в формате XML для поисковиков, которая не видна посетителям блога. Она содержит список страниц сайта, которые должны быть проиндексированы поисковыми роботами, информацию о степени их важности и частоте обновления. Создание такой карты сайта помогает улучшить внутреннюю SEO оптимизацию сайта.

Как добавить карту сайта Sitemap.xml в панели для вебмастеров Яндекс и Google

Чтобы добавить файл Sitemap в Google и Яндекс, надо, прежде всего, его создать. Далее добавляем сайт в панели для вебмастеров Яндекса и Гугла и подтверждаем права на сайт. Если Вы этого еще не сделали, то ранее я писал, и .

Теперь переходим непосредственно к добавлению карты сайта в поисковики. Сообщить поисковым системам о наличии файла Sitemap можно двумя способами:

• Добавить директиву Sitemap в файл robots.txt. Подробнее об этом в статье “ “.
• Добавить файлы Sitemap в поисковики в Яндекс.Вебмастер и Инструменты для веб-мастеров Гугл.

Даже если у Вас уже прописаны пути к карте сайта в robots.txt, выполнение второго способа будет совсем не лишним.

Заходим в панель Яндекс.Вебмастер по ссылке http://webmaster.yandex.ua/ , предварительно авторизовавшись. Выбираем в списке добавленных сайтов тот, чей файл Sitemap хотим добавить в Яндекс. В левом меню “Общая информация ” выбираем пункт “Настройка индексирования ” – “Файлы Sitemap “. На открывшейся странице в специальное поле вводим полный путь к карте сайта и нажимаем кнопку “Добавить “.

Теперь карта сайта XML добавлена в поисковик Яндекс и файл Sitemap будет находиться в обработке около двух недель.

Если все сделано правильно, то через время можно будет наблюдать такую картину:

Как видите, я добавил в Яндекс два файла: Sitemap.xml и Sitemap.xml.gz. Второй – это запакованный XML-файл, сгенерированный плагином для WordPress Google XML Sitemaps. Думаю, сжатый файл Sitemap добавлять в Яндекс не обязательно, так как при нажатии на любую из кнопок “Подробнее “, можно увидеть совершенно одинаковую информацию.

Я оставил добавленными оба файла Sitemap, так как индексация блога проходит без проблем, и не вижу смысла что-то менять.

Если потребуется удалить карту сайта, нажмите на крестик напротив названия файла (см. предыдущий рисунок).

Как добавить файл Sitemap в Google

Здесь все делаем аналогично. Авторизуемся в Гугл и входим в Инструменты для вебмастеров по ссылке https://www.google.com/webmasters/tools/ . Выбираем из списка нужный сайт и в левом меню выбираем пункт “Конфигурация сайта ” – “Файлы Sitemap “. Нажимаем кнопку “Добавление/Проверка файла Sitemap “.

Появится всплывающее окно, где вводим адрес карты сайта и нажимаем “Отправить файл Sitemap “. Обратите внимание, что адрес http://сайт/ уже автоматически подставлен и надо дописать только недостающую часть.

Как видим, добавить Sitemap.xml в Google и получить информацию о нем можно быстрее, чем в Яндекс.

Точно также, при необходимости, делается проверка файла Sitemap в Гугл. Только для этого надо будет нажать кнопку “Проверить файл Sitemap ” во всплывающем окне.

Если при добавлении XML-файлов в Google возникли ошибки, удалите файлы из списка (см. рисунок выше) и попробуйте загрузить их вновь.

Добавить Sitemap.xml в Яндекс и Google надо один раз. Теперь при появлении новых статей на блоге поисковики точно не пропустят их при индексации, а сам процесс будет происходить быстрее. Карта сайта автоматически обновляется в панелях вебмастеров Яндекса и Гугла. Поэтому добавлять каждый раз новый файл Sitemap не надо.

Как видите, ничего сложного. Однако многие просто забывают добавить карту сайта XML в поисковики. Напомните им, отправив ссылки на эту статью в социальные сети (кнопочки ниже).

Sitemap - это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию .

Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.

1. Требования к файлу
2. Вопросы и ответы

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью Ссылка, которая связывает страницы одного сайта. Страницы могут\n находиться в разных каталогах одного домена или на поддоменах.

большое количество страниц;

отдельные страницы без навигационных ссылок;

глубокая вложенность.

Поддерживаемые Яндексом форматы

Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .

Требования к файлу

Максимальный размер файла в несжатом виде - 50 МБ.

Разместите файл на том же домене, что и сайт, для которого он составлен.

При обращении к файлу сервер должен возвращать HTTP-код 200.

Как создать файл и сообщить о нем Яндексу

При необходимости вы можете удалить информацию о Sitemap .

Вопросы и ответы

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .

Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

Карта сайта (sitemap) — это html страница сайта или специальный xml файл , в котором отражены ссылки на все важные страницы сайта. Чтобы понять, что такое карта сайта, достаточно представить книжное оглавление и сразу же станет ясно, зачем нужна карта сайта . Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На простых, небольших сайтах все страницы могут быть доступны через 1-2 клика от главной страницы, но что делать, если сайт большой и структура его непроста? Подобный сайт будет неудобен не только посетителям, но и неочевиден для поисковых систем.

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта , на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта .

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта , на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей , нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже .

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml , который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта , который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок . Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8 . Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

http://mysite.ru/ 2014-09-18T18:54:13+04:00 always 1.0 http://mysite.ru/category/ 2014-09-18T18:57:09+04:00 hourly 0.8 http://mysite.ru/page/ 2014-09-18T18:59:37+04:00 daily 0.6

Где используются следующие обязательные теги:

• — родительский тег, в него заключаются все url-адреса;
• — тег, в котором указываются сведения о конкретном url-адресе;
• — в данном теге указывается непосредственно url.

• — этот тег заключает в себе дату последнего изменения страницы;
• — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
• — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

Xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

http://mysite.ru/sitemaps/sitemap01.xml 2014-09-18T18:54:13+04:00 http://mysite.ru/sitemaps/sitemap02.xml 2014-09-18T18:54:13+04:00

Здесь используются уже знакомые нам теги и , а так же обязательные теги:

• — родительский тег, в который заключаются адреса всех карт сайта;
• — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

1. http://mysite.ru/ 2. http://mysite.ru/page/ 3. http://mysite.ru/page1/

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта . Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта . Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта , провести анализ карты сайта на корректность , соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это .

Sitemap: http://mysite.ru/sitemap.xml

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

1. Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
2. Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
3. Скачать программу-генератор карты сайта . Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
4. Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
5. Создание карты сайта вручную .

Карта сайта — один из важнейших инструментов . Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или . А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

Привет. Много прошло времени с того момента, как мы учились на wordpress создавать xml карту сайта данного формата, используя для этого плагин Google XML Sitemaps.

Однако после обновления этого модуля до версии 4.0 карта претерпела ряд изменений и заставила многих сайтостроителей найти ей замену по средствам плагина All in One Seo pack.

В этой статье я разберу оба способа создания таких карт, а вы уже сами решайте, который хотите использовать на своей площадке.

Для тех, кто совсем недавно создал блог и еще не понимает, зачем она нужна, стоит понять простую истину.

Вебмастера должны помогать поисковым системам находить статьи сайта, а также показывать, какие из них обновились, чтобы роботы ПС могли проиндексировать их повторно.

Для этого создается в корневом каталоге файл sitemap.xml , где хранится перечень всех статей и страниц сайта, с информацией о времени последнего изменения и других не менее важных параметрах.

Проще говоря, такой файл является путеводителем по сайту, куда заглядывает каждый поисковый робот без исключения. Конечно же, не стоит рассчитывать, что Яндекс или Google на все 200% будет индексировать страницы при наличии данной карты, однако наличие ее по адресу http://ваш-сайт/sitemap.xml - обязательно.

Установка карты сайта плагином Google XML Sitemaps от 4.0 версии

Итак, начнем...

Первое . Сначала избавляемся от плагина Google XML Sitemaps, для этого деактивируем его в административной панели и радуемся небольшому ускорению сайта.

Второе . Переходим в корневую папку и удаляем старые файлы sitemap.xml и sitemap.xml.gz , но все же рекомендую где-нибудь на компьютере сохранить их резервную копию.

Третье . Переходите во вкладку плагина All in One Seo pack «SEO инструменты» — «Другие модули» и активируете модуль «Карта сайта».

В основных настройках указываем стандартный префикс файла, отмечаем какие поисковики следует уведомлять, если вы внесете изменения в ее содержание.

Далее указываем, из каких элементов будет состоять sitemap карта площадки, я оставил только записи и страницы, а также отметил самый последний пункт, чтобы плагин автоматически генерировал новую карту, по мере добавления новых ссылок.

Здесь можно исключать из xml ненужные категории, страницы и записи.

Задаем приоритеты для страниц сайта.

Указываем, с какой частотой надо поисковикам индексировать страницы. Последние два параметра не имеют значимой роли.

Ну и конечно же не забываем проверить работоспособность новой карты по адресу .

Вроде все. На этом я заканчиваю пост, хотел разделить его на две отдельных статьи, но в последний момент передумал.