Недавно для одного сайта я , а через некоторое время получил уведомление о найденных там ошибках. Если честно, слегка удивился такому заявлению, так как использовал проверенный и один из лучших плагинов в данной сфере — WordPress SEO by Yoast . Однако сервис Яндекса настаивал на своем:
При клике по этим 442 ошибкам я попал на страницу с результатами анализа, но вместо ошибок там почему-то отображались лишь предупреждения, которых оказалось еще и значительно меньше. Все они касались тега image:image в sitemap.xml с картинками из текущей страницы.
Насколько я знаю, данная опция используется достаточно давно, странно, что в Sitemap тег image для Яндекс до сих пор кажется чем-то неизвестным. Ниже рассмотрим несколько основных моментов:
- (хаки для изображений).
Sitemap для изображений
Если честно, я не знал, что сейчас в Sitemap картинки выводятся наряду со ссылками на страницы. Используемые ранее , модуль Google XML Sitemaps для вордпресс и выводили просто список нужных записей и постов без изображений. Однако позже я перешел на модуль SEO Yoast и здесь, как оказалось, все немного по другому.
Информацию о теге image:image для Sitemap можно найти в справке Search Console. Для карты сайта допускается использование нескольких тегов:
Вот пример Image XML Sitemap (здесь 2 страницы по 2 картинки в каждой):
|
|
Как видите, в Google информация по Images в Sitemap отображается отдельно от страниц.
XML карта сайта от Yoast SEO
Предположим, что вы уже скачали, установили и активировали данный модуль. Для создания карты сайта в Yoast SEO нужно зайти в одноименный раздел меню настроек плагина.
Найдете здесь 4 пункта:
- Общие настройки;
- Типы записей — включение в карту сайта постов, страниц, медиафайлов;
- Исключенные записи — возможность убрать определенные заметки по ID;
- Таксономии — включение/исключение из карты разных таксономий.
В самом верху над этими пунктами меню найдете ползунок, который должен быть установлен в вариант «Enabled», что соответствует активированной XML карте сайта Yoast SEO. В закладке «Общие» есть кнопка «XML Sitemap», которая перенаправит вас на сгенерированную карту сайта. Кстати, она находится по адресу sitemap_index.xml поэтому не забудьте внести соответствующие правки в Robots.txt. Для каждой отдельной категории URL’ов создается свой отдельный файл Sitemap:
- http://www.имя_сайта.ru/post-sitemap.xml — вордпресс посты;
- http://www.имя_сайта.ru/page-sitemap.xml — страницы сайта;
- http://www.имя_сайта.ru/category-sitemap.xml — категорий (рубрики);
- http://www.имя_сайта.ru/post_tag-sitemap.xml — теги (метки).
Если ранее для WordPress сайта у вас использовался то в настройках Yoast SEO отобразится соответствующие уведомление о невозможности совмещать два модуля. Нужно будет отключить Google XML Sitemaps.
Картинки в XML карте сайта от Yoast SEO
Выше я уже упоминал, что картинки в Sitemap модуль Yoast SEO добавляет автоматически, причем отключить эту опцию вы не сможете. Да, там есть запрет индексации так называемых attachment, но это не сами изображения, а специальный тип записей (media post type).
Также нужно понимать, что не все загруженные с помощью Sitemap изображения будут проиндексированы. Не стоит из-за этого переживать, результат зависит от решения Google. Поисковик может посчитать ваш файл недостаточно полезным, уникальным, большим и т.п.
В Yoast SEO есть два фильтра, помогающие немного «подправить» отображение картинок в карте сайта. Первый — wpseo_xml_sitemap_img позволяет все же выключить добавление изображений в XML Sitemap.
function wpseo_cdn_filter($uri) { return str_replace("http://example.com", "http://cdn.example.com", $uri); } add_filter("wpseo_xml_sitemap_img_src", "wpseo_cdn_filter");
Правки вступят в силу после обновления карты сайта. Вы можете ускорить этот процесс отключив, а затем обратно включив вывод Sitemap.
Плагины для создания Image Sitemap XML
Большинство сервисов и программ, позволяющих создавать Sitemap для изображений, оказались платными. В некоторых из них есть триальные версии с полным функционалом, поэтому если вам нужно сделать одну карту сайта, можете ими воспользоваться. Полностью бесплатный нашел только один проект — Free image Sitemap Generator от агентства Angel Digital.
На странице в форме вводите адрес своего сайта и кликаете по ссылке «Generate Image Sitemap». Через пару минут получите исходный код для карты сайта, который копируете в текстовый редактор и сохраняете как XML файл. Выглядит это все, конечно, не особо презентабельно и не уверен, что через пару лет проект все также будет работать, но Sitemap с картинками сервис сгенерировал. Единственный недостаток — итоговый файл придется немного почистить от дублей и разных изображений, которые не являются контентом (например, иконки, на странице).
Если у вас WordPress, то вам повезло больше. Для данной системы есть сразу несколько подходящих решений. Я выбрал два, внушающих максимальное доверие.
Udinra All Image Sitemap
Плагин Udinra All Image Sitemap автоматически создает карту сайта для картинок и отправляет пинги в Google, Bing и Ask.com. Этот модуль имеет больше всего загрузок (10 тысяч), самые высокие оценки и регулярно обновляется. Там есть Pro версия с крутым функционалом (поддержкой eCommerce плагинов и галерей), но по идее, для рядового сайта должен подойти и бесплатный вариант.
Advanced Image Sitemap
Автор модуля Advanced Image Sitemap называет его самым мощным инструментом для создания Images Sitemap XML. Судя по описанию, настроек у плагина побольше предыдущего, правда, немного смущает малое число загрузок.
Итого . Конечно, забавно, что в 2016 году возникает ошибка Яндекса с неизвестным тегом image:image в Sitemap. Теоретически, ситуацию можно исправить небольшой хитростью. Во-первых, создаете в Yoast SEO карту сайта без изображений (используя хак выше) + вторым модулем отдельно делаете Images Sitemap XML. Далее для Google «скрамливаете» обе карты, тогда как Яндексу в Robots.txt и/или панеле вебмастера показываете только вариант без картинок.
Интересно, не мешают ли эти warning’и в Яндекс.Вебмастере считыванию данных из XML карты сайта? Что думаете по этому поводу? Как реализована Sitemap для картинок у вас?
Карта сайта (Sitemap.xml) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной.
Видео из Вебмастерской Яндекса:
Sitemap.xml составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.
Есть два основных файла, которые должны иметься у любого web-проекта - robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.
Влияет ли файл sitemap.xml на продвижение сайта
Если у вас отсутствует sitemap, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:
- Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
- Динамические URL-адреса.
Создание sitemap.xml помогает решить эту проблему.
Sitemap.xml влияет на SEO косвенно: облегчая и ускоряя индексацию страниц.
Карта сайта sitemap в формате HTML
Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта - это страница сайта , на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей , нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограничения по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.
Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.
Обычно, файл sitemap в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.
HTML карта сайта - это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.
Карта сайта sitemap.txt
Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:
1. http://site.ru/ 2. http://site.ru/page/ 3. http://site.ru/page1/
Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt - это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.
Карта сайта XML Sitemap
XML карта сайта - это файл формата xml, вида sitemap.xml , который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта:
- Sitemap xml - это специальный формат карты сайта , который определяется всеми популярными поисковыми системами, например Google и Яндекс.
- В xml sitemap можно указать до 50.000 ссылок .
- В sitemap xml можно указать относительный приоритет и частоту обновления страниц.
Содержимое карты сайта — лишь рекомендация для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.
Как создать правильный sitemap.xml
Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:
- Размер файла должен быть не больше 10 мб;
- Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
- Адрес сайтмапа следует прописать в robots.txt;
- Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
- Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
- У sitemap должна быть кодировка UTF-8.
Содержимое файла карты сайта sitemap.xml выглядит:
Где используются следующие обязательные теги:
- родительский тег, в него заключаются все url-адреса; - тег, в котором указываются сведения о конкретном url-адресе; - в данном теге указывается непосредственно url.
- этот тег заключает в себе дату последнего изменения страницы; - тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
Changefreq указывает на частоту изменений страницы:
- Hourly – обновление ежечасно;
- Always – всегда обновляется;
- Weekly – обновляется раз в неделю;
- Daily – обновления происходят ежедневно;
- Monthly – обновления происходят раз в месяц;
- Yearly – один раз в год;
- Never – не обновляется (такое значение лучше не использовать).
Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1 (низкий) до 1 (высокий).
Файл sitemap.xml должен содержать указание на пространство имен языка XML:
Xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.
Здесь используются уже знакомые нам теги
- родительский тег, в который заключаются адреса всех карт сайта; - тег, в котором заключается параметры для каждой карты сайта.
Как создать Sitemap.xml
Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта . Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.
Как уже было написано выше - файл карты сайта размещается в корне сайта . Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта - это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта , провести анализ карты сайта на корректность , соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.
Второй способ указать поисковым системам на расположение файла карты сайта - это директива Sitemap файла robots.txt .
Sitemap: http://site.ru/sitemap.xml
В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.
Основные способы создания карты сайта
- Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
- Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Наверное, один из самых известных онлайн генераторов карты сайта - это Sitemap Generator . Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много. Еще есть xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
- Скачать генератор карты сайта . Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
- Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс), ModX.
- Создание карты сайта вручную .
Sitemap WordPress
Создать карту сайта для WordPress можно будет с помощью плагина Google XML Sitemaps. Для нее вы сможете произвести множество настроек, которые позволят исключить часть материалов вашего сайта, а также можете задать предполагаемую частоту обновления. Кроме создания карты, плагин Google XML Sitemaps при публикации новых материалов на вашем блоге уведомляет об этом многие поисковые системы, приглашая их побыстрее провести индексацию.
Путь до файла сайтмап можете задать сами в настройках плагина и даже можете дать ему название отличное от классического sitemap.xml.
Sitemap Joomla
Создать карту сайта для Joomla можно с помощью компонента Xmap.
Проверить Sitemap на битые ссылки
Чтобы не обманывать поискового робота sitemap.xml должна быть настроена без ошибок. Поэтому после каждого обновления файла нужно проверить sitemap на битые ссылки .
Зайдите в Яндекс Вебмастер — раздел «Инструменты» — «Анализ файлов Sitemap».
Выберите один из способов загрузки файла:
- скопировать текст sitmepa.xml;
- отправить URL карты сайта;
- загрузить xml файл в сервис.
Проверка sitemap.xml в Яндекс Вебмастер
Зайдите в Google Search Console — раздел «Сканирование» — «Файлы Sitemap».
Анализ Sitemap.xml от PixelPlus
Инструмент от pixelplus.ru — Анализ XML-карты сайта . Он простой, крутой и понятный.
Указываем карту сайта (URL) или загружаем XML-файл.
Выбираем, требуется ли проверка кода ответа сервера для каждого URL в ней.
Инструмент позволит проверить корректность карты сайта (файла формата *.xml), а также найти:
Ошибки валидности файла.
Те URL, которые отдают код ответа не 200 OK.
Прочие ошибки (указание на URL с другого домена, избыточный размер файла или числа URL в нём и так далее).
Напомним, что число допустимых URL в одном файле - 50 000 штук, а размер файла не должен превышать 10 МБайт.
Если будут найдены ошибки (такое случается часто), то сервис подскажет, какие URL отдают некорректный ответ (удалены, лишние и так далее).
Sitemap.xml — важный инструмент
Карта сайта - один из важный инструмент SEO-продвижения сайта. Не важно, как будет создана карта сайта. Важно - какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже - запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.
Создайте карту сайта для своего ресурса. Но будьте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.
Файлы robots.txt и sitemap.xml дают возможность организации индексации сайта. Эти два файла хорошо дополняют друг друга, хотя в то же время решают противоположные задачи. Если robots.txt служит для запрета индексации целых разделов или отдельных страниц, то sitemap.xml, напротив, подсказывает поисковым роботам, какие именно УРЛ-адреса нужно индексировать. Разберем каждый из файлов в отдельности.
Файл robots.txt
robots.txt - это файл, в который записываются правила, ограничивающие доступ поисковым роботам к каталогам и файлам сайта для того, чтобы избежать попадания их содержимого в индекс поисковых систем. Файл обязательно должен располагаться в корневой директории сайта и быть доступен по адресу: site.ru/robots.txt.
В robots.txt нужно закрывать от индексации все дублирующиеся и служебные страницы сайта. Часто общедоступные CMS создают дубли, статьи могут быть доступны по нескольким УРЛ-адресам одновременно, например; в категориях site.ru/category/post-1/ , тегах site.ru/tag/post-1/ и архиве site.ru/arhive/post-1/ . Для того, чтобы не было дублей, необходимо запретить индексацию тегов и архива, в индексе останутся только категории. Под служебными страницами, я имею в виду, страницы администраторской части сайта и автоматически генерируемые страницы, например: выдачу при поиске на сайте.
От дублей просто необходимо избавляться, так как они лишают страницы сайта уникальности. Ведь если в индексе находятся несколько страниц с одинаковым содержимым, но доступные по разным УРЛ-адресам, то контент ни одной из них не будет считаться уникальным. В следствие этого поисковые системы принудительно будут занижать позиции таких страниц в выдаче.
Директивы robots.txt
Директивы - это правила или можно еще сказать команды для поисковых роботов. Самой главной является User-agent , с ее помощью можно установить правила для всех роботов или для конкретного бота. Эта директива прописывается вначале, а после нее указываются все остальные правила.
# Для всех роботов User-agent: * # Для робота Яндекса User-agent: Yandex
Еще одной обязательной директивой является Disallow , с ее помощью закрываются разделы и страницы сайта, а ее противоположностью является директива Allow , которая напротив принудительно разрешает индексировать указанные разделы и страницы сайта.
# Запрещаем индексацию раздела Disallow: /folder/ # Разрешаем индексацию подраздела с картинками Allow: /folder/images/
Для того, чтобы указать главное зеркало сайта, например: с www или без, используется директива Host . Стоит отметить, что главное зеркало прописывается без указания http:// протокола, а вот https:// протокол необходимо указывать. Host понимают только боты Яндекса и Mail.ru и прописывать директиву нужно только один раз.
# Если главное зеркало работает по http протоколу без www Host: site.ru # Если главное зеркало работает по https протоколу c www Host: https://www.site.ru
Sitemap - директива, указывающая путь к файлу sitemap.xml, путь необходимо указывать полностью с протоколом, прописывать данную директиву разрешается в любом месте файла.
# Указываем полный путь к файлу sitemap.xml Sitemap: http://site.ru/sitemap.xml
Для упрощения написания правил существуют специальные символьные операторы:
- * - обозначает любое кол-во символов, а так же их отсутствие;
- $ - обозначает, что символ стоящий перед знаком доллара, последний;
- # - обозначает комментарий, все что находиться в строке после данного оператора будет проигнорировано поисковыми роботами.
После знакомства с основными директивами и специальными операторами уже можно набросать содержимое простенького файла robots.txt.
User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Разрешаем роботом Яндекса индексировать изображения в разделе modules Allow: /modules/*.png Allow: /modules/*.jpg Host: site.ru Sitemap: http://site.ru/sitemap.xml
Ознакомиться с подробным описанием всех директив с примерами их использования можно в публикации на сайте Яндекса в разделе помощь .
Файл sitemap.xml
sitemap.xml - это так называемая карта сайта для поисковых систем. Файл sitemap.xml содержит информацию для поисковых роботов, о страницах сайта, которые необходимо индексировать. В содержимом файла обязательно должны быть указанны УРЛ-адреса страниц, а необязательно можно указать приоритет страниц, частоту переобхода страниц, дату и время последнего изменения страниц.
Необходимо отметить, что sitemap.xml не обязателен, и поисковые системы могут его не учитывать, но в то же время все поисковики говорят о том, что наличие файла желательно и помогает правильно индексировать сайт, особенно, если страницы создаются динамически или на сайте сложная структура вложенности.
Вывод напрашивается один: что файлы robots.txt и sitemap.xml необходимы. Правильная настройка индексации - это один из факторов нахождения страниц сайта на более высоких местах в поисковой выдаче, а это цель любого более-менее серьезного сайта.
Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.
В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.
Нужен ли мне sitemap.xml
Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.
Sitemap.xml важен для сайтов, где:
- Некоторые разделы недоступны через навигационное меню.
- Имеется множество изолированных страниц или плохо связанных между собой.
- Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
- Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.
Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.
Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.
Техническая информация
- Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
- Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
- Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
- Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
- Адреса в sitemap.xml должны быть абсолютными.
- Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
- Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
- Указанные в карте страницы должны отдавать 200 http-код статуса.
- Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
- Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.
Форматы XML карт
Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .
Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.
Пример файла Sitemap, содержащий только один адрес.
XML-теги
urlset
url
(обязательный) - родительский тег для каждого URL-адреса.
loc
(обязательный) - URL-адрес документа, должен быть абсолютным.
lastmod
- дата последнего изменения документа в формате Datetime .
changefreq
- частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority
- приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.
XML карта для изображений
Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).
Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения
XML-теги
image:image
(обязательно) - информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc
(обязательно) - путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption
- подпись к изображению (может содержаться длинный текст).
image:title
- название изображение (обычно короткий текст).
image:geo_location
- место съемки.
image:license
- URL лицензии изображения. Используется при расширенном поиске по картинкам.
XML карта для видео
Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.
Файл Sitemap для новостей
При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.
Использование нескольких карт
При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:
- На сайте используется несколько движков (CMS).
- На сайте больше 50 000 страниц.
- Необходимо настроить удобное отслеживание ошибок в разделах.
В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).
Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).
Пример Sitemap Index:
sitemapindex
(обязательный) - указывает стандарт текущего протокола.
sitemap
(обязательный) - содержит информацию об отдельном sitemap.
loc
(обязательный) - местоположение sitemap (в формате xml, txt или rss для Google).
lastmod
- время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.
Как создать sitemap.xml
Методы создания XML Sitemap:
- Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml , возможно он уже существует и динамически формируется.
- Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
- Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
- Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
- Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.
Популярные онлайн-генераторы карты сайта
XML-Sitemaps.com
Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).
Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.
Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.
Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.
Локальные программы для генерации XML Sitemap
G-Mapper Sitemap Generator
Бесплатная десктопная версия генератора карты сайта под Windows.
Screaming Frog SEO Spider
Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.
Netpeak Spider
Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.
Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.
Обычная HTML карта сайта:
Карта сайта в формате XML:
У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML — исключение возможности размытия статического веса страниц внутри сайта.
В этой статье я расскажу вам как составить корректный файл Sitemap.xml.
Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».
1. Директивы файла sitemap.xml
Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:
- < urlset>
- < url>
- < loc>
А также 3 необязательных тега:
- < lastmod>
- < changefreq>
- < priority>
Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html :
Атрибут | Статус | Описание |
обязательный | Инкапсулирует этот файл и указывает стандарт текущего протокола. |
|
обязательный | Родительский тег для каждого URL-адреса. Остальные теги подчинены этому тегу. |
|
обязательный | Сам URL-адрес страницы. Всегда начинается с префикса (например, HTTP) и заканчиваться косой чертой (если сервер вашего сайта требует этого). Внимание: длина URL-адреса не должна превышать 2048 символов. |
|
необязательный | Дата последнего изменения файла. Указывается строго в формате W3C Datetime. Он позволяет при необходимости не учитывать сегмент времени и использовать формат ГГГГ-ММ-ДД. |
|
| необязательный | Позволяет указать как часто меняется информация на странице. Это значение устанавливается приблизительно. Допустимые значения:
Если страница изменяется каждый раз, когда ее открывают — используем значение «always» (всегда). Если это архивная страница — ставьте never (никогда). Учтите, что этот атрибут служит для поискового робота подсказкой, а не правилом. Поэтому зависимости между ним и реальной частотой посещения страницы поисковым роботом нелинейная. |
| необязательный | Позволяет указать приоритет одних страниц вашего сайта перед другими. Диапазон значений — от 0,0 до 1,0. По умолчанию каждой странице отдается приоритет 0,5. Значение атрибута работает для сравнения приоритета страниц только внутри вашего сайта. То есть оно не влияет на сравнение вашего сайта с сайтами конкурентами в поисковой сети. Более того, выставлять всем страницам максимальный приоритет тоже бессмысленно. Потому что тогда значения будут одинаковыми для робота и атрибут просто не сработает. Так что не ищите лазеек, а указывайте объективные приоритеты для страниц. |
Сохраните эту памятку. Она обязательно пригодится вам в первое время. Стоит отметить еще один плюс XML-карты сайта - это гибкость. Гибкость заключается в сочетании разных необязательных директив.
Теперь, когда у вас есть ясность, что такое XML-карта сайта и вы узнали основные директивы этого файла, можно перейти к его составлению.
2. Составление файла sitemap.xml
Составлять карту сайта можно 3 способами:
- Вручную;
- Автоматически, с помощью специальных сервисов;
- Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.
Процесс приготовления карты сайта следующий:
- Составляем карту сайта одним из способов, перечисленных выше;
- Проверяем на валидность с помощью сервисов поисковых систем (https://webmaster.yandex.ru/sitemaptest.xml);
- Размещаем файл на сайте;
- Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, );
- Указываем Sitemap в панели вебмастеров Яндекс и Google.
Итак, как составлять файл карты сайта?
Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:
Вот так должна выглядеть карта сайта в формате XML:
При необходимости добавляем необязательные теги из памятки, которую я привел выше. Дополнительные теги прописываются в контейнере
Приведенный выше код, указывает поисковой системе, что страница http://site.ru/
в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).
Особенно удобен функционал подсветки парных тегов.
Сервисы для генерации Sitemap
В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:
Таких сервисов много. Я использую https://www.xml-sitemaps.com/ .
Поясню вкратце все настройки:
Плагины для CMS
Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:
Плагин |
|
Валидность
После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml
После успешной проверки заливаем наш файл на сайт.
Расположение файла
В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:
Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:
После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt () в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:
Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.
Search Console и панель Яндекс.Вебмастера
Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.
- Настройка индексирования
- Файлы Sitemap
- «Проверить» и «Добавить»
Следует отметить ограничения в XML-карте сайта:
- В одном файле можно указать не более 50000 URL-адресов
- Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора.gzip.
- Кодировка файла только в UTF-8
На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.
3. Группировка файлов Sitemap
В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!
Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.
Синтаксис выглядит следующим образом:
Определение XML-тегов:
Атрибут | Описание |
|
| обязательный | Инкапсулирует информацию о всех файлах Sitemap в этом файле. |
обязательный | Инкапсулирует информацию об отдельном файле Sitemap. |
|
обязательный | Указывает местоположение файла Sitemap. |
|
необязательно | Указывает время изменения соответствующего файла Sitemap. Робот использует эту информацию, чтобы понять в каких файлах Sitemap произошли изменения. Косвенно, этот тег позволяет роботу быстрее обнаружить новые страницы сайта. |
Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.
4. Исследование
В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.
Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).
Вот сами результаты:
Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.
5. Фишки
Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».
Картиночный сайтмап
Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.
Синтаксис для картиночной карты сайта выглядит так:
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"> |
Памятка по XML-тегам:
Обязательно? | Описание |
|
Содержит всю информацию об одном изображении. Каждый URL (тег |
||
URL изображения. В отдельных случаях домен URL изображения может отличаться от домена, используемого основным сайтом. Если оба домена подтверждены в Search Console, проблем при этом не возникнет. Но если картинки размещены с помощью системы управления контентом, например, сервиса Google Сайты, вам необходимо подтвердить сайт хостинга в Search Console. Кроме того, файл robots.txt не должен запрещать сканирование содержания, которое необходимо индексировать. |
||
Подпись к изображению. |
||
Место съемки. Например, |
||
Название изображения. |
||
URL лицензии изображения. |
Лайфхак для тех, кто дочитал
Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы — хорошо. Нет — а что поделать?! Новые страницы вообще забывают вносить в sitemap.
В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.
И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.
