Актуальный для 2017 года robots. txt на WordPress

Базовые настройки robots. txt для WordPress. Поддерживаю в актуальном состоянии. Пригодятся для быстрой первичной настройки на небольших сайтах. Естественно, «идеально правильного» готового варианта выдать нельзя — всегда желательна индивидуальная корректировка.

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /*?*

Disallow: /search

Disallow: *?s=

Disallow: *&s=

Disallow: /author/

Disallow: */?author=*

Disallow: */trackback

Disallow: */*/trackback

Disallow: */feed

Disallow: */*/feed/*/

Disallow: /tag/

Disallow: */embed

Disallow: /wp-json/

Disallow: /*_openstat

Disallow: /*printable

Disallow: /print

Disallow: /cache/

Disallow: /plugins/

Disallow: /logs/

Disallow: *utm_source* (нужно не всем)

User-agent: Yandex (можно отдельно для Яндекса не дублировать и прописать директиву Host выше. Мы оставляем для дальнейшей персонализации)

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /*?*

Disallow: /search

Disallow: *?s=

Disallow: *&s=

Disallow: /author/

Disallow: */?author=*

Disallow: */trackback

Disallow: */*/trackback

Disallow: */feed

Disallow: */*/feed/*/

Disallow: /tag/

Disallow: */embed

Disallow: /xmlrpc.php

Disallow: /*.php

Disallow: /wp-json/

Disallow: /*_openstat

Disallow: /*printable

Disallow: /print

Disallow: /cache/

Disallow: /plugins/

Disallow: /logs/

Disallow: *utm_source* (нужно не всем)

Host: ваш сайт (рекомендую главным зеркалом делать адрес без www)

User-agent: Googlebot-Image

Allow: /wp-content/uploads/ (имеет смысл закрывать, если большинство изображений с других сайтов)

User-agent: YandexImages

Allow: /wp-content/uploads/ (имеет смысл закрывать, если большинство изображений с других сайтов)

Sitemap: ваш сайт/sitemap.xml

Актуальный для 2017 года robots. txt на WordPress
Средняя оценка 5 Проголосовало 2

Вам также понравятся