Базовые настройки robots. txt для WordPress. Поддерживаю в актуальном состоянии. Пригодятся для быстрой первичной настройки на небольших сайтах. Естественно, «идеально правильного» готового варианта выдать нельзя — всегда желательна индивидуальная корректировка.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /*?*
Disallow: /search
Disallow: *?s=
Disallow: *&s=
Disallow: /author/
Disallow: */?author=*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /tag/
Disallow: */embed
Disallow: /wp-json/
Disallow: /*_openstat
Disallow: /*printable
Disallow: /print
Disallow: /logs/
Disallow: *utm_source (нужно не всем)
User-agent: Yandex (можно отдельно для Яндекса не дублировать и прописать директиву Host выше. Мы оставляем для дальнейшей персонализации)
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /*?*
Disallow: /search
Disallow: *?s=
Disallow: *&s=
Disallow: /author/
Disallow: */?author=*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /tag/
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /*.php
Disallow: /wp-json/
Disallow: /*_openstat
Disallow: /*printable
Disallow: /print
Disallow: /logs/
Disallow: *utm_source (нужно не всем)
Host: ваш сайт (обычно главным зеркалом делаю адрес без www)
User-agent: Googlebot-Image
Allow: /wp-content/uploads/ (закрывать, если большинство изображений с других сайтов)
User-agent: YandexImages
Allow: /wp-content/uploads/ (закрывать, если большинство изображений с других сайтов)
Sitemap: ваш сайт/sitemap.xml
