Разные robots.txt для поддоменов
В корне сайта удаляем robots.txt
В корне сайта есть файл .htaccess
В нём после тэга:
<IfModule mod_rewrite.c>
Вариант 1:
Прописываем три строки для основного домена:
RewriteCond %{HTTP_HOST} r76.su
RewriteCond %{REQUEST_URI} robots.txt
RewriteRule ^(.*)$ robots/robots.txt
Три строки для поддомена:
RewriteCond %{HTTP_HOST} lenta.r76.su
RewriteCond %{REQUEST_URI} robots.txt
RewriteRule ^(.*)$ robots/lenta-robots.txt
И так далее для других поддоменов.
В папке «robots» лежат robots.txt для разных поддоменов.
Вариант 2:
RewriteCond %{HTTP_HOST} lenta.r76.su$
Rewriterule ^robots.txt$ /robots/lenta-robots.txt [L]
# для основного домена
RewriteCond %{HTTP_HOST} r76.su$
Rewriterule ^robots.txt$ /robots/robots.txt [L]
И так дале..
Вариант 3:
Удаляем файл robots.txt из корня.
Создаем в папке robots файлы с именами poddomen.robots.txt файлы.
В .htaccess прописываем вот это:
RewriteCond%{HTTP_HOST} (www\.)?(.*)\.site\.ru$
RewriteRule ^robots.txt$ /robots/%{HTTP_HOST}.robots.txt [L]
Где site\.ru нужно заменить на ваш домен.