Robots.txt - это текстовый файл в корне сайта со специальными инструкциями для поисковых роботов. В нем вы можете указать поисковикам как индексировать ваш сайт.
По-умолчанию системой подгружается "стандартная заглушка", в которую добавлено большинство "правильных" команд, но все же их бывает не достаточно.
Напоминаю, что новый сайт на юкозе первый месяц находится на т.н. "карантине", то-бишь он запрещен к индексации. Это испытательный период, который дается вашему сайту, чтобы доказать свою "серьезность". За это время вам стоит продумать структуру сайта, наполнить его уникальным контентом, подчистить шаблон, обзавестись социальными аккаунтами и т.д. После 30-ти дней испытательного срока карантин будет снят и вы получите свободный доступ к robots.txt
Стоит также отметить что карантин будет снят немедленно если вы закажете любую доп. услугу на сумму >$2.
Теперь ближе к делу...
Вот так выглядит стандартный файл robots.txt от uCoz:
Код
[b][color=#0f0]User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Sitemap: http://forum.ucoz.ru/sitemap.xml
Sitemap: http://forum.ucoz.ru/sitemap-forum.xml
Sitemap: http://forum.ucoz.ru/sitemap-shop.xml[/color][/b]
Если вы хотите внести какие-то правки - вам необходимо создать текстовый файл robots.txt в корне своего сайта и уже в него вносить изменения. В этом случае системой будет отдаваться ваш кастумный robots.txt
В принципе базовый файл настроен правильно - все лишнее от индексирования закрыто. Но как говорится нет предела совершенству и поэтому я немного изменил его содержание "под себя".
Но недавно появились новые "дубли":
http://uguide.ru/news/ucoz_shablon_dlja_detskogo_sada/2012-11-29-31 - правильный урл
http://uguide.ru/news....9_11198 - дубль
Поисковые системы очень негативно относятся к наличию дублированного контента в индексе. Поэтому подобные урлы нужно закрыть. Устранить саму причину появления невозможно, так что будем бороться с последствиями. В данном случае строкой:
Код
[color=#6f0][b]Disallow: /*&*[/b][/color]
Еще, я хочу, что бы не индексировались страницы навигации, для них создаю правила:
Код
[b][color=#6f0]Disallow: /news/1
Disallow: /news/2
Disallow: /news/3
Disallow: /news/4
Disallow: /news/5[/color][/b]
На этом собственно все. Теперь мой robots.txt правильно настроен и должен устранить все "ляпы" системы (которые проявили себя на данный момент на модуле Блог).
После всех изменений рекомендую проверить корректность составленного robots в панеле Яндекс.Вебмастер - http://webmaster.yandex.ru/robots.xml.
Делается это вот так:
Как видно на скриншоте результаты проверки подтверждают корректность правил. На этом все, спасибо за внимание :)
p.s:
Для тех кто не любит много читать, а хочет просто скачать правильный robots.txt для uCoz - рекомендую воспользоваться моим вариантом : http://uguide.ru/robots.txt Не забываем изменить доменное имя!
Если у вас возникли какие-то сложности или остались вопросы - их можно задать через каменты, или соц. сети... Также не лишним будет прочесть официальный мануал от Яндекса: http://help.yandex.ru/webmaster/?id=996567
