Уроки

Содержание robots.txt

У поисковой системы есть ограниченные ресурсы на анализ вашего сайта. Конфигурируя файл robots.txt, вы помогаете максимально эффективно потратить время, отведённое на индексацию.

Хороший гайд по содержимому robots.txt.

Проверьте ваш сайт
Это бесплатно и займёт от 7 до 45 секунд

Мы используем cookie. Продолжая пользоваться сайтом, вы соглашаетесь на обработку персональных данных в соответствии с политикой конфиденциальности. Ладушки