Считается локально
Сборка robots.txt
Правила Allow и Disallow для одного агента.
Ctrl+Enter выполняет. Ctrl+Shift+Backspace очищает.
Экспорт и импорт доступны после входа в аккаунт. Войти
Правила Allow и Disallow для одного агента. Считается в браузере. Ничего не отправляется.
Об инструменте
Укажите поисковикам, какие разделы сайта можно обходить. Перечислите разрешённые и запрещённые пути, по одному на строку, и скопируйте созданный файл.
Как пользоваться
- 01
Перечислите разрешённые пути, по одному на строку.
- 02
Перечислите запрещённые пути.
- 03
Скопируйте файл и разместите его как /robots.txt.
FAQ
Частые вопросы
Для какого робота правила?
Для всех: файл начинается с User-agent: *.
Скрывает ли Disallow страницу из поиска?
Не гарантированно. Он запрещает обход, но страница со ссылками на неё может попасть в выдачу; чтобы исключить её, используйте noindex.