Виберіть свою CMS, відмітьте розділи які не повинні потрапляти в пошук — і скопіюйте готовий файл. Жодної реєстрації, жодних зайвих налаштувань.
Що таке robots.txt і навіщо він потрібен
Robots.txt — це простий текстовий файл у корені сайту. Коли пошуковий бот (Googlebot, Bingbot та інші) заходить на ваш сайт, він першим ділом читає саме цей файл — як інструкцію: що можна індексувати, а що ні.
Без правильного robots.txt пошуковик може витрачати так званий crawl budget — ліміт сторінок, які він обходить за один візит — на системні папки, сторінки адміністратора, результати пошуку та інший технічний непотріб. У результаті важливі сторінки вашого сайту потрапляють в індекс пізніше або не потрапляють взагалі.
Крім того, деякі URL генерують дублі контенту — наприклад, сторінки з UTM-параметрами або результати пошуку на сайті. Якщо їх не закрити, Google може знизити позиції через дублювання.
WordPress: що варто закрити від індексації
WordPress генерує багато технічних URL, які не мають жодної цінності для пошукових систем.
**/wp-admin/** — панель керування. Закривати обов’язково, але з одним винятком: `/wp-admin/admin-ajax.php` має залишатися відкритим — через нього працюють AJAX-запити на фронтенді (форми, фільтри, динамічний контент).
**/wp-includes/** і **/wp-content/plugins/** — системні файли та плагіни. Пошуковику там нічого робити.
**/?s=** — результати внутрішнього пошуку. Класичне джерело дублів. Якщо у вас є пошук на сайті — закривайте.
**/tag/** — сторінки тегів. Якщо теги не налаштовані як повноцінні розділи з унікальним контентом, вони створюють тонкі сторінки з мінімумом тексту, які шкодять SEO.
**xmlrpc.php** і **wp-login.php** — окрім SEO, закриття цих файлів від індексації зменшує ризик brute-force атак: боти не знаходять їх через пошук.
OpenCart: що варто закрити від індексації
У OpenCart головна проблема — URL з параметрами `?route=`. Якщо на сайті не налаштовані ЧПУ-посилання, або вони налаштовані частково, в індекс потрапляють обидві версії URL: читабельна і з параметром. Це прямий дублікат.
**/admin/** — адмінка. Закривати в першу чергу.
**/system/** і **/storage/** — внутрішні файли движка. Їх індексація не дає нічого корисного і відволікає crawl budget.
**/?route=checkout** і **/?route=account** — сторінки оформлення замовлення і особистого кабінету. Вони або закриті за авторизацією, або не несуть SEO-цінності.
**/?route=product/compare** — порівняння товарів. Динамічно формує URL з переліком ID товарів, що створює нескінченну кількість унікальних адрес.
Як підключити файл на сайт
Після того як скопіювали згенерований текст:
1. Створіть файл з назвою “robots.txt” (лише латиниця, нижній регістр).
2. Вставте скопійований текст.
3. Завантажте файл у кореневу папку сайту — туди де лежить “index.php”.
4. Перевірте що файл доступний: відкрийте “https://вашсайт.com/robots.txt” у браузері.
5. У Google Search Console перейдіть в розділ «Інструмент перевірки robots.txt» і протестуйте кілька URL.
Важливо: robots.txt є рекомендацією, а не забороною. Більшість великих пошукових систем дотримуються його, але окремі боти можуть ігнорувати. Для надійного закриття конфіденційних сторінок використовуйте також мета-тег “noindex” або закриття паролем.
Файл оновлюйте кожного разу коли змінюєте структуру сайту — додаєте новий розділ, встановлюєте плагін з власними URL, або переходите на нову тему.
