Що таке файл robots.txt і навіщо він потрібен?
Файл robots.txt — це інструкція для пошукових роботів, яка вказує, які сторінки сайту можна індексувати, а які варто ігнорувати. Він розміщується в корені сайту і є першим, що читає пошуковий бот при відвідуванні ресурсу.
Де знайти файл robots.txt у WordPress
У WordPress файл robots.txt можна створити вручну або згенерувати автоматично за допомогою SEO-плагінів (наприклад, Rank Math або Yoast SEO). Якщо його немає, бот побачить лише віртуальний варіант, сформований CMS.
Приклад базового robots.txt для WordPress
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Що заборонити до індексації?
- /wp-admin/ — панель адміністратора
- /wp-login.php — форма входу
- /?s= — сторінка пошуку
- /cart/, /checkout/ — у випадку інтернет-магазину
Як перевірити robots.txt на помилки
Перевірити правильність налаштувань можна в Google Search Console (Інструмент перевірки robots.txt) або через сторонні сервіси. Також варто стежити, щоб не було конфліктів з meta-robots або .htaccess.
Ми рекомендуємо:
Щоб заощадити час і отримати якісний результат, скористайтесь нашими перевіреними рішеннями:
Часті помилки при налаштуванні
- Повна заборона сканування сайту:
Disallow: / - Відсутність sitemap.xml
- Ігнорування динамічних сторінок, які мають трафік
Висновок
Файл robots.txt — це простий, але потужний інструмент SEO. Його правильна конфігурація допоможе уникнути індексації технічних сторінок, покращити ефективність сканування і прискорити індексацію важливого контенту.
