Документация › Что выводится на сайт
robots.txt и служебные адреса
Служебные адреса и HTTP-заголовки, которые меняет плагин. Значения сняты с тестового сайта.
Сводка
| Адрес | Настройка | Что отвечает |
|---|---|---|
/robots.txt | AI / LLM боты | блок Disallow: / для каждого AI-бота (ниже) |
/КЛЮЧ.txt | IndexNow | 200, тело — сам ключ, заголовок X-Robots-Tag: noindex, nofollow |
/wp-sitemap.xml | Запретить встроенный sitemap | ответ 404 |
/?author=1 | Защитить логин администратора | ответ 404 вместо перенаправления на /author/логин/ |
robots.txt: AI-боты
Правила дописываются в конец виртуального robots.txt WordPress:
robots.txt
# Блокировка AI/LLM-ботов (wp-elder-addon)
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
…
User-agent: Omgili
Disallow: /Если в корне сайта лежит настоящий файл
robots.txt, его отдаёт сервер, и правила плагина не появятся.Last-Modified и 304
Первый запрос записи:
HTTP
HTTP/1.1 200 OK
Last-Modified: Thu, 01 Oct 2026 07:56:18 GMTПовторный запрос с If-Modified-Since той же датой — ответ 304 и 0 байт тела:
HTTP
GET /docs-webp-guide/ HTTP/1.1
If-Modified-Since: Thu, 01 Oct 2026 07:56:18 GMT
HTTP/1.1 304 Not ModifiedПроверить на своём сайте можно в «Инструментах разработчика» браузера (вкладка «Сеть», заголовки ответа) или сервисом проверки заголовков.
IndexNow
При публикации или обновлении записи плагин отправляет POST на выбранный endpoint:
JSON
{
"host": "site.ru",
"key": "3f9a1c2b7d4e4a8b9c0d1e2f3a4b5c6d",
"keyLocation": "https://site.ru/3f9a1c2b7d4e4a8b9c0d1e2f3a4b5c6d.txt",
"urlList": [
"https://site.ru/docs-webp-guide/"
]
}Поисковик скачивает keyLocation и сверяет ключ. Статистику принятых адресов смотрите в Яндекс.Вебмастере и Bing Webmaster Tools — в плагине отчёта нет.