Вход на сайт

Просмотр новости

Найдите то, что Вас интересует

robots.txt в Google Search Console

Дата публикации: 16-08-2026 19:47:14

Доброго времени суток! Столкнулся с проблемой отказа от индексации Гуглом трети моих сайтов. В Google Search Console упорно пишет " Заблокировано в файле robots...

Основное содержимое страницы с новостью.

Доброго времени суток! Столкнулся с проблемой отказа от индексации Гуглом трети моих сайтов. В Google Search Console упорно пишет "Заблокировано в файле robots.txt" не смотря на то что на сервере нет файла robots.txt. Блоги на wordpress и на сколько я знаю wordpress не создает сам этот файл. Сайт работает через Cloudflare. 

Глянул по адресу myblog.net/robots.txt ... И произошло чудо - файл открылся:

User-agent: *

Content-Signal: search=yes,ai-train=no,use=reference

Allow: /

User-agent: Amazonbot

Disallow: /

User-agent: Applebot-Extended

Disallow: /

User-agent: Bytespider

Disallow: /

User-agent: CCBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: CloudflareBrowserRenderingCrawler

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: GPTBot

Disallow: /

User-agent: meta-externalagent

Disallow: /

# END Cloudflare Managed Content

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://myblog.net/wp-sitemap.xml

Судя по записям упоминающим Cloudflare понял что запрещена индексация на уровне того же Cloudflare. Вопрос - как это исправить?

Схожие новости

#Наименование новостиТональностьИнформативностьДата публикации
1Google Search Console07.903-09-2026
2Индексирующий робот Яндеса08.9815-09-2026
3Что за глюк вебмастере010.4115-09-2026
4Проблемы продвижения сайта. Сайта нет в топ 150114.4901-09-2026
5Алиса AI банит контент для самой себя?08.7131-08-2026
6Нарушения и угрозы безопасности на сайте, отдельных его разделах или страницах Использование SEO-текстов012.6609-09-2026
7Обсуждаем gemini04.5813-08-2026
8Политика конфиденциальности, подтверждение домена на госуслугах.06.3113-08-2026
9Как сделать чтобы поддомены в поиске Яндекса быстрее проиндексировались в заданных регионах-17.1621-09-2026
10Дата в serpе не совпадает с индексом01004-08-2026

Классификация: Мнения. Схожих патентов: 0. Схожих новостей: 10. Тональность: 0. Информативность: 6.75. Источник: searchengines.guru.