вобщемто я думаю все причастные уже заметили, что гугль.вебмастер не дает подкрутить бегунок индексации для доменов второго уровня зоны .ua
с нового года где-то как
при этом в .com.ua и остальных пошаренных например все нормально
я было уже предположил хулиганский сценарий, что владелец www.ua зарегистрировался в г.вебмастере и снял там автоматическую проходку краулера по поддоменам
западло национального масштаба так сказать - и кстати хрен проверишь, метатегов нет, но случайного имени файлы в корень положить никто не мешает
сегодня учинил ответное хулиганство - включил Crawl-delay в раздел User-Agent: *, без явного выделения гугловых ботов в роботсе
гугловый верификатор к моему удивлению ругаться не стал
будем посмотреть
Подписаться на:
Комментарии к сообщению (Atom)
да, в гугловой документации Crawl-delay для роботсов не указан
ОтветитьУдалить