| Вопрос: |
Добрый день.
По вашей вине постоянно пропадает связь поискового робота яндекса с сервером.
Я неоднократно связывался с техподдержкой яндекса, и они отвечают, что эти проблемы возникают на стороне хостера. Вот их ответ:
"Максим, насколько я вижу, сейчас доступ вновь пропал. Пожалуйста, напишите Вашему хостеру с просьбой предоставить к сайту стабильный доступ для индексирующего робота. Сейчас сайт обходится роботом с IP*178.***.***.**."
Примите пожалуйста меры, чтобы этого больше не повторялось. |
| Ответ: |
Здравствуйте. ip ***.***.***.** не блокируется. проверьте корректность настройки файла robots.txt |
| Вопрос: |
Я ничего в нем не менял, и раньше он работал нормально, а с ** марта робот перестал индексировать сайт, и начал писать, сто ему не удалось связаться с вэб-серсером.
Проверка в яндексвебмастере и в гуглвебмастере показывает что ошибок в файле *.* не обнаружено.
Техподдержка яндекса мне отвечала два раза, что это проблема на стороне хостера, поэтому сделайте что нибудь. |
| Ответ: |
в файле устновлены хзадержки при обходе робота? обязательно установите задержку в несколько секунд. так же запретите от индексирования лишние папки. это тоже обязательно |
| Вопрос: |
До недавнего времени все было нормально, в файле я ничего не менял, и все это время он замечательно индексировался, кроме того, проверка яндекса и гугла показывает, что в немошибок нет, поэтому скорее всего дело не в нем. |
| Ответ: |
обязательно устновите задержку обращения робота и закройте от сканирования ненужные папки |
| Вопрос: |
Я не знаю, каким образом это можно сделать. Я могу вам прислать этот файл, чтобы вы на него посмотрели, и сказали, что в нем не так? |
| Ответ: |
в нем должны быть директивы
User*: *
*: **
и дирекивы Disallow для папок которые нужно исключить из индексации |
| Вопрос: |
Подскажите, что здесь нужно поменять?
Сейчас он выглядит вот так:
User*: *
*: /*
*: /wp*admin
*: /wp*
*: /wp*
*: /wp*
*: /wp*
*: /*
*: */*
*: */*/*
*: /*
*: /*/*/*
*: /*/
*: */*/*/*/
*: */*
*: /*?*
*: /?*=
Host: *.*
*: http://*.*.* |
| Ответ: |
добавьте Crawl-delay: ** |
| Вопрос: |
Куда именно, в какое место? |
| Ответ: |
Выше был дан образец
User*: *
*: **
&*;
так же добавьте персонально для яндекса
User*: Yandex
&*: * |
| Вопрос: |
Хорошо, спасибо, я попробую |
| Ответ: |
ok |
| Вопрос: |
Здравствуйте еще раз.
Техподдержка яндекса ответила, что файл *? здесь не причем.
Сейчас я перешлю вам то, что они мне написали, разберитесь пожалуйста с этой проблемой. |
| Вопрос: |
Максим, дело не в *.* - робот не может получить доступ к сайту на уровне *IP, вот фрагмент результатов трассировки:
* *.*****.* (***.**.***.***) **.*** *-*-*-*.*.* (**.***.***.**) **.*** * **.*** *
* *.*****.* (***.**.***.***) **.*** * **.*** * **.*** *
* **.***.**.** (**.***.**.**) **.*** * **.*** * **.***.**.** (**.***.**.**) **.*** *
** **.***.**.** (**.***.**.**) **.*** * **.*** * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
* по ** порту также неудачен:
*46.**.*.**...
Передайте эту информацию Вашему хостеру, пожалуйста. |
| Ответ: |
Приведите полный результат трассировки.
Сообщите свой IP, вы можете узнать его на странице http://www.empire-host.ru/*ip.php |
| Вопрос: |
Посмотрите пожалуйста полный вариант трассировки:
Максим, полный результат трассировки с IP ***.***.***.** :
* ***.***.***.*** (***.***.***.***) *.*** * *.*** * *.*** *
* **-*****.*.* (**.*.**.***) *.*** * *.*** ***-*****.*.* (**.*.**.***) *.*** *
* **-*-***.*.* (***.***.**.***) *.*** * *.*** * *.*** *
* **-***.*.* (**.***.***.**) **.*** * **.*** **-**-**.*.* (**.***.***.**) *.*** *
* **-**-**.*.* (**.***.***.**) **.*** * **.*** * **.*** *
* **.*.* (**.***.***.**) *.*** *-*-*-*.*.* (**.***.***.**) **.*** *-*-*-*-***.*.* (***.***.***.***) **.*** *
* *.*****.* (***.**.***.***) **.*** *-*-*-*-***.*.* (***.***.***.***) **.*** * **.*** *
* *.*****.* (***.**.***.***) **.*** * **.*** * **.***.**.** (**.***.**.**) **.*** *
* **.***.**.** (**.***.**.**) **.*** * **.***.**.** (**.***.**.**) **.*** * **.***.**.** (**.***.**.**) **.*** *
** **.***.**.** (**.***.**.**) **.*** * **.*** * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * *
** * * * |
| Ответ: |
Сообщите свой IP, вы можете узнать его на странице http://www.empire-host.ru/*ip.php |
| Вопрос: |
Ваш IP адрес: **.***.***.** |
| Ответ: |
Вы могли бы уточнить у них огромный интерес к нашему серверу со стороны их ботов?
менее чем за * часов было ****** запросов с *** ip адресов яндекса.
вот ТОП ** ip с запрсоами
**** ***.*.***.*
**** ***.***.***.*
**** *.***.***.**
**** *.***.***.**
**** *.***.***.**
**** ***.*.***.**
**** ***.*.***.***
**** ***.*.***.**
**** ***.*.***.**
**** ***.***.**.*
**** ***.***.**.**
**** ***.***.**.**
**** ***.*.***.**
**** ***.***.**.*
**** ***.*.***.**
**** ***.***.**.**
**** **.***.***.*
**** ***.*.***.**
**** ***.*.***.*
**** ***.***.***.**
**** ***.***.***.**
**** ***.*.***.**
**** **.***.***.**
**** ***.*.***.**
**** ***.*.***.**
**** ***.*.***.**
**** ***.*.***.**
**** ***.*.***.**
**** ***.*.***.**
*** ***.***.***.***
*** ***.***.***.**
*** ***.***.**.**
*** ***.*.***.**
*** ***.*.***.**
*** *.***.***.**
*** ***.*.***.***
*** ***.***.**.**
*** ***.*.***.**
*** ***.*.***.**
*** ***.*.***.**
*** ***.***.**.**
*** ***.*.***.**
*** **.***.***.**
*** ***.*.***.***
*** ***.*.***.**
*** ***.***.***.**
*** ***.***.**.**
*** **.***.***.*
*** ***.***.***.**
*** ***.***.**.** |
| Вопрос: |
Я передал им ваш вопрос, пока ответа не получил.
А что вы можете сказать по поводу решения моей проблемы?
По какой причине она возникла, и когда она будет устранена? |
| Ответ: |
проблема зависит от активности яндекса |
| Вопрос: |
Но ведь раньше такой проблемы не существовало, и до ** марта мой сайт нормально индексировался при каждом обновлении поисковых баз яндекса.
К тому же, техподдержка яндекса утверждает, что это проблема все таки у вас. |
| Ответ: |
проблема не у на са у яндекса который крайне агрессивно начал сканировать сервера |
| Вопрос: |
А почему тогда сервер не отвечает на запросы его робота?
Причем такое было не один раз, уже прошло три обновления базы, и при каждом обновлении он мне присылает сообщения, что вэб-сервер не отвечает |
| Ответ: |
потаму что бот создает высокую нагрузку |
| Вопрос: |
Добрый день.
Вы все еще на связи? |
| Ответ: |
Здравствуйте.
Чем я могу Вам помочь? |
| Вопрос: |
Вы наверное должны быть в курсе нашего вчерашнего разговора с Вашей техподдержкой.
Техподдержка яндекса предлагает Вам напрямую с ними связаться для решения данного вопроса, напишите им пожалуйста, в чем проблема, и решите эты проблему совместными усилиями. |
| Вопрос: |
Пересылаю их письмо:
Здравствуйте, Максим!
Чтобы не играть в "сломанный телефон", пожалуйста, попросите Вашего хостера более детально описать ситуацию и прислать логи запросов со стороны индексирующих роботов, например, на адрес *.yandex.* . Спасибо! |
| Ответ: |
Хорошо, мы с ними свяжемся. |
| Вопрос: |
Спасибо, буду ждать результат. |
| Вопрос: |
Скажите пожалуйста, есть какие то результаты по моему вопросу? |
| Ответ: |
нет, нам пока не отвтили. роботов мы не блокируем |
| Вопрос: |
Добрый день.
Скажите, вы вчера связывались с техподдержкой яндекса по моему вопросу? |
| Ответ: |
да, ответа небыло. судя по логам бот Вас посещает |
| Вопрос: |
Мне они пишут, что вы к ним не обращались.
"Здравствуйте, Максим!
Пока мы не получили письма от Вашего хостера, какой-то информации по данному вопросу нет." |
| Ответ: |
запрос отправлен повторно |
| Вопрос: |
Решите уже, пожалуйста, этот вопрос поскорее, сколько можно уже тянуть... |
| Ответ: |
в каком смысле таянуть? роботы яндекса у нас не блокируются. мы не видим проблемы со стороны хостинга |
| Вопрос: |
Почему тогда сайт две недели назад перестал индексироваться, и яндекс говорит, что это проблема на стороне хостинга? |
| Ответ: |
у нас нет данных о входе яндекса на ваш сайт за такой период, логирование суточное |
