“ В общем закончилось все тем, что мне пришлось на три дня вырубить хостинг: Яндекс меня тупо заддосил. Решил выкачать весь интернет через меня… Нормальный контент не добьешься с него индексировать, а гигабайты копипаста, так жрал три дня. Два дня после того как ему роботс новый показали — все равно жрал. (он же не все время его проверяет — проверил, и дальше из своего кэша смотрит). Платоны сказали мол ждите пока паук увидит роботс, помочь не можем :)
— source
