При скрапинге/кроулинге сайта админов может раздражать слишком большое число запросов, и они банят за такую активность. Вот нашёл советы, как скрыть повышенную активность.