Річ у тім, що Google загалом не любить автоматичне сканування. Тому в якийсь момент усі запити блокуються, і ви починаєте одержувати помилку внутрішнього браузера для Google в інтерфейсі програми.
У таких ситуаціях ми рекомендуємо:
1. Використовувати User Agent - «Chrome».
2. Встановити затримку між запитами → скріншот. Потрібно потестувати декілька варіантів затримки, поки блокування не зникне.
3. Зменшити кількість потоків сканування — тоді сканування буде трохи повільніше, але зменшиться навантаження на гугл, і підвищиться шанс просканувати більше запитів до того, як Google поставить проксі на капчу.
4. Якщо три попередніх кроки не допомогли, тоді єдиний варіант це використовувати список приватних проксі у комбінації з одним із сервісів для автоматичного розгадування капчі.
Таким чином, ви зможете проаналізувати максимальну кількість сторінок і уникнути блокування з боку пошукової системи.
Статья помогла?
Отлично!
Спасибо за ваш отзыв
Извините, что не удалось помочь!
Спасибо за ваш отзыв
Комментарий отправлен
Мы ценим вашу помощь и постараемся исправить статью