Річ у тім, що Google загалом не любить автоматичне сканування. Тому в якийсь момент усі запити блокуються, і ви починаєте одержувати помилку внутрішнього браузера для Google в інтерфейсі програми.
У таких ситуаціях ми рекомендуємо:
1. Використовувати User Agent - «Chrome».
2. Встановити затримку між запитами → скріншот. Потрібно потестувати декілька варіантів затримки, поки блокування не зникне.
3. Зменшити кількість потоків сканування — тоді сканування буде трохи повільніше, але зменшиться навантаження на гугл, і підвищиться шанс просканувати більше запитів до того, як Google поставить проксі на капчу.
4. Якщо три попередніх кроки не допомогли, тоді єдиний варіант це використовувати список приватних проксі у комбінації з одним із сервісів для автоматичного розгадування капчі.
Таким чином, ви зможете проаналізувати максимальну кількість сторінок і уникнути блокування з боку пошукової системи.
Ця стаття була корисною?
Чудово!
Дякуємо за відгук
Даруйте, що не вдалося допомогти вам
Дякуємо за відгук
Відгук надіслано
Дякуємо за допомогу! Ми докладемо всіх зусиль, щоби виправити статтю