ProxyVerity Получить прокси
Руководство

Как парсить выдачу Google на Python: стратегии против антибот-защиты

Практическое руководство по созданию парсера Google SERP на Python: разбор результатов, пагинация и продуманные антибот-методы, включая ротацию прокси и работу с User-Agent.

Roman Bulatov
By Roman Bulatov
Эксперт по прокси и сетевой инфраструктуре · · 5 мин чтения

Парсинг результатов поиска Google — одна из самых востребованных, но при этом сложных задач веб-скрапинга. Google активно вкладывается в обнаружение и блокировку автоматических запросов, превращая это в движущуюся цель. Это руководство проведёт вас через создание базового парсера SERP на Python и последующее его укрепление против анти-бот мер, с которыми вы неизбежно столкнётесь.

Парсинг выдачи Google с помощью BeautifulSoup

Страница результатов поиска Google, как известно, неструктурирована. HTML-классы часто меняются, но базовая структура остаётся относительно стабильной. Типичный результат состоит из <div> с атрибутами, которые помечают его как результат поиска. Используя requests и BeautifulSoup, вы можете извлечь заголовок, URL и сниппет.

import requests
from bs4 import BeautifulSoup

url = 'https://www.google.com/search?q=python+scraping'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

for result in soup.select('div.g'):
    title_elem = result.select_one('h3')
    link_elem = result.select_one('a')
    snippet_elem = result.select_one('div.VwiC3b')
    if title_elem and link_elem:
        title = title_elem.get_text()
        link = link_elem.get('href')
        snippet = snippet_elem.get_text() if snippet_elem else ''
        print(f'{title}\n{link}\n{snippet}\n')

Селектор div.g — распространённый контейнер для органических результатов. Класс сниппета может отличаться; необходимо проверять живую страницу. Этот код работает без прокси и будет работать для нескольких запросов, прежде чем Google заблокирует ваш IP.

Обработка пагинации

Google использует параметр start для пагинации. Первая страница использует start=0, вторая — start=10 и т.д. Вы можете перебирать страницы, увеличивая start на 10 каждый раз. Однако агрессивная пагинация быстро вызовет ограничения скорости.

for page in range(0, 5):  # first 5 pages
    params = {'q': 'python scraping', 'start': page * 10}
    response = requests.get(url, params=params, headers=headers)
    # parse as above
    time.sleep(5)  # essential delay

Реальность анти-бот защиты

Google применяет несколько уровней обнаружения ботов: ограничение скорости по IP, проверка User-Agent, анализ заголовков, JavaScript-испытания (reCAPTCHA) и распознавание поведенческих шаблонов. Простой скрипт со статическим User-Agent будет заблокирован после нескольких запросов. Ваш IP будет временно забанен, и вы увидите CAPTCHA или пустую страницу.

Почему Google блокирует парсеры

  • Чрезмерные запросы с одного IP вызывают автоматическое ограничение скорости.
  • Отсутствующие или необычные заголовки (например, Accept-Language) помечают трафик как небраузерный.
  • Непоследовательные паттерны запросов — например, отсутствие движений мыши или событий прокрутки — обнаруживаются продвинутым фингерпринтингом.

Стратегии противодействия

Ротация прокси

Пул прокси распределяет запросы между множеством IP и снижает шанс попасть под ограничение частоты. Бесплатные списки прокси, например непрерывно проверяемый список на ProxyVerity, дают источник IP, хотя надёжность их разнится. Для рабочей нагрузки стоит рассмотреть платный прокси-сервис с ротацией резидентных IP. И всегда проверяйте прокси через прокси-чекер, прежде чем пускать их в масштаб.

Ротация User-Agent и заголовков

Меняйте User-Agent, выбирая строки из списка распространённых браузеров. Добавляйте и типичные заголовки: Accept, Accept-Language, Referer. Объект сессии позволяет сохранять cookies.

import random

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...',
    # ...
]

headers = {
    'User-Agent': random.choice(user_agents),
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en-GB,en;q=0.5',
    'Referer': 'https://www.google.com/',
}

Задержки и паузы перед повтором

Ставьте случайные задержки между запросами (например, 5-15 секунд). При ответах HTTP 429 или 503 выдерживайте экспоненциально растущую паузу перед повтором. Так вы имитируете поведение человека и снижаете нагрузку на сервер.

import time

def make_request(url, headers, params=None, retries=3):
    for attempt in range(retries):
        response = requests.get(url, headers=headers, params=params)
        if response.status_code == 200:
            return response
        elif response.status_code == 429:
            wait = 2 ** attempt + random.uniform(0, 1)
            time.sleep(wait)
        else:
            break
    return None

Самодельный парсер или коммерческий SERP API

Свой парсер даёт полный контроль и избавляет от платы за каждый запрос. Но поддерживать его, пока Google совершенствует антибот-защиту, — занятие времязатратное. Приходится постоянно обновлять селекторы, менять прокси и разбираться с CAPTCHA программно (через сервисы вроде 2Captcha). Для небольших объёмов (сотни запросов в день) самодельный подход с бесплатными прокси может быть рабочим вариантом.

Коммерческие SERP API (например, SerpAPI, Bright Data или ScrapingBee) снимают с вас всю возню с антибот-защитой. Они отдают чистый JSON, сами разбираются с прокси и CAPTCHA и часто дают результаты с привязкой к локации. Взамен — стоимость, которая растёт вместе с объёмом. При тысячах запросов в день API может обойтись дешевле, чем инженерное время на разработку и поддержку надёжного парсера.

«Купить надёжный API часто дешевле, чем упущенные возможности, пока вы сами воюете с антибот-системами Google».

Правовые и этические моменты

Парсинг результатов поиска Google может нарушать Условия использования Google. Правовая картина в разных юрисдикциях разная, но соблюдать robots.txt и не собирать персональные данные необходимо. Распоряжайтесь собранными данными ответственно — для личных или исследовательских целей, а не для коммерческого распространения. Если нужно проверить свой видимый IP или понять, как вас видит Google, воспользуйтесь отладочными инструментами. Для результатов по конкретной локации подойдут прокси из нужной страны. И выбирайте тип прокси под свои требования к анонимности.

Собираем всё вместе

Устойчивый скрапер Google — это сочетание ротации прокси, ротации User-Agent, продуманных задержек и логики резервных сценариев. Но даже с ними успех не гарантирован. Начинайте с малого, следите за состоянием своего IP и будьте готовы подстраиваться. Соберёте ли вы собственное решение или заплатите за API — понимание того, как устроена защита от ботов, сделает вас более эффективным инженером.

Назад в ProxyHub