ProxyVerity Obtener proxy
Tutorial

Cómo scrapear los resultados de búsqueda de Google con Python: estrategias anti-bot

Guía práctica para crear un scraper de SERP de Google con Python: análisis de los resultados, paginación y técnicas anti-bot robustas, con rotación de proxies y gestión del User-Agent.

Roman Bulatov
By Roman Bulatov
Experto en proxies e infraestructura de red · · 6 min de lectura

El scraping de resultados de búsqueda de Google es una de las tareas de scraping web más demandadas y, al mismo tiempo, más complicadas. Google invierte mucho en detectar y bloquear solicitudes automatizadas, por lo que se convierte en un blanco móvil. Esta guía te muestra cómo crear un scraper de SERP básico con Python y, después, reforzarlo frente a las medidas anti-bot que acabarás encontrando.

Cómo analizar los resultados de búsqueda de Google con BeautifulSoup

La página de resultados de Google es famosa por su falta de estructura. Las clases HTML cambian con frecuencia, pero la estructura subyacente se mantiene relativamente estable. Un resultado típico consiste en un <div> con atributos que lo identifican como resultado de búsqueda. Con requests y BeautifulSoup, puedes extraer el título, la URL y el fragmento.

import requests
from bs4 import BeautifulSoup

url = 'https://www.google.com/search?q=python+scraping'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

for result in soup.select('div.g'):
    title_elem = result.select_one('h3')
    link_elem = result.select_one('a')
    snippet_elem = result.select_one('div.VwiC3b')
    if title_elem and link_elem:
        title = title_elem.get_text()
        link = link_elem.get('href')
        snippet = snippet_elem.get_text() if snippet_elem else ''
        print(f'{title}\n{link}\n{snippet}\n')

El selector div.g es un contenedor habitual de resultados orgánicos. La clase del fragmento puede variar; es imprescindible inspeccionar la página en vivo. Este código se ejecuta sin proxy y funcionará durante unas pocas solicitudes antes de que Google bloquee tu IP.

Cómo gestionar la paginación

Google usa el parámetro start para paginar. La primera página usa start=0, la segunda start=10, etc. Puedes recorrer las páginas incrementando start de 10 en 10. Sin embargo, una paginación agresiva activará los límites de solicitudes enseguida.

for page in range(0, 5):  # first 5 pages
    params = {'q': 'python scraping', 'start': page * 10}
    response = requests.get(url, params=params, headers=headers)
    # parse as above
    time.sleep(5)  # essential delay

La realidad anti-bot

Google emplea varias capas de detección de bots: limitación de la tasa por IP, validación del User-Agent, análisis de cabeceras, desafíos JavaScript (reCAPTCHA) y reconocimiento de patrones de comportamiento. Un script sencillo con un User-Agent estático será bloqueado tras unas pocas solicitudes. Tu IP quedará bloqueada temporalmente y verás un CAPTCHA o una página en blanco.

Por qué Google bloquea a los scrapers

  • Las solicitudes excesivas desde una sola IP activan el límite automático de solicitudes.
  • Las cabeceras ausentes o poco habituales (como Accept-Language) marcan el tráfico como no procedente de un navegador.
  • Los patrones de solicitud incoherentes —por ejemplo, sin movimientos de ratón ni eventos de desplazamiento— son detectables mediante fingerprinting avanzado.

Estrategias de mitigación

Rotación de proxies

Usar un grupo de proxies reparte las peticiones entre muchas IP y reduce el riesgo de limitación de peticiones. Las listas de proxies gratuitas, como la lista verificada de forma continua de ProxyVerity, ofrecen una fuente de IP, aunque su fiabilidad varía. En producción, considera un servicio de proxies de pago que ofrezca IP residenciales rotativas. Prueba siempre tus proxies con un comprobador de proxies antes de usarlos a escala.

Rotación de User-Agent y cabeceras

Rota los valores de User-Agent a partir de una lista de cadenas de navegadores habituales. Incluye también las cabeceras típicas: Accept, Accept-Language, Referer. Un objeto de sesión puede mantener las cookies.

import random

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...',
    # ...
]

headers = {
    'User-Agent': random.choice(user_agents),
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en-GB,en;q=0.5',
    'Referer': 'https://www.google.com/',
}

Retrasos y espera entre reintentos

Añade retrasos aleatorios entre peticiones (p. ej., 5-15 segundos). Implementa una espera exponencial cuando recibas respuestas HTTP 429 o 503. Esto imita el comportamiento humano y reduce la carga del servidor.

import time

def make_request(url, headers, params=None, retries=3):
    for attempt in range(retries):
        response = requests.get(url, headers=headers, params=params)
        if response.status_code == 200:
            return response
        elif response.status_code == 429:
            wait = 2 ** attempt + random.uniform(0, 1)
            time.sleep(wait)
        else:
            break
    return None

Scraper propio frente a API SERP comercial

Crear un scraper propio te da control total y evita los costes por petición. Sin embargo, mantenerlo frente a las medidas anti-bot de Google, que no dejan de cambiar, consume mucho tiempo. Debes actualizar constantemente los selectores, rotar los proxies y gestionar los CAPTCHAs mediante código (con servicios como 2Captcha). Para proyectos de bajo volumen (cientos de consultas al día), un enfoque propio con proxies gratuitos puede ser viable.

Las API SERP comerciales (como SerpAPI, Bright Data o ScrapingBee) abstraen la complejidad anti-bot. Proporcionan JSON limpio, gestionan proxies y CAPTCHAs y a menudo dan resultados específicos por ubicación. La contrapartida es el coste, que escala con el uso. Para miles de consultas diarias, una API puede ser más económica que el tiempo de ingeniería necesario para crear y mantener un scraper robusto.

“Comprar una API fiable suele ser más barato que el coste de oportunidad de pelearse con los sistemas anti-bot de Google por tu cuenta.”

Consideraciones legales y éticas

El scraping de los resultados de búsqueda de Google puede infringir las Condiciones del Servicio de Google. Aunque el panorama legal varía según la jurisdicción, es esencial respetar robots.txt y evitar extraer datos personales. Usa los datos extraídos de forma responsable: para fines personales o de investigación, no para redistribución comercial. Si necesitas comprobar tu IP aparente o entender cómo te ve Google, usa herramientas de depuración. Para obtener resultados específicos por ubicación, considera usar proxies del país de destino. Y elige un tipo de proxy que se ajuste a tus requisitos de anonimato.

Juntando todas las piezas

Un scraper de Google resistente combina proxies rotativos, rotación de User-Agent, pausas meditadas y lógica de respaldo. Aun así, el éxito no está garantizado. Empieza a pequeña escala, vigila el estado de tu IP y prepárate para adaptarte. Tanto si decides crear el tuyo propio como si pagas por una API, entender el panorama anti-bot te convertirá en un ingeniero más eficaz.

Volver a ProxyHub