Cómo hacer scraping de webs para marketing con IA

No todas las fuentes públicas son iguales. Un directorio de asociación sectorial tiene una estructura diferente a una página de ponentes de un evento, que a su vez difiere de una galería de clientes de un competidor. Antes de configurar cualquier herramienta, necesitas un inventario de páginas candidatas con una evaluación inicial de su utilidad y su complejidad técnica.

Para cada fuente candidata, anota: la URL raíz del listado, si el listado está en una sola página o paginado, si cada empresa tiene su propia subpágina con más detalle, qué datos aparecen visibles en la vista de listado y cuáles requieren entrar en cada ficha individual, y si el acceso requiere login o registro.

Esta información determina la herramienta y el esfuerzo de configuración. Un listado en una sola página con estructura estática es significativamente más rápido de configurar que el mismo volumen distribuido en fichas individuales con carga JavaScript, donde hay que navegar a cada ficha y esperar la respuesta antes de extraer los datos.

El archivo robots.txt no tiene fuerza legal por sí mismo, pero muchos términos de servicio lo referencian expresamente, y ignorarlo puede convertir una extracción en un incumplimiento documentado del contrato con la plataforma. Hay que revisar ambos documentos para cada fuente candidata antes de extraer nada.

Para cada fuente, accede a dominio/robots.txt y comprueba si la ruta del directorio está en la sección Disallow. Si está permitida o no se menciona, lee los términos de servicio buscando cláusulas sobre scraping automatizado, uso comercial de datos o prohibición de recopilación automática. La mayoría de directorios de asociaciones sectoriales permiten la consulta pública de sus miembros, porque ese es precisamente su propósito. Las páginas de eventos de terceros son más variables.

Cuando haya duda, la regla práctica es: si los datos son públicos y no están detrás de un muro de pago, si el sitio no prohíbe explícitamente la extracción automatizada, y si el ritmo de extracción no sobrecarga el servidor, la práctica generalmente se considera aceptable para datos de contacto profesional. Ante cualquier ambigüedad, consulta con asesoría legal antes de continuar.

Un esquema de datos mal definido multiplica el trabajo de limpieza posterior. Si no especificas que el email debe estar en minúsculas, obtendrás valores mezclados que dificultan la deduplicación. Si no defines que el nombre de empresa debe estar sin el tipo societario, acabarás con inconsistencias que impiden detectar que dos registros son la misma empresa.

El esquema no es solo qué campos extraes, sino cómo deben estar formateados y qué hacer cuando faltan. Para marketing B2B, los campos habituales son: nombre_empresa (texto limpio sin tipo societario), web (URL completa con protocolo), email_contacto (formato estándar), nombre_persona (nombre y apellidos separados), cargo (texto libre normalizado), sector (categoría de tu taxonomía interna), fuente (URL de origen para trazabilidad) y fecha_extraccion (para gestionar la caducidad de los datos).

Especifica también los valores aceptables para campos con opciones limitadas. Si sector tiene categorías fijas, define cuáles son ahora, antes de que el scraper traiga numerosas variaciones distintas del mismo concepto. Esta decisión previa ahorra un tiempo considerable de limpieza posterior.

Browse AI permite crear agentes de extracción sin código mediante un grabador visual: navegas a la página, señalas qué elementos quieres extraer, y el sistema aprende el patrón a partir de los primeros ejemplos que le muestras. Para páginas con estructura repetida —una tarjeta por empresa, siempre en el mismo lugar del DOM— este enfoque es muy eficiente y no requiere conocimientos de programación.

El proceso en Browse AI sigue estos pasos: crea un robot nuevo, indica la URL inicial, activa el grabador, selecciona manualmente los primeros ejemplos del campo que quieres extraer (por ejemplo, nombre de empresa), y el sistema propone automáticamente el selector CSS que captura ese campo para el resto de filas. Repite por cada campo del esquema.

Una vez configurados todos los campos, indica el elemento de paginación o el patrón de URL. El agente ejecuta la extracción de todas las páginas en modo no vigilado y devuelve los resultados en CSV o JSON descargable.

Revisa siempre una muestra de resultados manualmente antes de dar la extracción por válida, porque un selector mal aprendido puede producir un CSV donde todos los nombres son el mismo o donde un campo captura el elemento HTML adyacente en lugar del correcto.

Cuando la paginación depende de JavaScript —un botón 'Cargar más' que añade resultados sin cambiar la URL, o un contenido que solo aparece después de un clic— las herramientas no-code tienen limitaciones importantes. Playwright es una biblioteca de automatización de navegadores para Python que controla un navegador real (Chromium, Firefox o WebKit) y puede interactuar con cualquier elemento de la página, incluyendo los que cargan contenido dinámicamente.

El script básico para un directorio paginado con JavaScript sigue esta estructura: lanzar el navegador, navegar a la URL inicial, esperar a que el listado esté visible usando wait_for_selector en lugar de un sleep fijo, extraer los datos de la página actual, buscar el botón de siguiente página, hacer clic, esperar la nueva carga, repetir hasta que el botón desaparezca. Para páginas que requieren ver una ficha individual por empresa, el script navega a cada URL, extrae los datos adicionales y vuelve al listado.

Mantén siempre una pausa entre peticiones para no sobrecargar el servidor origen. Un script que manda un volumen masivo de peticiones en muy poco tiempo puede ser bloqueado o detectado como tráfico no deseado. Esta cortesía técnica también significa que el scraping de un directorio grande puede tardar varias horas en ejecutarse.

Una vez finalizada la extracción, antes de pasar a la fase de limpieza, hay que evaluar la calidad de los datos en bruto. Lanzarse a limpiar un CSV que proviene de una extracción rota significa trabajo perdido.

Cargar el CSV en una hoja de cálculo y revisar estos indicadores: número total de filas extraídas frente al número esperado de registros en la fuente, porcentaje de filas con el campo email vacío, porcentaje de filas con la web corporativa vacía, y presencia de valores que claramente no corresponden al campo esperado.

Un porcentaje elevado de emails vacíos puede significar que el selector no capturó correctamente el campo o que ese dato simplemente no está disponible públicamente en la fuente. Un número de filas inferior al esperado indica que la paginación no se recorrió completa. Valores erróneos en campos concretos señalan un selector que captura el elemento HTML adyacente en lugar del correcto.

Este diagnóstico es más rápido si lo haces con un prompt de Claude: pegas una muestra representativa del CSV y pides un análisis de cobertura y anomalías por campo. Obtienes en segundos una lista de problemas específicos que debes corregir, ya sea ajustando el selector en Browse AI o el script de Playwright, antes de invertir tiempo en limpiar datos que provienen de una extracción defectuosa.

La normalización en un único paso —en lugar de ir campo por campo en peticiones separadas— reduce el número de peticiones a la IA y asegura que las reglas se aplican de forma consistente sobre el mismo registro.

El prompt de normalización debe incluir todas las reglas del esquema que definiste en la Fase 1: eliminación del tipo societario del nombre de empresa, normalización de URLs al formato con protocolo y sin barra final, validación de formato de email con patrón básico, y eliminación de espacios en blanco al inicio y final de cada campo.

Para volúmenes pequeños, Claude puede procesar el contenido en una sola petición. Para volúmenes mayores, la estrategia más eficiente es procesar en bloques y unir los resultados al final. El output no debe ser solo el CSV limpio, sino también una columna adicional de estado que indique para cada fila si pasó la normalización sin problemas, si se aplicaron correcciones pero el registro es válido, o si algún campo no pudo normalizarse y requiere revisión manual.

Esta columna de estado es la que permite hacer una revisión humana eficiente: en lugar de revisar todas las filas una por una, revisas solo las marcadas como REVISIÓN y das por válidas las marcadas como OK o CORREGIDO.

Los duplicados en scraping aparecen por varias razones: la misma empresa listada en dos secciones del directorio, una empresa que aparece tanto como ponente en el evento como como patrocinadora, o un mismo contacto con dos variaciones del nombre. La deduplicación manual de un CSV de tamaño medio toma tiempo; la deduplicación automática basada únicamente en texto exacto pierde duplicados con variaciones menores.

La estrategia más efectiva es usar la web corporativa normalizada como clave de deduplicación primaria, porque es el campo que varía menos entre registros duplicados de la misma empresa. Si dos filas tienen la misma URL de web normalizada, son casi con certeza la misma empresa. Claude puede aplicar esta regla y además detectar duplicados probables donde la web es ligeramente diferente pero el nombre de empresa es casi idéntico.

Para el manejo de duplicados, la práctica más útil para marketing no es eliminar la fila duplicada directamente, sino marcarla e indicar cuál es el registro principal. Así, si un duplicado tiene datos que el registro principal no tiene —por ejemplo, uno tiene el email y el otro no— el equipo puede unir los datos complementarios manualmente antes de borrar. Esta decisión final la toma siempre una persona.

Con el CSV normalizado y deduplicado, el último paso antes del entregable es la revisión humana del subconjunto marcado como REVISIÓN o REVISAR. Este subconjunto representa los casos que la IA no pudo resolver automáticamente: campos obligatorios vacíos, duplicados probables pero no seguros, valores anómalos que el normalizador marcó pero no corrigió. Este subconjunto suele ser considerablemente menor que el total del CSV, y puede revisarse en un tiempo razonable.

Para cada fila en revisión, la decisión es una de estas tres: completar el campo manualmente si es posible encontrar el dato en la web de la empresa, marcar la fila como DESCARTAR si el dato es inaccesible o la empresa no cumple el perfil deseado, o confirmar el duplicado y unir campos complementarios si es ese el caso.

Al terminar la revisión, el entregable final es un CSV limpio con solo las filas en estado OK o CORREGIDO, con los duplicados eliminados y los descartados fuera, con todos los campos del esquema, y con la columna de fuente que indica el origen de cada registro para trazabilidad. Este CSV es el resultado revisable que el proceso exige: puedes volver a la fuente de cualquier registro y verificar que el dato era correcto en el momento de la extracción.