Convertir una web a Markdown: la guía completa
El Markdown convierte el HTML bruto en texto estructurado, ligero y fácil de leer por los modelos de lenguaje. Así se convierte una web a Markdown limpio: obtención del HTML, limpieza del DOM, herramientas de conversión y automatización a escala.
¿Qué es convertir una web a Markdown?
Convertir una web a Markdown consiste en transformar el HTML de una o varias páginas en texto estructurado en formato Markdown: títulos, listas, tablas, enlaces y bloques de código, sin etiquetas de presentación.
El Markdown es un formato de texto ligero que sigue siendo legible tal cual y conserva la jerarquía del contenido — justo lo que necesita un modelo de lenguaje.
¿Por qué convertir a Markdown para los LLM?
El HTML contiene mucho ruido (menús, scripts, estilos, anuncios) que consume tokens y difumina el significado. El Markdown solo conserva la estructura útil.
Resultado: menos tokens para el mismo contenido, una jerarquía explícita (títulos, listas) y mejor aprovechamiento en RAG o para entrenamiento.
- Menos ruido y menos tokens que un HTML completo
- Estructura explícita: títulos, listas, tablas, enlaces
- Formato legible por humanos y máquinas
- Ideal para RAG, documentación y archivo
Paso 1 — Obtener el HTML de la página
No se convierte un sitio directamente: primero se obtiene el HTML de cada página. Una petición HTTP simple basta si el contenido está en la respuesta.
Muchos sitios generan su contenido con JavaScript: un navegador headless (Playwright, Puppeteer) ejecuta el JS y espera la carga para obtener el HTML real.
Paso 2 — Limpiar el DOM antes de convertir
Un HTML bruto incluye navegación, pies de página, banners de cookies, anuncios y scripts. Convertirlos daría un Markdown contaminado.
Por eso se eliminan esos elementos y se conserva solo el contenido principal (artículo, ficha de producto, documentación), idealmente con una extracción tipo «Readability».
Paso 3 — Convertir el HTML en Markdown
La conversión asocia cada etiqueta HTML con su equivalente Markdown: `h1`–`h6` se vuelven `#`, `ul`/`ol` listas, `table` una tabla, `a` un enlace, `pre`/`code` un bloque de código.
Herramientas contrastadas lo automatizan: Turndown (JavaScript), html2text (Python) o Pandoc (multiformato). ScraperFlow genera directamente el Markdown, sin paso manual.
Paso 4 — Los errores de un Markdown mal formado
Un Markdown convertido con prisa conserva artefactos: títulos duplicados, tablas rotas, saltos de línea sobrantes, enlaces relativos sin resolver.
Para los LLM, estos defectos degradan la calidad: un Markdown limpio, una jerarquía coherente y enlaces absolutos superan al volumen bruto.
- Jerarquía de títulos coherente (un solo `#` por documento)
- Tablas y bloques de código bien delimitados
- Enlaces e imágenes con URL absoluta
- Metadatos (título, URL, fecha) en cabecera si es útil
Automatizar la conversión a escala
Convertir una página es sencillo; convertir un sitio entero exige seguir los enlaces (crawl), respetar un límite de páginas y conservar la estructura de URL.
ScraperFlow automatiza ese rastreo y entrega un Markdown por página, listo para alimentar un índice RAG o una base de conocimiento.
Preguntas frecuentes
¿Se puede convertir cualquier web a Markdown?
Técnicamente, casi todas. Primero hay que obtener el HTML (con un navegador headless si el contenido depende de JavaScript) y luego respetar el robots.txt y el RGPD. El Markdown reproduce la estructura, no las animaciones ni las maquetaciones complejas.
¿El Markdown conserva las imágenes y el formato?
El Markdown conserva la estructura (títulos, listas, tablas, enlaces) y las imágenes como enlaces, pero no el estilo visual (colores, fuentes, maquetación). Las tablas complejas y los componentes interactivos pueden perder fidelidad.
¿Hay que saber programar para convertir una web a Markdown?
No. Basta con una herramienta como ScraperFlow: proporcionas una URL y obtienes el Markdown. Para necesidades a medida, bibliotecas como Turndown o Pandoc se integran en un script.
¿El Markdown mejora de verdad los resultados de los LLM?
Por lo general sí: un Markdown limpio reduce el ruido y el número de tokens y preserva la jerarquía del contenido, lo que ayuda a los modelos a localizar mejor la información — sobre todo en RAG.