Convertir un site web en Markdown : le guide complet
Le Markdown transforme le HTML brut en texte structuré, léger et lisible par les modèles de langage. Voici comment convertir un site web en Markdown propre : récupération du HTML, nettoyage du DOM, outils de conversion et automatisation à l'échelle.
Qu'est-ce que la conversion d'un site web en Markdown ?
Convertir un site web en Markdown consiste à transformer le HTML d'une ou plusieurs pages en texte structuré au format Markdown : titres, listes, tableaux, liens et blocs de code, sans balises de présentation.
Le Markdown est un format texte léger qui reste lisible tel quel, tout en conservant la hiérarchie du contenu — exactement ce dont un modèle de langage a besoin.
Pourquoi convertir en Markdown pour les LLM ?
Le HTML contient beaucoup de bruit (menus, scripts, styles, publicités) qui consomme des jetons et brouille le sens. Le Markdown ne conserve que la structure utile.
Résultat : moins de jetons pour un même contenu, une hiérarchie explicite (titres, listes) et une meilleure exploitation en RAG ou pour l'entraînement.
- Moins de bruit et de jetons qu’un HTML complet
- Structure explicite : titres, listes, tableaux, liens
- Format lisible par l’humain comme par la machine
- Idéal pour le RAG, la documentation et l’archivage
Étape 1 — Récupérer le HTML de la page
On ne convertit pas un site directement : on récupère d'abord le HTML de chaque page. Une requête HTTP simple suffit si le contenu est présent dans la réponse.
Beaucoup de sites génèrent leur contenu en JavaScript : un navigateur headless (Playwright, Puppeteer) exécute alors le JS et attend le chargement pour obtenir le HTML réel.
Étape 2 — Nettoyer le DOM avant la conversion
Un HTML brut contient la navigation, les pieds de page, les bandeaux cookies, les publicités et les scripts. Les convertir produirait un Markdown pollué.
On retire donc ces éléments pour ne garder que le contenu principal (article, fiche produit, documentation), idéalement via une extraction de type « Readability ».
Étape 3 — Convertir le HTML en Markdown
La conversion associe chaque balise HTML à son équivalent Markdown : `h1`–`h6` deviennent des `#`, `ul`/`ol` des listes, `table` un tableau, `a` un lien, `pre`/`code` un bloc de code.
Des outils éprouvés automatisent l'opération : Turndown (JavaScript), html2text (Python) ou Pandoc (multi-format). ScraperFlow produit directement le Markdown, sans étape manuelle.
Étape 4 — Les pièges d'un Markdown mal formé
Un Markdown converti à la va-vite garde des artefacts : titres en doublon, tableaux cassés, sauts de ligne parasites, liens relatifs non résolus.
Pour les LLM, ces défauts dégradent la qualité : mieux vaut un Markdown propre, une hiérarchie cohérente et des liens absolus que du volume brut.
- Hiérarchie de titres cohérente (un seul `#` par document)
- Tableaux et blocs de code bien délimités
- Liens et images en URL absolue
- Métadonnées (titre, URL, date) en en-tête si utile
Automatiser la conversion à l'échelle
Convertir une page est simple ; convertir un site entier demande de suivre les liens (crawl), de respecter une limite de pages et de conserver l'arborescence des URL.
ScraperFlow automatise ce parcours et livre un Markdown par page, prêt à alimenter un index RAG ou une base de connaissances.
Questions fréquentes
Peut-on convertir n'importe quel site web en Markdown ?
Techniquement, presque tous. Il faut d'abord récupérer le HTML (avec un navigateur headless si le contenu dépend de JavaScript), puis respecter le robots.txt et le RGPD. Le Markdown restitue la structure, pas les animations ni les mises en page complexes.
Le Markdown conserve-t-il les images et la mise en forme ?
Le Markdown conserve la structure (titres, listes, tableaux, liens) et les images sous forme de liens, mais pas le style visuel (couleurs, polices, mise en page). Les tableaux complexes et les composants interactifs peuvent perdre en fidélité.
Faut-il savoir coder pour convertir un site en Markdown ?
Non. Un outil comme ScraperFlow suffit : vous fournissez une URL et récupérez le Markdown. Pour un besoin sur mesure, des bibliothèques comme Turndown ou Pandoc s'intègrent dans un script.
Le Markdown améliore-t-il vraiment les résultats des LLM ?
Oui, en général : un Markdown propre réduit le bruit et le nombre de jetons tout en préservant la hiérarchie du contenu, ce qui aide les modèles à mieux cibler l'information — surtout en RAG.
Prêt à aspirer un site web ?
Lancez votre premier scraping en quelques secondes, gratuitement.
Lancer un scraping