Website in Markdown umwandeln: der komplette Guide

Markdown verwandelt rohes HTML in strukturierten, leichten Text, den Sprachmodelle leicht lesen. So wandelst du eine Website in sauberes Markdown um: HTML abrufen, DOM bereinigen, Konvertierungstools und Automatisierung im großen Maßstab.

Was bedeutet es, eine Website in Markdown umzuwandeln?

Eine Website in Markdown umzuwandeln heißt, das HTML einer oder mehrerer Seiten in strukturierten Markdown-Text zu überführen: Überschriften, Listen, Tabellen, Links und Codeblöcke, ohne Präsentations-Tags.

Markdown ist ein leichtes Textformat, das unverändert lesbar bleibt und die Inhaltshierarchie bewahrt — genau das, was ein Sprachmodell braucht.

Warum für LLMs in Markdown umwandeln?

HTML enthält viel Rauschen (Menüs, Skripte, Styles, Werbung), das Tokens verbraucht und die Bedeutung verwischt. Markdown behält nur die nützliche Struktur.

Ergebnis: weniger Tokens für denselben Inhalt, eine explizite Hierarchie (Überschriften, Listen) und bessere Nutzung in RAG oder zum Training.

• Weniger Rauschen und Tokens als vollständiges HTML
• Explizite Struktur: Überschriften, Listen, Tabellen, Links
• Für Menschen und Maschinen lesbar
• Ideal für RAG, Dokumentation und Archivierung

Schritt 1 — Das HTML der Seite abrufen

Man konvertiert nicht direkt eine Website: Zuerst ruft man das HTML jeder Seite ab. Eine einfache HTTP-Anfrage genügt, wenn der Inhalt in der Antwort steht.

Viele Websites erzeugen ihren Inhalt mit JavaScript: Ein Headless-Browser (Playwright, Puppeteer) führt dann das JS aus und wartet auf das Laden, um das echte HTML zu erhalten.

Schritt 2 — Das DOM vor der Konvertierung bereinigen

Rohes HTML enthält Navigation, Fußzeilen, Cookie-Banner, Werbung und Skripte. Deren Konvertierung ergäbe verschmutztes Markdown.

Deshalb entfernt man diese Elemente und behält nur den Hauptinhalt (Artikel, Produktseite, Dokumentation), idealerweise über eine Extraktion vom Typ „Readability“.

Schritt 3 — HTML in Markdown umwandeln

Die Konvertierung ordnet jedem HTML-Tag sein Markdown-Äquivalent zu: `h1`–`h6` werden `#`, `ul`/`ol` Listen, `table` eine Tabelle, `a` ein Link, `pre`/`code` ein Codeblock.

Bewährte Tools automatisieren das: Turndown (JavaScript), html2text (Python) oder Pandoc (mehrere Formate). ScraperFlow liefert das Markdown direkt, ohne manuellen Schritt.

Schritt 4 — Fallstricke bei schlecht formatiertem Markdown

Hastig konvertiertes Markdown behält Artefakte: doppelte Überschriften, kaputte Tabellen, überflüssige Zeilenumbrüche, unaufgelöste relative Links.

Für LLMs mindern diese Fehler die Qualität: sauberes Markdown, eine konsistente Hierarchie und absolute Links schlagen rohe Masse.

• Konsistente Überschriften-Hierarchie (ein `#` pro Dokument)
• Klar abgegrenzte Tabellen und Codeblöcke
• Links und Bilder als absolute URLs
• Metadaten (Titel, URL, Datum) im Kopf, wenn sinnvoll

Konvertierung im großen Maßstab automatisieren

Eine Seite zu konvertieren ist einfach; eine ganze Website zu konvertieren erfordert, Links zu folgen (Crawl), ein Seitenlimit zu beachten und die URL-Struktur zu bewahren.

ScraperFlow automatisiert diesen Crawl und liefert ein Markdown pro Seite, bereit, einen RAG-Index oder eine Wissensbasis zu speisen.

Häufige Fragen