Docling und Ollama: Referenzarchitektur für lokale Dokumenten-KI

Kurzfassung: Docling übernimmt die strukturelle Aufbereitung von Dokumenten, Ollama stellt lokale Modelle über eine API bereit. Für eine belastbare Dokumenten-KI fehlen dazwischen noch Qualitätsprüfung, Chunking, Embeddings, Vektorsuche, Berechtigungen und Quellenanzeige. Dieser Leitfaden beschreibt eine Referenzarchitektur, keine gemessene Kundenimplementierung.

Warum nicht direkt das PDF an ein Sprachmodell senden?

Ein PDF enthält nicht automatisch eine saubere Lesereihenfolge. Tabellen, mehrspaltige Seiten, Bilder, Kopfzeilen und Scans benötigen eine Dokumentverarbeitung, bevor ein Sprachmodell zuverlässig damit arbeiten kann.

Docling unterstützt verschiedene Dokumentformate, OCR, Tabellenstruktur und eine einheitliche Dokumentrepräsentation. Das ist eine bessere Grundlage für Suche und Extraktion als unstrukturierter Klartext.

Minimale Docling-Konvertierung

Die offizielle Docling-Dokumentation zeigt den DocumentConverter als einfachen Einstieg:

from docling.document_converter import DocumentConverter

converter = DocumentConverter()
result = converter.convert("beispiel.pdf")
markdown = result.document.export_to_markdown()

print(markdown)

Für einen Unternehmensprozess reicht dieses Beispiel noch nicht. Dateiprüfung, Fehlerbehandlung, OCR-Konfiguration, Versionierung und Qualitätsstatus müssen ergänzt werden.

Empfohlene Pipeline

1. Dokument übernehmen und Berechtigung prüfen
2. Original unverändert speichern
3. Mit Docling konvertieren
4. Struktur und problematische Seiten validieren
5. Abschnitte mit Metadaten erzeugen
6. Embeddings lokal oder kontrolliert berechnen
7. Abschnitte in einem Suchindex speichern
8. Relevante Quellen zu einer Frage abrufen
9. Antwort mit einem Ollama-Modell formulieren
10. Dokument, Seite und Abschnitt anzeigen