Open-Weight-Modelle für deutsche und europäische Dokumente

Viele Modellanbieter veröffentlichen herunterladbare Gewichte, behalten aber Lizenzbedingungen, die sich von klassischer Open-Source-Software unterscheiden. Einige erlauben breite gewerbliche Nutzung, andere ergänzen Namensnennung, Weitergabe-, Nutzungs- oder Größenbedingungen.

Für den Betrieb sind Herausgeber, Modellname, exakte Revision, Gewichtsformat, Quantisierung, Lizenz-URL und Downloadquelle festzuhalten. „Llama“, „Mistral“ oder „Qwen“ allein reproduzieren kein Deployment.

Ein allgemeiner Mehrsprachigkeits-Claim belegt weder zuverlässige deutsche Rechtssprache noch Schweizer Orthografie, österreichische Terminologie oder gemischte Korrespondenz. Evaluations-Prompts sollten Wortschatz und Dokumentstruktur der Zielnutzer erhalten.

Messen Sie, ob das Modell definierte Begriffe stabil hält, Zitate von Interpretation trennt, Zahlen und Daten bewahrt, Ausgabeformate einhält und ablehnt, wenn die Quelle keine Antwort enthält.

Gescannte Dokumente benötigen OCR. Große Bestände brauchen Chunking, Embeddings und oft Reranking. Antworten benötigen Quellenanzeige. Ein schwächeres Basismodell mit diszipliniertem Retrieval kann ein größeres Modell übertreffen, das unvollständigen oder schlecht extrahierten Text erhält.

Deshalb behandelt SelbsAI die Modellauswahl als Workload-Paket statt als dauerhafte Markenbehauptung. Modell, Retrieval-Komponenten und Appliance-Rahmen müssen gemeinsam getestet werden.

Ein kompakter Satz aus 20 bis 50 repräsentativen Aufgaben ist nützlicher als die vage Behauptung, ein Modell sei „gut auf Deutsch“. Speichern Sie erwartete Quelle, kritische Fakten, Akzeptanzkriterien und Prüfernotizen, ohne vertrauliche Produktivakten zu unkontrollierten Testdaten zu machen.

Führen Sie den Test nach Änderungen an Modell, Quantisierung, Prompt, OCR, Embedding oder Runtime aus. Veröffentlichen Sie nur Ergebnisse mit prüfbarer Hardware, Versionierung und Bewertungsmethode.