KI-Konfidenz bei Rechnungen richtig lesen

„95 Prozent sicher“ bedeutet nicht, dass 95 von 100 Rechnungsfeldern korrekt sind. Ein KI-Konfidenzwert ist eine technische Selbsteinschätzung oder ein abgeleiteter Score. Ohne Kalibrierung am eigenen Belegmix sagt er wenig über die tatsächliche Fehlerwahrscheinlichkeit aus. Ebenso ist eine verständlich klingende Erklärung kein Beweis für ein richtiges Ergebnis.

KMU sollten Konfidenz als Hinweis verwenden, nicht als Freigabe. Entscheidend sind gemessene Feldgenauigkeit, Fehlerfolgen, unabhängige Plausibilitätsregeln und überprüfbare Originaldaten. Dieser Beitrag zeigt, wie Buchhaltung und IT Scores testen, Erklärungen einordnen und sichere Prüfgrenzen festlegen.

Was ein Konfidenzwert sein kann

Je nach System kann der Wert aus Modellwahrscheinlichkeiten, OCR-Qualität, Regelübereinstimmung oder einer Kombination stammen. Zwei Anbieter können beide „0,9“ anzeigen und damit etwas anderes meinen. Selbst innerhalb eines Systems kann ein Score für Lieferantennamen anders kalibriert sein als für Beträge oder Bankdaten.

Fragen Sie deshalb nach Definition, Wertebereich und Bezugsgröße. Bezieht sich der Score auf ein einzelnes Feld, die gesamte Rechnung oder nur die Lesbarkeit? Wurde er mit ähnlichen Dokumenten getestet? Gibt es bekannte Fälle, in denen hohe Konfidenz falsch ist? Ohne diese Informationen darf der Wert nicht als Prozentwahrscheinlichkeit kommuniziert werden.

Konfidenz, Genauigkeit und Risiko sind drei Dinge

Begriff	Frage	Beispiel
Konfidenz	Wie sicher bewertet das System seine Ausgabe?	Score 0,92 für eine IBAN
Genauigkeit	Wie oft ist die Ausgabe gegenüber geprüften Sollwerten richtig?	98 von 100 Test-IBANs korrekt
Risiko	Welche Folge hat ein Fehler im Prozess?	Zahlung an falsches Konto

Ein hoher Score kann falsch, ein niedriger Score richtig sein. Genauigkeit wird erst durch Vergleich mit menschlich bestätigten Sollwerten messbar. Risiko entsteht aus dem Nutzungskontext. Deshalb kann eine IBAN trotz guter Testwerte immer eine unabhängige Stammdatenprüfung benötigen, während ein unsicherer Beschreibungstext nur eine kurze Sichtkontrolle auslöst.

Warum überzeugende Erklärungen täuschen

Sprachmodelle können Begründungen formulieren, die logisch wirken, aber nicht den tatsächlichen Rechenweg des Systems abbilden. Eine Erklärung wie „Der Betrag wurde wegen der hervorgehobenen Gesamtsumme gewählt“ kann nachträglich plausibel klingen. Sie beweist nicht, dass genau dieses Merkmal die Ausgabe verursacht hat.

Nutzen Sie Erklärungen als Navigationshilfe. Sie können relevante Felder, Regeln oder Dokumentstellen anzeigen. Für Prüfung brauchen Sie jedoch Originalausschnitt, extrahierten Wert, angewendete Regel und gegebenenfalls Vergleich mit Stammdaten. Freier Modelltext darf technische Evidenz nicht ersetzen.

Praxisbeispiel 1: Hohe Sicherheit bei falscher IBAN

Ein Lieferant ändert sein Layout. Auf der Rechnung stehen die bisherige IBAN im Kleingedruckten eines Zahlungshinweises und eine neue IBAN in einem hervorgehobenen Kasten. Die KI liest die neue Nummer mit hoher Konfidenz. Formal ist die Extraktion korrekt, betrieblich ist die Änderung aber ungeprüft.

Der richtige Kontrollpunkt liegt nicht beim Score, sondern beim Vergleich mit freigegebenen Stammdaten. Jede Abweichung stoppt die Zahlung und verlangt Verifikation über einen bekannten Kontaktweg. Hohe Konfidenz macht die Abweichung nicht vertrauenswürdiger; sie beschreibt höchstens, wie eindeutig das Modell den gedruckten Wert erkannt hat.

Praxisbeispiel 2: Niedrige Sicherheit bei korrektem Steuerbetrag

Eine Werkstattrechnung enthält zwei Steuersätze und eine kleine Gutschriftposition. Der Steuerbetrag ist korrekt, doch das ungewöhnliche Layout führt zu niedrigem Score. Eine starre Regel schickt den Fall in höchste Priorität, obwohl die mathematische Prüfung und die Summenbeziehung stimmen.

Der Betrieb kombiniert Score und unabhängige Regeln. Stimmen Nettosummen, Steuersätze und Bruttobetrag, bleibt eine Sichtkontrolle nötig, aber der Fall muss nicht vor einer geänderten Bankverbindung bearbeitet werden. So reduziert die Buchhaltung Fehlalarme, ohne den Score zu ignorieren.

Kalibrierung mit eigenen Rechnungen

Für Kalibrierung werden Ausgaben nach Score-Bereichen gruppiert und mit geprüften Sollwerten verglichen. Wenn von 100 Feldern mit Score zwischen 0,9 und 1,0 tatsächlich 99 korrekt sind, ist dieser Bereich gut kalibriert. Sind nur 80 korrekt, vermittelt die Anzeige zu viel Sicherheit.

Die Auswertung erfolgt je Feld und relevanter Beleggruppe. Eine globale Kalibrierung kann Schwächen bei Gutschriften, Fremdwährungen oder bestimmten Lieferanten verdecken. Der KI-Benchmark mit eigenem Goldstandard beschreibt den Aufbau eines solchen Testsets.

Ein einfaches Kalibrierungsblatt

Wählen Sie kritische Felder und repräsentative Rechnungen.
Erstellen Sie fachlich bestätigte Sollwerte ohne Hilfe des getesteten Modells.
Speichern Sie Ausgabe, Score, Modellversion und Beleggruppe.
Gruppieren Sie Scores in wenige verständliche Bereiche.
Berechnen Sie tatsächliche Korrektheit je Bereich und Feld.
Untersuchen Sie selbstsicher falsche Ergebnisse einzeln.
Leiten Sie Prüfregeln aus Risiko und Messung ab.

Besonders wertvoll sind Fälle mit hoher Konfidenz und falscher Ausgabe. Sie würden von einer reinen Schwellenregel durchgelassen. Sammeln Sie diese Beispiele in einem festen Regressionstest und prüfen Sie sie nach Modell-, Prompt- oder Layoutänderungen erneut.

Schwellenwerte risikobasiert festlegen

Ein Schwellenwert sollte nicht lauten: „Alles über 90 Prozent wird automatisch gebucht.“ Stattdessen definieren Sie je Feld erlaubte Folgeaktionen. Für eine interne Kategorie kann ein hoher, gut kalibrierter Score einen Vorschlag vorausfüllen. Für Bankdaten bleibt selbst bei hohem Score der Stammdatenvergleich obligatorisch.

Verwenden Sie drei Zonen: automatische Übernahme nur bei niedrigem Risiko und bestandenen Gegenprüfungen, menschliche Prüfung bei mittlerer Evidenz und harter Stopp bei kritischer Abweichung. Die Kontrollmatrix für KI-Rechnungsdaten hilft, Felder und Reaktionen getrennt zu betrachten.

Welche Erklärung im Arbeitsalltag nützlich ist

Eine nützliche Erklärung beantwortet konkrete Prüf-Fragen: Wo im Original steht der Wert? Welche strukturierte Regel wurde angewendet? Gegen welche Stammdaten wurde verglichen? Welche Alternative gab es? Welche Unsicherheit oder Abweichung bleibt offen? Sie ist kurz, feldbezogen und verlinkt auf Evidenz.

Unnützlich sind lange allgemeine Texte, die nur das Ergebnis wiederholen. „Diese Rechnung wirkt korrekt, weil alle Angaben plausibel sind“ hilft nicht. Besser ist: „Bruttobetrag entspricht Netto plus Steuer; IBAN weicht vom freigegebenen Lieferantenstamm ab; manuelle Verifikation erforderlich.“ Der zweite Satz trennt mathematische Evidenz und Geschäftsrisiko.

Erklärungen selbst testen

Prüfen Sie nicht nur, ob eine Erklärung vorhanden ist. Fachpersonen bewerten, ob sie relevante Evidenz nennt, keine falschen Tatsachen ergänzt und die notwendige Aktion verständlich macht. Erstellen Sie auch Gegenbeispiele: fehlende Quelle, widersprüchliche Beträge, geänderte Stammdaten und ein Dokument mit manipulativer Anweisung.

Das BSI beschreibt Chancen und Risiken generativer Modelle, darunter plausible fehlerhafte Ausgaben. Das NIST AI RMF legt Wert auf Messung, Transparenz und laufendes Risikomanagement. Für den Rechnungsprozess folgt daraus: Erklärung, Score und Ergebnis werden getrennt bewertet.

Monitoring nach dem Start

Nach dem Pilotbetrieb messen Sie regelmäßig tatsächliche Korrektheit je Score-Bereich. Verschiebt sich die Beziehung, kann ein neues Layout, anderer Belegmix oder Modellupdate die Ursache sein. Der Beitrag KI-Daten-Drift bei Rechnungen zeigt einen passenden Überwachungsprozess.

Dokumentieren Sie Modellversion, Konfiguration und Zeitraum. Werden Scores neu skaliert, dürfen alte und neue Werte nicht ohne Kennzeichnung in einem Diagramm landen. Für den Übergang können strengere Kontrollen sinnvoll sein, bis genügend neue Vergleichsdaten vorhanden sind.

Rechte und Datenschutz

Erklärungen können zusätzliche Daten offenlegen. Ein Nutzer, der einen Betrag sehen darf, darf nicht automatisch interne Lieferantenbewertungen oder Dokumente anderer Bereiche erhalten. Berechtigungen müssen für Original, Erklärung, Quellen und Protokolle gelten.

Speichern Sie nur notwendige Artefakte. Für eine Entscheidungshistorie genügen häufig Wert, Score, Regel, Belegverweis, Entscheidung und Rolle. Vollständige Promptkopien können unnötige personenbezogene Daten enthalten. Die österreichische Datenschutzbehörde und der EDPB bieten offizielle Orientierung zu KI und Datenschutz.

Typische Fehlentscheidungen

Score als garantierte Fehlerwahrscheinlichkeit anzeigen.
Einen Schwellenwert für alle Felder verwenden.
Anbieterwerte ohne eigenen Belegmix übernehmen.
Hohe Konfidenz mit niedrigem Geschäftsrisiko verwechseln.
Sprachliche Erklärung als technischen Beweis behandeln.
Nur niedrig-konfidente Fehler untersuchen.
Modellupdates ohne neue Kalibrierung übernehmen.
Erklärungen ohne dieselben Zugriffsrechte wie Quellen anzeigen.

Checkliste für KMU

Wie viele Testfälle für eine Schwelle nötig sind

Eine Schwelle aus fünf Beispielrechnungen ist nicht belastbar. Je seltener ein kritischer Fehler auftritt, desto mehr und gezieltere Testfälle werden benötigt. Beginnen Sie mit einem repräsentativen Kernsatz und ergänzen Sie bewusst schwierige Belege: Gutschriften, mehrere Steuersätze, schlecht lesbare Scans, neue Lieferantenlayouts und geänderte Bankdaten.

Bei kleinen Mengen sollten Sie keine scheinbar exakten Prozentwerte überinterpretieren. Dokumentieren Sie Anzahl und Zusammensetzung hinter jeder Kennzahl. „19 von 20 korrekt“ ist informativer als „95 Prozent“, weil die geringe Basis sichtbar bleibt. Für kritische Felder können definierte Null-Fehler-Kriterien im Test sinnvoll sein, ohne daraus eine Garantie für den Betrieb abzuleiten.

Wiederholen Sie die Messung nach Modell- oder Konfigurationsänderungen und wenn sich der Belegmix deutlich verschiebt. Ein unveränderter Kernsatz ermöglicht den Vergleich; neue Fälle prüfen aktuelle Risiken. So bleibt die Schwelle eine überprüfte Betriebsregel statt einer einmal gesetzten Zahl.

Definition jedes Scores beim Anbieter klären.
Konfidenz, Genauigkeit und Risiko getrennt benennen.
Eigene Sollwerte für kritische Felder erstellen.
Kalibrierung je Feld und Beleggruppe messen.
Selbstsicher falsche Fälle in den Regressionstest aufnehmen.
Schwellen mit Gegenprüfungen und Folgeaktionen verbinden.
Erklärungen auf Originalstellen und Regeln zurückführen.
Freien Begründungstext nicht als Evidenz verwenden.
Nach Änderungen erneut kalibrieren.
Rechte und Löschung für Erklärungsdaten prüfen.

Claribill-Bezug

Die Claribill-Sicherheitsseite beschreibt öffentlich dokumentierte Schutzprinzipien. Dieser Beitrag ist ein allgemeiner Kontrollleitfaden für KI im Rechnungsprozess und behauptet weder bestimmte Konfidenzwerte noch eine integrierte Erklärungsfunktion in Claribill.

Die wichtigsten Takeaways

Konfidenz ist ein Signal, keine Garantie. Erst ein Vergleich mit eigenen, geprüften Rechnungen zeigt, wie ein Score tatsächlich mit Korrektheit zusammenhängt. Geschäftsrisiko und unabhängige Kontrollen bestimmen, welche Folgeaktion erlaubt ist.

Erklärungen sind nützlich, wenn sie Originalstellen, Regeln und offene Unsicherheit sichtbar machen. Ein flüssiger Text ohne Evidenz erhöht dagegen nur den Anschein von Sicherheit. Die beste Oberfläche fördert Prüfung, nicht blindes Vertrauen.

FAQ

Ist ein Score von 0,99 immer besser als 0,90?

Nicht ohne gemeinsame Definition und Kalibrierung. Die Werte können aus unterschiedlichen Verfahren stammen und auf verschiedenen Feldern unterschiedlich zuverlässig sein.

Kann gute Kalibrierung eine manuelle Prüfung ersetzen?

Bei risikoarmen Feldern kann sie Automatisierung unterstützen. Für kritische Zahlungs-, Steuer- oder Stammdaten bleiben unabhängige Kontrollen und risikobasierte Freigaben notwendig.

Muss jede KI-Ausgabe erklärt werden?

Die erforderliche Tiefe hängt von Risiko und Nutzung ab. Für folgenreiche Entscheidungen braucht es nachvollziehbare Evidenz; bei einfachen Vorschlägen kann ein Quellenhinweis genügen.

95 Prozent sicher? Warum KI-Konfidenz keine Rechnungsprüfung ersetzt