Belegen statt raten — was eine KI-Antwort prüfbar macht

Fragt man ein frei trainiertes Sprachmodell nach der Definition der Solvenzkapitalanforderung, erhält man eine flüssige, fachlich klingende Antwort — in jedem Fall. Ob die Datengrundlage die Antwort trägt, entscheidet dabei nicht das Modell: Es erzeugt die statistisch wahrscheinlichste Fortsetzung eines Textes, nicht die belegte. Die Forschung beschreibt dieses Verhalten als Halluzination [2]. Im Aktuariat, wo jede Definition und jede Zahl gegenüber Vorstand, Wirtschaftsprüfer und Aufsicht vertreten wird, hat eine solche Antwort keinen Arbeitswert.

Daraus folgt eine Architektur-Entscheidung, keine Prompt-Frage: Ein Wissenssystem für aktuarielle Fragen antwortet ausschließlich aus einem kuratierten Wissensbestand, bindet jede Aussage an die belegende Textstelle — und verweigert die Antwort, wenn die Evidenz nicht reicht. Der folgende Text begründet dieses Prinzip in drei Thesen und zeigt an einem Rechenbeispiel, wie eine Beleg-Schranke konkret entscheidet. Er eröffnet eine Serie über die Technik dahinter.

1 · Eine unbelegte Antwort spart keine Arbeit

Der Wert einer Fachantwort bemisst sich nicht an ihrer Plausibilität, sondern am Aufwand, sie zu prüfen. Eine KI-Antwort ohne Quellenangabe verlagert die eigentliche Arbeit nur: Wer sie verwenden will, muss die Recherche vollständig selbst führen — er hat dann keine Antwort, sondern eine Vermutung mit gutem Sprachgefühl.

Quellenangaben auf Dokumentebene lösen das Problem nicht. „Siehe DAV-Ergebnisbericht” ist bei einem Bericht von 80 Seiten kaum besser als keine Angabe; die Prüfung bleibt eine Suchaufgabe.

Prüfbar wird eine Antwort erst durch Belege auf Satzebene: Jede inhaltliche Aussage trägt eine Fundstelle, die den konkreten Satz der Quelle bezeichnet — einschließlich Dokumentversion und Zeichenposition. Die Fundstelle wird dabei nicht vom Sprachmodell formuliert, sondern aus dem Quelltext geschnitten: Sie kann nicht ins Leere zeigen. Die Prüfung einer Aussage reduziert sich damit auf ein Gegenlesen von Satz gegen Satz — Sekunden statt Stunden. Erst diese Reduktion macht ein KI-System im aktuariellen Alltag tragfähig, denn die fachliche Verantwortung bleibt beim Aktuar — und er kann sie nur übernehmen, wenn die Prüfung praktikabel ist.

2 · Verweigern ist eine Funktion, kein Versagen

Ein System, das immer antwortet, ist im Fachkontext nicht robust, sondern unkontrolliert. Deshalb durchläuft jede Antwort zwei Schranken, die fail-closed arbeiten: Im Zweifel wird abgelehnt, nie stillschweigend durchgewunken.

Die erste Schranke greift, bevor eine Antwort überhaupt entsteht. Nach der Suche über den Wissensbestand wird jede gefundene Textstelle daraufhin bewertet, wie gut sie die konkrete Frage tatsächlich beantwortet. Liegt schon die beste Stelle unter einer festgelegten Relevanz-Schwelle, ist die Beleglage zu dünn — das System verweigert, bevor das Sprachmodell ein Wort formuliert hat.

Die zweite Schranke greift nach der Formulierung. Die fertige Antwort wird in Sätze zerlegt und gemessen, welcher Anteil davon eine Fundstelle trägt — die Beleg-Deckung. Unterschreitet sie die Schwelle, wird die gesamte Antwort verworfen. Eine „halb belegte” Antwort gibt es nicht, weil niemand ansehen kann, welche Hälfte die belegte ist.

Beide Schranken sind bewusst einfache, modellfreie Regeln: feste Schwellen, klare Vergleiche, keine KI-Einschätzung. Dieselbe Eingabe führt immer zur selben Entscheidung — die Schranken sind damit testbar und gegenüber Dritten erklärbar. Eine nachvollziehbare Verweigerung („dafür reicht die Beleglage nicht”) ist in diesem Design kein Fehlerfall. Sie ist dieselbe professionelle Geste, mit der ein Aktuar eine Rechnung auf unzureichender Datengrundlage zurückweist.

3 · Das Sprachmodell bekommt die Aufgabe, bei der es am wenigsten schaden kann

Die Verlässlichkeit eines solchen Systems liegt nicht im Sprachmodell, sondern in der Arbeitsteilung um das Modell herum. Der zugrunde liegende Ansatz ist als Retrieval-Augmented Generation seit Jahren beschrieben [1] — entscheidend ist, wie kompromisslos man ihn umsetzt. Bis eine Antwort formuliert wird, ist die inhaltliche Arbeit bereits getan: Die Suche über den Wissensbestand kombiniert bedeutungsbasierte und begriffsgenaue Verfahren, eine Neubewertung sortiert die Kandidaten nach tatsächlicher Relevanz zur Frage, und die belegenden Sätze stehen fest — mit Versions- und Positionsangabe.

Erst dann formuliert das Sprachmodell: Es erhält die Frage und das ausgewählte Belegmaterial und verdichtet daraus die Antwort, Satz für Satz an die Fundstellen geknüpft. Es recherchiert nicht, und es ergänzt nichts aus dem Trainingsgedächtnis. Wo es dennoch aus der Rolle fällt — etwa einen Beleg-Verweis nennt, der nie erzeugt wurde —, verwirft die nachgelagerte Prüfung die gesamte Antwort.

Das ist die Umkehrung des üblichen Chatbot-Musters: Dort ist das Modell die Quelle, und die Kontrolle ist Nachsorge. Hier ist der kuratierte Wissensbestand die Quelle, das Modell ein austauschbarer Formulierungs-Schritt — und die Kontrolle deterministisch.

Was diese Serie behandelt

Belegen statt raten ist keine einzelne Funktion, sondern ein Bauprinzip, das sich durch eine gesamte Architektur zieht. Die folgenden Essays dieser Serie nehmen sich je einen Baustein vor: wie eine Fundstelle auf Satzebene technisch beschaffen ist und warum sie nicht ins Leere zeigen kann; wie jeder Lauf des Systems so protokolliert wird, dass nachträgliche Änderungen erkennbar sind — und sich jederzeit wiederholen lässt; wie sich der Wissensstand zu einem Stichtag rekonstruieren lässt („Was wusste das System am 1. Januar?”); und wie Vertraulichkeitsstufen und Mandanten-Trennung technisch durchgesetzt werden — vollständig auf europäischer Infrastruktur.

Grundlage der Serie ist das Wissenssystem, das wir für die eigene aktuarielle Arbeit entwickeln — ein Prototyp in aktiver Entwicklung; einen Überblick gibt die Seite Aktuarielles Wissenssystem.