In jeder Bedingung wichen 15 Änderungen vom Referenzwert ab – und waren trotzdem durch die vorgelegten Daten gedeckt. Eine Kennzahl, die beides gleichsetzt, hätte sie fälschlich als Halluzination gezählt.
Graph-basierte Systemarchitektur vs. monolithische Systemprompt-Struktur
Eine empirische Evaluation von fachlicher Korrektheit, Halluzinationsverhalten, Entscheidungsstabilität und Nachvollziehbarkeit in LLM-gestützten Validierungs- und Korrektursystemen im Produktionsumfeld.
Monolith
SMART ENGINEERING · 15.09.2026
Was verändert die Architektur?
„Inwiefern unterscheiden sich eine monolithische Systemprompt-Struktur, eine modulare Regelbereitstellung und eine graph-basierte Orchestrierung hinsichtlich fachlicher Korrektheit, Halluzinationsverhalten, Entscheidungsstabilität und Nachvollziehbarkeit bei der automatisierten Validierung und Korrektur strukturierter JSON-Daten in einem produktionskritischen Umfeld?“
- Monolithischer Systemprompt
- Modulare Regelkarten
- Graph-Orchestrierung
- Fachliche Korrektheit
- Halluzinationsverhalten
- Entscheidungsstabilität
- Nachvollziehbarkeit
Das Ergebnis in einem Absatz.
Verglichen wurden zwei Architekturen in drei Messbedingungen: 17 Testfälle mit 29 durch Fehlerinjektion definierten Änderungen, je fünfmal ausgeführt – 255 Messläufe. In drei der vier Dimensionen zeigen sich geringe Unterschiede. Der grössere Sprung bei der Korrektheit entsteht beim Übergang zur modularen Regelbereitstellung, nicht durch den Graphen. Über alle Läufe entstand ein einziger neuer Fehler im Zielsystem.
Deutlich wird der Unterschied bei der Nachvollziehbarkeit: Nur die graphbasierte Variante erzeugt zusammenhängende Ablauf- und Herkunftsinformationen, mit denen sich einzelne Korrekturentscheidungen rekonstruieren lassen.
Graph oder Monolith? Ein empirischer Vergleich.
Drei Messbedingungen, die sich jeweils in genau einer Eigenschaft unterscheiden – gleiches Modell (GPT-4.1, Temperatur 0,3), gleiche Testfälle, gleiche Umgebung. Fehler wurden kontrolliert in reale Snapshots injiziert, die richtige Korrektur war damit vorab bekannt. Code und Messvorschriften wurden vor der Messung eingefroren.
Warum das relevant ist: Nur 9,1 % von 88 Studien zu industriellen LLM-Agenten berichten Evidenz aus realem Einsatz (Henkel et al., 2026).
vollständiges Regelwerk im Systemprompt · prozeduraler Ablauf
modulare Regelkarten · prozeduraler Ablauf
modulare Regelkarten · Graph mit 9 Knoten
Fachliche Korrektheit erfüllte Änderungen von je 145
- pfadgenau
- funktional (Endzustand)
| Bedingung | pfadgenau | funktional |
|---|---|---|
| A | 54 | 82 |
| B | 66 | 85 |
| C | 61 | 84 |
Pfadgenau zählt nur Korrekturen exakt am erwarteten JSON-Element. Funktional zählt, ob der erwartete Zustand hergestellt wurde – auch über einen übergeordneten Pfad. Der grösste Sprung liegt beim Wechsel auf modulare Regelkarten (A → B: +12 pfadgenau), nicht beim Graphen (B → C: −5).
Stabil heisst nicht richtig: Davon waren 9 · 9 · 8 Fälle stabil, aber in keiner Wiederholung vollständig korrekt.
Über alle Messläufe entstand genau ein neuer Fehler im Zielsystem.
Nur die Graph-Variante legt eine zusammenhängende Ablauf- und Herkunftsspur ab. Für A und B gibt es konstruktionsbedingt kein Gegenstück.
Gezieltes Wissen verbessert die Korrektur.
In den untersuchten Bedingungen zeigte sich der größere Qualitätsunterschied bei der gezielten Bereitstellung relevanter Regeln. Die graphbasierte Orchestrierung ermöglichte vor allem eine bessere Rekonstruktion der Verarbeitungsschritte.
Strukturierte Abläufe schaffen Nachvollziehbarkeit.
Erst das Wissen, dann die Struktur.
Für bessere Ergebnisse zuerst die Regelbereitstellung prüfen. Graph-Orchestrierung gezielt dort einsetzen, wo Nachvollziehbarkeit gefordert ist.
Getrennt messen, gemeinsam berichten.
Korrektheit und Halluzination getrennt erheben, pfadgenaue und funktionale Bewertung gemeinsam ausweisen.
Übertragbar ist das Vorgehen.
Nicht das Ergebnis: ein System, ein Sprachmodell, 17 domänenspezifische Testfälle. Nächste Schritte sind ein 2×2-Design und eine längere Erprobung im Betrieb.
Neun Kapitel.
- EinleitungS. 9
- Theoretische GrundlagenS. 21
- Das bestehende SystemS. 31
- Entwicklung der VergleichsbedingungenS. 44
- Forschungsdesign und MethodikS. 59
- Operationalisierung und MessinstrumenteS. 70
- ErgebnisseS. 85
- DiskussionS. 92
- Fazit und AusblickS. 101
Als Quelle verwenden.
Alsayad, A. (2026). Graph-basierte Systemarchitektur vs. monolithische Systemprompt-Struktur: Eine empirische Evaluation von fachlicher Korrektheit, Halluzinationsverhalten, Entscheidungsstabilität und Nachvollziehbarkeit in LLM-gestützten Validierungs- und Korrektursystemen im Produktionsumfeld [Bachelorarbeit]. Hochschule für angewandte Wissenschaften St. Pölten.