Bachelorarbeit · USTP St. Pölten · 2026

Graph-basierte Systemarchitektur vs. monolithische Systemprompt-Struktur

Eine empirische Evaluation von fachlicher Korrektheit, Halluzinationsverhalten, Entscheidungsstabilität und Nachvollziehbarkeit in LLM-gestützten Validierungs- und Korrektursystemen im Produktionsumfeld.

BACHELORARBEIT · B.SC. IN ENGINEERING
Graph vs.
Monolith
AHMAD ALSAYAD
SMART ENGINEERING · 15.09.2026
Fertigstellung
15. September 2026
Studiengang
Smart Engineering, USTP
Methode
Fallstudie mit Ablationsexperiment
Forschungsfrage

Was verändert die Architektur?

„Inwiefern unterscheiden sich eine monolithische Systemprompt-Struktur, eine modulare Regelbereitstellung und eine graph-basierte Orchestrierung hinsichtlich fachlicher Korrektheit, Halluzinationsverhalten, Entscheidungsstabilität und Nachvollziehbarkeit bei der automatisierten Validierung und Korrektur strukturierter JSON-Daten in einem produktionskritischen Umfeld?“

Drei Varianten
  • Monolithischer Systemprompt
  • Modulare Regelkarten
  • Graph-Orchestrierung
Vier Dimensionen
  • Fachliche Korrektheit
  • Halluzinationsverhalten
  • Entscheidungsstabilität
  • Nachvollziehbarkeit
Kurzfassung

Das Ergebnis in einem Absatz.

Verglichen wurden zwei Architekturen in drei Messbedingungen: 17 Testfälle mit 29 durch Fehlerinjektion definierten Änderungen, je fünfmal ausgeführt – 255 Messläufe. In drei der vier Dimensionen zeigen sich geringe Unterschiede. Der grössere Sprung bei der Korrektheit entsteht beim Übergang zur modularen Regelbereitstellung, nicht durch den Graphen. Über alle Läufe entstand ein einziger neuer Fehler im Zielsystem.

Deutlich wird der Unterschied bei der Nachvollziehbarkeit: Nur die graphbasierte Variante erzeugt zusammenhängende Ablauf- und Herkunftsinformationen, mit denen sich einzelne Korrekturentscheidungen rekonstruieren lassen.

Die Studie

Graph oder Monolith? Ein empirischer Vergleich.

Drei Messbedingungen, die sich jeweils in genau einer Eigenschaft unterscheiden – gleiches Modell (GPT-4.1, Temperatur 0,3), gleiche Testfälle, gleiche Umgebung. Fehler wurden kontrolliert in reale Snapshots injiziert, die richtige Korrektur war damit vorab bekannt. Code und Messvorschriften wurden vor der Messung eingefroren.

Warum das relevant ist: Nur 9,1 % von 88 Studien zu industriellen LLM-Agenten berichten Evidenz aus realem Einsatz (Henkel et al., 2026).

AMonolith
vollständiges Regelwerk im Systemprompt · prozeduraler Ablauf
→nur die Regel­bereitstellung ändert sich
BMonolith
modulare Regelkarten · prozeduraler Ablauf
→nur die Ablauf­steuerung ändert sich
CGraph
modulare Regelkarten · Graph mit 9 Knoten
17Testfälle (10 isoliert, 7 kombiniert)
29erwartete Änderungen
5Wiederholungen je Fall
255Messläufe

Fachliche Korrektheit erfüllte Änderungen von je 145

  • pfadgenau
  • funktional (Endzustand)
Erfüllte Änderungen von je 145
Bedingungpfadgenaufunktional
A5482
B6685
C6184

Pfadgenau zählt nur Korrekturen exakt am erwarteten JSON-Element. Funktional zählt, ob der erwartete Zustand hergestellt wurde – auch über einen übergeordneten Pfad. Der grösste Sprung liegt beim Wechsel auf modulare Regelkarten (A → B: +12 pfadgenau), nicht beim Graphen (B → C: −5).

Halluzinationsverhalten Falsch ≠ halluziniert

In jeder Bedingung wichen 15 Änderungen vom Referenzwert ab – und waren trotzdem durch die vorgelegten Daten gedeckt. Eine Kennzahl, die beides gleichsetzt, hätte sie fälschlich als Halluzination gezählt.

Entscheidungsstabilität 14 · 15 · 14 von 17 stabil

Stabil heisst nicht richtig: Davon waren 9 · 9 · 8 Fälle stabil, aber in keiner Wiederholung vollständig korrekt.

Folgefehler 1 neuer Fehler in 255 Läufen

Über alle Messläufe entstand genau ein neuer Fehler im Zielsystem.

Nachvollziehbarkeit 81 von 85 Läufen

Nur die Graph-Variante legt eine zusammenhängende Ablauf- und Herkunftsspur ab. Für A und B gibt es konstruktionsbedingt kein Gegenstück.

Gezieltes Wissen verbessert die Korrektur.
Strukturierte Abläufe schaffen Nachvollziehbarkeit.

In den untersuchten Bedingungen zeigte sich der größere Qualitätsunterschied bei der gezielten Bereitstellung relevanter Regeln. Die graphbasierte Orchestrierung ermöglichte vor allem eine bessere Rekonstruktion der Verarbeitungsschritte.
Für die Praxis

Erst das Wissen, dann die Struktur.

Für bessere Ergebnisse zuerst die Regelbereitstellung prüfen. Graph-Orchestrierung gezielt dort einsetzen, wo Nachvollziehbarkeit gefordert ist.

Methodisch

Getrennt messen, gemeinsam berichten.

Korrektheit und Halluzination getrennt erheben, pfadgenaue und funktionale Bewertung gemeinsam ausweisen.

Reichweite

Übertragbar ist das Vorgehen.

Nicht das Ergebnis: ein System, ein Sprachmodell, 17 domänenspezifische Testfälle. Nächste Schritte sind ein 2×2-Design und eine längere Erprobung im Betrieb.

Inhalt

Neun Kapitel.

  1. EinleitungS. 9
  2. Theoretische GrundlagenS. 21
  3. Das bestehende SystemS. 31
  4. Entwicklung der VergleichsbedingungenS. 44
  5. Forschungsdesign und MethodikS. 59
  6. Operationalisierung und MessinstrumenteS. 70
  7. ErgebnisseS. 85
  8. DiskussionS. 92
  9. Fazit und AusblickS. 101
Zitieren

Als Quelle verwenden.

Alsayad, A. (2026). Graph-basierte Systemarchitektur vs. monolithische Systemprompt-Struktur: Eine empirische Evaluation von fachlicher Korrektheit, Halluzinationsverhalten, Entscheidungsstabilität und Nachvollziehbarkeit in LLM-gestützten Validierungs- und Korrektursystemen im Produktionsumfeld [Bachelorarbeit]. Hochschule für angewandte Wissenschaften St. Pölten.

Leseansicht

Dein Browser zeigt PDFs nicht direkt an.

PDF herunterladen ↓
← Zurück zum Projekt