Wissenschaftliche Veröffentlichungen
Publikationen
Auf dieser Seite finden Sie wissenschaftliche Publikationen und projektrelevante Veröffentlichungen aus dem Forschungsprojekt KI-ssist. Die Beiträge dokumentieren zentrale fachliche Ergebnisse des Projekts und geben Einblick in die wissenschaftliche Auseinandersetzung mit Large Language Models in industriellen Assistenzszenarien.
Publikationsübersicht
Die nachfolgende Übersicht umfasst alle im Rahmen von KI-ssist veröffentlichten Publikationen und wird im Projektverlauf fortlaufend ergänzt.
Evaluating Data Suitability for RAG Systems in Manufacturing: A Comparison Between Human and LLM Judgments
Abstract lesen
Retrieval-Augmented Generation (RAG) is widely used for manufacturing assistance, but its effectiveness depends on selecting retrievable text units. We test whether humans or Large Language Models (LLMs) can judge which case descriptions are better suited as RAG inputs. We constructed 100 synthetic manufacturing service cases, each paired with a realistic query and two comparable problem–solution variants differing in contextual completeness, granularity, and quality. Five engineers and five LLMs chose the variant expected to be more retrievable and useful. As a reference, both variants were indexed in a minimal retrieval setup with one chunk per case and evaluated with MRR@3, treating the case-matching chunk as the only relevant item among distractors. LLMs showed much higher within-group agreement than humans, yet neither cohort consistently matched retrieval-derived winners. Ties were frequent; on non-tied cases, majority decisions fell below chance and were significantly worse than random guessing in one embedding setting, while no individual rater achieved above-chance performance. Overall, the findings indicate that perceived RAG-fitness is not a reliable proxy for retrieval performance and should be grounded in retrieval-based evaluation under the target deployment setup.
Potentiale und Grenzen des Einsatzes von LLMs in industriellen Assistenzszenarien
Abstract lesen
Large Language Models (LLMs) eröffnen neue Potenziale für industrielle Assistenzsysteme: Sie ermöglichen sprachbasierte Interaktionen, automatisierte Analyse technischer Informationen und kontextbezogene Entscheidungsunterstützung. Besonders in Wartung, Fehlerdiagnose und Wissensbereitstellung können sie Produktivität und Anlagenverfügbarkeit deutlich steigern. Dem gegenüber stehen zentrale Herausforderungen: LLMs neigen zur Generierung fehlerhafter Inhalte („Halluzination“), sind schwer erklärbar, verbrauchen enorme Energiemengen im Training und werfen Fragen zu Datenschutz und rechtlicher Konformität auf. Der EU AI Act fordert dabei erhöhte Anforderungen an Transparenz, Sicherheit und Robustheit im industriellen Kontext. Derzeit fehlt es an praxistauglichen Architekturkonzepten und validierten Best Practices für den verlässlichen und nachhaltigen Einsatz von LLMs in technischen Systemen. Das Forschungsprojekt KI-ssist adressiert diese Lücke. Es verbindet theoretische Analysen mit der praxisnahen Erprobung in industriellen Use Cases, um technologische, regulatorische und ökologische Anforderungen an den Einsatz von LLMs greifbar zu machen. Ziel ist es, auf dieser Grundlage Handlungsempfehlungen für den industriellen Einsatz generativer KI abzuleiten und so einen Beitrag zur strategischen Positionierung dieser Schlüsseltechnologie zu leisten.