«DigiBot» - Eine GenAI-Lösung für personalisierte Selbsteinschätzungstests
- Degree programme: BSc in Informatik
- Authors: Roman Schneiter, Christian Schmidhalter
- Thesis advisor: Prof. Dr. Kenneth Ritley
- Experts: Adrian Egli, Prof. Dr. Roman Rietsche
- Year: 2025
Selbsteinschätzungstests sind essenziell für die berufliche Weiterentwicklung, stossen jedoch oft an Grenzen, da sie individuelle Bedürfnisse oft unzureichend berücksichtigen. Ziel dieser Arbeit ist es, persönliche Profile zu erstellen und zu untersuchen, inwiefern ein Large Language Model (LLM) auf Basis dieser Profile Fragen generieren kann, die individuell angepasst sind und tatsächlich hilfreich für eine Selbsteinschätzung sind.
Umsetzung und Technologien
Das «DigiBot»-System besteht aus einem Vue-Frontend und einem Python-Backend mit OpenAI GPT-4-Integration.
1. Der Chatbot stellt den Nutzer:innen fünf Fragen zu ihrem Beruf und ihrer Erfahrung. Er gibt Feedback, wie die Antworten konkretisiert oder verbessert werden können, um ein genaues Benutzerprofil zu erstellen.
2. Basierend auf dem erstellten Benutzerprofil werden generische Fragen aus dem europäischen «DigComp»-Framework an GPT-4 übergeben und personalisiert. Diese Methodik ist potenziell auf eine Vielzahl standardisierter Umfragen anwendbar.
3. Die Nutzer:innen bewerten die originalen und personalisierten Fragen in einem A/B-Test hinsichtlich Informationsgehalt, Lesbarkeit und Nutzen. Diese Rückmeldungen werden in einer PostgreSQL-Datenbank gespeichert.
4. Die Ergebnisanalyse fasste die Resultate des A/B-Tests zusammen und bewertete sie anhand von Qualitätsmerkmalen wie Cosine Similarity (TF-IDF, Embedding) sowie Lesbarkeitsmetriken wie Flesch Reading Ease und Gunning Fog.
Ergebnisse
44 Nutzer:innen aus einem internationalen, US-basierten Pool (rekrutiert über «Prolific») testeten die Anwendung. Die Ergebnisse lassen sich wie folgt zusammenfassen:
Informationsgehalt
Die generierten Fragen enthalten deutlich mehr Informationen als die Originalfragen. Sie bieten detailliertere Inhalte und sind besser auf die beruflichen Profile der Befragten abgestimmt.
Lesbarkeit
Die Originalfragen sind einfacher zu lesen und dadurch für die Mehrheit der Nutzer:innen besser zugänglich.
Nutzen
Während einige Personen die generierten Fragen als hilfreich für die Selbsteinschätzung empfinden, ist dies nicht universell der Fall. Andere erkennen keinen zusätzlichen Mehrwert.
Der personalisierte Fragebogen zeigt grosses Potenzial und bietet eine vielversprechende Grundlage für individuelle Anpassungen. Mit weiteren Optimierungen in den Bereichen Lesbarkeit und der Einbindung des individuellen Kontexts kann die Methodik noch gezielter auf die Bedürfnisse der Nutzer:innen abgestimmt werden.
