PsychometricLLaMA

Training des LLaMA 2-Sprachmodells zur psychometrischen Skalengenerierung
Erscheinungsjahr 2025
ISBN: 978-3-658-46892-7
Verlag: Springer

Buch, Deutsch, 77 Seiten, Format (B × H): 148 mm x 210 mm, Gewicht: 132 g

Reihe: BestMasters

Die rasante Entwicklung generativer Sprachmodelle eröffnet neue Möglichkeiten der psychologischen Skalenentwicklung. Diese prä-registrierte Arbeit untersucht den Einsatz von Sprachmodellen zur automatischen Generierung von Likert-Items, aufbauend auf bisherigen Ansätzen. Ein neuer Datensatz wurde durch eine systematische Literaturrecherche erstellt und mit bestehenden Quellen kombiniert, um das LLaMA 2-Sprachmodell mittels Low-Rank Adaption zu trainieren. Das Modell generiert auf Basis einer Definition psychologische Items mit Anpassungsmöglichkeiten für Schwierigkeit und Kreativität. Zur Überprüfung der psychometrischen Güte wurden Items zu sechs Konstrukten generiert und online mit = 200 Personen erhoben.

Die Ergebnisse zeigten vielversprechende psychometrische Kennwerte: Die meisten Items konnten eine gute interne Konsistenz und hohe Korrelationen mit den Originalskalen aufweisen. Allerdings war die Anpassung der Item-Schwierigkeit nicht erfolgreich. Unterschiede in Antwortverteilung und Interkorrelationen zwischen KI- und Originalskalen wurden festgestellt. Insgesamt leistet diese Arbeit einen bedeutenden Beitrag zur psychologischen Fragebogenkonstruktion durch das Fine-Tuning eines KI-Modells zur Generierung reliabler und valider Items.

Zielgruppe

Research

Autoren/Hrsg.

Gilles, Björn Thorben

Fachgebiete

• Sozialwissenschaften Psychologie Allgemeine Psychologie Differentielle Psychologie, Persönlichkeitspsychologie Psychologische Diagnostik, Testpsychologie
• Mathematik | Informatik EDV | Informatik Informatik Künstliche Intelligenz Wissensbasierte Systeme, Expertensysteme

Inhaltsverzeichnis

Einleitung.- Methode.- Ergebnisse.- Diskussion.

Über Autor(innen)

Björn Gilles studierte im Master Psychologie mit Schwerpunkt Arbeits-, Organisations- und Wirtschaftspsychologie an der Ruhr-Universität Bochum. Er unterstützte die Forschung zum Thema Mensch-KI-Teaming im Rahmen des interdisziplinären Verbundprojekts HUMAINE während seines Studiums.