Empirische Arbeit: KI-Literacy von Lehrenden: Prompt Engineering und Modellwahl als Prädiktoren der Qualität von KI-Feedback

Abstract

<o:p>Feedback ist zentral für die Förderung professioneller Kompetenzen von (angehenden) Lehrkräften. Sprachmodelle (Large Language Models = LLMs) wie ChatGPT werden zunehmend zur Bereitstellung von Feedback genutzt. Studien zeigen, dass LLM-Feedback hochwertiger sein kann als das von Expert:innen. Unklar ist, welche Einflussfaktoren die Qualität des Feedbacks vorhersagen. Zwei quasi-experimentelle Studien untersuchten, welche Promptmerkmale LLM-Feedback verbessern und ob Promptdesign oder Modellwahl den größeren Einfluss hat. Lehramtsstudierende formulierten Lernziele, für die Feedback verschiedener LLMs generiert wurde. In Studie 1 (N = 240 Feedbacks) wurden unterschiedliche Prompts mit mehreren LLMs getestet. Die besten Kombinationen wurden in Studie 2 (N = 345 Feedbacks) erneut eingesetzt, um ihre Prädiktionskraft für Feedbackqualität zu prüfen. Hierarchische Regressionen zeigen, dass die Wahl des LLMs und das Promptdesign signifikante Prädiktoren sind. Bereits wenige gezielt eingesetzte Prinzipien des Promptings genügen, um qualitativ hochwertiges Feedback zu erzeugen. Fachsprache ist besonders wirksam. Die Auswahl geeigneter LLMs und Prompting-Kompetenzen sollten als relevante Merkmale von KI-Literacy gefördert werden.</o:p>

Ähnliche Arbeiten