Testinstrumente sortiert
Ansprechpartnerin für Open Test Archive
Gülay Karadere (Dipl.-Psych.)
wissenschaftliche Mitarbeiterin
+49 (0)651 201-4934
guek@leibniz-psychology.org
TRIL
Trierer Inventar zur Lehrevaluation
Kurzabstract
Als multidimensionales Instrument erfasst das TRIL mit 42 Items Lehrveranstaltungsqualitäten aus studentischer Perspektive. Die fünf bzw. sechs Skalen sind (1) Strukturiertheit und didaktische Qualität (k = 6), (2) Anregungs- und Motivationsgehalt (k = 5), (3) Interaktions- und Kommunikationsklima (k = 4), (4) Persönlicher Gewinn (k = 4), (5) Anwendungsbezug (k = 4) und (6) Qualität studentischer Referate (k = 4). Weitere drei Items erfassen die Gesamtbeurteilung. Reliabilität: Die Testskalen weisen gute bis sehr gute interne Konsistenzen auf. Validität: Zur Überprüfung der Konstruktvalidität wurden Ergebnisse einer Beobachtungsstudie mit den TRIL-Werten korreliert. Hohe signifikante Korrelationen finden sich für die Skala Interaktion und Kommunikation (r = .50-.84) sowie für Anwendungsbezug (r = .58), während auch einige negative Korrelationen nachgewiesen wurden (z. B. "Verständnisfragen Studierende" der Skala Struktur und Didaktik: r = -.79). Eine Faktorenanalyse ergab ein Fünffaktorenmodell mit 48% Varianzaufklärung. Das TRIL wurde von den studentischen Probanden als nützlich und benutzerfreundlich bewertet.
Leibniz-Institut für Psychologie (ZPID). (2019). Open Test Archive: TRIL. Trierer Inventar zur Lehrevaluation. Verfügbar unter: https://www.testarchiv.eu/de/test/9004523
Zitierung
Arbeitskreis "Lehrevaluation" im Fach Psychologie (Gläßer, E., Gollwitzer, M., Kranz, D., Meiniger, C., Schlotz, W., Schnell, T. & Voß, A.) in Zusammenarbeit mit dem Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation (ZDiag). (2002). TRIL. Trierer Inventar zur Lehrevaluation [Verfahrensdokumentation, Fragebogen für je weibliche und männliche Dozierende]. In Leibniz-Institut für Psychologie (ZPID) (Hrsg.), Open Test Archive. Trier: ZPID.
https://doi.org/10.23668/psycharchives.6590
Kurzinformationen
Kurzname TRIL
Engl. Name Trier Inventory of Teaching Quality
Autoren Arbeitskreis "Lehrevaluation" im Fach Psychologie, Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation (ZDiag), Gläßer, E., Gollwitzer, M., Kranz, D., Meiniger, C., Schlotz, W., Schnell, T., Voß, A.
Erscheinungsjahr im Testarchiv 2002
Copyright/Lizenz Copyright Autoren; CC-BY-NC-ND 3.0
Schlagworte Psychologiestudium, Hochschulausbildung, Evaluation von Lehrveranstaltungen
Sprachversionen deu
Konstrukt Lehrevaluation
Altersbereich Studierende
Itemzahl 42 Items
Subskalen (1) Strukturiertheit und didaktische Qualität, (2) Anregungs- und Motivationsgehalt, (3) Interaktions- und Kommunikationsklima, (4) Persönlicher Gewinn, (5) Anwendungsbezug, (6) Qualität studentischer Referate
Durchführungszeit Keine Angaben.
Auswertungsdauer Keine Angaben.
Interne Konsistenz wird als gute bis sehr gut angegeben.
Angaben zur Konstruktvalidität.
Keine Angaben.
Anwendungsbereich Evaluation, Lehre
Diagnostische Zielsetzung
Als multidimensionales Instrument erfasst das TRIL (Arbeitskreis "Lehrevaluation" im Fach in Zusammenarbeit mit dem Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation, 2002) Lehrveranstaltungsqualitäten aus studentischer Perspektive.
Aufbau
Das TRIL umfasst 42 Items. Es besteht aus den folgenden fünf bzw. sechs Skalen: (1) Strukturiertheit und didaktische Qualität (k = 6), (2) Anregungs- und Motivationsgehalt (k = 5), (3) Interaktions- und Kommunikationsklima (k = 5), (4) Persönlicher Gewinn (k = 4), (5) Anwendungsbezug (k = 4) und (6) Qualität studentischer Referate (k = 4). Die restlichen 22 Items erfassen "Weitere Fragen zur Veranstaltung", "Gesamtbeurteilung", "Arbeitsanforderungen", "Fehlzeiten", "Grund für den Besuch der Veranstaltung" und "Abschießende offene Fragen".
Grundlagen und Konstruktion
Die Testkonstruktion beruht auf der Klassischen Testtheorie. Bei der Konstruktion wurden Items ausgewählt, die den Dozenten explizite Informationen zur qualitativen Verbesserung ihrer Lehrveranstaltung sowie eine breite Anwendungsmöglichkeit bieten. Hierfür wurde die Definition der Nützlichkeit von Lienert und Raatz (1994) zur Hilfe genommen. Auch die Konstruktvalidität der Skalen und Items sollte gegeben sein (Gollwitzer, Kranz & Vogel, 2006; Gollwitzer & Schlotz, 2003). Das TRIL wurde anschließend aufgrund testtheoretischer Erkenntnisse (Trennschärfen, Interkorrelationen der Fragen und Skalen etc.) und spezifischer Bedarfe in Kooperation mit den Studiengangvertreterinnen und -vertretern dahingehend adaptiert, dass es nun aus 15 bis 34 Items auf vier Skalen bestand (Weis, Karthaus & Lischetzke, 2014): (1) Struktur und Didaktik, (2) Anregungsgehalt, (3) Veranstaltungsklima und 4) Anwendungs- und Praxisbezug (siehe auch Fondel, Lischetzke, Weis & Gollwitzer, 2015). Für die Verkürzung waren inhaltliche und ökonomische Aspekte ausschlaggebend.
Empirische Prüfung und Gütekriterien
Reliabilität: Das TRIL weist auf Skalenebene gute bis sehr gute interne Konsistenzen auf (Gollwitzer et al., 2006, S. 91). Validität: Zur Überprüfung der Konstruktvalidität wurden Ergebnisse einer Beobachtungsstudie (ICC-Werte) mit den TRIL-Werten korreliert (Gollwitzer et al., 2006, S. 97-98, Tabelle 2). Hohe signifikante Korrelationen finden sich für die Skala Interaktion und Kommunikation (r = .50-.84) sowie für Anwendungsbezug (r = .58), während auch einige negative Korrelationen nachgewiesen wurden (z. B. "Verständnisfragen Studierende" der Skala Struktur und Didaktik: r = -.79; S. 97 f.). Eine Faktorenanalyse ergab ein Fünffaktorenmodell mit 48% Varianzaufklärung. In der Studie von Fondel et al. (2015) wurde anhand einer adaptierten Version des TRIL mit 19 Items die faktorielle Validität (Multilevel-CFA), Messinvarianz über Veranstaltungsarten hinweg als auch die Beurteilerübereinstimmung unter N = 1 823 Studierenden (Konsistenz vs. Methodenspezifität) untersucht. Gollwitzer et al. (2006) geben als weiteren Validitätsbeleg an, dass anhand einer Anwenderbefragung die Dozenten mit den Bewertungen der Studierenden sehr stark übereinstimmen. Normen: Es liegen keine Normen vor.
Testkonzept
Items
Anmerkung: Im Folgenden werden die 42 Items des TRIL vorgestellt.
Struktur und Didaktik
- Die Lehrziele waren klar und nachvollziehbar.
- Der inhaltliche Aufbau der Veranstaltung war den Zielen angemessen.
- Die gesetzten Lehrziele sind erreicht worden.
- Die Dozentin wirkte stets gut vorbereitet.
- Sie hat didaktische Hilfsmittel (z. B. Folien, Tafelbilder) sinnvoll eingesetzt.
- Sie hat komplizierte Dinge strukturiert erklärt.
Anregung und Motivation
7. Die Dozentin wirkte in der Veranstaltung engagiert.
8. Sie hat anregend und akustisch verständlich gesprochen.
9. Sie hat die Veranstaltung interessant gestaltet.
10. Sie hat mich motiviert, konzentriert bei der Sache zu bleiben.
11. Die Veranstaltung zog sich schleppend dahin.
Interaktion und Kommunikation
12. In der Veranstaltung herrschte ein offenes Klima für eigene Beiträge.
13. Es fanden ausreichend Diskussionen statt.
14. Die Diskussionen der Studierenden waren produktiv.
15. Fragen und Beiträge waren stets willkommen.
16. Die Dozentin hat es verstanden, Diskussionen gut zu leiten.
Persönlicher Gewinn durch die Veranstaltung
17. Das Thema der Veranstaltung hat mich interessiert.
18. Die behandelten Themen waren für mich bedeutsam und relevant.
19. Ich habe in dieser Veranstaltung etwas Sinnvolles und Wichtiges gelernt.
20. Mein Verständnis für das Studienfach hat sich durch die Veranstaltung weiterentwickelt.
Anwendungsbezug
21. Es wurden Bezüge zwischen Theorie und Praxis aufgezeigt.
22. Die Dozentin hat den Stoff an lebensnahen Beispielen veranschaulicht.
23. Sie hat zur kritischen Auseinandersetzung mit den behandelten Themen angeregt.
24. Die behandelten Inhalte waren lebensfern.
Referate (nur ausfüllen, wenn Referate Teil der Veranstaltung waren)
25. Referate waren grundsätzlich ein nützlicher Bestandteil dieser Veranstaltung.
26. Die gehaltenen Referate waren strukturiert und verständlich.
27. Die Referate waren interessant.
28. Die Referenten/innen wurden durch die Dozentin adäquat ergänzt.
Weitere Fragen zur Veranstaltung
29. Ich habe mich auf die Veranstaltung regelmäßig vorbereitet (z. B. durch Lesen der Literatur).
30. Ich habe die einzelnen Sitzungen regelmäßig nachbereitet (z. B. durch Diskussionen mit Kommilitoninnen/Kommilitonen bzw. Lesen der Literatur).
31. Bei Fragen u. ä. war die Dozentin auch außerhalb der Veranstaltung ansprechbar.
Gesamtbeurteilung
32. Alles in allem hat sich der Besuch dieser Veranstaltung für mich gelohnt.
Arbeitsanforderungen
33. Die gestellten Anforderungen waren ...
Fehlzeiten
34. Ich habe in der Veranstaltung ... gefehlt.
Grund für den Besuch der Veranstaltung (Mehrfachantworten möglich)
35. Pflichtveranstaltung
36. Schein
37. Prüfungsrelevanz
38. Dozent/in
39. Interesse am Thema
40. und/oder:
Abschließende offene Fragen (Falls der Platz nicht ausreicht, benutzen Sie bitte auch die Rückseite.)
41. Was fanden Sie besonders gut an der Veranstaltung?
42. Was fanden Sie schlecht bzw. was ist verbesserungswürdig?
Durchführung
Altersbereiche
Der Fragebogen ist für Erwachsene (Studierende) konzipiert worden.
Durchführungszeit
Zur Dauer der Testung liegen keine Angaben vor.
Bewertung
Das TRIL ist ein Evaluationsinstrument für Lehrveranstaltungen aus der Sicht der Studierenden. Laut Gollwitzer et al. (2006, S. 102-103) erweist sich das TRIL als praktisch bedeutsam, da es gegenüber anderen standardisierten Evaluationsinstrumenten eher bevorzugt wird und da die Befragten an einer weiteren Lehrevaluation mittels TRIL interessiert waren. Des Weiteren wurde das TRIL von den Studierenden als nützlich und benutzerfreundlich bewertet.
Erstmals publiziert in:
Arbeitskreis "Lehrevaluation" im Fach Psychologie (Gläßer, E., Gollwitzer, M., Kranz, D., Meiniger, C., Schlotz, W., Schnell, T. & Voß, A.) in Zusammenarbeit mit dem Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation (ZDiag). (2002). TRIL. Trierer Inventar zur Lehrevaluation. Trier: Universität Trier.
Literatur
Arbeitskreis "Lehrevaluation" im Fach Psychologie (Gläßer, E., Gollwitzer, M., Kranz, D., Meiniger, C., Schlotz, W., Schnell, T. & Voß, A.) in Zusammenarbeit mit dem Zentrum für Psychologische Diagnostik, Begutachtung und Evaluation (Zdiag). (2002). TRIL. Trierer Inventar zur Lehrevaluation (Fassung für männliche Dozierende und Fassung für weibliche Dozierende). Trier: Universität Trier.
Fondel, E., Lischetzke, T., Weis, S. & Gollwitzer, M. (2015). Zur Validität von studentischen Lehrveranstaltungsevaluationen. Messinvarianz über Veranstaltungsarten, Konsistenz von Urteilen und Erklärung ihrer Heterogenität. Diagnostica, 61 (3), 124-135. PSYNDEX Dok.-Nr. 0297084
Gollwitzer, M., Kranz, D. & Vogel, E. (2006). Die Validität studentischer Lehrveranstaltungsevaluationen und ihre Nützlichkeit für die Verbesserung der Hochschullehre: Neuere Befunde zu den Gütekriterien des "Trierer Inventars zur Lehrevaluation" (TRIL). In G. Krampen & H. Zayer (Hrsg.), Didaktik und Evaluation in der Psyche (S. 90-104). Göttingen: Hogrefe. PSYNDEX Dok.-Nr. 0189053
Gollwitzer, M. & Schlotz, W. (2003). Das "Trierer Inventar zur Lehrveranstaltungsevaluation" (TRIL): Entwicklung und erste testtheoretische Erprobungen. In G. Krampen & H. Zayer (Hrsg.), Psychologiedidaktik und Evaluation IV (S. 114-128). Bonn: Deutscher Psychologen Verlag.
Lienert, G. A. & Raatz, U. (1994). Testaufbau und Testanalyse (5. völlig neu bearbeitete und erweiterte Auflage). Weinheim: Beltz.
Weis, S., Karthaus, C. & Lischetzke, T. (2014). Elemente der Lehrveranstaltungsevaluation an der Universität Koblenz-Landau: Theoretische Einordnung und empirische Befunde. Qualität in der Wissenschaft, 8 (2/3), 61-69. PSYNDEX Dok.-Nr. 0291826
Rückmeldeformular
Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen
Kontaktdaten
Prof. Dr. Mario Gollwitzer, Ludwig-Maximilians-Universität München, Fakultät für Psychologie und Pädagogik, Department Psychologie, Sozialpsychologie, Leopoldstraße 13, D-80802 München
Prof. Dr. Andreas Voß, Psychologische Methodenlehre, Psychologisches Institut, Universität Heidelberg, Hauptstrasse 47-51, D-69177 Heidelberg