Testinstrumente sortiert
Ansprechpartnerin für Open Test Archive
Gülay Karadere (Dipl.-Psych.)
wissenschaftliche Mitarbeiterin
+49 (0)651 201-4934
guek@leibniz-psychology.org
METI
Muenster Epistemic Trustworthiness Inventory
Kurzabstract
Das METI erfasst die Vertrauenswürdigkeitseinschätzungen gegenüber Personen, die ihr Wissen öffentlich verfügbar machen. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben. Es handelt sich um 14 Items in Form antonymer Adjektivpaare, die auf drei Dimensionen verteilt sind (Expertise, Integrität, Wohlwollen). Die Adjektive der Skala wurden anhand theoretischer Überlegungen zu epistemischer Vertrauenswürdigkeit neu entwickelt bzw. aus bestehenden Skalen entnommen, die Vertrauenswürdigkeit oder Glaubwürdigkeit messen. Reliabilität: Die interne Konsistenz liegt bei Cronbachs Alpha = .75-.85. Validität: Die Dreifaktorenstruktur wurde durch explorative und konfirmatorische Faktorenanalysen nachgewiesen. Validität und Sensitivität des METI wurden in einer Studie nachgewiesen, in der die Beschreibung fiktiver Autoren eines Wissenschaftsblogs in sechs Bedingungen (hohe vs. niedrige Expertise, Integrität oder Wohlwollen) variiert wurde: Es zeigte sich, dass auf der jeweils in den Beschreibungen adressierten Dimension des METI die Ratings der TeilnehmerInnen wie vorhergesagt am höchsten bzw. am niedrigsten ausfielen.
Leibniz-Institut für Psychologie (ZPID). (2019). Open Test Archive: METI. Muenster Epistemic Trustworthiness Inventory. Verfügbar unter: https://www.testarchiv.eu/de/test/9007152
Zitierung
Hendriks, F., Kienhues, D. & Bromme, R. (2017). METI. Muenster Epistemic Trustworthiness Inventory [Verfahrensdokumentation und Fragebogen]. In Leibniz-Institut für Psychologie (ZPID) (Hrsg.), Open Test Archive. Trier: ZPID.
https://doi.org/10.23668/psycharchives.6557
Kurzinformationen
Kurzname METI
Engl. Name Muenster Epistemic Trustworthiness Inventory
Autoren Hendriks, F., Kienhues, D., Bromme, R.
Erscheinungsjahr im Testarchiv 2017
Copyright/Lizenz Copyright Autoren; CC-BY-NC-ND 3.0
Schlagworte Adjektive, Vertrauen, Erfahrungsniveau, Wissensstand, Integrität, Eindrucksbildung
Sprachversionen deu
Konstrukt Epistemologie
Altersbereich ab 16 Jahre
Itemzahl 14 Items
Subskalen (1) Expertise, (2) Integrität, (3) Wohlwollen
Durchführungszeit Keine Angaben.
Auswertungsdauer Wenige Minuten.
Interne Konsistenz: Cronbachs Alpha = .75-.85.
Befunde zur dreifaktoriellen Struktur und Sensitivität.
Keine.
Anwendungsbereich Forschung
Diagnostische Zielsetzung
Beim Muenster Epistemic Trustworthiness Inventory (METI; Hendriks et al., 2014, 2015a) handelt es sich um ein Messinstrument zur Erfassung von Vertrauenswürdigkeitseinschätzungen gegenüber Personen, die ihr Wissen öffentlich verfügbar machen. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben.
Aufbau
Es handelt sich um 14 Items in Form antonymer Adjektivpaare, die auf drei Dimensionen verteilt sind (6 Items zu Expertise, 4 Items zu Integrität, 4 Items zu Wohlwollen).
Grundlagen und Konstruktion
Das METI basiert auf der Klassischen Testtheorie. Die Adjektive der Skala wurden anhand theoretischer Überlegungen zu epistemischer Vertrauenswürdigkeit neu entwickelt bzw. aus bestehenden Skalen entnommen, die Vertrauenswürdigkeit oder Glaubwürdigkeit messen. Außerdem wurden sie durch 12 Experten, die zu Vertrauen forschen, hinsichtlich ihrer Relation zum Konzept "Vertrauen" bewertet. Die Zahl der Items beträgt 14 Items. Mittels explorativer und konfirmatorischer Faktorenanalysen wurden die drei Faktoren des METI in zwei unabhängigen Stichproben gefunden.
Empirische Prüfung und Gütekriterien
Reliabilität: In insgesamt drei experimentellen Studien der Autoren, die das Instrument als abhängige Variable verwendeten, finden sich folgende Werte für die interne Konsistenz: Expertise Alpha > .85, Integrität Alpha > .75, Wohlwollen Alpha >.75. Validität: Die Dreifaktorenstruktur wurde durch explorative und konfirmatorische Faktorenanalysen in zwei unabhängigen Samples nachgewiesen. Validität und Sensitivität des METI wurde in einer Studie nachgewiesen, in der die Beschreibung fiktiver Autoren eines Wissenschaftsblogs in sechs Bedingungen variiert wurde: Die Beschreibungen des Autors (immer ein Wissenschaftler) wurde so verfasst, dass hohe oder niedrige Expertise, Integrität oder Wohlwollen nahegelegt wurden. Es zeigte sich, dass auf der jeweils in den Beschreibungen adressierten Dimension des METI die Ratings der TeilnehmerInnen wie vorhergesagt am höchsten bzw. am niedrigsten ausfielen. Normen: Das Verfahren ist nicht normiert.
Testkonzept
Theoretischer Hintergrund
Beim Muenster Epistemic Trustworthiness Inventory (METI; Hendriks, Kienhues & Bromme, 2014, 2015a) handelt es sich um ein Messinstrument zur Erfassung von Vertrauenswürdigkeitseinschätzungen gegenüber Personen, die ihr Wissen öffentlich verfügbar machen (z. B. Experten). Die theoretische Grundannahme bezüglich der epistemischen Vertrauenswürdigkeit ist, dass insbesondere dann, wenn Menschen über unzureichendes Vor- und Fachwissen zu einem bestimmten Inhaltsbereich verfügen, sie Vertrauenswürdigkeitseinschätzungen über Personen vornehmen, die ihnen als Informationsquellen dienen - etwa ob eine bestimmte Person die Möglichkeiten und die Absichten hat, möglichst wahre, valide Aussagen zu einem Thema zu machen (Hendriks et al., 2015a). Diese Urteile sollen mithilfe des Inventars METI erfasst werden. Die Einschätzung der epistemischen Vertrauenswürdigkeit differenziert sich in "Expertise" (Hat die Person das Fachwissen und die Erfahrung, valide Aussagen zum betreffenden Thema zu machen?), "Integrität" (Handelt die Person nach den Regeln und Normen ihrer Profession?) und "Wohlwollen" (Handelt die Person zum Wohl Anderer?). Dies wird durch die drei Dimensionen des METI reflektiert.
Testaufbau
Das METI umfasst mit insgesamt 14 Items die drei Dimensionen Expertise, Integrität und Wohlwollen. (1) Expertise: Hat die Person das Fachwissen und die Erfahrung, valide Aussagen zum betreffenden Thema zu machen? (6 Items); (2) Integrität: Handelt die Person nach den Regeln und Normen ihrer Profession? (4 Items); (3) Wohlwollen: Handelt die Person zum Wohl Anderer? (4 Items). Die Items sind in Form antonymer Adjektivpaare auf einer siebenstufigen Skala zu beantworten (z. B. kompetent 1 - 2 - 3 - 4 - 5 - 6 - 7 inkompetent).
Auswertungsmodus
Die Items werden in der Art eines siebenstufigen semantischen Differentials dargestellt. Hierbei befindet sich eine Hälfte des Itempaars links, die andere Hälfte rechts von sieben Antwortoptionen, von denen eine markiert werden muss - es ist darauf zu achten, dass alle Items gleich gepolt sind (z.B. links positiv formulierte Adjektive, rechts negativ formulierte Adjektive). Markierungen nahe des positiv formulierten Adjektivs (z. B. kompetent) weisen auf eine hohe Zuweisung epistemischer Vertrauenswürdigkeit auf der jeweiligen Dimension (hier Expertise) hin; Markierungen nahe des negativ formulierten Adjektivs (z. B. inkompetent) auf niedrige Zuweisung epistemischer Vertrauenswürdigkeit. Die Auswertung erfolgt anhand einer Zuweisung numerischer Werte zu den Stufen der Skala. Damit hohe Werte auch mit hohen Vertrauenswürdigkeitseinschätzungen übereinstimmen, kann die Skala zur Berechnung entsprechend umkodiert werden. Zur inferenzstatistischen Auswertung werden Mittelwerte der einzelnen Items jeder Dimension (Expertise, Integrität, Wohlwollen) pro Person generiert.
Auswertungshilfen
Schablonen zur raschen Auswertung können leicht selbst angefertigt werden.
Auswertungszeit
Die Auswertung beträgt wenige Minuten.
Itembeispiele
Als Beispielitem eignet sich "seriös-unseriös". Dies kann bereits in der Art eines semantischen Differentials präsentiert werden, damit die Bearbeitenden die Gelegenheit haben, das Ausfüllen zu üben, bevor sie mit der Bearbeitung der Testitems beginnen. Das Beispielitem wird nicht ausgewertet.
Items
Tabelle 1 enthält alle Items in deutscher und in englischer Sprache.
Tabelle 1
Items des METI in deutscher und englischer Sprache (Hendriks, Kienhues & Bromme, 2014, 2015a)
Dimension | Deutsche Version | Englische Version |
---|---|---|
Expertise | kompetent-inkompetent | competent-incompetent |
Expertise | intelligent-unintelligent | intelligent-unintelligent |
Expertise | gut ausgebildet-schlecht ausgebildet | well educated-poorly educated |
Expertise | fachmännisch-unfachmännisch | professional-unprofessional |
Expertise | erfahren-unerfahren | experienced-inexperienced |
Expertise | qualifiziert-unqualifiziert | qualified-unqualified |
Integrity | aufrichtig-unaufrichtig | sincere-insincere |
Integrity | ehrlich-unehrlich | honest-dishonest |
Integrity | gerecht-ungerecht | just-unjust |
Integrity | fair-unfair | fair-unfair |
Benevolence | moralisch-unmoralisch | moral-immoral |
Benevolence | ethisch-unethisch | ethical-unethical |
Benevolence | verantw.bewusst-verantwortungslos | responsible-irresponsible |
Benevolence | rücksichtsvoll-ruecksichtslos | considerate-inconsiderate |
Durchführung
Testformen
Das Inventar ist sowohl als Online-Fragebogen als auch in einer Paper-Pencil-Version einsetzbar. Die TeilnehmerInnen sollten es individuell ausfüllen.
Altersbereiche
Das Verfahren ist für Erwachsene ab 16 Jahren geeignet. Wegen des verwendeten Vokabulars wird ein geringeres Alter der TeilnehmerInnen nicht empfohlen.
Durchführungszeit
Es gibt keine Zeitbegrenzung. Den Probanden soll genügend Zeit gegeben werden, um alle Einschätzungen vorzunehmen.
Material
Als Material steht der Fragebogen zur Verfügung. Für die Paper-Pencil-Version wird ein Schreibgerät benötigt; für die Onlineversion ein Computer.
Instruktion
Die Instruktion des Verfahrens ist standardisiert und lautet: "Ihre Aufgabe besteht darin für [Person] anzugeben, wie Sie diese/diesen mit Hilfe der Skalen beschreiben würden. Geben Sie bitte auf jeder Skala an, wie Sie [Person] einschätzen. Möglicherweise scheinen Ihnen einige Adjektivpaare nicht immer angemessen zu sein. Bitte treffen Sie trotzdem für jedes Paar eine persönliche Entscheidung. Bei der Beantwortung geht es ausschließlich um Ihre eigenen Ansichten und Einschätzungen, es gibt also keine richtigen oder falschen Antworten." (Kurzinstruktion).
Durchführungsvoraussetzungen
Es gibt keine besonderen Durchführungsvoraussetzungen.
Testkonstruktion
Das METI basiert auf der Klassischen Testtheorie. Die Adjektive der Skala wurden anhand theoretischer Überlegungen zu epistemischer Vertrauenswürdigkeit neu entwickelt bzw. aus bestehenden Skalen entnommen, die Vertrauenswürdigkeit oder Glaubwürdigkeit messen (Berlo, Lemert & Mertz, 1969; McCroskey & Teven, 1999). Außerdem wurden sie durch 12 Experten, die zu Vertrauen forschen, hinsichtlich ihrer Relation zum Konzept "Vertrauen" bewertet. Die Onlineversion des Verfahrens wurde mit einer Software für Online-Umfragen entwickelt und an N = 237 Probanden (Alter: 19-47 Jahre, M = 25.39, SD = 4.38; 76% weiblich, 27% männlich) dahingehend überprüft, welche Faktorenzahl am besten mit den Items vereinbar ist (Hendriks et al., 2015a, S. 4-5). In einer Folgestudie mit N = 345 Probanden (Alter: M = 21.27, SD = 3.93; 69% weiblich, 31% männlich) wurde eine konfirmatorische Faktorenanalyse durchgeführt (siehe unter "Validität"), die die Dreifaktorenlösung bestätigte. Durch die beiden Faktoranalysen wurden weiterhin Items ausgeschlossen, die nicht stabil genug mit den drei Faktoren des METI (Expertise, Integrität, Wohlwollen) korrelierten. Die endgültige Zahl der Items beträgt 14 Items.
Gütekriterien
Objektivität
Objektivität in Durchführung, Auswertung und Interpretationen werden durch standardisierte Instruktionen, vorgegebene Auswertungsschritte und Interpretationshinweise angestrebt.
Reliabilität
Als Nachweis für die Reliabilität wurde die interne Konsistenz (Cronbachs Alpha) überprüft, die hinreichend ausfällt. In insgesamt drei experimentellen Studien der Autoren, die das Instrument als abhängige Variable verwendeten (Hendriks, Kienhues & Bromme, 2016a, 2016b) finden sich folgende Werte für die interne Konsistenz: Expertise Alpha > .85, Integrität Alpha > .75, Wohlwollen Alpha >.75.
Validität
Die Dreifaktorenstruktur wurde durch explorative und konfirmatorische Faktorenanalysen in zwei unabhängigen Samples nachgewiesen. Hendriks et al. (2015a, S. 5-6) fanden in Studie 1 eine Dreifaktorenlösung, nachdem zwei Items eliminiert wurden. Unter den verbleibenden Items gab es keine Mehrfachladungen unter den Items. Die drei Faktoren klären 62% der Varianz auf. Eine Korrelationsberechnung zwischen den drei Faktoren ergab Werte von r = .37 (Expertise-Wohlwollen), r = .51 (Expertise-Integrität) und r = .63 (Integrität-Wohlwollen). In einer weiteren Studie wurde erneut eine konfirmatorische Faktorenanalyse durchgeführt. Zwei weitere Items wurden hierbei ausgeschlossen. Der Fit des Modells zu den Daten war gut (CFI = .97, TLI = .96, RMSEA = .06, SRMR = .06). Dabei wurden wiederum Korrelationen zwischen den Faktoren nachgewiesen (r = .52-.71; S. 7-8). Validität und Sensitivität des METI wurde durch eine Studie an N = 152 Probanden im durchschnittlichen Alter von M = 26.22 Jahren (SD = 5.24) und einem 75%igen Anteil an Frauen nachgewiesen (Studie 3 in Hendriks et al., 2015a). Hierbei wurde die Beschreibung fiktiver Autoren eines Wissenschaftsblogs in sechs messwiederholten Bedingungen variiert: Die Beschreibungen des Autors (immer ein Wissenschaftler) wurde so verfasst, dass hohe oder niedrige Expertise, Integrität oder Wohlwollen nahegelegt wurden. Es zeigte sich, dass auf der jeweils in den Beschreibungen adressierten Dimension des METI die Ratings der TeilnehmerInnen wie vorhergesagt am höchsten bzw. am niedrigsten ausfielen. Die Ergebnisse (Haupteffekt, Interaktionseffekte) für alle drei Dimensionen waren signifikant, mit teilweise großen Effektstärken (Hendriks et al., 2015a, S. 12-14).
Normierung
Das Verfahren ist nicht normiert. Die drei vorhandenen Forschungsdatensätze finden sich im Psychologischen Datenarchiv PsychData des Leibniz-Zentrums für Psychologische Information und Dokumentation ZPID (Hendriks, Kienhues & Bromme, 2015b).
Anwendungsmöglichkeiten
Das METI ist ein Inventar zur Erfassung epistemischer Vertrauenswürdigkeit. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben.
Bewertung
Das Inventar wurde zur Messung epistemischer Vertrauenswürdigkeit entwickelt. Die theoretische Grundannahme bezüglich der epistemischen Vertrauenswürdigkeit ist, dass insbesondere dann, wenn Menschen über unzureichendes Vor- und Fachwissen zu einem bestimmten Inhaltsbereich verfügen, sie Vertrauenswürdigkeitseinschätzungen über Personen vornehmen, die ihnen als Informationsquellen dienen - etwa ob eine bestimmte Person die Möglichkeiten und die Absichten hat, möglichst wahre, valide Aussagen zu einem Thema zu machen (Hendriks et al., 2015a). Dieses Urteil soll mithilfe des METI auf den drei Dimensionen Expertise, Integrität und Wohlwollen erfasst werden. Es eignet sich insbesondere zur Messung von Vertrauenswürdigkeitsurteilen, die wissenschaftliche Laien ExpertInnen zuschreiben. Die hohen Korrelationen zwischen den drei Skalen zeigen allerdings, dass die Bewertungen nicht unabhängig sind.
Erstmals publiziert in:
Hendriks, F., Kienhues, D. & Bromme, R. (2014). The Muenster Epistemic Trustworthiness Inventory (METI). Münster: Westfälische Wilhelms-Universität Münster, Pädagogische Psychologie.
Literatur
Berlo, D. K., Lemert, J. J. B. & Mertz, R. J. R. (1969). Dimensions for evaluating the acceptability of message sources. Public Opinion Quarterly, 33 (4), 563-576.
Hendriks, F., Kienhues, D. & Bromme, R. (2014). The Muenster Epistemic Trustworthiness Inventory (METI). Münster: Westfälische Wilhelms-Universität Münster, Pädagogische Psychologie.
Hendriks, F., Kienhues, D. & Bromme, R. (2015a). Measuring laypeople's trust in experts in a digital age: The Muenster Epistemic Trustworthiness Inventory (METI). PLoS ONE, 10 (10), No. e0139309. [English items included in online materials] (DOI: 10.1371/journal.pone.0139309) PSYNDEX Dok.-Nr. 0305481
Hendriks, F., Kienhues, D. & Bromme, R. (2015). Wie sich das von Laien in Experten gesetzte Vertrauen im digitalen Zeitalter messen lässt: "The Muenster Epistemic Trustworthiness Inventory (METI)": Drei Forschungsdatensätze (Version 1) [Files auf CD-ROM]. Trier: Psychologisches Datenarchiv PsychData des Leibniz-Zentrums für Psychologische Information und Dokumentation ZPID. Online im Internet, URL: https://dx.doi.org/10.5160/psychdata.hsfe15mu08 (Stand: 21.12.2016)
Hendriks, F., Kienhues, D. & Bromme, R. (2016a). Disclose your flaws! Admission positively affects the perceived trustworthiness of an expert science blogger. Studies in Communication Sciences, 16 (2), 124-131. (DOI: 10.1016/j.scoms.2016.10.003)
Hendriks, F., Kienhues, D. & Bromme, R. (2016b). Evoking vigilance: would you (dis)trust a scientist who discusses ethical implications of research in a science blog? Public Understanding of Science, 25 (8), 992-1008. (DOI: 10.1177/0963662516646048) PSYNDEX Dok.-Nr. 0321267
McCroskey, J. C. & Teven, J. J. (1999). Goodwill: A reexamination of the construct and its measurement. Communications Monographs, 66, 90-103.
Rückmeldeformular
Rückmeldung über die Anwendung eines Verfahrens aus dem Testarchiv des Leibniz-Instituts für Psychologie (ZPID) an die Testautoren/-innen
Kontaktdaten
Dr. rer. nat. Friederike Hendriks, Nachwuchsgruppenleitung, Technische Universität Braunschweig, Institut für Kommunikationswissenschaft & Institut für Pädagogische Psychologie, Bienroder Weg 87, D-38106 Braunschweig
Dr. Dorothe Kienhues, Westfälische Wilhelms-Universität Münster, Operative Leitung Zentrum für Hochschullehre, Pädagogische Psychologie, Arbeitseinheit Prof. Dr. Rainer Bromme, Fliednerstraße 21, D-48149 Münster
Senior-Prof. Dr. Rainer Bromme, Westfälische Wilhelms-Universität Münster, Psychologie und Sportwissenschaft, Institut für Psychologie, Fliednerstraße 21, D-48149 Münster