Springe zum Inhalt
  • Einträge
    125
  • Kommentare
    684
  • Aufrufe
    15.001

Eindrücke vom M6a-Tutorium - M6a Kapitel 5

Lernfrosch

555 Aufrufe

Dieses Wochenende habe ich am letzten Teil des dreiteiligen Präsenztutoriums zum Modul 6a (Testtheorie) teilgenommen.

 

Das Tutorium ging über drei Wochenenden (Sa. und So. jeweils fünf Std.). An jedem Termin wurden Teile des Studienbriefes durchgegangen, erklärt, besprochen usw.

 

Insgesamt war das Tutorium unglaublich hilfreich! 30 Stunden Testtheorie sind zwar ganz schön viel, aber dafür wurden die Inhalte gründlich besprochen und erklärt - und vorallem verständlich.

Es hat sich gelohnt daran teilzunehmen. Ich kann es bei dieser Dozentin jedem, der M6a belegt, uneingeschränkt weiterempfehlen.

 

Dieses Wochenende stand Kapitel 5 - Evaluation psychologischer Tests an, ebenso die Vorbereitung auf die Klausur.

Vielleicht interessiert es den einen oder anderen, was diesmal so besprochen wurde. Grundlage ist wieder der Studienbrief zu M6a. Meine Notizen  aus dem Tutorium zu den Inhalten, die mir bisher im Studienbrief unverständlich waren und mir nun klarer geworden sind, stelle ich hier ein; evtl. nützt es auch noch jemand anderem ein wenig beim Lernen oder gibt einen weiteren Einblick in die Inhalte von Modul 6a.

 

Kapitel 5 - Evaluation psychologischer Tests

 

Gütekriterien

- klassische psychometrische Gütekriterien (Objektivität, Reliabilität, Validität)

- weitere allgemeinere Gütekriterien (z.B. Ökonomie, Fairness...)

 

Objektivität ist notwendige, aber nicht hinreichende Bedingung für Reliabilität

Reliabilität wiederum ist notwendige, aber nicht hinreichende Bedingung für Validität

 

Objektivität

(= Unabhängigkeit vom Testleiter)

3 Arten:

- Durchführungsobjektivität -> Instruktion

- Auswertungsobjektivität;  Punktzahl -> mehrere Rater -> ICC = Intraklassenkorrelation

- Interpretationsobjektivität: Werte interpretiert -> Normierung

 

Reliabilität

Gegenteil von Messfehler

Zuverlässigkeit, liegt zwischen 0 und 1 ( 0 = nur Messfehler; soll hoch sein, nahe 1)

Arten:

- interne Konsistenz:

Cronbachs Alpha (Korrelation zwischen Item -> Itemanzahl); aus hohem Cronbach Alpha kann man nicht auf Homogenität bzw. Eindimensionalität schließen; kann man bei homogenen Tests verwenden; bei geringem/ negativem Cronbach Alpha nimmt man Guttman-Lamda 2, bei geringem/ negativem Cronbach Alpha bei dichotomes Items nimmt man Kuder-Richardson 20 (KR-20)

Split-Half-Reliabilität als Spezialfall der internen Konsistenz

Retest-Reliabilität:

kann man bei heterogenen Test verwenden

Merkmal stabil

Beispiel: die Korrelation zwischen den Messwerten in einem heute durchgeführten Test und den Werten aus demselben Test, der nächste Woche nochmal durchgeführt wird; diese Korrelation ist die Retest-Reliabilität

- Paralleltest-Reliabilität:

kann bei heterogenen Test verwendet werden

Beispiel: es gibt zwei Tests A und B, eine Person bearbeitet nacheinander beide Tests, die Korrelation der Werte aus Test A und B ist die Paralltest-Reliabilität

- Interrater-Reliabilität:

Beurteilerübereinstimmung

ICC (= Intraklassenkorrelation): justiert (Varianz gleich i.S.v. Unterschiede bei einzelnen Ratern gleich) oder unjustiert (Varianz gleich und Mittelwerte gleich)

 

Was erhöht die Reliabilität?

- Items mit hohen Trennschärfen

- Testverlängerung (je länger der Test, desto höher die Reliabilität)

 

Spearman-Brown

zur Ermittlung der Reliabilität bei Verlängerung eines Tests

 

Cronbach Alpha

--- Formel (S.173)  ---

c / (c - 1) -> Itemanzahl

Rest der Formel in Klammern -> Kovarianzen, Korrelation zwischen Items

in der Klammer unterm Bruchstrich Sx^2 -> Testwertevarianz

 

Spezifische Objektivität (in der PTT)

Unabhängigkeit der Messwerte von der untersuchten Item- und Personenstichprobe

- Generalisierbarkeitstheorie: mehrere Varianzquellen; beruht auf varianzanalytischem Ansatz

 

Validität

= Gültigkeit

3 Arten: Inhaltsv., Konstruktv., Kriteriumsv.

 

Inhaltsvalidität

Experten

- theoriegeleitet: rationale Testkonstruktion; Merkmal kann nicht direkt gemessen werden (z.B. "Extraversion"), latent, Aufgabenuniversum; Merkmal wird theoretisch definiert

- operational -> kriterienorientiert: Merkmal kann direkt gemessen werden (z.B. "Schnelligkeit"), manifest

 

Konstruktvalidität

Nomologisches Netzwerk; Hypo-deduktives Vorgehen

Korrelationen: konvergent oder diskriminant, faktoriell

- faktorielle Validität: Bestätigung der Teststruktur (CFA)

- konvergente Validität: Beziehung zu konstruktnahen und -fernen Außenvariablen; theoretisch erwartete Übereinstimmung (soll hoch sein)

- diskriminante Validität: empirische Abgrenzung zu theoretischen Konstrukten (soll niedrig sein)

 

Multi-Trait-Multi-Method Matrix (MTMM) (S.190f.)

Methode = z.B. Fragebogen; Trait = Konstrukt

- Monotrait-Monomethod = Reliabilität -> Werte in der Hauptdiagonalen

- Monotrait-Heteromethod = konvergente Validität (soll hoch sein) -> Werte in der Diagonalen in den einzelnen Methodenkästen

- Heterotrait-Monomethod = diskriminante Validität (soll niedrig sein) -> Werte im Kästchen mit denselben Methoden (die Kästchen, durch die die Hauptdiagonale geht), aber nur diejenigen, die nicht auf der Diagonalen liegen

- Heterotrait-Heteromethod = diskriminante Validität (soll niedrig sein) -> Werte in den Kästchen mit nicht gleichen Methoden (Kästschen, durch die die Hauptdiagonale nicht geht), aber nur diejenigen, die wiederum nicht auf der Diagonalen liegen

>> die diskriminante Validität soll niedriger ausfallen als die konvergente Validität

 

Zusammenhang Validität und Reliabilität

unsystematischer Messfehler senkt Korrelation

- Minderungskorrektur:

-- für theoretische Zwecke: doppelte Minderungskorrektur (wenn beide keine Messfehler hätten...); r = r12 / Wurzel aus (rtt1 * rtt2)

-- für Anwendungszwecke: einfache Minderungskorrektur (wenn einer keinen Messfehler hätte...); r = r12 / Wurzel aus rtt1

- Reliabilitäts-Validitäts-Dilemma

 

Kriteriumsvalidität

- Effektstärke d -> Mittelwertsunterschied zweier Gruppen

- Varianten der Kriteriumsvalidität nach Erhebungszeitpunkt (Kriterium jeweils in Bezug auf Testzeitpunkt):

-- retrospektiv: Kriterium in Vergangenheit

-- Konkurrent: Kriterium gleichzeitig

-- prognostisch/ prädikativ: Kriterium in Zukunft

 

Inkrementelle Validität (S. 196)

Delta R^2 -> Differenz der Werte R in Tabelle (Abb. 5.5)

Tabelle Abb. 5.5: R-Quadrat = Varianzaufklärung; Delta R^2 = Änderung in R-Quadrat

Beispiel dazu: Modell 1 mit R^2 = 0,125 und Modell 2 mit R^2 = 0,167; dann ergibt sich für f^2: f^2 = 0,167 / (1 - 0,125)

 

Messgenauigkeit bzw. Reliabilität (S. 210ff)

- Äquivalenzhypothese:

Standardmessfehler (= SEx)

zur Erinnerung: bei KTT ist "Testwert = wahrer Wert + Messfehler"

Standardmessfehler = Sx * Wurzel aus (1 - rtt)

Sx ist die Standardabweichung, rtt ist die Realibilität des Tests

hohe Reliabilität -> kleines Konfidenzintervall

niedrige Reliabilität -> großes Konfidenzintervall

Beispiel: IQ (Normalverteilung, SD 15) jemand erreicht im Test, dessen Reliabilität bei 0,99 liegt, einen Testwert von 103. Dann ergibt sich:

Standardmessfehler SEx = 15 * Wurzel aus (1 - 0,99) = 1,5

1,5 ist der Z-Wert;  in Tabelle nachsehen (oder wissen), dass diesem Wert die 1,96 zugeordnet wird

Testwert = wahrer Wert + Messfehler

x + Z 1-(Alpha/2) * SEx = 103 +- (1,96 * 1,5) = 106 und 100 (>> es wurde die 1,96 zum Rechnen auf 2 gerundet)

>> der wahre Wert der Testperson wird im Intervall zwischen 100 und 106 liegen (95% Konfidenzintervall)

- Regressionshypothese:

Standardschätzfehler (t i Strich)

der geschätzte Wert liegt immer näher an Mittelwert als der gemessene Wert; Schätzung des wahren Wertes -> näher am Mittelwert

Standardschätzfehler ist immer geringer als Standardmessfehler

>>> eher überdurchschnittlich bzw. unterdurchschnittlich bei der Äquivalenzhypothese

 

Kritische Differenz

= so hoch muss die Differenz mindestens sein, damit man von einem wahren Unterschied ausgehen kann (und nicht von einem Messfehler)

Fall 1) 1 Test und 2 Werte

Fall 2) 2 Test und 1 Person; dasselbe Konstrukt

Fall 3) 2 Test und 1 Person; 2 verschiedene Konstrukte

steigende Reliabilität -> kleinere kritische Differenz

niederige Reliabilität -> große kritische Differenz

 

sollte man auswendig kennen:

- Tabelle 5.5 (S. 167): Richtlinien und Beurteilungssysteme für Test (z.B. DIN 33430, COTAN-System inkl.der exakten Werte vom S. 178 im Studienbrief)

- Cronbachs Alpha (S. 173f): wann wird es größer, wann kleiner

- Effektstärke d (S. 193)

- die anderen, bislang nicht genannten Gütekriterien (ab S. 198)

- wissen, dass von allen im Studienbrief genannten Maßnahmen nur "bogus items" die Validität verbessern können (S. 205)

- faking good und faking bad (S. 205)

- Testwerte sind immer nur Schätzwerte

- Tabelle 5.3 (S. 211): z-Werte und Vertrauensintervalle

 

- Ergänzung zu Kapitel 3, Raschmodelle (S. 85 oder so...): wissen, welche Parameter zu welchem Modell gehören und dass sich Antwortschwellen (CCC) absolut nie überschneiden, Logit-Einheit, 3-Paramter-Modell scheint - laut zwischen den Zeilen im Studienbrief stehend  - irgendwie doof zu sein und nicht wirklich empfehlenswert

- Unterschied unipolare und bipolare Skalen: unipolare ist es, wenn man mehr oder weniger zustimmen kann; bipolar ist es immer, wenn man ablehnen und zustimmen kann (starke Ablehnung - starke Zustimmung)

- zu Itemanalyse in der KTT: korrelative Kennwerte sind wichtiger als deskriptive Statistiken; Trennschärfen* sind wichtiger als univariate Eigenschaften**

*univariate Eigenschaften: Schiefe, Exzess, Schwierigkeit, Mittelwert, Varianz

** bivariate Eigenschaften: Trennschärfe (eigen, fremd)

 

 

 

Tipps für die Klausur (Auswahl):

- von der FernUni veröffentlichte Probeklausur durcharbeiten

- bei verneinten Fragestellungen: jede Antwortmöglichkeiten unabhängig von der Fragestellung als richtig oder falsch einordnen, erst danach nochmal wieder auf die Fragestellung schauen

- Alle Antwortmöglichkeiten einer jeden Aufgabe bis zum Ende durchlesen!!! Es ist zwar 1 aus 5, aber: Es gab schon häufiger Antwortmöglichkeiten im Stil von:

A..., B..., C..., D..., E alle genannten Antworten A, B, C und D sind richtig/ falsch.

Gab es auch schon:

Welche Zuordnung ist falsch? A..., B..., C..., D..., E Alle Zuordnungen aus A, B, C und D sind richtig.

 

 



3 Kommentare


Empfohlene Kommentare

Das kann ich gut nachvollziehen, zumal ich ja die 6a-Klausur letztes Mal nicht bestanden hatte...

Aber das Tutorium war absolut super (und noch dazu kostenlos). Auch wenn man vom Studienbrief eher kaum etwas versteht, ist so vieles plötzlich verständlich geworden und ergibt einen Sinn. Die Dozentin hat das großartig gemacht. Wenn du die Möglichkeit hast, an einem Tutorium bei ihr teilzunehmen, kann ich das nur empfehlen. Es lohnt sich total und ein bisschen hat es sogar Spaß gemacht.

 

Und zu M2: Ich bin da in die Klausur reingegangen mit dem Eindruck gar nicht genug zu wissen. Das war alles noch so... verworren. Ich erinnere mich noch, dass ich mit vielen Begriffen total unsicher war, was die eigentlich bedeuten, wie man die auseinanderhält und vorallem wofür man was braucht (Varianz, Korrelation, r, t-Test, Z-Werte, Quartile, Signifikanz...).

Die Klausur empfand ich zwar als schwierig, aber es war machbar. Rückblickend würde ich jetzt sagen, dass die Klausur anspruchsvoll, aber vom Niveau her eigentlich doch angemessen war. Ich weiß aber auch noch, dass mir das damals ganz anders vorkam...

 

Wann ist denn die M2-Klausur? damit ich dir in der Zeit die Daumen drücken kann ;)

Diesen Kommentar teilen


Link zu diesem Kommentar
psychodelix

Geschrieben (bearbeitet)

Zitat

Wann ist denn die M2-Klausur? damit ich dir in der Zeit die Daumen drücken kann ;)

 

Lieb von dir! :001_wub: Am 2.9. Wie (fast) immer von 14-18 Uhr.

 

Nachtrag: Bei M1 hatte ich auch nicht wirklich einen Plan. :lol:

Bearbeitet von psychodelix

Diesen Kommentar teilen


Link zu diesem Kommentar

Erstelle ein Benutzerkonto oder melde dich an um zu kommentieren

Du musst ein Benutzerkonto haben um einen Kommentar hinterlassen zu können

Benutzerkonto erstellen

Kostenlos ein neues Benutzerkonto erstellen.

Neues Benutzerkonto erstellen

Anmelden

Du hast bereits ein Benutzerkonto? Melde dich hier an.

Jetzt anmelden



×

Wichtige Information

Diese Website verwendet Cookies. Weitere Informationen: Datenschutzerklärung