• Einträge
    112
  • Kommentare
    606
  • Aufrufe
    10.981

Eindrücke vom M6a-Tutorium - M6a Kapitel 4

Melde dich an, um diesem Inhalt zu folgen  
Folgen diesem Inhalt 0
Lernfrosch

378 Aufrufe

Dieses Wochenende habe ich am zweiten Teil des dreiteiligen Präsenztutoriums zum Modul 6a (Testtheorie) teilgenommen.

 

Das Tutorium geht über drei Wochenenden (Sa. und So. jeweils fünf Std.). An jedem Termin werden Teile des Studienbriefes durchgegangen, erklärt, besprochen usw.

Dieses Wochenende stand Kapitel 4 - Skalenbildung: Faktorenanalyse, Aggregation von Items und Normierung an.

Vielleicht interessiert es den einen oder anderen, was diesmal so besprochen wurde. Grundlage ist wieder der Studienbrief zu M6a. Meine Notizen  aus dem Tutorium zu den Inhalten, die mir bisher im Studienbrief unverständlich waren und mir nun klarer geworden sind, stelle ich hier ein; evtl. nützt es auch noch jemand anderem ein wenig beim Lernen oder gibt einen weiteren Einblick in die Inhalte von Modul 6a.

 

Meine Notizen (Achtung: sehr viel Text!) orientieren sich diesmal nicht immer an der Reihenfolge der Inhalte im Studienbrief (daher schreibe ich an machen Stellen die Seitenangaben dazu). Im Tutorium wurde aus Gründen besseren Verständnisses teilweise eine andere Reihenfolge gewählt, die ich hier größtenteils beibehalte.

 

- Explorative Faktorenanalyse (EFA) und Konfirmatorische Faktorenanalyse (CFA)

Konstruktionsprinzip induktiv/ internal, nimm EFA; Modell soll gefunden werden

Konstruktionsprinzip deduktiv/ rational, nimm CFA, Modell soll geprüft werden

 

- R-Technik; Variablen werden korreliert  -> Faktoren; (im Folgenden und in Modul 6a geht es nur um die R-Technik!)

Q-Technik; Menschen werden zu Faktoren zusammengefasst; Menschen -> Faktoren=Typ => typologisierender Ansatz

 

Explorative Faktorenanalyse (EFA)

- latente Variablen -> Faktoren werden gesucht

- Ziel: Datenstrukturierung, Datenerhebung (viel Items zu Faktoren zusammenfassen)

- Effektindikatormodell: Faktor erklärt die Korrelation zwischen den Items

 

EFA

- Hauptachsenanalyse (PAF)

will latente Variablen aufdecken; Datenreduktion; Struktur

- Hauptkomponentenanalyse (PCA)

Datenreduktion

=> man möchte inhaltliche Faktoren finden

 

Ausgangsbasis: Korrelationsmatrix

 

(S.99 ff)

Voraussetzungen:

- Liegen überhaupt Korrelationen vor?

- substanzielle (bedeutsame, also mittlere bis hohe) Korrelationen zwischen den Items

> Bartlett-Test auf Sphäritität (Signifikanz = p; p<0,05 => H0 ablehnen)

H0: Korrelationen sind Null; H1

H1: Korrelationen sind ungleich Null - gewünscht

> Kaiser-Meyer-Olkin-Koeffizient (KMO-Koeffizient)

nicht unter 0,5

gemeinsame Varianz (alle Items haben etwas Gemeinsames) - soll hoch sein

spezifische Varianz (jedes Items hat etwas Spezielles) - soll niedrig sein

> MSA-Koeffizient (ähnlich KMO-Koeffizient)

soll möglichst hoch sein; einzelne Items

- EFA erfordert große Stichproben

- Verteilungseigenschaften:

Intervallskalenniveau

Normalverteilung (da sonst Methodenartefakte; eine Korrelation wäre auch hoch, wenn Verteilungsform ähnlich ohne inhaltlich zusammenzugehören)

bei ungünstigen Verteilungseigenschaften => Normalverteilung annähern durch

-- Zusammenfassung von Items zu Päckchen (parcels); z.B. linkssteile und rechtssteile Items zusammenpacken

-- transformieren

-- andere Korrelation: dichotom -> tetrachorisch; Ratingskalen -> polychorisch

man kann auch Faktoren in die Faktorenanalyse packen

 

Extraktionsmethode (PAF, PCA)

man will Faktoren rausbekommen, die man inhaltlich interpretieren kann

- PAF

gemeinsame Varianzanteile der Items

Messfehler kann berücksichtigt werden

Modell mehrerer gemeinsamer Faktoren (nicht alles geht in Analyse ein)

- PCA

gesamte Varianz der Items

Messfehler kann nicht berücksichtigt werden

Komponentenmodell (alles geht in Analyse ein)

 

Ladung

= Korrelation zwischen Faktor und Item

 

Kommunalität

= Summe der quadrierten Ladungen pro Item

 

Kommunalitätenschätzung

es geht um die Frage: Wie viel Varianz des Faktors klärt das Item auf?

Kommunalität muss geschätzt werden, wenn sie nicht bekannt ist

- PCA

Ausgangsbasis: Mittelwert von z = 0; s^2 = 1

in der Diagonalen stehen immer 1sen

>> die Varianz bei 10 Items ist 10, bei 9 Items 9...

- PAF

R^2 (quadrierter multipler Korrelationskoeffizient; r enthält bereits z-Transformation!)

in der Diagonalen steht immer R^2

R^2  - multiple Korrelation => Schätzung der Kommunalität

Beispiel: angenommen an erster Stelle der Diagonalen steht .70^2, dann bedeutet das: .70^2 = 0.49 => aufgeklärte Varianz; 49% der Varianz des 1. Faktors geht auf das 1. Item zurück

 

Rotation (S. 120 ff)

- wird gemacht, damit möglichst nur ein Item auf einen Faktor lädt (Einfachstruktur)

rotiert wird im geometrischen Raum; Faktoren = Achsen, die rotiert (gedreht) werden

- Rotationsverfahren:

-- orthogonal (rechter Winkel wird beibehalten): Varimax, Quartimax, Equamax

-- oblique (rechter Winkel wird nicht beibehalten; wenn Überschneidungen zwischen den Faktoren vermutet werden): Promax, Direkte Oblimin. Rotation

-- Prokrustre-Rotation

Enstehung von Strukturmatrix und Mustermatrix (wenn man die Faktoren interpretiert, nimmt man die Mustermatrix)

 

Zahl der extrahierten Faktoren

Abbruchkriterien:

- Kaiser-Guttman.Kriterium (KG-Kriterium); Eigenwert > 1

- Scree-Test (S. 118, Abbildung)

- statistisch:

-- Parallelanalyse (Parallelanalyse arbeitet mit Zufallsdaten; S. 118 f., Abb. S. 119 nachvollziehen)

-- Bartlett-Test

-- MAP-Test

 

Faktorwerte

= Werte der Personen auf den Achsen

wenn ein Item stark auf einen Faktor lädt, wird es bei den Faktorwerten stärker gewichtet als ein Item, das weniger stark auf diesen Faktor lädt

>> Items werden unterschiedlich gewichtet, je nachdem wie sie zum jeweiligen Faktor beitragen

 

Rohwert

= Skalenwert = (Roh-)Score

bei Rohwerten werden Items nicht gewichtet

 

Faktorenanalyse 1. Ordnung, 2. Ordnung

sekundäre Faktoren   (A)        (B)

Faktoren                     (1)    (2)     (3)     (4)     (5)

Item                             1    2   3   4   5    6     7   8   9 .....

 

Konfirmatorische Faktorenanalyse

- Teil von Linearen Strukturgleichungsmodellen (SEM)

- Prüfung von theoretischen Modellen

- manifeste Variablen = Indikatoren, Items

latente Variablen = Faktoren

- Ausgangsbasis: Kovarianzmatrix

(in der Diagonalen steht S^2)

 

Strukturmodell (Abb. auf S. 133)

es lassen sich Kausalhypothesen prüfen

sieben Klassen von Variablen möglich; exogen (UV) wirkt auf endogen (AV)

Fehlerterme (Residuen) können aufgeführt werden

Pfeil => Pfad

Ausprägung des Pfades (Parameter) ist Pfadkoeffizient

Pfadkoeffizient kann berechnet/ geschätzt oder festgelegt werden

nur manifeste Variablen => Pfadmodell

 

Identifizierbarkeit des Modells

a + b = 6   unteridentifiziert; mehr unbekannte als empirische Informationen; beliebig viele Lösungen

zusätzlich

2a + b = 10   gerade identifiziert; genau so viele Parameter wie Informationen; eine Lösung

zusätzlich

3a + b = 12     überidentifiziert; mehr Informationen als Parameter; keine Lösung

 

Freiheitsgrad

= wie viel Informationen man mehr hat als Parameter

Freiheitsgrad = Informationenanzahl minus Parameteranzahl

Beispiel: 3 Informationen und 2 Parameter => 3 - 2 = 1 Freiheitsgrad

 

die Matrix enthält p * (p + 1) / 2 Varianzen und Kovarianzen

=> Informationen

p = Anzahl der Items

Parameter = Anzahl der Pfeile

 

Arten von Spezifikationen

Gleichheitsbeschränkung

Ungleichheitsbeschränkung

Fixierung (auf einen Wert; Wert festlegen)

> damit weniger Pfadkoeffizienten geschätzt werden müssen

 

Skalierung

= Maßeinheit (einer latenten Variablen)

z.B. eine Varianz auf 1 festsetzen

Referenzvariable

 

skaleninvariant

skalenfrei

 

Ausgangsmatrix und Schätzalgorithmus (S. 140 f.)

Schätzverfahren:

- non-iterative

Anfangsschätzung; Startwerte für die Parameter

- iterative

-- Maximum-Likelihood (ML): große Stichprobe, multivariate Normalverteilung

-- Generalized Least Squares (GLS): - ähnlich ML -

-- Unweighted Least Squares (ULS): voraussetzungsfrei, nicht skaleninvariant, nicht skalenfrei

-- Asymptotically Distribution Free (ADF): Gruppe verwandter Methoden; zur Analyse dichotomer, kategorialer Daten ; keine/ kaum Voraussetzungen, skaleninvariant, skalenfrei, große Stichprobe

Matrix (S. 141)

Wie gut stimmt Matrix aus Modell mit Matrix aus Grundpopulationsmatrix überein?

Wie stark unterscheiden sich "echte" Matrix aus Daten und Modell-Matrix?

fit = Passung

Formel (S. 141, Mitte):

- links vom Gleichheitszeichen: "echte" Matrix, Matrix in der Grundgesamtheit, hat sich aus Daten ergeben

- rechts vom Gleichheitszeichen: Matrix aus Modell, ergibst sich aus dem Modell

- Gleichheitszeichen: "echte" Matrix und Modell-Matrix sollen idealerweise übereinstimmen, dann würde das Modell perfekt die Wirklichkeit abbilden und der Fit wäre ideal (also sehr hoch)

 

Schätzprobleme

- Nichtkonvergenz/ keine Lösung

- unzulässige Lösung (Heywood cases)

 

exakter Modell-Fit

Chi-Quadrat-Test

Fit-Indizes

 

Fit

= Passung

 

Fit-Indizes

Fit-Indizes versuchen, das Ausmaß der Modellpassung zu erfassen

(Tabelle auf S. 147 sollte man im Detail kennen!)

- absolute Fit-Indizes:

Vergleich zwischen geschätztem und frei geschätzem Modell (=EFA)

-- Badness-of-Fit (z.B. RMSEA): hoher Wert -> schlechter Fit

-- Goodness-of-Fit (z.B. GFI, AGFI): hoher Wert -> hoher Fit

- komparative (inkrementelle) Fit-Indizes:

Nullmodell (= alle Variablen sind voneinader unabhängig)

Wie viel besser ist das Modell als ein Nullmodell)

Typen 1, 2, 3

höhere Werte -> besserer Fit

z.B. Tucker-Lewis-Index (TLI), Comparative Fit Index (CFI)

 

Nestung

Modell ist genestet, wenn es sich von anderem nur durch Einführung von Beschränkungen unterscheidet (Definition auf S.148 Mitte/ unten)

anhand von den Abbildungen auf S. 136 nachzuvollziehen (das untere Modell wäre im oberen genestet, wenn der Doppelpfeil zwischen den Items nicht da wäre)

 

Grade der Äquivalenz von Messmodellen (S. 149 ff)

- streng-parallel; essentiell-parallel

- tau-äquivalent, essentiell-tau-äquivalent

- tau-kongenerisch

essentiell bedeutet, dass die Annahme gleicher Mittelwerte (Schwierigkeiten) aufgegeben wird

Abbildung S. 150:

ganz oben steht der Faktor (großer Kreis); die Pfeile, die vom Faktor auf die Items zeigen, sind die Ladungen; in der Mitte stehen die Items (Quadrate); ganz unten stehen die Messfehler (kleine Kreise)

das essentiell-parallele Diagramm ist im essentiell tau-äquivalenten Diagramm und im tau-kongenerischen Diagramm genestet

das essentiell tau-äquivalente Diagramm ist im tau-kongenerischen Diagramm genestet

 

Parameter (S. 151)

- unstandardisiert: abhängig von Maßeinheit

- standardisiert: unabhängig von Maßeinheitm da z-transformiert

 

Aggregation zu Skalenwerten

= Rohwertsummen = Skalenwert

Beispiel:

Item    1     2    3    4    5 

Wert   3 + 4 +  2 + 3 + 5 = 17 => Skalenwert

 

Normierungsstichprobe

= Eichstichprobe

 

gebräuchliche Normskalen (S. 157)

(sollte man einschließlich der Umrechnung kennen)

z-Skala, IQ-Skala, T-Werte, PISA-Skala, Stanine-Normwerte, Prozentrang

lineare und nicht-lineare Transformation

 

Testinterpretation

- normorientiert (S.155 ff)

Normskalen, Vergleiche mit Eichstichproben usw.

- kriterienorientiert (S. 159 f.)

Schwellenwert (Cut-off) überschritten?

Bestimmung Schwellenwert (z.B. durch ROC-Analyse)

richtig-positiv (Treffer, RP), falsch-positiv (falscher Alarm, FP; Alpha-Fehler), richtig-negativ (korrekte Ablehnung,RN), falsch-negativ (Verpasser, FN; Beta-Fehler)

Interpretation von Alpha-, Beta-Fehler sollte nicht nur rein auf Statistik beruhen, sondern auch den individuellen inhaltlichen Kontext berücksichtigen

Trefferquote = Sensitivität = RP / (FN + RP)

Verpasserquote = 1 - Sensitivität = FN / /FN + RP)

Quote korrekter Ablehnungen = Spezifität = RN / (FP + RN)

Quote falscher Alarme = 1 - Spezifität = FP / (FP + RN)

 

Evaluation

-formativ

während Testkonstruktion, beeinfluss daher Endform des Tests

- summativ

nach Abschluss der Testkonstruktion; führt ggf. zur Überarbeitung und Neuauflage des Test

 


3 Personen gefällt das
Melde dich an, um diesem Inhalt zu folgen  
Folgen diesem Inhalt 0


5 Kommentare


Hört sich sehr nach den Inhalten aus dem Mastermodul 1 an. 🙂

1 Person gefällt das

Diesen Kommentar teilen


Link zu diesem Kommentar
Markus Jung

Geschrieben

Eine Menge Stoff. Wenn das im Seminar wirklich für dich verständlich rüber gebracht wurde, hat dich das bestimmt ein großes Stück weiter gebracht.

 

Wurden dazu denn auch Übungen gemacht? Oder war es mehr ein Vortrag?

Diesen Kommentar teilen


Link zu diesem Kommentar
Lernfrosch

Geschrieben

vor 8 Stunden, Markus Jung sagte:

Wenn das im Seminar wirklich für dich verständlich rüber gebracht wurde, hat dich das bestimmt ein großes Stück weiter gebracht.

Ein riesiges Stück sogar. Gefühlt bei jedem dritten Satz hatte ich ein Aha-Erlebnis ;) Ich blicke sogar der Klausur schon etwas optimistisch entgegen... die Probeklausur wirkte zumindest schon mal nicht mehr so erschreckend wie vor einem halben Jahr.

 

Der Text im Studienbrief war mir bisher alles andere als verständlich. Ist schon erstaunlich, wie Alternative Formulierungen und eine veränderte Reihenfolge der Inhalte Dinge plötzlich verständlich machen.

Meine unliebsamsten Themen waren z.B. Rotation und Fit-Indizes... Letzteres ist mir zwar immer noch suspekt, aber die Idee dahinter ist deutlich geworden. Oder Rotation. Da hatte ich so gar keine Vorstellung, was damit gemeint sein sollte... jetzt finde ich das sogar eine ziemlich geniale Sache.

 

vor 9 Stunden, Markus Jung sagte:

Wurden dazu denn auch Übungen gemacht? Oder war es mehr ein Vortrag?

Es war ein freier Vortrag. Wichtige Aspekte, Beispiele, Diagramme u.ä. wurden ans Whiteboard geschrieben. Dazu hatte man den Studienbrief vor sich liegen.

Übungen im Sinne von klausurähnlichen Fragestellungen gab es bisher noch nicht (das soll noch beim letzten Termin kommen, wenn alle Inhalte besprochen sind).

Es konnten jederzeit zwischendrin Fragen gestellt werden, die ausführlich beantwortet wurden bis man es verstanden hat :)

Die Dozentin macht das unglaublich gut und versteht es, einem auch die noch so seltsamsten Statistik-Dinge anschaulich zu machen :thumbup1:

1 Person gefällt das

Diesen Kommentar teilen


Link zu diesem Kommentar
Lernfrosch

Geschrieben (bearbeitet)

Am 18. Juli 2016 at 14:58 , TomSon sagte:

Hört sich sehr nach den Inhalten aus dem Mastermodul 1 an. 1f642.png

Es wurde erwähnt, dass die Themen wohl im Master nochmal drankommen. Da allerdings vertieft. In M6a geht es mehr um so ein grundlegendes Verständnis, dass man die Begriffe gehört hat, etwas damit anzufangen weiß und sich dann in M6b nochmal im Praktikum damit auseinandersetzt.

Lernt ihr im Master auch die praktische Anwendung mit Übungen usw.? In M6a ist das ja theoretisch, ohne selbst Berechnungen durchzuführen o.ä....

Bearbeitet von Lernfrosch

Diesen Kommentar teilen


Link zu diesem Kommentar
vor einer Stunde, Lernfrosch sagte:

Lernt ihr im Master auch die praktische Anwendung mit Übungen usw.? In M6a ist das ja theoretisch, ohne selbst Berechnungen durchzuführen o.ä....

Ja, man macht praktische Übungen in SPSS, anhand echter Datensätze. Und neben der Theorie muss man auch die Ergebnisinterpretation beherrschen. 

Diesen Kommentar teilen


Link zu diesem Kommentar

Erstelle ein Benutzerkonto oder melde dich an um zu kommentieren

Du musst ein Benutzerkonto haben um einen Kommentar hinterlassen zu können

Benutzerkonto erstellen

Neues Benutzerkonto für unsere Community erstellen. Geht einfach!


Neues Benutzerkonto erstellen

Anmelden

Du hast bereits ein Benutzerkonto? Melde dich hier an.


Jetzt anmelden
  • Vielleicht auch interessant?