IP-GIPT DAS=15.12.2005 Interneterstausgabe, letzte Änderung 21.6.10
Impressum: Diplom-Psychologe Dr. phil. Rudolf Sponsel Stubenlohstr. 20 D-91052 Erlangen
Mail:_sekretariat@sgipt.org_ Zitierung & Copyright
Für professionell Interessierte: Abkürzungen, Definition, Erklärung und Bedeutung zur
Standard-(Korrelations)-Matrix-Analysen (SMA)
von Rudolf Sponsel, Erlangen
Querverweise
Quelle: Extrakt aus Kapitel 2 und 4: Sponsel, Rudolf (Kap. 1-5,7-10) & Hain, Bernhard (Kap. 6 ) (1994). Numerisch instabile Matrizen und Kollinearität in der Psychologie. Diagnose, Relevanz & Utilität, Frequenz, Ätiologie, Therapie. Erlangen: IEC-Verlag.
Allgemeines: Sinn
und Nutzen der Standard-Matrix-Analyse
Forschung ist sehr teuer und sehr zeitaufwendig. Von daher ist es sehr
wichtig, daß man mit zuverlässigen Datensätzen und Verfahren
arbeitet, damit keine Korrelationsmatrizen mit bösartig negativen
Eigenwerten
die ganze Arbeit zunichte machen. Matrizen, die wie Korrelationsmatrizen
aussehen, also quadratisch und symmetrisch sind, in der Hauptdiagnonale
eine 1 stehen haben und ansonsten für alle Werte <= | 1 |
gilt, sind dann keine Korrelationsmatrizen, wenn sie auch
nur einen negativen Eigenwert enthalten, selbst wenn dieser nur
klein ist. Nun gibt es „gutartige" und „bösartige" Kollinearität.
„Gutartige" bedeutet so etwas wie die Entdeckung einer Gesetzmäßigkeit,
wenn es sich nicht um methodische Artefakte handelt, etwa wenn identische
Merkmale erhoben werden (Sponsel
1994, Kap. 3.2.2 S. 22). Die wichtigste differentialdiagnostisches Quelle
ist die Eigenwertanalyse. Jeder Eigenwert nahe bei 0, worunter wir praktisch-operational
solche < 0.05 verstehen, deutet eine mehr oder minder starke Kollinearität
an (~0,2 Fast-Kollinearität)
. Mit Hilfe der PESO-Analyse (Hain,
Kapitel 6) können die Kollinearitäten relativ genau untersucht
werden. Liegen die Rohwerte vor, lassen sich auch die Übergänge
gut untersuchen und auf Relationentreue prüfen.
Differentialdiagnose
bei Verdacht auf numerische Instabilität
Zunächst ist festzustellen, ob die Matrix positiv definit ist
oder nicht. Die Differentialdiagnose zwischen "gutartig" und "bösartig"
ist einfach. Ist die Matrix positiv definit, so ist die numerische Stabilität
als grundsätzlich "gutartig" zu bewerten. Hat die Matrix ihre positive
Definitheit verloren, ist jede Entgleisung möglich und die numerische
Instabilität ist als "bösartig" einzustufen. Schwerste Fehler
oder Malträtierungen liegen vor, wenn die negativen Eigenwerte > |0.05|
sind, aber auch weit kleinere können zu massiven Entgleisungen führen.
Am günstigsten ist es, wenn sich die negativen Eigenwerte im Bereich
allenfalls der zweiten Nachkommastelle bewegen, sie sind dann aller Wahrscheinlichkeit
nach rundungsfehler-bedingt und einer "Therapie", ohne die Originaldaten
zu sehr zu verbiegen zugänglich. Hohe Konditionszahlen und kleine
Eigenwerte weisen auf mehr oder minder starke Kollinearität hin. Die
Eigenwertposition sagt hierbei nichts über die zugeordneten Variablen.
Für genauere Studien der Beziehungen nützt: (1) PESO-Analyse
Kleinste reduzierte Normen und Relationen. (2) Multiple Korrelationsanalyse
und Multiple Regressionsanalyse. (3) Partielle Korrelationen und
Regressionen. Die Übersicht (Sponsel 1994 Kap. 3) kann als Checkliste
benutzt werden, welche Ursachen bzw. verknüpfte (multiple, komplexe)
Ursachen die Kollinarität hervorrufen.
Die Überschrift gibt AutorInnen, Jahr, Titel und Quelle der veröffentlichten (Korrelations) Matrix an.
Result abstract = Zusammenfassung der numerischen
Matrix-Analyse:
Samp Or MD NumS Condit Determinant
HaInRatio R_OutIn K_Norm C_Norm
Hierbei bedeuten die Abkürzungen (genauere Erläuterungen siehe
bitte unten):
Samp =: Stichprobengröße
Or =: Ordnung der Matrix
MD =: Missing Data Angaben
NumS =: Bewertung (& evtl. Anzahl neg. Eigenwerte)
Condit =: HEVA/LEVA (größer durch kleinsten
Eigenwert dividiert)
Determ =: Determinante
HaInRatio =: HADAMARD Zahl Inverse
R_OutIn =: LES Input Output Ratio
K_Norm =: Kleinste PESO-Norm Korrelationsmatrix
C_Norm =: Kleinste PESO-Norm Cholesky-Matrix
Erläuterungen zu den Abkürzungen und Kriterien der Standard-Matrix-Analyse:
File =: Name der Korrelationskoeffizientendatei. Hierbei kann man dem Korrelations-Identifier im Na-men unter Umständen wichtige Informationen entnehmen .
N-order =: Ordnung der Matrix (=Anzahl Spalten = Anzahl Zeilen): Je höher die Ordnung, desto mehr Mög-lichkeiten für Instabilität gibt es. Mit zunehmender Ordnung muß aus rein formalen Gründen die De-terminante kleiner werden, wenn die Einträge außerhalb der Diagonalen nicht kleiner werden und gegen Null gehen. Die numerischen Kriterien können daher wahrscheinlich nicht absolut beurteilt wer-den, sondern nur relativ zur Ordnungszahl, es sei denn die Matrix ist indefinit, dann ist möglicherweise "alles zu spät". Der "genaue" Zusammenhang muß statistisch erforscht werden.
N-sample =: Stichprobengröße: Die Stichprobengröße hat verschiedene Funktionen: (1) liegt sie nahe bei der Variablenzahl, ist die numerische Stabilität eingeschränkt bis völlig entgleist. (2) Die Stichprobengröße sagt etwas über die Sicherheit der Schlüsse: je größer der Umfang, desto sicherer ist die Datenbasis, sofern die Stichprobe (3) repräsentativ für die Population ist, über die etwas ausgesagt werden soll. (3) weiß man fast nie, weil in den Fachzeitschriften kein Problembewußtsein für die Repräsentationsrelation existiert und echte Zufallsauswahlen praktisch nie erfolgen.
Rank =: Rang der Matrix: Jeder Eigenwert = 0 vermindert den Rang einer Matrix um 1. Man sagt auch, eine solche Matrix sei kollinear. Eine Matrix enthält so viele Kollinearitäten wie Eigenwerte 0 sind. Korrelationsmatrizen, die aus Messwerten gewonnen wurden, haben fast immer vollen Rang. Auch runden oder abschneiden führt im allgemeinen zu einem ähnlichen Effekt wie eine Messung, d.h. es kommt zu Ungenauigkeiten und damit zu vollem Rang. Praktisch ist es daher sinnvoll, den Begriff des Fast- oder Epsilon-Ranges einzuführen, um den empirischen Rangcharakter einer Matrix deutlich zu machen. In Matlab gibt es z.B. den Befehl rank=(m,tol), wobei tol die Eigenwertoleranzschwelle angibt, ab der ein Rangdefekt erfasst wird. Siehe auch: Der Rang und seine Bedeutung bei Korrelationsmatrizen.
Missing data =: Vermerk, ob und welche Informationen zu möglichen Missing Data Lösungen vorlie-gen und welche Methode der Behandlung des Problems angewandt wurde. Meist steht hier der Eintrag -1, da es in der Fachliteratur nicht üblich ist, anzugeben ob Missing Data vorliegen, obwohl es meist der Fall und von großer Bedeutung für die multivariate Datenverarbeitung ist. Die wichtigsten Codes: Unbekannt -1. Ja, aber keine nähere Information zur Methode -2. Keine Missing Data 0. Komplett eliminiert -3. Paarweise eliminiert -4. Die Codes 0 und -3 haben keine negativen Auswir-kungen auf die numerische Stabilität, eher positive, es sei denn, die Datensätze schmelzen recht zusammen (-> 8 SPONSEL 1984 (S2)). In den meisten Fällen klar problematisch sind die Codes -2 und vor allem -4, da hier die Winkel und damit die korrelativen Beziehungen verzerrt werden (-> 3.2.4 S_MWMD, HAIN -> 6.5.4).
NumS =: Bewertung (& evtl. Anzahl neg. Eigenwerte). Hier gibt es bislang folgende Bewertungen: ? unklar, fraglich, z. B. bei Distanzmatrizen, die konstruktionsbedingt indefinit sein müssen. + numerisch stabil. +? „Borderline" tendenziell eher numerisch stabil. -? „Borderline" tendenziell eher numerisch instabil - . Numerisch instabil --Z indefinit mit Z negativen Eigenwerten. Liegt auch nur ein negativer Eigenwert vor, ist die Matrix indefinit und Entgleisungen jeglicher Art sind möglich. Die Matrix ist sozusagen "psychotisch" geworden: keinem Wert kann man mehr vertrauen, alles ist möglich. Ein solcher Zustand ist unter allen Umständen zu verhindern, oder rückgängig zu machen bzw. umgehend zu "therapieren" bevor weitergerechnet werden kann.
Positiv Definit = Cholesky successful: Ist die Matrix positiv definit, muß die Cholesky-Zerlegung (R=X'X; Dreieckszerlegung) möglich sein. Alle Cholesky-Diagonalelemente sind dann positiv. Negative Cholesky- Diagonalelemente zeigen eine indefinite Matrix und negative Eigenwerte an. Ist ein Cholesky- Diagonalelement 0, muß auch ein Eigenwert 0 sein und die Matrix verliert in dem Umfang an Rang, indem Cholesky- Diagonalelemente 0 sind: sie ist dann singulär.
HEVA =: Highest eigenvalue abs.value. Der größe vorkommende Eigenwertbetrag.
LEVA: Lowest eigenvalue absolute value. Der kleinste vorkommende Eigenwertbetrag.
Kondition einer Matrix:
Die Schwäche oder Stärke der numerischen In/ Stabilität
einer Matrix bezeich-net man auch als „condition" (Kondition) und drückt
sie in einer sog. Konditionszahl aus:
CON =: Condition number HEVA / LEVA, Con ist also der Quotient aus
größtem und kleinsten Eigen-wert : Faustregelbewertungen in
Abhängigkeit von der Ordnung der Matrix:
< 10 < 20 < 30 < 40 <
50 < ...
<
30 + +
+ + +
+
<
50 +? +
+ + +
+
<
100 - -
-? -? -?
-?
>
100 - -
- - -
-
DET =: Die Determinante repräsentiert den Betrag des Volumens des n-dimensionalen Spats mehr di-mensionaler Körper). Je kleiner sie ist, desto kleiner ist das Volumen des Spats. Ein kleines Volumen kann hierbei durch einen einzigen kleinen Vektor, was einem kleinen Winkel entspricht, hervorgeru-fen werden. Das ist der kritische Fall. Eine kleine Determinante kann aber auch ganz "normal" durch den natürlichen" Rechenprozeß entstehen, ohne daß sie numerische Instabilität ausdrücken muß. Eine Beurteilung allein aufgrund des Determinantenbetrages ist daher nicht sinnvoll. Folgende Faustregeln haben daher nur orientierenden Wert:
Order of matrix
< 10 < 20 < 30 <
40 < 50 <
< .1.............10^-1
+ + +
+ + +
< .01............10^-2
+? + +
+ + +
< .001...........10^-3
-? +? +
+ + +
< .0001..........10^-4
- -? +?
+ + +
< .00001.........10^-5
- -? +?
+ + +
< .000001........10^-6
- - -?
+? + +
< .0000001.......10^-7
- - -
-? +? +
< .00000001......10^-8
- - -
- -? +?
< .000000001.....10^-9
- - -
- - -?
< .0000000001....10^-10 -
- - -
- -
Es gibt nun eine Reihe unterschiedlicher Berechnungsmethoden von Determinanten. Aus der Übereinstimmung der jeweiligen Determinantenbeträge lassen sich ebenfalls Informationen über die Güte der numerischen Stabilität der Matrix gewinnen. Manche Methoden sind aber nicht anwendbar, wenn die Matrix indifinit ist, d. h. negative Eigenwerte enthält.
HAC =: HADAMARD condition number (Kap. 2 Sponsel 1994, S. 32). Regel: Je kleiner HAC, desto schwächer die Kondition der Matrix.DET Determinant original matrix (Berechnung in OMIKRON-Basic) DET Determinant (CHOLESKY-Diagonal^2). Berechnung über die quadrierten Choleskywerte. DET Determinant (PESO-CHOLESKY). Berechnung die Cholesky-Werte nach PESO (Programm Erhard Schmidtsche Orthogonalisierung) DET Determinant (product eigenvalues). Methode Multiplikationsprodukt der Eigenwerte. DET Determ.abs.val.(PESO prod.red.norms). Methode in PESO.
HCN =: Heuristic condition: HCN= |DET|CON. (für Testzwecke)
D_I =: Determinant Inverse absolute value
HDA =: HADAMARD Inequality absolute value (Sponsel 1994, Kap. 2, S. 32
HIR =: HADAMARD RATIO: D_I / HDA. Die HADAMARDsche Zahl für die Inverse gibt an, in welchem Verhältnis die reale Determiante der Inversen gegenüber ihrem theoretischen Maximalwert bei gegebener Koeffizientenmatrix liegt. Nach der Faustregel von FADDEJEW & FADDEJEWA kann eine Inversendeterminante als klein gelten, für deren Verhältnis 1: 50000 gilt (HaInRatio< .00002):
Determinant
Hadamard boundary HaInRatio
Inverse
Inverse
1 : 1000
.001 1 * 10^-3
1 : 5000
.002 2 * 10^-3
1 : 10000
.0001 1 * 10^-4
1 : 20000
.00005 5 * 10^-5
1 : 50000
.00002 2 * 10^-5
1 : 100000
.00001 1 * 10^-5
1 : 1000000
.000001 1 * 10^-6
Interpretationsbeispiel: THURSTONE,L.L. (USA: The University of Chicago)
(2) "Primary Mental Abilities", Chicago 1938, p.110-111
Table 2.
U n u s u a l m a n y negative
eigenvalues (14!) see also > HOLZINGER,K.J., HARMAN,H.H. THU57T.T57
Samp Or MD NumS Condit Determinant
HaInRatio R_OutIn K_Norm C_Norm
240 57 -2 --14 15648.6 2.38
D-25 8.20 D-79 834.1 .001(1)
-1(-1)
Die reale Determinante ist 8.2*10^-79 kleiner als der theoretisch mögliche Wert bei vorgegebener Koeffizientenmatrix (einer der extremsten Ergebnisse dieser Untersuchung [Sponsel 1994, Kap. 8: Korrelationsmatrizenreport 1910-1993).
Inverse der Matrix: Aus den Diagonalelementen der Inverse der Korrelationsmatrix läßt sich nach einer von Tucker (1972) gefunden Methode - wenn die Matrix nicht singulär ist - leicht der multiple Korrelationskoeffizient berechnen (Sponsel 1994, Kap. 2, S. 22). Aus der Tuckergleichung kann man sofort ersehen, weshalb die multiplen Korrelationskoeffizienten größer 1 werden müssen, wenn die Matrix indefinit ist und negative Eigenwerte enthält.
Highest inverse positive diagonal value = d , thus multiple r(i.rest)
Highest inverse negative
diagonal value = -d , thus multiple r(i.rest)
and there are n multiple r > 1
Maximum range (upp-low) multip-r(i.rest):
gibt den maximalen Abstand zwischen dem größten und dem kleinsten
multiplen
Korrelationskoeffizienten (jeder.gegen_den_rest) an.
LES =: Numerical stability analysis: Ratio maximum range output / input. Dieser Wert gibt an, um das wievielfache sich der output ändert, wenn an der dritten Stelle im Nachkommabereich eine Veränderung um eine Einheit vorgenommen wird. Im Thurstone-Beispiel oben ergab sich ein R_OutIn von 834.1, d. h.: Ändert man die Korrelationsmatrix, also den Input an der jeweils dritten Nachkommastelle um eine Einheit, so ändert sich der Output um das 834fache.
PESO-Analyse von
Dr. Bernhard Hain, Erlangen
„PESO" ist die Abkürzung für: Programm Erhard
Schmidtsche Orthogonalisierung.
K_Norm =: Kleinste PESO-Norm Korrelationsmatrix. Die kleinste reduzierte Norm ("kürzeste" Norm, "flachster" Winkel) der Korrelationsmatrix ist ein Maß für den Grad der Kollinearität. Je kleiner der Wert der K_Norm, desto stärker der Grad an Kollinarität. Das Produkt aller reduzierten Normen ergibt den Betrag der Determinante. Es genügt also eine einzige kleine K_Norm, um das Volumen nahe an 0 zu führen (Entsprechung zur Funktion kleiner Eigenwerte). PESO für die Korrelationsmatrix ist so justiert, daß für alle K_Normen < 0.01 in Klammern die Anzahl der Relationen (Kollinearitäten) ausgegeben wird. Die Wurzel aus der K_Norm liefert eine obere Schranke für den höchsten Korrelationskoeffizienten.
C_Norm =: Kleinste PESO-Norm Cholesky-Matrix. Die C_Norm repräsentiert die kleinste reduzierte Norm der Cholesky-Matrix. Die Bedeutung der Cholesky-Zerlegung beruht u. a. auf der Isometrie zu den Rohdaten. Die kleinste C_Norm gibt den kleinsten Winkel an, der für die zentriert normierten Rohdaten vorliegt. Das Quadrat der kleinsten C_Norm ist größer-gleich der kleinsten K_Norm. Als empirische Faustregel gilt: (C_Norm^2)/(2...5) ~ K_Norm. Weiter gilt: r(multiple) = SQR(1-C_NORM^2). Aus der C_Norm können also direkt die multiplen Korrelationskoeffizienten bestimmt werden:
multiple correlation
C_Norm K_Norm range
C_Norm^2 1-C_Norm^2
SQR(1-C_Norm^2)
.90 .405...
.162 .81
.19 .4359
.80 .320...
.128 .64
.36 .6000
.70 .245...
.098 .49
.51 .7141
.60 .180...
.072 .36
.64 .8000
.50 .125...
.050 .25
.75 .8660
.40 .080...
.032 .16
.84 .9165
.30 .045...
.018 .09
.91 .9539
.20 .020...
.008 .04
.96 .9798
.10 .005...
.002 .01
.99 .9945
.09 .0040..
.0016 .0081 .9919
.9959
.08 .0032..
.0013 .0064 .9936
.9967
.07 .0024..
.0009 .0049 .9951
.9975
.06 .0018..
.0007 .0036 .9964
.9982
.05 .0012..
.0005 .0025 .9975
.9987
.04 .0008..
.0003 .0016 .9987
.9994
.03 .0004..
.0002 .0009 .9991
.9995
.02 .0002..
.0000 .0004 .9996
.9998
.01 .0000..
.0000 .0001 .9999
.99995
Die Relation oder Kollinearität kann über die kleinste Cholesky Norm also auch über den bekannten und gewohnten multiplen Korrelationskoeffizienten ausgedrückt werden. Eine C_Norm <.31 kann hier als kritische Grenze für den Beginn deutlicherer Kollinearität dienen.
Interpretationsbeispiel: THURSTONE,L.L. (USA: The University of Chicago)
(1) "The Vectors Of Mind", The Psychological Review 41,1,1934,
p.25 "Table VI Correlation Of Nine Tests Used By W.P. Alexander Westfield
State Farm-71 Cases". THURB9.K09
Samp Or MD NumS Condit Determinant
HaInRatio R_OutIn K_Norm C_Norm
-1 9 -1 -
176.6 .0003279 .0000624
18.1 .017(0) .211(0)
Die kleinste Cholesky Norm C_Norm = .211, das entspricht einem multiplen Korrelationskoeffizienten von ungefähr .97 und auch die andern numerischen Kriterien zeigen numerische Instabilität und Kollinarität an.
Statistik
der Korrelationsmatrix und Verteilung der Beträge (Sponsel 1994,
Kap. 2.3, S. 28f)
Diese Daten dienen in erster Linie Forschungszwecken.
Ncor =: Anzahl der Koeffizienten einer Matrix, hier Quadrat der Ordnung. L1-Norm =: Summe aller Koeffizienten-Beträge ohne Diagonalelemente. L2-Norm =: Euklidische Norm: Wurzel aus der Summe aller quadrierten Werte. Max =: maximaler Wert, bei „normalen" Korrelationsmatrizen üblicherweise 1., bei „korrigierten" oder „therapierten" können höhere Werte vorkommen, was angezeigt werden sollte. Min =: Kleinster Wert. m|c| =: Arithmetischer Mittelwert der r-Beträge der Dreiecksmatrix ohne Diagonalelemente. s|c| =: Standardabweichungen der Korrelationskoeffizientenbeträge. N_comp: Anzahl der durchgeführten Paarvergleiche. m-S: Mittelwert aller Abstände zwischen den paarweise verglichenen Werten der Dreiecksmatrix ohne Diagonalelemente („Ähnlichkeit" der Koeffizienten-Werte). s-S: Standardabweichung aller Abstände zwischen den paarweise verglichenen Werten der Dreiecksmatrix ohne Diagonalelemente („Ähnlichkeit" der Koeffizienten-Werte).
Fast- Kollinearität in Korrelationsmatrizen mit Eigenwert-Analysen erkennen. Ergänzungsband - Band II (2005) zu "Numerisch instabile Matrizen und Kollinearität in der Psychologie- Ill-Conditioned Matrices and Collinearity in Psychology - Diagnose, Relevanz & Utilität, Frequenz, Ätiologie, Therapie"
Querverweise
Standort: Für professionell Interessierte: Abkürzungen, Definition, Erklärung und Bedeutung zur
Standard-(Korrelations)-Matrix-Analysen (SMA).
*
Für NichtmethodikerInnen und Laien: worauf kommt es an bei Korrelationsmatrizen_
Überblicks- und Verteilerseite: Numerisch instabile Matrizen und Kollinearität in der Psychologie - Ill-Conditioned Matrices and Collinearity in Psychology - Diagnose, Relevanz & Utilität, Frequenz, Ätiologie, Therapie.
Fast- Kollinearität in Korrelationsmatrizen mit Eigenwertanalysen erkennen.
* Überblick Statistik in der IP-GIPT * Überblick Wissenschaft in der IP-GIPT. * Überblick Faktorenananlyse *
*
| Suchen in der IP-GIPT,
z.B. mit Hilfe von "google": <suchbegriff>
site:www.sgipt.org
z.B. Numerisch instabile Matrizen site:www.sgipt.org. * Kollinearität site:www.sgipt.org * Korrelation site:www.sgipt.org |
Dienstleistungs-Info.
*
Zitierung
Sponsel, Rudolf (DAS). Für professionell Interessierte: Abkürzungen, Definition, Erklärung und Bedeutung zur
Standard-(Korrelations)-Matrix-Analysen (SMA). IP-GIPT. Erlangen: https://www.sgipt.org/wisms/nis/nis_prof.htm
Copyright & Nutzungsrechte
Diese Seite darf von jeder/m in nicht-kommerziellen Verwertungen frei aber nur original bearbeitet und nicht inhaltlich verändert und nur bei vollständiger Angabe der Zitierungs-Quelle benutzt werden. Das Einbinden in fremde Seiten oder Rahmen, die die Urheberschaft der IP-GIPT nicht jederzeit klar erkennen lassen, ist nicht gestattet. Sofern die Rechte anderer berührt sind, sind diese dort zu erkunden. Sollten wir die Rechte anderer unberechtigt genutzt haben, bitten wir um Mitteilung. Soweit es um (längere) Zitate aus ... geht, sind die Rechte bei/m ... zu erkunden oder eine Erlaubnis einzuholen.
Ende_NIS für Profis_Überblick _Relativ Aktuelles _Rel. Beständiges _Titelblatt _ Konzept _ Archiv _ Region _ Service iec-verlag _ _ Wichtige Hinweise zu Links und Empfehlungen_Mail: sekretariat@sgipt.org
Änderungen wird
gelegentlich überarbeitet, ergänzt und vertieft * Anregungen
und Kritik willkommen
02.08.06 Ergänzungen zum Rang
(rank)
01.04.06 Layout, Links.