• Der allgemeine Fehlerfall bei zweiwertiger Logik
• Für den Sachverhalt und die Daten ergibt sich folgende Tabelle
• Für den Sachverhalt und die Hypothesen ergibt sich folgende Tabelle
• Was sagt ein Signifikanztest aus ?
• Essential * Zusammenfassung * Abstract
• Signifikanz Kurz-Reader 1: Entscheidungsregel und Bedeutung Signifikanztest
• Signifikanz Kurz-Reader 2: Bredenkamp
• Signifikanz Kurz-Reader 3: Hager
• Welchen effektiven Wert hat eine Signifikanzaussage ?
• Wir gelangen also zu dem niederschmetternden Ergebnis
• Welche Voraussetzungen gehen in Signifikanztests ein ?
• Literatur (Auswahl) * Links * Querverweise

Ein Sachverhalt kann zutreffen, und wir können dies richtig oder falsch bewerten oder ein Sachverhalt kann nicht zutreffen, und wir können dies ebenfalls richtig oder falsch bewerten. Mit dieser zweiwertigen Logik ergeben sich grundsätzlich immer vier Möglichkeiten, wovon je nach Voraussetzung zwei  richtig und zwei falsch wären. Für alle Bewertungen bei zweiwertiger Logik (richtig, falsch) gelten also folgende Fälle:

Für den Sachverhalt und die Daten ergibt sich folgende Tabelle:
 

Sachverhalt / Daten	Die Daten sprechen für richtig	Die Daten sprechen für falsch
Der Sachverhalt trifft in Wirklichkeit zu	Wahr: Die Daten sprechen für richtig	Falsch: Die Daten sprechen für falsch
Der Sachverhalt trifft in Wirklichkeit nicht zu	Falsch: Die Daten sprechen für richtig	Wahr: Die Daten sprechen für falsch

Für die entsprechenden Daten sind angemessene statistische Modelle mit den ihnen angemessenen Verfahren und Prüfhypothesen zu wählen.

Für den Sachverhalt und die Hypothesen ergibt sich folgende Tabelle
 

Sachverhalt / Bewertung	Bewertung als richtig	Bewertung als falsch
Sachverhalt trifft zu (H0)	Richtig positiv bewertet (1-a) p(Irrtum) < a Þ H0 beibehalten	Falsch positiv bewertet (a) p(Irrtum) > a Þ H0 verworfen
Sachverhalt trifft nicht zu (H1)	Falsch negativ bewertet (b)	Richtig negativ bewertet (1-b)

 

In der Statistik haben diese Fehlerarten bei Unsicherheit besondere Namen. Man nennt den Fehler, den man begeht, wenn man eine richtige Hypothese verwirft, Alpha Fehler. Nimmt man hingegen eine falsche Hypothese als richtig an, spricht man vom Beta Fehler. Je mehr man den einen Fehler klein macht, desto größer wird der andere. Welchen Fehler man wie klein machen sollte, das hängt von der Definition "Sachverhalt" und vor allem von der Fragestellung ab und kann nicht von vorneherein allgemein gesagt werden. Sind die Konsequenzen sehr groß, so möchte man vor allem den Fehler klein machen, der fälschlicherweise einen Sachverhalt annimmt, auf den eine große Konsequenz - z.B. eine riskante Behandlung - folgt.      Als Sachverhalt in der Statistik gilt oft, zwischen zwei Größen gibt es keinen Unterschied (Null-Hypothese), also z.B. Frauen werden nicht älter als Männer (was nicht stimmt). Man sagt nun z.B., daß man diese Hypothese dann als richtig annehmen will, wenn die Irrtumswahrscheinlichkeit kleiner dem gewählten Signifikanzniveau a ist. Habe man z.B. eine Irrtumswahrscheinlichkeit mit Alpha a = 0,05 oder 5% gewählt und komme in der Untersuchung nun heraus, daß im konkreten Fall p = 0,078 ist, dann ist diese Wahrscheinlichkeit größer als man vorher bereit war zu akzeptieren: man verwirft die Hypothese relativ zu a = 0,05 weil p= 0,078 > a= 0,05 ist.

Essential * Zusammenfassung * Abstract
 

Ein Signifikanztest gibt die Wahrscheinlichkeit für die (Null-) Hypothese an unter der Voraussetzung, daß die (Null-) Hypothese wahr ist. Er sagt überhaupt nichts aus darüber, welche der Hypothesen denn vorzuziehen oder abzulehnen ist.

Signifikanz Kurz-Reader 1: Entscheidungsregel und Bedeutung Signifikanztest
Müller, P.H. (1970). Lexikon Wahrscheinlichkeitsrechnung und mathematische Statistik. Berlin: Akademie, S. 186.

Falls die Hypothese - gewöhnlich H₀ - richtig ist, gibt a eine (Irrtums) Wahrscheinlichkeit für eben dieses Ergebnis für das gewählte Wahrscheinlichkeits- und Signifikanzmodell an (Bredenkamp 1972, S. 52). Je kleiner das Signifikanzniveau gewählt wird, desto höher wird das Risiko eines  Beta-Fehlers. Das bedeutet nach Bredenkamp (1972, S. 53), wenn Fachzeitschriften a-signfikante Arbeiten bevorzugt veröffentlichen, daß:
 

"(a) Im Falle der Richtigkeit von H₀: Es werden Arbeiten angenornmen, die zufällig einmal signifikant geworden sind; die anderen Arbeiten werden zurückgewiesen. Damit besteht die Gefahr der Kumulation des statistischen Typ 1-Fehlers in der psychologischen Literatur (STERLING 1959).

(b) Im Falle der Richtigkeit von H₁: Es werden viele Ergebnisse zurückgewiesen, die für die Alternativhypothese gesprochen hätten, wenn nicht (i durch die Erhöhung des Signifikanzniveaus so groß gewesen wäre.

Diese »Philosophie« führt also zu einer Ausmerzung des statistischen Typ 2-Fehlers, da keine oder nur wenige die Nullhypothese bestätigende Arbeiten in der Zeitschrift aufgenommen werden. Ebenso führt sie aber zur Ausmerzung richtiger Entscheidungen zugunsten der Nullhypothese. Unter den abgelehnten Arbeiten befinden sich dann genau die Artikel, die zu einer richtigen Entscheidung über das Zutreffen der Nullhypothese und zu einer falschen Entscheidung über das Zutreffen der Nullhypothese gekommen sind. Die damit verbundenen Vor- und Nachteile wiegen einander nicht auf. Meistens ist die Beibehaltung der Nullhypothese das einer psychologischen Hypothese widersprechende Ergebnis. Will man überhaupt den Geltungsbereich psychologischer Hypothesen einschränken können, so muß die Wahrscheinlichkeit einer richtigen Entscheidung für die Nullhypothese groß sein. Dies erreicht man dadurch, daß x kleingehalten. wird. Die damit verbundene-Möglichkeit, richtig für die Nullhypothese entscheiden zu können, wird aber durch die Entscheidung, Arbeiten, die diese Hypothese bestätigen, nicht zu publizieren, wieder aufgehoben. Dieser Nachteil wird nicht dadurch ausgeglichen, daß sich unter den abgelehnten Arbeiten auch solche befinden, die fälschlich die Nullhypothese beibehalten haben; denn unter diesen befinden sich einige, die nur deswegen zu diesem Ergebnis geführt haben, weil das Signifikanzniveau so hoch gewählt wurde. Ähnlich verhält es sich mit den angenommenen Arbeiten, Unter ihnen sind Arbeiten, die zu einer richtigen, und Arbeiten, die zu einer falschen Annahme der Alternativhypothese geführt haben."

Signifikanz Kurz-Reader 3: Hager

Montage als GIF-Faksimilie durch Sponsel
 
 
 

Wie meist in der mathematisch orientierten Statistik testet man gegen fiktive Welten oder Hypothesen. Man spielt und inszeniert Testen für hypothetische Fragen in hypothetischen Welten. Tatsächlich und effektiv interessant wäre aber doch die Frage: ist die Nullhypothese richtig, falsch oder so oder so wahrscheinlich? Das ergibt aber gerade der Signifikanztest ja nicht. Der Signifikanztest sagt: wenn die Nullhypothese richtig ist, dann ergibt sich unter dieser Voraussetzung und den Voraussetzungen des  gewählten Wahrscheinlichkeits- und Signifikanzmodells für das erzielte Ergebnis eine gewisse Irrtumswahrscheinlichkeit p, die mit dem gewählten Signifikanzniveau verglichen wird. Natürlich kann die Nullhypothese genauso gut falsch sein. Auch dieser Fall wäre in eine vernunftgeleitete Testung einzubeziehen.

Wir gelangen also zu dem niederschmetternden Ergebnis:
 

Der Signifikanztest kann seiner Konstruktion nach gar keine vernünftige Entscheidungshilfe sein, welche Hypothese, H0 oder H1 angenommen oder verworfen werden soll, weil sein Ergebnis nur unter der Voraussetzung, daß die Nullhypothese richtig ist, gilt. Das weiß man ja aber gar nicht und es wäre die eigentliche Aufgabe, herauszufinden, welche Hypothesen richtig sind. Erst wenn geklärt ist, daß die Nullhypothese tatsächlich richtig ist, wäre ein Signifikanztest, der eben dieses voraussetzt, eine vernünftige und ergiebige statistische Methode. Der Signifikanztest wird seinem Wesen nach weitgehend unsinnig als Testspiel und scheinwissenschaftliches Theater angewendet.

Die meisten AnwenderInnen wissen die Voraussetzungen, die in ihre Signifikanzspiele eingehen, überhaupt nicht. Hierbei sind an folgende Voraussetzungen zu denken:
 

1. Skalenniveau der Daten (meist mindestens Intervallniveau vorausgesetzt; Messungen per fiat [Orth 1974, S. 41)
2. Zufallsauswahl der DatenträgerInnen
3. (Multi) Normalverteilung der Daten
4. Gleiche Varianzen
5. Ergozidät, Stationarität

Ausführlich zu den Voraussetzungen bei statistischen Anwendungen besonders in der Psychologie

Literatur (Auswahl)

• Bakan, D. (1966). The test of significance in psychological research. Psychological Bulletin 66, 423-437.
• Brandt, L. W., (1976). Zur Sozialpsychologie der Statistik. Psychologische Beiträge 18, 481-490.
• Bredenkamp, J. (1969). Über Maße der praktischen Signifikanz. Zeitschrift für Psychologie, 177, 310-318.
• Bredenkamp, J. (1972). Der Signifikanztest in der psychologischen Forschung. Frankfurt/ Main: Akademische Verlagsanstalt.
• Bredenkamp, J. (1980). Theorie und Planung psychologtscher Experimente. Darmstadt: Steinkopff
• Carver, R.R (1978). The Case against Statistical Significance Testing. Harvard Edac. Rev., 48, 378-399.
• Cohen, J. (1990). Things I have learned (so far). American Psychologist 45, 1304-1312.
• Cohen, J. (1994):The Earth is round (p < .05), American Psychologist (1994), 49, 997-1003.
• Falk, R. (1986). Misconceptions of statistical significance. Journal of Structural Learning 9, 63-96.
• Falk, R., Greenbaum, C. W. (1995). Significance Test Die Hard. The Amazing Persistence of a Probabilistic Misconception. Theory and Psychology, Vol. 5(1), 75-98.
• Fisher, Ronald A. (1925). Statistical Methods for Research Workers. Edinburgh: Oliver & Boyd. [Online]
• Gigerenzer, G., Murray, D. J. (1987). Cognition as intuitive statistics. NJ, Hillsdale: Erlbaum.
• Gigerenzer, G. (1993). The Superego, the Ego, and the Id in statistical reasoning. In: Keren, G., Lewis, C. (1993), 311-339.
• Gigerenzer, G. (dt. 2002, engl. 2002). Das Einmaleins der Skepsis. Über den richtigen Umgang mit Zahlen und Risiken. Berlin: Berlin. [allgemein kritisch]
• Guttman, L. (1977). What is not what in statistics. The Statistician 26, 81-107.
• Harnatt, J. (1973). Psychologische Hypothesen und ihre Prüfung. Eine kritische Betrachtung zur Formulierung un inferenzstatistischen Prüfung experimentalpsychologischer Hypothesen. Dissertation Erlangen.
• Harnatt, J. (1975). Der statistische Signifikanztest in kritischer Betrachtung. Psychologische BeitrÄge 17, 595-612.
• Hell, Wolfgang (2018) Signifikant! Die Replikationskrise in der Psychologie. Skeptiker 2, 58-67.
• Herrmann, F. (1992). Rechnergestützte Verdeutlichung des Fehlers 2. Art als Ergänzung zum klassischen Signifikanztest. Am Beispiel balancierter, linearer Modelle in der Medizin. Dissertation Med. Fak. Univ. Köln.
• Jacobson, N. S., Truax, P. (1991). Clinical Significance: A Statistical Approach to Defining Meaningful Change in Psychotherapy Research. Journal of Consulting and Clinical Psychology 59(1), 12-19.
• Keren, G., Lewis, C. (1993). A handbook for data analysis in the behavioral sciences: Methodologal issues. Hillsdale, NJ: Erlbaum.
• Kriz, J. (1978). Statistik in den Sozialwissenschaften. Reinbek: Rowohlt.
• Lykken, D. T. (1968). Statistical significance in psychological research. Psychological Bulletin 70, 151-159.
• Rozeboom, W. W. (1960). The fallacy of the null-hypothesis significance test. Psychological Bulletin 57, 416-428.
• Rüppel, H. (1977). Bayes-Statistik. Eine Alternative zur klassischen Statistik. Archiv für Psychologie 129, 175-186.
• Sedlmeier, Peter (1996). Jenseits des Signi kanztest-Rituals: Ergänzungen und Alternativen. Methods of Psychological Research Online 1996, Vol.1, No.4, 41-63. [O]
• Sedlmeier, K (1998): Was sind die guten Gründe für Signifikanztests? Methods of Psychological Research Online, 3,39-42.
• Simmons, J. E; Nelson, L. D.; Simoitsohn, U. (2011): False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant, Psychological Science, 22, 1359-1366.
• Sponsel, Rudolf (1994). Numerisch instabile Matrizen und Kollinearität in der Psychologie. Ill-Conditioned Matrices and Collinearity in Psychology. Zweisprachig. Ins Englische übersetzt von Agnes MEHL. Mit einem Beitrag (Kap. 6) von Dr. B. Hain: Bemerkungen über Korrelationsmatrizen. Erlangen: IEC-Verlag.
• Wendt, D. (1983). Statistische Entscheidungstheorie. In: EnzyklopÄdie der Psychologie, Forschungsmethoden der Psychologie, Bd. 5: Hypothesenprüfung, 471-529, Hogrefe: Göttingen.
• Witte, E. H. (1980a). Signifikanztest und statistische Inferenz. Analysen, Probleme, Alternativen. Stuttgart: Enke.
• Ziliak, S. T.; McCloskey, D. N. (2008): The Cult of Statistical Significance. University of Michigan Press, Ann Arbor.

• Signifikant - und sonst nichts?  Über die Bewertung. Hornung, Joachim. Abstract: Statistische Signifikanz kann kein alleiniges Qualitätskriterium für klinische Studien sein. Eine kurze Liste unverzichtbarer Forderungen wird gegeben. Die Problematik von Bewertungsskalen wird diskutierte: https://www.datadiwan.de/netzwerk/index.htm?/hornung/ho_003d_.htm
• Publikationen Bredenkamp: https://www.psychologie.uni-bonn.de/allgm/neu/publikat/mitarb/breden_j.htm