Wenn Forscher durch den Signifikanztest fallen

Für einen kurzen Augenblick stand Matt Motyl an der Schwelle zum wissenschaftlichen Ruhm. 2010 entdeckte er bei einem Experiment, dass Extremisten die Welt in Schwarz und Weiß sehen – und das ganz buchstäblich.

Seine Ergebnisse waren "vollkommen eindeutig", erinnert sich der Psychologiedoktorand an der University of Virginia in Charlottesville. Seine Studie an 2000 Probanden ergab, dass die Links- oder Rechtsextremen unter den Teilnehmern diverse Grauschattierungen schlechter unterscheiden können als politisch moderater eingestellte Menschen.

"Das war nicht nur eine sexy Hypothese", sagt Motyl, "sie war auch durch die Befunde eindeutig gestützt." Das zeigte sich, als er den entsprechenden p-Wert errechnete – eine gängige Art, um die Güte eines statistischen Belegs zu beziffern. Er lag bei 0.01 – das gilt im Allgemeinen als "hochsignifikant". Die Veröffentlichung in einem Topjournal war zum Greifen nah.

Dann aber kam ihm die Realität in die Quere. Motyl und sein Betreuer Brian Nosek wussten um den Streit über die mangelnde Reproduzierbarkeit wissenschaftlicher Studien und waren vorsichtig geworden. Besser noch einmal überprüfen, dachten sie sich, und bezogen zusätzliche Daten in die Analyse ein.

Prompt sprang der p-Wert auf 0,59 – nicht einmal in die Nähe der Schwelle, ab der ein Ergebnis als signifikant gilt: Unter 0,05 hätte er liegen müssen. So aber verschwand der Effekt. Und mit ihm Motyls Traum vom frühen Ruhm.

Weiterlesen im Originalartikel.