 |
| Dank Excel kann jeder Idiot in wenigen Minuten jeden Blödsinn korrelieren |
Von Susannah Cahalan für www.NYPost.com, 6. Mai 2017
Wie oft sind Sie bereits über eine Studie - sagen wir zum Thema Diät - gestolpert, die eine bestimmte Methode pries, nur um dann in der Woche danach einer anderen Studie über den Weg zu laufen, die das genaue Gegenteil behauptet?
Das liegt daran, dass viele medizinische Studien Müll sind. Es ist ein offenes Geheimis in der Forschungsgemeinde und es gibt sogar einen Namen dafür: "Die Reproduzierbarkeitskrise".
Eine Studie, die Legitimität für sich beanspruchen will muss repliziert werden, allerdings wird lediglich die Hälfte aller in den Zeitungen bejubelten medizinischen Studien einer zweiten Überprüfung unterzogen - und zwei Drittel der plakativsten Berichte über neueste Entwicklungen, darunter die Entdeckung neuer im Zusammenhang mit Übergewicht oder Geisteskrankheiten stehende Gene, werden später widerlegt.
Auch wenn das Irren ein Teil des wissenschaftlichen Prozesses ist, so sorgt das Ausmaß des Versagens für eine Verlangsamung des wissenschaflichen Prozesses insgesamt, es werden Zeit und Ressourcen verschwendet und es kostet den Steuerzahler jedes Jahr massive 28 Milliarden Dollar, schreibt NPR Wissenschaftskorrespondnt Richard Harris in seinem Buch "Rigor Mortis: Wie schlechte Forschung wertlose Heilmethoden hervorbringt, Hoffnungen zerstört und Milliarden kostet." (Basic Books). Harris meint gegenüber der NY Post:
"Wenn man etwas liesst, dann sollte man sich eine gesunde Portion Skepsis bewahren. Selbst die beste wissenschaftliche Leistung kann irreführend sein und oftmals ist das, was man liest nicht gerade das beste aus der Forschung."
Hier ein besonders ärgerliches Beispiel: Über viele Jahre arbeteite die Brustkrebsforschung mit falschen Melanomzellen, was bedeutet, dass es tausende in seriösen Wissenschaftsjournalen publizierte Aufsätze gibt, die sich mit dem falschen Krebs auseinandersetzen. Harris schreibt:
"Es ist unmöglich herauszufinden, wie viel Zeit uns der nachlässige Umgang mit den Zellen bei der Brustkrebsforschung gekostet hat."
Laut einer anderen Studie wurde ein Bluttest entwickelt, mit dem man Eierstockkrebs entdecken kann - was einer viel früheren Diagnose als bislang gleichkäme. Die Forschungsarbeit wurde im Fernsehen und in Zeitungen als großer Durchbruch für die Diagnose gefeiert. Eine nähere Untersuchung allerdings ergab, dass der einzige Grund für das "Funktionieren" des Tests darin bestand, dass die Forscher die beiden Proben an zwei unterschiedlichen Tagen testeten - und am einen Tag das Blut von Frauen mit Eierstockkrebs getestet wurde und am anderen Tag die Proben aller Frauen ohne den Krebs. Anstatt die Unterschiede zu messen hat der Bluttest in Wahrheit die tagesabhängigen Testmodalitäten gemessen.
Warum aber sind so viele Tests Humbug? Harris bietet einige Vermutungen an.
Zum einen, Forschung ist schwer. Alles, von der unbewusst bereits festgelegten Meinung - die Perspektive und These, mit der die Forscher auf ihre Arbeit blicken - bis zur Form des verwendeten Messbechers oder den Käfig, in dem die Labormäuse gehalten werden können das Ergebnis beeinflussen und die Reproduzierbarkeit unmöglich machen.
Dann gibt es das Finanzierungsproblem. Während der Hochzeiten Ende der 90er und in den Jahren danach, wurde die Forschungsfinanzierung erhöht, bis der Kongress entschied, sie für das nachfolgende Jahrzehnt konstant zu halten, wodurch ein intensiver - und manche würden sagen ungesunder - Wettbewerb unter den wissenschaftlichen Forschern entstand. Inzwischen werden nur noch 17 Prozent aller Forschungsvorhaben finanziert (verglichen mit zwei Drittel vor drei Jahrzehnten). Nimmt man dann noch die schlechten Arbeitsmarktaussichten für Absolventen mit Promotion hinzu - nur 21 Prozent werden verbeamtet - dann steigt der Anreiz, sensationelle aber gegenintuitive Studien zu publizieren, bei denen eine höhere Wahrscheinlichkeit besteht, dass sie falsch sind, so Harrris.
Eine Folge dieser Situation mit "Publikationsdruck" sind international Zahlenmanipulationen, bei denen Wissenschaftler selektiv Informationen herauspicken, die ihre Hypothese unterstützen, während sie alles ignorieren, was dagegen spricht - was laut Harris in der wissenschaftlichen Forschung leider viel zu oft vorkommt. Harris schreibt:
"Es gibt ein permanentes Gerangel um Forschungsgelder. Beförderungen und Verbaeamtungen hängen von sensationellen Entdeckungen ab. Für den ersten gibt große Belohnungen, selbst wenn die Arbeit am Ende widerlegt wird."
Das ganze wird mit weiteren finanziellen Einschnitten nur noch schlimmer werden - etwas, das mit den vorgeschlagenen Steuerkürzungen unausweichlich scheint. Harris meint:
"Das ganze wird das Problem nur vergrößern. Mit so vielen Wissenschaftlern, die um einen kleiner werdenden Geldtopf streiten, werden die Einschnitte diese Probleme nur verschlimmern."
Glücklicherweise gibt es eine wachsende Gruppe an Menschen, die daran arbeiten, die hässliche Seite der Forschung offenzulegen. Einer von ihnen ist der Stanfordprofessor John Ioannidis, einer der Helden der Reproduzierbarkeitsbewegung. Er hat ausgiebig über das Thema geschrieben, darunter ein vernichtender Aufsatz mit dem Titel "Warum die meisten veröffentlichten wissenschaftlichen Forschungserkenntnisse falsch sind".
Beispielsweise fand er heraus, dass von den zehntausenden Aufsätzen, in denen bestimmte Gene identifiziert wurden als verantwortlich für alles mögliche von Depression bis Übergewicht, dies nur 1,2 Prozent tatsächlich der Fall war. Gleichzeitig prüfte Dr. Ioannidis 49 Studien, die mindestens eintausend Mal zitiert wurden - und von denen sieben durch nachfolgende Forschungen "rundweg widerlegt" wuden. Darunter war eine Studie, die behauptete, dass Östrogen und Progestin gut sind für Frauen, deren Gebärmutter entfernt wurde, "obwohl die Medikamentenkombination in Wahrheit das Risiko von Herzkrankheiten und Brustkrebs erhöht."
Andere Organisationen wie Retraction Watch, die in Echtzeit diskreditierte Studien nachverfolgen und die Cochrane Gruppe, ein unabhängiges Forschernetzwerk, das für eine auf Nachweisen beruhende Medizin eintritt, agieren als Überwachungsgruppen der Industrie. Es gibt auch interne Ansätze, mit denen Wissenschaftler dazu gebracht werden sollen, dass sie ihre Zahlen publik machen, damit die Aufdeckung schlechter Forschung einfacher wird.
Auch die Öffentlichkeit kann dabei eine Rolle spielen. Harris schreibt:
"Würden wir unseren Enthusiasmus etwas zurückschrauben, dann hätten die Wissenschaftler womöglich einen etwas geringeren Anreiz, sich kopfüber auf dubiose Studien zu stürzen."
Im Original: Medical studies are almost always bogus
