Studien – die richtige Sichtweise

"Vertrauen ist gut, Kontrolle ist besser!"

In diesem Artikel möchten wir ein wenig auf Studien eingehen und was sie für uns im Alltag bedeuten können. Wir wollen auf verschiedene Argumente eingehen, die Menschen benutzen, um Studien als Argument für sich zu nutzen oder sie bewusst in einer Diskussion zu ignorieren.

Uns geht es dabei in erster Linie nicht darum, Dir zu erklären wie Studien im kleinsten Detail funktionieren oder eine spezielle Studie vorzuführen, vielmehr geht es darum Dir unsere Sichtweise auf die Rolle von Studien in unserem Alltag zu zeigen.

Wir werden Dir aufzeigen, dass Studien ein wertvolles Werkzeug sind, dass aber das Vertrauen das wir in das Wort „Studie“ legen, auch missbraucht werden kann. Wir werden einige Totschlagargumente bewerten und versuchen aufzuschlüsseln woher sie kommen und was davon zu halten ist.

Wir nehmen dazu die These „Lebensmittel xy macht dick“ und werden sie, wenn immer möglich, als Beispiel einarbeiten.

Es gibt nicht DIE Studie!

Das allerwichtigste zuerst: Es ist nicht möglich pauschale Bewertungen über „Studien“ zu abzugeben. Die Zahl und Einsatzzwecke von Studien sind unglaublich vielschichtig, sie stammen aus verschiedenen Bereichen wie der Medizin oder dem Finanzwesen. Die Bandbreite reicht von einer Laborstudie, über Kohorten Studien bis hin zu Cross-over Studien.

Die Studien im Bereich des Sportes, Nahrungsergänzungen oder Ernährung im Allgemeinen und deren Ergebnisse die uns in den Medien begegnen stammen mit großer Wahrscheinlichkeit aus eine der folgenden Studienarten:

• Beobachtungsstudie, patientenbezogene Datenerhebung im Gesundheitsbereich
• Cross-Over-Studie, zum Ausschluss falscher Effekte bei medizinischen Studien
• Fall-Kontroll-Studie, Form der epidemiologischen Studien
• Klinische Studie, Wirksamkeitsüberprüfung
• Kohortenstudie, beobachtendes Studiendesign der Epidemiologie
• Längsschnittstudie, zur Untersuchung sozialer und individueller Wandlungsprozesse
• Langzeitstudie, Untersuchung über einen außerordentlich langen Zeitraum
• Nicht-interventionelle Studie, reine Beobachtungsstudie
• Ökologische Studie, Untersuchung von Exposition und Krankheit auf der Ebene von Regionen und Bevölkerungsgruppen
• Querschnittstudie, einmalige empirische Untersuchung
• Prospektive Studie, Wirksamkeitsüberprüfung
• Retrospektive Studie, Untersuchung einer Vorgeschichte
• Randomisierte kontrollierte Studie (RCT), nach dem Zufallsprinzip

Jede dieser Studien hat seinen Einsatzzweck und seine Daseinsberechtigung. Aber nicht alle davon eignen sich für jeden Zweck gleichermaßen. Es geht wieder einmal darum nicht Schwarz – Weiß zu sehen, sondern Sachverhalte differenziert zu betrachten. Auch wenn wir Kohorten Studien gerne kritisiere, bedeutet das nicht, dass diese Art der Studie per Se schlecht ist oder keinen Wert hat. Sie ist nur nicht dazu geeignet einen kausalen Zusammenhang zwischen zwei Faktoren zu beweisen. Sie kann aber Daten liefern um Thesen aufzustellen, und um diese in weiterführenden Studien zu untersuchen.

Wer also eine solche Kohorten Studie dazu benutzt, um seine These zu beweisen (Bsp. Lebensmittel XY macht Dick), benutzt diese Studie einfach nicht für den Zweck, für den sie entworfen wurde.

Der Abstract im Scheinwerfer

Wenn bestimmte Sachverhalte aus Studien Schlagzeilen machen und in den sozialen Medien diskutiert werden, stammen sie häufig aus dem „Abstract“ einer Studie. (Bsp. https://www.ncbi.nlm.nih.gov/pubmed/20718183) Es handelt sich hierbei eine Art Inhaltsangabe der durchgeführten Studie. Es ist ein Abriss der wissenschaftlichen Arbeit ohne eine Interpretation oder Wertung.

Die Definition des American National Standards Institute (ANSI) lautet:

„An abstract is defined as an abbreviated accurate representation of the contents of a document.“

„Ein Abstract ist definiert als eine gekürzte präzise Darstellung des Inhalts eines Dokuments.“

Dieser Abstract dient also dazu den Inhalt kurz und prägnant darzustellen, er soll vielleicht sogar dazu dienen Menschen aus diesem Forschungsbereich dazu zu veranlassen das komplette Dokument zu lesen oder dafür sorgen, dass die durchführenden Wissenschaftler mit Kollegen über die Ergebnisse auf Konferenzen diskutieren.

Der Abstract dient aber NICHT dazu ein komplettes Ergebnis zu präsentieren auf dessen Inhalt man seine Diskussion stützen sollte. Hier passiert es nicht selten, dass man beim Lesen der kompletten Studie seine Meinung revidieren muss. Und das nur weil ein gemeinsames Auftreten zweier Faktoren (z.B. Lebensmittel xy und erhöhtes Köpergewicht) zwar im Abstract erwähnt wurde, aber von den Forschern abschließend nicht so bewertet wurde wie man es erwartet.

Die Totschlagargumente

Studien und Praxis – Zwei verschiedene Dinge!

Eines der häufigsten Argumente in Diskussionen ist der Unterschied zwischen Praxis und Studien. Dabei bekommt den Eindruck, dass unser Leben eine Baustelle und eine Studie ein Labor wäre. In Wirklichkeit ist es aber so, dass Studien die Praxis unter kontrollierten Bedingungen abbilden.

Es fängt mit Daten an, die aus unserem Leben erhoben werden z.B. mit Befragungen. Diese werden dann auf verschiedenem Niveau kontrolliert und überprüft.

Wenn also bei einer Kohortenstudie mit großen Menschenmengen die Daten zeigen, dass Menschen mit einem BMI über 30 (Adipositas Grad I) ein bestimmtes Lebensmittel gerne und häufig essen könnte die These aufkommen: „Lebensmittel XY und erhöhtes Körpergewicht stehen im Zusammenhang“

Nun muss man, um diese These auf die Probe zu stellen, eine Gruppe unter kontrollierten Bedingungen einen Zeitraum X mit der Menge Y Kalorien versorgen und das Lebensmittel XY auf den Speisenplan stellen. Danach könnte man die gleiche oder eine andere Gruppe in einem zweiten Zeitraum mit der gleichen Menge Kalorien versorgen aber das Lebensmittel XY ausklammern. So könnte man nach Abschluss der Studie sagen, ob das Lebensmittel einen signifikanten Einfluss auf das Körpergewicht hat.

Es geht jetzt nicht darum zu bewerten, ob unser genanntes Studiendesign sinnvoll ist, sondern darum Dir zu zeigen, dass Studien nicht völlig von der Praxis abgekoppelt sind, sie sollen Sachverhalte unter möglichst kontrollierten Bedingungen abbilden. Das alltägliche Leben führt allerdings viele Störfaktoren mit sich, die eine objektive Bewertung unmöglich machen.

Aber es handelt sich aber um Praxis. Echte Menschen, in dem Fall echte Lebensmittel und dann um echte Ergebnisse.

Es sind keine Maschinen oder Forscher, die sich nur etwas auf dem Papier ausdenken. Nur weil einem die spätere Auswertung mit den Formulierungen und Diagrammen sehr theoretisch vorkommen sollte die Basis immer realistische Praxis sein.

Leider wird mit dem Studiendesign manchmal Schindluder getrieben und die Voraussetzungen sind praxisfremd, hier ist es wieder wichtig die komplette Lage zu erfassen und nicht nur den Abstract oder das Ergebnis der Studie zu lesen. Auch hier heißt es „Vertrauen ist gut, Kontrolle ist besser!“

„Meine praktische Erfahrung zeigt XY….!“

Sehr häufig kommt das Argument, das das Gegenüber einen bestimmten Sachverhalt anders erlebt, empfunden oder zugetragen bekommen hat. Das ist erstmal sehr schwierig zu bewerten. Eigene Erlebnisse sind eingefärbt, man ist voreingenommen und man ist eben nur eine Person.

Das bedeutet, dass 1. Das Ergebnis einer Studie wirklich nicht auf die Person zutreffen kann oder 2. Die persönlichen Erlebnisse durch Störfaktoren beeinflusst wurden.

Eine Studie soll in seinem Ergebnis immer einen Großteil der Menschen abdecken, das bedeutet aber auch, dass es Abweichungen von den Ergebnissen geben KANN. Viel häufiger ist es aber einfach so dass im Alltag Störfaktoren die objektive Einordnung unmöglich machen.

„Zahlen lügen nicht!“

Hier kommen wir zur anderen Seite der Medaille, das blanke Festhalten an Studienergebnissen oder Meldungen die auf Studien basieren. Hier wird mit dem Argument gearbeitet, dass Zahlen nun mal Fakten sind denen man ins Auge sehen muss und die unumstößlich sind.

Zuerst einmal: Ja, Zahlen selbst lügen nicht und stehen für sich selbst! Aber woher kommen die Zahlen und wer legt fest welche Zahlen wie gewertet werden?

Welche Mengen von Zahlen gab es und wie wurden sie erhoben? All das sind Fragen und Faktoren die dafür sorgen, dass wir Zahlen nicht blind vertrauen dürfen.

Es ist ein Unterschied ob Zahlen aus einem Messgerät wie einer Waage kommen, oder sie aus einem Fragebogen kommen. Der Mensch verschätzt sich sehr oft, wenn es um Fragen wie Kalorienmenge oder Gewicht geht. Hier muss also betrachtet werden wo welche Daten herkommen und wie sie interpretiert werden. Eine pauschale Aussage ist hier wie so oft nicht sinnvoll und zeugt von Verbohrtheit.

Signifikant heißt nicht deutlich oder viel

Gerade bei Nahrungsergänzungen oder Diätetischen Lebensmitteln wird mit Studien geworben und dass ein Effekt „statistisch signifikant“ war. Viele nehmen an das bedeutet, dass wir es hier mit einer deutlichen Wirkung zu tun haben. Dem ist aber nicht so, es handelt sich hierbei um einen eindeutigen Effekt, eindeutig heißt, dass der Effekt im Rahmen der Studie nicht zu bestreiten ist.

Er ist vorhanden, messbar und reproduzierbar.

Das kann aber trotzdem bedeuten, dass die Effektgröße sehr klein ist und im Alltag des Trainings z.B. für den Muskelaufbau keinen Unterschied macht. In dem Fall ist die Aussage in der Werbung keine Lüge, sie lässt aber Spielraum für Interpretationen und bedeutet nicht, dass dieses Produkt in der Anwendung wirklich sinnvoll für mich ist.

Bei Überraschungen genau hinschauen

Besondere Vorsicht ist geboten, wenn Studien vordergründig Material liefern, das sehr deutlich gegen die bisherige geläufige Meinung geht. Das heißt nicht, dass man nicht offen für neues sein sollte, aber in vielen schon gefestigten Bereichen und Themen ist es zumindest erst einmal sehr sonderbar, wenn Daten plötzlich in eine völlig andere Richtung zeigen.

Hier kann man darauf achten, dass die Studie schon einem Peer-Review unterzogen wurde, bevor man sich groß in Panik versetzen lässt oder völlig euphorisch wird.

Peer Review bedeutet, dass sich Kollegen aus dem gleichen Fachgebiet die Ergebnisse genau anschauen und auf Fehler oder nicht plausible Schussfolgerungen überprüfen. Aber auch hier gilt genau hinschauen, nicht jedes Peer-Review unterliegt den gleichen Bewertungsmaßstäben. Ein Peer Review dient nicht dazu selbst Schlussfolgerungen zu ziehen, es dient lediglich dazu methodische Fehler aufzudecken und zu schauen ob der Ansatz der Lösung sinnvoll ist.

Offen und aufmerksam sein

Das war nun ein sehr langer Artikel, der Dir hoffentlich geholfen hat manches etwas klarer zu sehen. Es geht uns hierbei in erster Linie darum, Dir zu zeigen, dass du offen für neue Informationen sein sollst, aber diese Informationen selbst überprüfen und bewerten solltest. Schlagworte und Schwarz – Weiß Argumente sollten nicht Deine Ratgeber sein.