Jemand hat die Diät/Medien-Industrie geprankt. Grandios.

Ich streue ja schon seit einiger Zeit einige Rants über diese ganzen Diät- und Gesund-durch-Ernährungs-Heinis ein. Wobei ich nicht sagen möchte, dass es kein gesundes und ungesundes Essen gibt. Natürlich soll man nicht literweise Cola, Kaffee und Alkohol trinken und Berge frittierter Sachen und Süßigkram essen. Nur hinter Versprechen wie "Iss diese Beeren oder dieses Gemüse, dann wirst du gesund" sind hirnrissig. Es mag ja wirklich sein, dass es so eine Wunderernährung gibt, nur gibt es quasi keine Möglichkeit, das in einem seriösen Versuchsaufbau (der wissenschaftlichen Kriterien standhält) herauszufinden bzw. nachzuweisen. Dazu fehlt allein schon das Geld für einen großen Versuchsaufbau mit ausreichend vielen Teilnehmern. Wobei selbst dann noch fraglich ist, ob man Ernährung überhaupt sinnvoll erfassen kann. Halten sich die Versuchsteilnehmer an die Ernährungshinweise oder essen sie doch heimlich etwas Verbotenes? Protokollieren sie den Versuch richtig? Ändern sich nicht während des Versuchs zig der anderen Parameter für Gesundheit (mehr/weniger Bewegung, ...).

In der Praxis führt das dazu, dass es unfassbare viele schlechte bis gruslige Studien gibt, die trotz viel zu geringer Teilnehmerzahl und zu unsicherer Ergebnisse von den Medien gierig aufgegriffen werden. Es vergeht quasi kein Tag, an dem nicht irgendein "Salz ist gut, Salz ist schlecht. Süßstoff ist gut, Süßstoff ist schlecht. Brokkoli macht dich gesund."-Artikel in der Zeitung steht. Und wenn man in den Zeitschriftenmarkt schaut, gibt es eine Menge Frauen- und zunehmend Männermagazine, die scheinbar zur Gänze aus Artikeln bestehen, die aus solchen substanzlosen Studien zwei Seiten-Artikeln machen ... Und dabei natürlich jede Recherche über die Hintergründe (z. B. zu den Geldgebern der Studie) unterlassen. (Empfehle zur Finanzierproblematik z.B. das hier: The Scotsman: Sweet firms’ links to nutrition studies probed; tl;dr: 250.000 Pfund von Nestlé, Coca-Cola, Mars, etc. für "Ernährungswissenschaftler", die u.a. die Regierung beraten)).

Ich verweise dazu auch auf zwei ältere Postings von mir:

Schöner Artikel über Korrelation und wie wenig daraus zu lernen ist.

Scott Adams: Vergesst alles, was ihr über Ernährung und Gesundheit wisst

Nun hat jemand die grandiose Idee gehabt, aus genau diesen ganzen Kritikpunkten einen Medien-Prank zu machen.

Man hat sich also einen Studienaufbau ausgedacht. Man nehme ein paar Versuchsteilnehmer, eine potenziell schlagzeilenkompatible Idee ("Dunkle Schokolade ist gesund") und ein paar Parameter, die man beobachtet. Dann teilt man die Versuchsteilnehmer in die üblichen Gruppen ein. Eine bekommt Schokolade, die andere nicht. Dann beobachtet man für ein paar Wochen (länger hält es ja eh keiner ohne Schoko aus ;) ) und dann gibt es irgendein Ergebnis.

Dass es ein Ergebnis geben wird, ist nahezu sicher, wenn man ausreichend viele Parameter beobachtet. Denn je mehr Parameter man beobachtet, desto eher wird irgendein Parameter anschlagen. Erhöhen kann man die Wahrscheinlichkeit für einen signifikanten Ausschlag, indem man die Anzahl der Teilnehmer nicht zu hoch macht; so ergibt es irgendwo einen Zufallstreffer. Außerdem wichtig, dass man keine saubere Bereinigung der Daten macht, also z.B. nach Geschlecht und Alter bereinigt. Da kann es schon zu einem Zufallsergebnis kommen, weil in einer Gruppe 60% Frauen sind und in der anderen 40% ... Oder die eine Gruppe im Schnitt 55 und die andere 40 ist.

Im Fall der "dunklen-Schokolade-Studie" war es nun so, dass ein Parameter ein Ergebnis lieferte und sogar ein statistisch signifikantes: Die Gruppe, die mehr dunkle Schokolade gegessen hat, nahm schneller ab. Wohlgemerkt nicht "mehr abgenommen", nur am Anfang schneller. Das ganze klug und prägnant formuliert und raus mit der Pressemitteilung.

(Kleine Nebenbemerkung: Statistisch signifikant bedeutet, dass die Zahlenauswertung ein Ergebnis bringt, das so eindeutig ist, dass Zufall ausgeschlossen werden kann. Das Problem dabei ist aber, dass diese "statistische Signifikanz" für das Gesamtergebnis nur ein Teil der Grundlage darstellt. Wenn die erste Stufe, nämlich die Erhebung der Zahlen nichts taugt, hilft auch eine saubere statistische Aufbereitung nichts. Dazu braucht man beides: Einen sinnvollen Versuchsaufbau (inklusive Messung) und die korrekte statistische Aufbereitung. Sobald in einem der beiden Teile schlampig gearbeitet wird, ist die ganze Studie Müll (Das was ich hier über Ernährung schreibe, gilt übrigens im Bereich der Ökonomie leider auch oft genug)).

Den Medien sind solche Überlegungen natürlich total fremd. Die "Mit-dunkler-Schoko-nimmt-man-schneller-ab"-Studie war einfach zu geil. Das bringen dann alle Medien und kein Journalist fragt mal nach und stellt die essentiellen Fragen (Wie viele Leute haben teilgenommen? Wer hat die Studie durchgeführt (haben die Erfahrung?)) oder zieht einen Experten zurate, der Ahnung hat (dann wäre zum Beispiel aufgefallen, dass das Institut, das die Studie durchgeführt hat, aus kaum mehr als einer Website bestand ...). Okay, die "Forschungskonkurrenz" zu fragen, wäre für die Medien klare Planübererfüllung gewesen, die meisten haben nicht einmal den Studienersteller kontaktiert ... Bloß keine geile Geschichte totrecherchieren ...

Bild brachte als erstes Medium mit signifikanter Reichweite die Story (sogar auf Seite 1). Damit war die Basis für eine weltweite Verteilung der Nachricht gelegt ... Die Geschichte kam danach wirklich nahezu überall.

Der ganze Prank hier schön aufgeschrieben:

I Fooled Millions Into Thinking Chocolate Helps Weight Loss. Here's How.

Ansonsten gilt weiterhin: Haltet Euch von Ernährungs- und Diätquatsch fern und haltet Euch an

“Eat Food, not too much, mostly plants”.

Mehr gibt es bei der Ernährung nicht zu beachten. Der wichtigste Teil fehlt eh noch: Bewegt Euch. Treppen statt Aufzug. Zu Fuß zum Bäcker/Briefkasten. Dann wird es schon.

Zum Schluss noch drei Links (neben dem Scotsman-Artikel oben), die ich schon lange zu Artikeln machen wollte, aber hier jetzt mal einfach verbrate, damit sie nicht ewig in der Schleife rumeiern, und weil sie passen:

Kein Hinweis auf heilende Wirkung: Die Legende vom gesunden Alkohol - Medizin - Technik - Handelsblatt (das solltet ihr natürlich ignorieren, denn kein Alk ist auch keine Lösung ;) )

Und noch spannender:

The Conversation: We’re so indoctrinated that saturated fat is bad that we don’t listen to the science

Nicht einmal der Zusammenhang zwischen der Einnahme von ungesättigtem Fett und Herzinfarkten scheint noch haltbar. Auch ist der langfristige Trend von Fettaufnahme und Übergewicht keiner, der als Beweis gilt. Denn der Anteil von Fett an der Nahrung ist in den letzten 40 Jahren gesunken, das Übergewicht dennoch immer schlimmer geworden. Es scheint eher so, als sei das Mehr an Kalorien viel entscheidender für die Zunahme von Übergewicht als die Zusammensetzung der Kalorien.

Ähnlich ist es inzwischen bei Cholesterin. Hier schlagen die Wissenschaftler, die die US-Gesundheitsbehörde beraten, inzwischen sogar vor, die Warnung vor Cholesterin aus den Ernährungsrichtlinien (die noch 2015 aktualisiert werden) komplett zu streichen. Auch die Warnung vor zu viel Zucker könnte unter Umständen kippen, zumindest wird die Warnung vor Zucker wohl überarbeitet. Es wird nicht mehr vor Zucker gewarnt, sondern vor "hinzugefügtem" Zucker. Und es wird geraten, den Zucker nicht durch Süßstoff zu ersetzen, sondern das zuckerhaltige Getränk (Cola, Limonade) durch Wasser zu ersetzen. Im Extremfall könnte es sein, dass die 2015er-US-Ernährungsrichtlinien aus nichts anderem mehr bestehen als "nicht zu viel Salz und maximal x Kalorien. Und jedes weitere Detail (wie viel Zucker, wie viel Fett, wie viel gesättigtes Fett, wie viel Cholesterin, ...) weggelassen wird. Ok, es ist unwahrscheinlich, dass es so radikal wird; wahrscheinlicher ist: Nur 2.300 mg Natrium (etwa 6 Gramm Salz) pro Tag, maximal 10% der Kalorien aus "added sugar" und maximal 10% der Kalorien aus gesättigten Fettsäuren: Scientific Report of the 2015 Dietary Guidelines Advisory Committee

(Die Cholesterin-Warnung ist übrigens nahezu sicher raus. Mich würde übrigens interessieren, wie lange die Pharmaindustrie, die Milliarden mit Cholesterinsenkern verdient, dagegen gearbeitet hat. Es ist für den Verkauf der Medikamente natürlich hilfreich, wenn Cholesterin generell als gefährlich gilt. Auch wenn zugegebenermaßen zwischen Essen von Cholesterin und Cholesterin im Blut ein großer Unterschied ist; eventuell verkaufen sich die Medikamente genau so gut wie früher ...).

Auch wenn ihr mit Sicherheit in Zukunft in den Medien permanent mit "x essen ist gesund, y essen ist schlecht" genervt werdet: Vergesst es. Achtet auf die Anzahl der Kalorien, auf die Art des Essens (frisch, natürlich) und auf Bewegung. That's it. Sich den Kopf über den Rest zu zerbrechen, hat nur einen extrem zweifelhaften Zusatznutzen.

Update (15:46):

Jetzt auch in der FAZ: Bittere Schokoladenerkenntnis.


Update 2 (20:08):

Sehr gut in Spektrum.de über die grundsätzlichen Probleme der Ernährungsstudien. Es ist dort kaum was nachzuweisen, weil Ernährung kein wichtiger Faktor für die Gesundheit ist. Also zumindest so lange man sich halbwegs vernünftig ernährt. Dann irgendwelche "Wundernahrungsmittel" reißen es mit Garantie nicht raus ...

Meinung: Essen ohne gutes Gewissen

Kommentare :

  1. Tatsächlich ist nicht die Datenerhebung sondern die statistische Analyse fehlerhaft, denn man kann tatsächlich den Faktor "mehrere Vergleiche" beachten (Stichwort: ANOVA und Bonferroni-Korrektur statt mehrerer vermeintlich unabhängiger t-Tests).

    Aber Du hast Recht, dass das zu selten gemacht wird. Das beste Beispiel dafür ist mMn der (tote) Lachs, bei dem statistisch signifikant einige fMRI-Voxel auf die emotionale Färbung sozialer Interaktionen (zwischen Menschen!) reagieren. Allerdings nur, wenn man nicht die Mehrfachvergleiche bei der Analyse beachtet. siehe: http://prefrontal.org/files/posters/Bennett-Salmon-2009.pdf

    AntwortenLöschen
    Antworten
    1. Kann man bei einer derart geringen Grundgesamtheit sinnvolle Aussagen treffen? OK, unter Umständen könnte eine Bonferroni-Korrektur auch rechnerisch das Ergebnis liefern, dass keines der Ergebnisse statistisch signifikant ist.

      Löschen
    2. Du meinst die Grundgesamtheit ein Lachs? Oder 15 Bilder?

      Klar, die Beschränkung auf nur einen Lachs (wohl der Ethikkommission und der Größe der Arbeitsgruppe geschuldet, der Lachs wurde anschließend gedünstet und gegessen, für mehr reichte wahrscheinlich der Hunger nicht) bedeutet, dass wir nur wissen, dass es einen Lachs gab, der post-mortem zu interspecies perspective taking in der Lage war.

      Ohne dass ich der Statistikvollprofi wäre: die haben ja false-discovery-rate und familywise-error-rate benutzt und dann nichts mehr gefunden (p>.25). Soweit ich weiß sind die Tests beide weniger konservativ als Bonferroni-Korrektur, sodass mit Bonferroni-Korrektur erst recht nichts mehr gegangen wäre.

      In Deinem Beispiel sind es "nur" 18 Maße und p<.05, um tote Lachse fast sicher (p<.001) zu erwecken braucht es eben ein paar tausend Voxel.

      Und die 15 Bilder? Die sind ungefähr so wie die 15 Versuchspersonen in Deinem Beispiel, dazu schreibt er ja, dass das den Einfluss externer Faktoren verstärkt. Würd ich aber nicht als so gravierend sehen, weil das die Statistik nicht systematisch verletzt und eigentlich die Tests das n selbst mitverwursten sollten.

      Löschen

Vielen Dank für Deinen Kommentar.

Sorry. Es sind leider keine anonymen Kommentare mehr möglich. Ich werde von mehr als 50 Spamkommentaren pro Tag geflutet und habe keine Lust, diese von Hand zu scannen, um darin alle drei Tage einen anonymen Kommentar zu finden, der veröffentlicht werden kann. Meldet Euch bitte an. Sorry für die Umstände.

Related Posts with Thumbnails

egghats Amazonstore