Illusion of validity

Aus Das unsichtbare Imperium

Die Illusion der Validität ist eine kognitive Voreingenommenheit, bei der eine Person ihre Fähigkeit überschätzt, das Ergebnis der Analyse einer Reihe von Daten genau zu interpretieren und vorherzusagen, insbesondere wenn die analysierten Daten ein sehr konsistentes Muster aufweisen—das heißt, wenn die Daten eine kohärente Geschichte "erzählen".

Dieser Effekt bleibt auch dann bestehen, wenn sich die Person aller Faktoren bewusst ist, die die Genauigkeit ihrer Vorhersagen einschränken, d. h. wenn die Daten und/oder die zu ihrer Beurteilung verwendeten Methoden zu äußerst fehlerhaften Vorhersagen führen.

Daniel Kahneman, Paul Slovic und Amos Tversky erklären diese Illusion wie folgt: "Das Vertrauen, das sie in ihre Vorhersage haben, hängt in erster Linie vom Grad der Repräsentativität ab, wobei die Faktoren, die die Vorhersagegenauigkeit begrenzen, wenig oder gar nicht berücksichtigt werden. So äußern Menschen großes Vertrauen in die Vorhersage, dass eine Person ein Bibliothekar ist, wenn sie eine Beschreibung ihrer Persönlichkeit erhalten, die dem Stereotyp von Bibliothekaren entspricht, selbst wenn die Beschreibung dürftig, unzuverlässig oder veraltet ist. Das ungerechtfertigte Vertrauen, das durch eine gute Übereinstimmung zwischen dem vorhergesagten Ergebnis und den eingegebenen Informationen entsteht, kann als Illusion der Gültigkeit bezeichnet werden".

Konsistente Muster können beobachtet werden, wenn die Eingangsvariablen stark redundant oder korreliert sind, was das subjektive Vertrauen erhöhen kann. Eine Reihe von stark korrelierten Eingaben sollte jedoch das Vertrauen nicht viel mehr erhöhen als nur eine der Eingaben; stattdessen sollte ein höheres Vertrauen verdient sein, wenn eine Reihe von stark unabhängigen Eingaben ein konsistentes Muster zeigen.

Entdeckung und Beschreibung

Diese Verzerrung wurde erstmals von Amos Tversky und Daniel Kahneman in ihrem 1973 erschienenen Werk "On the Psychology of Prediction" beschrieben.

In einem Artikel aus dem Jahr 2011 erzählte Kahneman die Geschichte seiner Entdeckung der Illusion der Gültigkeit. Nach Abschluss seines Psychologiestudiums und einem Jahr als Infanterieoffizier in der israelischen Armee wurde er der Psychologieabteilung der Armee zugeteilt, wo er bei der Beurteilung von Kandidaten für die Offiziersausbildung mit einem Test namens "Leaderless Group Challenge" half. Die Kandidaten wurden auf ein Hindernisfeld geführt und erhielten eine Gruppenaufgabe, so dass Kahneman und seine Kollegen ihre individuellen Führungsqualitäten oder deren Fehlen feststellen konnten.

Doch obwohl Kahneman und seine Kollegen aus der Übung mit sehr klaren Urteilen darüber hervorgingen, wer eine potenzielle Führungspersönlichkeit war und wer nicht, erwiesen sich ihre Prognosen auf lange Sicht als "weitgehend nutzlos". Als Kahneman und seine Kollegen ihre ursprüngliche Bewertung der Kandidaten mit den Einschätzungen ihrer Kommandeure an der Offiziersschule Monate später verglichen, stellten sie fest, dass ihre eigene "Fähigkeit, die Leistung an der Schule vorherzusagen, vernachlässigbar war. Unsere Vorhersagen waren besser als blinde Vermutungen, aber nicht viel besser".

Doch als sie erneut gebeten wurden, eine weitere Gruppe von Bewerbern zu beurteilen, waren ihre Urteile so eindeutig wie zuvor. "Die traurige Wahrheit über die Qualität unserer Vorhersagen", erinnert sich Kahneman, "hatte keinerlei Einfluss darauf, wie wir neue Kandidaten beurteilten, und nur sehr wenig Einfluss auf das Vertrauen, das wir in unsere Urteile und Vorhersagen hatten." Kahneman fand dies bemerkenswert: "Der statistische Nachweis unseres Scheiterns hätte unser Vertrauen in unsere Urteile über bestimmte Kandidaten erschüttern müssen, aber das tat er nicht. Er hätte uns auch veranlassen müssen, unsere Vorhersagen zu mäßigen, aber das tat er nicht." Kahneman nannte diesen kognitiven Trugschluss "die Illusion der Gültigkeit".

Jahrzehnte später reflektierte Kahneman, dass zumindest ein Teil des Grundes für das Versagen von ihm und seinen Kollegen bei der Beurteilung der Offiziersanwärter darin lag, dass sie mit einer schwierigen Frage konfrontiert worden waren, aber stattdessen, ohne es zu merken, eine einfachere Frage beantwortet hatten. "Wir sollten die Leistung eines Soldaten in der Offiziersausbildung und im Kampf vorhersagen, aber wir taten dies, indem wir sein Verhalten während einer Stunde in einer künstlichen Situation bewerteten. Dies war ein perfektes Beispiel für eine allgemeine Regel, die ich WYSIATI nenne: 'What you see is all there is'. Wir hatten uns aus dem wenigen, was wir wussten, eine Geschichte ausgedacht, aber wir hatten keine Möglichkeit, das zu berücksichtigen, was wir über die Zukunft der Person nicht wussten, nämlich fast alles, was tatsächlich von Bedeutung sein würde."

Weitere Beispiele

Beim Vergleich der Ergebnisse von 25 Vermögensberatern über einen Zeitraum von acht Jahren stellte Kahneman fest, dass keiner von ihnen durchweg besser oder schlechter war als die anderen. "Die Ergebnisse", so Kahneman, "ähnelten dem, was man von einem Würfelspiel erwarten würde, nicht einem Geschicklichkeitsspiel." Doch in der Firma, für die all diese Berater arbeiteten, schien dies niemandem bewusst zu sein: "Die Berater selbst hielten sich für kompetente Fachleute, die eine schwierige, aber nicht unmögliche Aufgabe erfüllten, und ihre Vorgesetzten stimmten ihnen zu." Kahneman teilte den Geschäftsführern der Firma mit, dass sie "Glück belohnten, als wäre es Können". Die Direktoren glaubten dies, doch "das Leben in der Firma ging weiter wie zuvor". Die Direktoren hielten an der "Illusion des Könnens" fest, ebenso wie die Berater selbst.

Der Wissenschaftler Freeman Dyson erinnerte sich an seine Erfahrung als Statistiker der britischen Armee während des Zweiten Weltkriegs, als er eine Analyse der Operationen des Bomber Command durchführte. Damals argumentierte ein Offizier, dass die Bomber wegen der schweren Geschütztürme, die sie trugen, zu langsam waren und nicht hoch genug fliegen konnten, um nicht abgeschossen zu werden. Er schlug vor, die Geschütztürme und Kanoniere zu entfernen. Doch der Oberbefehlshaber lehnte den Vorschlag ab - denn, so Dyson, "er war geblendet von der Illusion der Gültigkeit". Er war nicht allein: Jeder im Kommando "sah jede Bomberbesatzung als ein engmaschiges Team von sieben Personen, wobei die Kanoniere eine wesentliche Rolle bei der Verteidigung ihrer Kameraden gegen die Angriffe der Jäger spielten." Teil dieser Illusion "war der Glaube, dass die Mannschaft durch Erfahrung lernte. Je geschickter sie wurden und je enger sie zusammenhielten, desto größer würden ihre Überlebenschancen sein. Doch die Statistiken, so Dyson, bewiesen, dass all dies eine Illusion war: Todesfälle traten zufällig auf und hatten nichts mit Erfahrung zu tun. Er erkannte, dass die Mitglieder des Bomberkommandos unnötigerweise starben, weil alle einer Illusion aufgesessen waren.

Im Jahr 2014 wurde in einem Artikel des "Rolling Stone" ein Vergewaltigungsvorwurf an der Universität von Virginia als Tatsache dargestellt, der sich als falsch erwies. Die Autoren und Redakteure von "Rolling Stone", der Präsident der Universität und andere Verwaltungsangestellte sowie viele Studenten der Universität von Virginia glaubten die falschen Anschuldigungen sofort. Harlan Loeb erklärte dies später als ein Beispiel für die Illusion der Gültigkeit in Aktion.

Im Jahr 2012 schrieb ein Sportjournalist, der Kahneman als seinen "Lieblingswissenschaftler" bezeichnete: "Die Illusion der Gültigkeit ist der Grund, warum ich jedes Mal zutiefst misstrauisch werde, wenn ein Fan, ein Sportjournalist, ein Trainer oder ein Manager irgendetwas in der Richtung sagt, dass ‚die Zahlen nicht die ganze Geschichte erzählen‘. Das ist in der Tat wahr, aber was die Person, die das sagt, in der Regel meint, ist: "Es ist mir egal, was die Zahlen sagen, weil ich überzeugt bin, dass das, was ich gesehen habe, richtig ist. Und das ist dank dieser Illusion fast nie der Fall. Wenn ich behaupte, dass die Daten besagen, dass ein Spieler nicht gut ist, und jemand darauf hinweist: "Ja, aber wenn du dir die Spiele ansiehst, wirst du feststellen, dass sie dieses Jahr nur Dreier aus dem Slot werfen und selten aus der Ecke, wo er früher hervorragend war", dann weist diese Person auf eine Lücke in den Daten hin, die es wert ist, untersucht zu werden. Wenn das Argument lautet: 'Jeder, der ihn beobachtet, kann deutlich sehen, dass er viel besser ist als das', dann bin ich sicher, dass die Illusion der Gültigkeit ihre schmutzige Arbeit tut."

In einer Arbeit aus dem Jahr 1981 untersuchten J. B. Bushyhead und J. J. Christensen-Szalanski Daten aus einer Ambulanz, die zeigten, dass die Ärzte dort Röntgenaufnahmen des Brustkorbs nur bei Patienten anordneten, die klinische Merkmale aufwiesen, die mit einigen Fällen von Lungenentzündung in Verbindung standen, und nicht bei Patienten, die klinische Merkmale aufwiesen, die mit allen Fällen von Lungenentzündung in Verbindung standen. Sie führten dieses Verhalten auf die Illusion der Gültigkeit zurück.

Dieses Phänomen tritt auch bei Vorstellungsgesprächen, Weinverkostungen, Preisvorhersagen auf den internationalen Finanzmärkten und politischen Strategien auf.

Ursachen

Die Illusion der Validität kann zum Teil durch Bestätigungsfehler und/oder die Repräsentativitätsheuristik verursacht werden, was wiederum den Overconfidence-Effekt auslösen könnte.[how?]

Zu den Faktoren, die zur Illusion der Gültigkeit beitragen, gehören nach Meinolf Dierkes, Ariane Berthoin Antal, John Child und Ikujiro Nonaka "die Tendenz einer Person, die Häufigkeit von Ereignissen stärker zu registrieren als ihre Wahrscheinlichkeit"; "die Unmöglichkeit, Informationen über alternative Annahmen zu sammeln, wenn das Handeln auf einer Hypothese beruht"; eine "Missachtung von Basisinformationen"; und "die selbsterfüllende Prophezeiung" oder "ein Verhalten, das sich bei Einzelpersonen oder Gruppen zeigt, weil es erwartet wurde".

Überwindung der Illusion

Wenn man versuchen will, die Illusion der Gültigkeit zu vermeiden, sollte man sich laut Kahneman zwei Fragen stellen:

<poem>Is the environment in which the judgment is made sufficiently regular to enable predictions from the available evidence? The answer is yes for diagnosticians, no for stock pickers. Do the professionals have an adequate opportunity to learn the cues and the regularities? The answer here depends on the professionals' experience and on the quality and speed with which they discover their mistakes.</poem>

Während viele Fachleute "beide Tests mühelos bestehen", was bedeutet, dass ihre "spontanen Urteile" wertvoll sind, sollten Urteile von "durchsetzungsfähigen und selbstbewussten Menschen" im Allgemeinen mit Vorsicht genossen werden, "es sei denn, man hat unabhängige Gründe zu glauben, dass sie wissen, wovon sie reden." Dies kann jedoch schwierig sein, weil "übermütige Fachleute ... als Experten auftreten und wie Experten aussehen", und es kann ein "Kampf sein, sich daran zu erinnern, dass sie vielleicht einer Illusion aufgesessen sind".

In seinem Artikel über den falschen Vergewaltigungsfall an der Universität von Virginia skizzierte Harlan Loeb einen Ansatz, um die Illusion der Gültigkeit in Fällen zu vermeiden, bei denen es, wie in diesem Fall, "um ein hochemotionales und persönliches Thema geht, das landesweit Resonanz findet, in den Medien viel Beachtung findet und eine Organisation betrifft, die sich bereits aufgrund der jüngsten Probleme in der Defensive befindet." Er rät erstens: "Stellen Sie (natürlich in angemessener Weise) Fakten und Annahmen in Frage, auf die sich viele stützen, um ihr Denken und ihre Entscheidungen in Bezug auf das Risiko- und Krisenmanagement zu treffen." Zweitens: "In Situationen mit greifbaren Unbekannten, in denen die Illusion der Gültigkeit der Entscheidungsfindung eine wesentliche Bedrohung darstellt, sollten Sie intensiv recherchieren, Umfragen durchführen und aktiv zuhören, um die Hebel und Rollen zu identifizieren, die die Betriebs- und Umweltrealitäten des gegenwärtigen Risikos bestimmen." Drittens: "Ermitteln Sie die bestehenden organisatorischen Herausforderungen, die die Führung daran hindern, angesichts der Ungewissheit konsistent, effektiv und schnell Entscheidungen zu treffen." Viertens: "Seien Sie sich darüber im Klaren, wie aktuelle Handlungen die künftige Strategie bestimmen könnten." Fünftens: "Seien Sie bereit, aktuelle Risiken einzugehen, um zukünftige Risiken zu bewältigen."

Phil Thornton hat die folgenden Ratschläge gegeben, um die Illusion der Gültigkeit im Finanzsektor zu vermeiden. Erstens: "Denken Sie daran, dass es nicht unbedingt eine gute Idee ist, frühere Generationen nachzuahmen, nur weil sie mit bestimmten Ansätzen erfolgreich waren." Zweitens: "Denken Sie daran, dass die Folgen von Fehlentscheidungen wichtiger sein können als die Wahrscheinlichkeit, dass sie richtig sind."

Bibliographie

  • Einhorn, Hillel; Hogarth, Robyn M. (1978). "Confidence in judgment: Persistence of the illusion of validity". Psychological Review. 85 (5): 395–416. CiteSeerX 10.1.1.466.3161. doi:10.1037/0033-295x.85.5.395.
  • Kahneman, Daniel; Tversky, Amos (1973). "On the Psychology of Prediction" (PDF). Psychological Review. 80 (4): 237–251. doi:10.1037/h0034747. Archived from the original (PDF) on 2016-05-18.
  • Kahneman, Daniel (2007). "Explorations of the Mind—Intuition: The Marvels and the Flaws". YouTube.
  • Kahneman, Daniel (2011). "20: The Illusion of Validity". Thinking, Fast and Slow. New York: Farrar, Straus and Giroux. pp. 209–211. ISBN 9781429969352. Eine angepasste Version des zitierten Abschnitts ist verfügbar unter: Kahneman (2011a).

<! -- *{cite book|editor-last1=Dierkes|editor-first1=Meinolf|editor-last2=Antal|editor-first2=Ariane Berthoin|editor-last3=Child|editor-first3=John|editor-last4=Nonaka|editor- first4=Ikujiro|title=Handbook of Organizational Learning and Knowledge|publisher=Oxford University Press|isbn=9780198295822|year=2001|pages=22-23|last1=Maier |first1=GW|last2=Prange |first2=C|last3= von Rosenstiel |first3=L |chapter=Psychological Perspectives of Organizational Learning|chapter-url=https: //books. google.com/books?id=JRd7RZzzw_wC&pg=PA22}} -->