Overzicht van Simpson's Paradox in Statistics

Een paradox is een uitspraak of fenomeen dat op het eerste gezicht tegenstrijdig lijkt. Paradoxen helpen om de onderliggende waarheid te onthullen onder het oppervlak van wat absurd lijkt. Op het gebied van statistiek laat Simpson's paradox zien welke soorten problemen het gevolg zijn van het combineren van gegevens uit verschillende groepen.

Bij alle gegevens moeten we voorzichtig zijn. Waar kwam het vandaan? Hoe is het verkregen? En wat zegt het eigenlijk? Dit zijn allemaal goede vragen die we moeten stellen als we gegevens krijgen. Het zeer verrassende geval van de paradox van Simpson toont ons dat soms wat de gegevens lijken te zeggen niet echt het geval is.

Een overzicht van de paradox

Stel dat we verschillende groepen observeren en voor elk van deze groepen een relatie of correlatie vaststellen. De paradox van Simpson zegt dat wanneer we alle groepen samenvoegen en de gegevens in geaggregeerde vorm bekijken, de correlatie die we eerder hebben opgemerkt zichzelf kan omkeren. Dit is meestal te wijten aan loerende variabelen die niet zijn overwogen, maar soms is het te wijten aan de numerieke waarden van de gegevens.

Voorbeeld

Laten we het volgende voorbeeld bekijken om de paradox van Simpson een beetje beter te begrijpen. In een bepaald ziekenhuis zijn er twee chirurgen. Chirurg A werkt bij 100 patiënten en 95 overleven. Chirurg B werkt bij 80 patiënten en 72 overleven. We overwegen een operatie in dit ziekenhuis te laten uitvoeren en de operatie door te leven is iets dat belangrijk is. We willen het beste van de twee chirurgen kiezen.

We kijken naar de gegevens en gebruiken deze om te berekenen welk percentage van de patiënten van chirurg A hun operaties heeft overleefd en vergelijken het met de overlevingskans van de patiënten van chirurg B.

• 95 van de 100 patiënten overleefden met chirurg A, dus 95/100 = 95% van hen overleefde.
• 72 van de 80 patiënten overleefden met chirurg B, dus 72/80 = 90% van hen overleefde.

Uit deze analyse, welke chirurg moeten we kiezen om ons te behandelen? Het lijkt erop dat chirurg A de veiligere gok is. Maar is dit echt waar??

Wat als we wat verder onderzoek naar de gegevens deden en ontdekten dat het ziekenhuis oorspronkelijk twee verschillende soorten operaties had overwogen, maar vervolgens alle gegevens bij elkaar had verzameld om over elk van zijn chirurgen te rapporteren. Niet alle operaties zijn gelijk, sommige werden beschouwd als risicovolle noodoperaties, terwijl anderen van meer routinematige aard waren die vooraf waren gepland.

Van de 100 patiënten die chirurg A behandelde, hadden 50 een hoog risico, waarvan er drie stierven. De andere 50 werden als routine beschouwd en van deze stierven er 2. Dit betekent dat, voor een routinematige operatie, een patiënt behandeld door chirurg A een overlevingskans van 48/50 = 96% heeft.

Nu kijken we nauwkeuriger naar de gegevens voor chirurg B en zien dat van 80 patiënten er 40 een hoog risico liepen, waarvan er zeven stierven. De andere 40 waren routine en slechts één stierf. Dit betekent dat een patiënt een 39/40 = 97,5% overlevingskans heeft voor een routinematige operatie met chirurg B.

Welke chirurg lijkt nu beter? Als uw operatie routineus moet zijn, is chirurg B eigenlijk de betere chirurg. Als we kijken naar alle operaties die door de chirurgen worden uitgevoerd, is A beter. Dit is nogal contra-intuïtief. In dit geval beïnvloedt de loerende variabele van het type operatie de gecombineerde gegevens van de chirurgen.

Geschiedenis van Simpson's Paradox

De paradox van Simpson is vernoemd naar Edward Simpson, die deze paradox voor het eerst beschreef in de krant "The Interpretation of Interaction in Contingency Tables" uit 1951 van de Journal of the Royal Statistical Society. Pearson en Yule hebben een halve eeuw eerder een vergelijkbare paradox waargenomen dan Simpson, dus de paradox van Simpson wordt soms ook wel het Simpson-Yule-effect genoemd.

Er zijn veel uiteenlopende toepassingen van de paradox op uiteenlopende gebieden als sportstatistieken en werkloosheidsgegevens. Telkens wanneer gegevens worden geaggregeerd, kijk uit voor deze paradox om te verschijnen.