In statistieken kunnen wetenschappers een aantal verschillende significantietests uitvoeren om te bepalen of er een verband is tussen twee fenomenen. Een van de eerste die ze meestal uitvoeren, is een nulhypothesetest. Kort gezegd stelt de nulhypothese dat er geen betekenisvol verband bestaat tussen twee gemeten fenomenen. Na een test kunnen wetenschappers:
• In een significantietoets stelt de nulhypothese dat er geen betekenisvol verband bestaat tussen twee gemeten fenomenen.
• Door de nulhypothese te vergelijken met een alternatieve hypothese, kunnen wetenschappers de nulhypothese afwijzen of falen.
• De nulhypothese kan niet positief worden bewezen. Integendeel, het enige dat wetenschappers kunnen bepalen op basis van een significantietest is dat het verzamelde bewijs de nulhypothese al dan niet weerlegt.
Het is belangrijk op te merken dat een niet-afwijzing niet betekent dat de nulhypothese waar is, alleen dat de test niet bewees dat deze onjuist was. In sommige gevallen, afhankelijk van het experiment, kan er een relatie bestaan tussen twee fenomenen die niet door het experiment worden geïdentificeerd. In dergelijke gevallen moeten nieuwe experimenten worden ontworpen om alternatieve hypotheses uit te sluiten.
De nulhypothese wordt beschouwd als de standaard in een wetenschappelijk experiment. Een alternatieve hypothese daarentegen is een hypothese die beweert dat er een betekenisvolle relatie bestaat tussen twee fenomenen. Deze twee concurrerende hypothesen kunnen worden vergeleken door een statistische hypothesetest uit te voeren, die bepaalt of er een statistisch significante relatie tussen de gegevens bestaat.
Wetenschappers die bijvoorbeeld de waterkwaliteit van een stroom bestuderen, willen misschien bepalen of een bepaalde chemische stof de zuurgraad van het water beïnvloedt. De nulhypothese - dat de chemische stof geen effect heeft op de waterkwaliteit - kan worden getest door de pH-waarde van twee watermonsters te meten, waarvan er één een deel van de chemische stof bevat en één ongemoeid is gelaten. Als het monster met de toegevoegde chemische stof meetbaar min of meer zuur is - zoals bepaald door statistische analyse - is dit een reden om de nulhypothese te verwerpen. Als de zuurgraad van het monster ongewijzigd is, is dit een reden om niet de nulhypothese afwijzen.
Wanneer wetenschappers experimenten ontwerpen, proberen ze bewijs te vinden voor de alternatieve hypothese. Ze proberen niet te bewijzen dat de nulhypothese waar is. De nulhypothese wordt verondersteld een nauwkeurige bewering te zijn totdat tegengesteld bewijs het tegendeel bewijst. Dientengevolge levert een significantietoets geen enkel bewijs op met betrekking tot de waarheid van de nulhypothese.
In een experiment moeten de nulhypothese en de alternatieve hypothese zorgvuldig worden geformuleerd zodat één en slechts één van deze beweringen waar is. Als de verzamelde gegevens de alternatieve hypothese ondersteunen, kan de nulhypothese als onwaar worden afgewezen. Als de gegevens de alternatieve hypothese echter niet ondersteunen, betekent dit niet dat de nulhypothese waar is. Het betekent alleen dat de nulhypothese niet is weerlegd - vandaar de term 'niet afwijzen'. Een 'falen om een hypothese te verwerpen' moet niet worden verward met acceptatie.
In de wiskunde worden ontkenningen meestal gevormd door het woord 'niet' op de juiste plaats te plaatsen. Met behulp van deze conventie kunnen belangrijke tests de nulhypothese verwerpen of niet verwerpen. Het duurt soms even om te beseffen dat 'niet afwijzen' niet hetzelfde is als 'accepteren'.
In veel opzichten is de filosofie achter een significantietest vergelijkbaar met die van een proef. Aan het begin van de procedure, wanneer de verweerder een middel 'niet schuldig' aanvoert, is dit analoog aan de verklaring van de nulhypothese. Hoewel de verdachte inderdaad onschuldig kan zijn, is er geen pleidooi voor 'onschuldig' dat formeel in de rechtbank moet worden ingediend. De alternatieve hypothese van "schuldig" is wat de officier van justitie probeert aan te tonen.
Het vermoeden bij het begin van het proces is dat de verdachte onschuldig is. In theorie hoeft de verdachte niet te bewijzen dat hij of zij onschuldig is. De bewijslast ligt bij de officier van justitie, die voldoende bewijsmateriaal moet verzamelen om de jury ervan te overtuigen dat de verdachte zonder redelijke twijfel schuldig is. Evenzo kan een wetenschapper in een significantietest alleen de nulhypothese verwerpen door bewijs te leveren voor de alternatieve hypothese.
Als er in een proces niet genoeg bewijs is om schuld te tonen, wordt de verdachte 'niet schuldig' verklaard. Deze claim heeft niets met onschuld te maken; het weerspiegelt alleen het feit dat de vervolging onvoldoende bewijs van schuld heeft geleverd. Op een vergelijkbare manier betekent het niet afwijzen van de nulhypothese in een significantietest niet dat de nulhypothese waar is. Het betekent alleen dat de wetenschapper niet in staat was om voldoende bewijs te leveren voor de alternatieve hypothese.
Wetenschappers die bijvoorbeeld de effecten van een bepaald pesticide op gewasopbrengsten testen, kunnen een experiment opzetten waarbij sommige gewassen onbehandeld blijven en andere worden behandeld met verschillende hoeveelheden pesticide. Elk resultaat waarbij de gewasopbrengsten varieerden op basis van blootstelling aan pesticiden - ervan uitgaande dat alle andere variabelen gelijk zijn - zou sterk bewijs opleveren voor de alternatieve hypothese (dat het pesticide doet gewasopbrengsten beïnvloeden). Als gevolg hiervan zouden de wetenschappers reden hebben om de nulhypothese te verwerpen.