Hypothesetesten is een wijdverbreid wetenschappelijk proces dat wordt gebruikt in statistische en sociale wetenschappen. In de studie van statistieken wordt een statistisch significant resultaat (of een met statistische significantie) in een hypothesetest bereikt wanneer de p-waarde lager is dan het gedefinieerde significantieniveau. De p-waarde is de waarschijnlijkheid van het verkrijgen van een teststatistiek of monsterresultaat zo extreem als of extremer dan het waargenomen in het onderzoek, terwijl het significantieniveau of alfa een onderzoeker vertelt hoe extreem de resultaten moeten zijn om de nulhypothese te verwerpen. Met andere woorden, als de p-waarde gelijk is aan of kleiner is dan het gedefinieerde significantieniveau (meestal aangeduid met α), kan de onderzoeker veilig aannemen dat de waargenomen gegevens inconsistent zijn met de veronderstelling dat de nulhypothese waar is, wat betekent dat de nulhypothese, of premisse dat er geen verband is tussen de geteste variabelen, kan worden afgewezen.
Door de nulhypothese te verwerpen of te weerleggen, concludeert een onderzoeker dat er een wetenschappelijke basis is voor de overtuiging dat er een verband bestaat tussen de variabelen en dat de resultaten niet te wijten waren aan steekproeffouten of toeval. Hoewel het afwijzen van de nulhypothese een centraal doel is in de meeste wetenschappelijke studies, is het belangrijk op te merken dat de afwijzing van de nulhypothese niet gelijk is aan het bewijs van de alternatieve hypothese van de onderzoeker.
Het concept van statistische significantie is fundamenteel voor het testen van hypothesen. In een onderzoek waarbij een willekeurige steekproef wordt getrokken uit een grotere populatie in een poging om enig resultaat te bewijzen dat op de populatie als geheel kan worden toegepast, is er een constant potentieel dat de onderzoeksgegevens het gevolg zijn van een steekproeffout of eenvoudig toeval of toeval. Door een significantieniveau te bepalen en de p-waarde ertegen te testen, kan een onderzoeker vol vertrouwen de nulhypothese handhaven of verwerpen. Het significantieniveau, in de eenvoudigste bewoordingen, is de drempelwaarschijnlijkheid om de nulhypothese ten onrechte af te wijzen als deze in feite waar is. Dit wordt ook wel het type I foutenpercentage genoemd. Het significantieniveau of alfa wordt daarom geassocieerd met het algemene betrouwbaarheidsniveau van de test, wat betekent dat hoe hoger de waarde van alpha, hoe groter het vertrouwen in de test.
Een type I-fout, of een fout van de eerste soort, treedt op wanneer de nulhypothese wordt afgewezen, terwijl deze in werkelijkheid waar is. Met andere woorden, een type I-fout is vergelijkbaar met een vals positief. Type I-fouten worden beheerst door een geschikt significantieniveau te definiëren. Beste praktijk bij het testen van wetenschappelijke hypothesen vereist het selecteren van een significantieniveau voordat het verzamelen van gegevens zelfs begint. Het meest voorkomende significantieniveau is 0,05 (of 5%), wat betekent dat er een kans van 5% is dat de test een type I-fout zal krijgen door een echte nulhypothese te verwerpen. Dit significantieniveau vertaalt zich omgekeerd naar een betrouwbaarheidsniveau van 95%, wat betekent dat 95% over een reeks hypothesetests niet zal resulteren in een type I-fout.