Verken voorbeelden van maximale waarschijnlijkheid

Stel dat we een willekeurige steekproef hebben van een populatie van interesse. We kunnen een theoretisch model hebben voor de manier waarop de populatie wordt verdeeld. Er kunnen echter verschillende populatieparameters zijn waarvan we de waarden niet kennen. Maximale waarschijnlijkheidsschatting is een manier om deze onbekende parameters te bepalen. 

Het basisidee achter de maximale waarschijnlijkheidsschatting is dat we de waarden van deze onbekende parameters bepalen. We doen dit op een manier om een ​​bijbehorende gewrichtskansdichtheidsfunctie of kansmassafunctie te maximaliseren. We zullen dit in meer detail in het volgende zien. Vervolgens zullen we enkele voorbeelden van maximale waarschijnlijkheidsraming berekenen.

Stappen voor maximale waarschijnlijkheidsschatting

De bovenstaande discussie kan worden samengevat door de volgende stappen:

1. Begin met een steekproef van onafhankelijke willekeurige variabelen X₁, X₂,... X_n uit een gemeenschappelijke verdeling elk met kansdichtheidsfunctie f (x; θ₁,... θ_k). De thetas zijn onbekende parameters.
2. Omdat onze steekproef onafhankelijk is, wordt de waarschijnlijkheid van het verkrijgen van de specifieke steekproef die we waarnemen gevonden door onze waarschijnlijkheden samen te vermenigvuldigen. Dit geeft ons een waarschijnlijkheidsfunctie L (θ₁,... θ_k) = F (x₁ ; θ₁,... θ_k) f (x₂ ; θ₁,... θ_k) ... f (x_n ; θ₁,... θ_k) = Π f (x_ik ; θ₁,... θ_k).
3. Vervolgens gebruiken we Calculus om de waarden van theta te vinden die onze waarschijnlijkheidsfunctie L maximaliseren. 
4. Meer specifiek onderscheiden we de waarschijnlijkheidsfunctie L met betrekking tot θ als er een enkele parameter is. Als er meerdere parameters zijn, berekenen we gedeeltelijke derivaten van L met betrekking tot elk van de theta-parameters.
5. Om het proces van maximalisatie voort te zetten, stelt u de afgeleide van L (of gedeeltelijke afgeleiden) in op nul en lost u op voor theta.
6. We kunnen vervolgens andere technieken gebruiken (zoals een tweede afgeleide test) om te verifiëren dat we een maximum hebben gevonden voor onze waarschijnlijkheidsfunctie.

Voorbeeld

Stel dat we een pakket zaden hebben, die elk een constante waarschijnlijkheid hebben p van het succes van de kiemkracht. Wij planten n van deze en tel het aantal van degenen die ontspruiten. Neem aan dat elk zaad onafhankelijk van de anderen ontspruit. Hoe bepalen we de maximale waarschijnlijkheidsschatter van de parameter p?

We beginnen met op te merken dat elk zaadje wordt gemodelleerd door een Bernoulli-distributie met een succes van p. Wij laten X of 0 of 1 zijn, en de kansmassafunctie voor een enkel zaad is f(x; p ) = p^X (1 - p)^{1 - x}. 

Onze steekproef bestaat uit n  verschillend X_ik, elk met heeft een Bernoulli-distributie. De zaden die ontkiemen hebben X_ik = 1 en de zaden die niet ontspruiten hebben X_ik = 0. 

De waarschijnlijkheidsfunctie wordt gegeven door:

L ( p ) = Π p^X_ik (1 - p)^{1 - X}_ik

We zien dat het mogelijk is om de waarschijnlijkheidsfunctie te herschrijven met behulp van de wetten van exponenten. 

L ( p ) = p^{Σ x}_ik (1 - p)^{n - Σ x}_ik

Vervolgens onderscheiden we deze functie met betrekking tot p. We nemen aan dat de waarden voor alle X_ik zijn bekend en zijn daarom constant. Om de waarschijnlijkheidsfunctie te onderscheiden, moeten we de productregel gebruiken in combinatie met de machtsregel:

L '( p ) = Σ x_ikp^{-1 + Σ x}_ik (1 - p)^{n - Σ x}_ik - (n - Σ x_ik ) p^{Σ x}_ik (1 - p)^{n-1 - Σ x}_ik

We herschrijven enkele negatieve exponenten en hebben:

L '( p ) = (1 /p) Σ x_ikp^{Σ x}_ik (1 - p)^{n - Σ x}_ik - 1 / (1 - p) (n - Σ x_ik ) p^{Σ x}_ik (1 - p)^{n - Σ x}_ik

= [(1 /p) Σ x_ik - 1 / (1 - p) (n - Σ x_ik)]_ikp^{Σ x}_ik (1 - p)^{n - Σ x}_ik

Nu, om het proces van maximalisatie voort te zetten, stellen we deze afgeleide in op nul en lossen we op voor p:

0 = [(1 /p) Σ x_ik - 1 / (1 - p) (n - Σ x_ik)]_ikp^{Σ x}_ik (1 - p)^{n - Σ x}_ik

Sinds p en 1- p) zijn niet nul we hebben dat

0 = (1 /p) Σ x_ik - 1 / (1 - p) (n - Σ x_ik).

Beide zijden van de vergelijking vermenigvuldigen met p(1- p) geeft ons:

0 = (1 - p) Σ x_ik - p (n - Σ x_ik).

We breiden de rechterkant uit en zien:

0 = Σ x_ik - p Σ x_ik - p n + pΣ x_ik = Σ x_ik - p n.

Dus Σ x_ik = p n en (1 / n) Σ x_ik = p. Dit betekent dat de maximale waarschijnlijkheidsschatter van p is een voorbeeldgemiddelde. Meer specifiek is dit de steekproefverhouding van de zaden die zijn ontkiemd. Dit is perfect in lijn met wat intuïtie ons zou vertellen. Overweeg eerst een steekproef uit de populatie van belang om het aandeel zaden te bepalen dat zal kiemen.

Wijzigingen in de stappen

Er zijn enkele wijzigingen in de bovenstaande lijst met stappen. Zoals we hierboven hebben gezien, is het bijvoorbeeld meestal de moeite waard om wat tijd door te brengen met het gebruiken van een algebra om de uitdrukking van de waarschijnlijkheidsfunctie te vereenvoudigen. De reden hiervoor is om de differentiatie eenvoudiger uit te voeren.

Een andere wijziging in de bovenstaande lijst met stappen is om rekening te houden met natuurlijke logaritmen. Het maximum voor de functie L komt op hetzelfde punt voor als de natuurlijke logaritme van L. Het maximaliseren van ln L is dus equivalent aan het maximaliseren van de functie L.

Vaak, vanwege de aanwezigheid van exponentiële functies in L, zal het nemen van de natuurlijke logaritme van L een deel van ons werk aanzienlijk vereenvoudigen.

Voorbeeld

We zien hoe we de natuurlijke logaritme kunnen gebruiken door het bovenstaande voorbeeld opnieuw te bekijken. We beginnen met de waarschijnlijkheidsfunctie:

L ( p ) = p^{Σ x}_ik (1 - p)^{n - Σ x}_ik .

We gebruiken vervolgens onze logaritmewetten en zien dat:

R ( p ) = ln L ( p ) = Σ x_ik ln p + (n - Σ x_ik) ln (1 - p).

We zien al dat de afgeleide veel gemakkelijker te berekenen is:

R '( p ) = (1 /p) Σ x_ik - 1 / (1 - p) (n - Σ x_ik) .

Nu, zoals eerder, stellen we deze afgeleide in op nul en vermenigvuldigen beide zijden met p (1 - p):

0 = (1- p ) Σ x_ik - p(n - Σ x_ik) .

We lossen op voor p en vind hetzelfde resultaat als voorheen.

Het gebruik van de natuurlijke logaritme van L (p) is op een andere manier nuttig. Het is veel gemakkelijker om een ​​tweede afgeleide van R (p) te berekenen om te verifiëren dat we echt een maximum hebben op het punt (1 / n) Σ x_ik = p.

Voorbeeld

Stel voor een ander voorbeeld dat we een willekeurige steekproef X hebben₁, X₂,... X_n van een populatie die we modelleren met een exponentiële verdeling. De waarschijnlijkheidsdichtheidsfunctie voor één willekeurige variabele is van de vorm f( X ) = θ^-1 e ^{-X/ θ}

De waarschijnlijkheidsfunctie wordt gegeven door de gezamenlijke waarschijnlijkheidsdichtheidsfunctie. Dit is een product van verschillende van deze dichtheidsfuncties:

L (θ) = Π θ^-1 e ^-X_ik^{/ θ} = θ^-n e ^{-Σ X}_ik^{/ θ}

Nogmaals, het is nuttig om de natuurlijke logaritme van de waarschijnlijkheidsfunctie te overwegen. Differentiëren hiervan vereist minder werk dan differentiëren van de waarschijnlijkheidsfunctie:

R (θ) = ln L (θ) = ln [θ^-n e ^{-Σ X}_ik^{/ θ}]

We gebruiken onze wetten van logaritmen en verkrijgen:

R (θ) = ln L (θ) = - n ln θ + -ΣX_ik/ θ

We differentiëren met betrekking tot θ en hebben:

R '(θ) = - n / θ + ΣX_ik/ θ²

Stel deze afgeleide in op nul en we zien dat:

0 = - n / θ + ΣX_ik/ θ².

Vermenigvuldig beide zijden met θ² en het resultaat is:

0 = - n θ + ΣX_ik.

Gebruik nu algebra om op te lossen voor θ:

θ = (1 / n) ΣX_ik.

Hieruit zien we dat het steekproefgemiddelde de waarschijnlijkheidsfunctie maximaliseert. De parameter θ die bij ons model past, zou gewoon het gemiddelde moeten zijn van al onze waarnemingen.

aansluitingen

Er zijn andere soorten schatters. Een alternatief type schatting wordt een onpartijdige schatter genoemd. Voor dit type moeten we de verwachte waarde van onze statistiek berekenen en bepalen of deze overeenkomt met een overeenkomstige parameter.