Maximum Likelihood Estimation


Maximum Likelihood Estimation adalah teknik yang digunakan untuk mencari titik tertentu untuk memaksimumkan sebuah fungsi.
Secara ’empirical value’ dengan melakukan ‘plot’. Dimisalkan f(x) ialah suatu fungsi, dan kita memasukkan nilai dari x, dan peluang dikatakan nilai x fungsi variabel random.
Misalkan jumlah permen A adalah 3 kali lebih banyak jumlah permen B, maka X mengikuti Binomial (3,p), dan akan mencapai nilai peluang maksimal yakni pada nilai 27/64 untuk f(x:3/4) nilai x= 2 dan x= 3. Hal ini dapat dicari menggunakan fungsi peluang Binomial.
Fungsi Likelihood
Definisi Fungsi Likelihood, fungsi Likelihood dari sebanyak n variabel random X1, X2, … , Xn didefinisikan sebagai fungsi peluang bersama dari n variabel random, yaitu:
fX1, X2, … Xn (x1, x2, … xn: θ) yang dipandang sebagai fungsi dari θ. Misalkan X1, X2, … Xn adalah fungsi sebaran random dari fungsi peluang fX(x: θ) maka fungsi likelihoodnya ialah

fX1(x1: θ) . fX2(x2: θ) . … .fXn(xn: θ) atau ∏ fXi(xi: θ)

Contoh: Fungsi likelihood dari θ dinotasikan dengan L(θ: X1.X2. … .Xn) =L(θ) maka MLE (Maximum Likelihood Estimator) diperoleh dengan cara berikut ini:

δL(θ) / δθ  ¦ θ = θ ‘cap’    = 0(zero)

atau dapat diperoleh dengan cara mengambil logaritma natural (ln) dari L(θ) selanjutnya didiferensialkan yakni:

δlnL(θ) / δθ  ¦ θ = θ ‘cap’    = 0(zero)

Contoh Soal Maximum Likelihood Estimation

X1, X2, .., Xn merupakan sebaran random dari distribusi Normal Baku / N(μ, σ²). Carilah MLE dari μ dan σ² !

Untuk menjawabnya, kita mulai dengan

L(μ, σ²) = ∏ fXi (xi: μ, σ²)

L(μ, σ²) = ∏ 1/σ√2π  . e^(-1/2(xi-μ)²/σ²)

L(μ, σ²) =  (σ²)^-(n/2) (2π)^(-n/2)  . e^(-1/2Σ(xi-μ)²/σ²)

lnL(μ, σ²) =  -n/2 . (σ²) – (n/2)(2π) – 1/2 . Σ(xi-μ)²/σ²)

δlnL(μ, σ²) / δμ =   Σ(xi-μ) /σ²

dengan beberapa langkah berikutnya kita dapatkan MLE dari μ ialah μ ‘cap’ di mana μ ‘cap’ ini = 1/n . Σxi = X ‘bar’ atau rata-rata dari sampel.

dan ketika kita menurunkan lnL(μ, σ²) terhadap σ² diperoleh hasil

δlnL(μ, σ²) / δσ² = n/2σ² + Σ(xi-μ)²/2(σ²)²

dan untuk mendapatkan nilai maksimum dari σ² ‘cap’ (penduga/estimator bagi σ²), samakan dengan nilai nol, dan diperoleh hasil:

Karena MLE dari μ adalah μ ‘cap’ = x ‘bar’ (rata-rata sampel), maka MLE dari σ² adalah σ² ‘cap’ = Σ(xi-x ‘bar’)²/n dan ternyata penduga untuk varians ini bias (untuk sampel-sampel kecil).

Diketahui pula bahwa MLE dari penduga p pada Distribusi Bernoulli (p) juga rata-rata dari sampelnya.

Untuk kasus-kasus tertentu, dikarenakan tidak mungkinnya fungsi tersebut di turunkan, atau tak mendapat nilai dari penurunannya, digunakanlah pendekatan Order Statistik untuk mencari MLE suatu parameter. Hal ini bisa diterapkan pada Informasi pada indikator suatu fungsi peluang, misalkan pada Distribusi Uniform (θ – 1/2 , θ + 1/2).

Begitu pula pada distribusi Uniform (μ – √2 , μ + √2)

Pada pendekatan Order Statistik untuk mencari MLE ini, menggarisbawahi bahwa Y1 merupakan Order Statistik Minimum dan Yn merupakan Order Statistik Maksimumnya.

Pendekatan ini bahkan memungkinkan untuk mengatakan MLE berupa Interval, misal pada Uniform (0 , 2θ + 1).

TERIMA KASIH sudah membaca.

Matur Nuwun.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s


%d bloggers like this: