6  Hàm hợp lý

6.1 Định nghĩa

\[\mathcal{L}(\theta \mid x) = \mathbb{P}(x \mid \theta)\]

Hàm hợp lý (Likelihood function) là xác suất quan sát được dữ liệu \(x\) nếu mô hình với tham số \(\theta\) là đúng.

Likelihood được sử dụng khi chúng ta đã có dữ liệu \(x\), và muốn tìm \(\theta\) hợp lý nhất với dữ liệu này.

\(\mathcal{L}\) không phải là một phân phối xác suất. Chúng ta chỉ có 1 bộ dữ liệu \(x\), nhưng có nhiều giả thiết tham số \(\theta\) khác nhau. Như chúng ta đã học, xác suất có điều kiện thực chất là thu nhỏ không gian mẫu.

\[\begin{aligned} \sum_{\theta} \mathcal{L}(\theta \mid x) &= \sum_{\theta} \mathbb{P}(x \mid \theta) \\ &= \mathbb{P}(x \mid \theta_1) + \mathbb{P}(x \mid \theta_2) + \dots + \mathbb{P}(x \mid \theta_n) \\ &\neq 1 \end{aligned}\]

Mỗi số hạng \(\mathbb{P}(x \mid \theta_i)\) có mẫu số khác nhau, nên tổng không thể bằng 1.

Important
  • Tổng xác suất của mọi dữ liệu \(x\) trên một tham số \(\theta\) cố định thì bằng 1 (\(\sum_x \mathbb{P}(x \mid \theta) = 1\)).
  • Nhưng tổng Likelihood của mọi tham số \(\theta\) trên một dữ liệu \(x\) cố định thì không bằng 1 (\(\sum_\theta \mathcal{L}(\theta \mid x) \neq 1\)).

6.2 Đường cong hợp lý

6.3 Tỉ số hợp lý

Giả sử ta có các mô hình \(\theta_1, \theta_2 \dots\) và một bộ dữ liệu \(x\). Để xác định mô hình nào giải thích dữ liệu tốt hơn, ta so sánh khả năng sinh ra dữ liệu \(x\) của từng mô hình.

Tỉ số hợp lý (likelihood ratio) được tính bằng cách chia các giá trị likelihood này cho nhau, nhằm định lượng mức độ ủng hộ của dữ liệu đối với mô hình này so với mô hình kia (Bolker 2008).

\[LR = \frac{\mathcal{L}(\theta_1 \mid x)}{\mathcal{L}(\theta_2 \mid x)}\]

  • \(LR > 1\): dữ liệu \(x\) cho thấy \(\theta_1\) hợp lý hơn
  • \(LR < 1\): dữ liệu \(x\) cho thấy \(\theta_2\) hợp lý hơn

6.4 Phép kiểm tỉ số hợp lý

Phép kiểm tỉ số hợp lý (Likelihood Ratio Test, LRT) is a procedure to compare two models.

\[2 \left[ \text{neglog}(\mathcal{L}_2) - \text{neglog}(\mathcal{L}_1) \right] \sim \chi^2_r\]

Với \(r\) là số parameter đang ước lượng.

6.5 Khoảng tin cậy

Nguyên lý: Tìm tập hợp các giá trị tham số sao cho mô hình fit dữ liệu kém hơn mức tối ưu, nhưng nằm trong giới hạn chấp nhận được.

Theo định lý Wilks, sự chênh lệch log-likelihood tuân theo phân phối Chi-bình phương (\(\chi^2\)).

\[2 \left[ \text{NLL}(\theta) - \text{NLL}_{\min} \right] \le \chi^2_k(1-\alpha)\]

Với \(\text{NLL}_\text{min}\) là điểm cực tiểu của \(NLL\) tìm được bằng MLE.

\[\text{NLL}_{\text{cutoff}} = \text{NLL}_{\min} + \frac{\chi^2_k(1-\alpha)}{2}\]

Khoảng tin cậy đo lường mức độ không chắc chắn của tham số ước lượng. Khoảng tin cậy 95% \([\theta_{\text{lower}}, \theta_{\text{upper}}]\) của 1 tham số ước lượng \(\hat{\theta}\) được diễn giải là: giá trị thực \(\theta^*\) nằm trong \([\theta_{\text{lower}}, \theta_{\text{upper}}]\) với xác suất là 95% (Raue et al. 2010).

6.6 Tính định danh

Tính định danh (identifiability) của một tham số \(\theta_i\) được định nghĩa như sau (Raue et al. 2010):

  • Tính định danh cấu trúc (structurally identifiable): nếu ước lượng \(\hat{\theta}_i\) của nó là cực tiểu duy nhất của hàm \(\chi^2(\theta)\).

  • Tính định danh thực tế (practically identifiable) nếu khoảng tin cậy của ước lượng đó là hữu hạn.

  • Không định danh được (nonidentifiable) khi khoảng tin cậy của nó là vô hạn.