1. Trực giác (Intuition) của từng thành phần

Phương trình chia sai số dự đoán thành đúng ba mảnh ghép độc lập:

1. Vế trái: $\mathbb{E}\left[\left(y_0 - \hat{f}(x_0)\right)^2\right]$ — Sai số kiểm định kỳ vọng (Expected Test MSE)

• Ý nghĩa: Sai số bình phương trung bình khi mô hình đem đi thực chiến trên dữ liệu mới, tính trung bình qua vô số lần huấn luyện với các tập dữ liệu khác nhau.
• Hình dung: Đây là thước đo “chất lượng thực tế” ngoài đời của thuật toán.

2. $\operatorname{Var}\left(\hat{f}(x_0)\right)$ — Phương sai mô hình (“Tính khí thất thường”)

• Ý nghĩa: Dự đoán của mô hình dao động mạnh đến mức nào nếu ta huấn luyện nó trên một tập dữ liệu khác?
• Trực giác: Mô hình có Variance cao (như Decision Tree quá sâu, mạng nơ-ron không chặn) là kẻ “học vẹt” — quá nhạy cảm với từng điểm dữ liệu ngẫu nhiên của tập train. Đổi tập dữ liệu một chút là kết quả dự đoán nhảy lung tung.
• Bản chất: Gốc rễ của hiện tượng Quá khớp (Overfitting).

3. $\left[\operatorname{Bias}\left(\hat{f}(x_0)\right)\right]^2$ — Độ chệch bình phương (“Định kiến mô hình”)

• Ý nghĩa: Sai lệch giữa giá trị dự đoán trung bình của mô hình và sự thật khách quan: $\operatorname{Bias} = \mathbb{E}[\hat{f}(x_0)] - f(x_0)$.
• Trực giác: Mô hình có Bias cao là kẻ “bảo thủ” — mang nặng giả định giản lược thái quá (ví dụ ép dữ liệu cong thành đường thẳng Linear Regression). Dù có nạp thêm bao nhiêu triệu dữ liệu đi nữa, mô hình vẫn đoán lệch tâm.
• Bản chất: Gốc rễ của hiện tượng Dưới khớp (Underfitting).

4. $\operatorname{Var}(\varepsilon) = \sigma^2$ — Sai số bất khả quy (“Nhiễu của tạo hóa”)

• Ý nghĩa: Phương sai của biến ngẫu nhiên nhiễu $\varepsilon$ trong chính thực tại ($y_0 = f(x_0) + \varepsilon$).
• Trực giác: Thế giới thực luôn chứa đựng sai số đo đạc, biến số tiềm ẩn chưa thu thập hoặc bản chất ngẫu nhiên không thể đoán trước.
• Bản chất: Đây là sàn sai số vật lý (noise floor) mà không một thuật toán tối tân nào có thể vượt qua.

2. Hai Insight cốt tử của công thức

Insight 1: Cuộc đánh đổi bắt buộc (The Inevitable Trade-off)

Khi bạn tăng độ phức tạp của mô hình (thêm bậc đa thức, thêm tầng nơ-ron):

Công cụ toán học chuẩn mực để định lượng độ nhạy này chính là Score Function. Khác với các đạo hàm hàm số thông thường trong giải tích, Score Function là một biến ngẫu nhiên. Nó sở hữu hai tính chất xác suất nền tảng: kỳ vọng của nó luôn bằng $0$, và phương sai của nó chính là Thông tin Fisher (Fisher Information).

Nhưng CRLB chỉ là một chặn dưới lý thuyết. Câu hỏi đặt ra là: Làm thế nào để tìm được một phương pháp ước lượng tổng quát có thể chạm tới giới hạn lý tưởng này?

Nhưng một câu hỏi nền tảng đặt ra là: Liệu có tồn tại một giới hạn vật lý tối hậu mà phương sai của mọi ước lượng không chệch không bao giờ có thể vượt qua?

Năm 1925, nhà thống kê và di truyền học Ronald A. Fisher giới thiệu một khái niệm nền tảng nhằm định lượng câu hỏi trên: Thông tin Fisher (Fisher Information). Khác với Entropy của Shannon vốn đo lường độ bất định trung bình của bản thân biến cố ngẫu nhiên, Thông tin Fisher đo lường độ nhạy của dữ liệu quan sát đối với một tham số mô hình $\theta$.

Tuy nhiên, thế giới tự nhiên và các mô hình thống kê hiếm khi tuyến tính. Khi $f$ là một hàm phi tuyến (như $x^2, e^x, \ln x$), câu hỏi căn bản xuất hiện: $f(\mathbb{E}[X])$ và $\mathbb{E}[f(X)]$, đại lượng nào lớn hơn?

1. Phát biểu bài toán

Giả sử ta thực hiện $N$ phép thử độc lập (Bernoulli trials). Trong mỗi phép thử, biến cố $A$ có xác suất xảy ra là $p$. Sau $N$ phép thử, ta ghi nhận được $x$ lần biến cố $A$ xảy ra.

Đó là một sự hiểu lầm căn bản!

Trong thống kê cổ điển (Frequentist), giá trị trung bình thực sự của quần thể (True Population Mean) là một hằng số cố định. Nó đã nằm ở đó rồi, không hề nhúc nhích hay di chuyển ngẫu nhiên. Nó hoặc là nằm trong khoảng [A, B], hoặc là không. Xác suất lúc này chỉ có thể là 100% hoặc 0%, không có khái niệm 95%.

Sự kỳ diệu của CLT nằm ở chỗ: Không quan trọng quần thể gốc có hình thù kỳ dị đến mức nào (phân phối đều, lệch phải, hay thậm chí đứt gãy thành nhiều đỉnh), khi cỡ mẫu ($N$) đủ lớn, phân phối của trung bình mẫu sẽ luôn mang hình dáng của một quả chuông hoàn hảo (Phân phối chuẩn - Normal Distribution).

Trong thực tế, mỗi loại dữ liệu có thể theo một phân phối khác nhau, khiến việc xây dựng kiểm định hay ước lượng trở nên phức tạp. Vậy làm sao ước lượng và ra quyết định khi không biết rõ phân phối thật sự của dữ liệu?

Trong trường hợp i.i.d. với kỳ vọng và phương sai hữu hạn, CLT cho biết phân phối của trung bình mẫu đã chuẩn hóa hội tụ về phân phối chuẩn. Cỡ mẫu cần thiết để xấp xỉ tốt phụ thuộc vào phân phối gốc; điều kiện “$n$ đủ lớn” không có một ngưỡng chung cho mọi phân phối.