“Cùng một mô hình, tại sao chia dữ liệu lại làm thay đổi độ chệch?”

Sự nhầm lẫn xuất phát từ việc đánh đồng hai khái niệm:

1. Model Bias (Độ chệch của mô hình)

Đây là năng lực nội tại của dạng hàm bạn chọn:

• Dùng Hồi quy tuyến tính để khớp một quy luật cong, thì dù có nạp 100% hay 1 tỷ dữ liệu, đường thẳng vẫn không thể khớp hoàn hảo đường cong.
• Sự sai lệch này sinh ra từ giả định cấu trúc cố hữu của mô hình. Cách bạn chia dữ liệu kiểm định không làm thay đổi Model Bias.

2. Estimator Bias (Độ chệch của ước lượng sai số)

Đây không phải độ chệch của hàm mô hình, mà là độ chệch trong thước đo ước lượng sai số ngoài mẫu:

Câu hỏi: Trong các phát biểu sau, phát biểu nào ĐÚNG?

• I. Validation set approach là trường hợp đặc biệt của $k$-fold CV.
• II. LOOCV có độ chệch (bias) thấp hơn $k$-fold CV khi $k < n$.
• III. $k$-fold CV tốn ít chi phí tính toán hơn LOOCV khi $k < n$.

$\implies$ Đáp án chính xác là (C) Chỉ II và III đúng.

]]>https://nzqirc.xyz/posts/math/stats/knn-classification/Fri, 18 Sep 2026 21:05:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/knn-classification/Thuật toán K-Nearest Neighbors (KNN) phân loại một điểm dựa trên biểu quyết đa số từ $K$ quan sát gần nhất theo khoảng cách Euclid.

Xét tập huấn luyện gồm 5 điểm hai chiều $(X_1, X_2)$:

• Lớp [−]: #1 (0,0), #2 (0,1), #3 (2,0)
• Lớp [+]: #4 (2,3), #5 (3,1)

Yêu cầu: Tính sai số huấn luyện (training error rate) với $K = 3$.

]]>https://nzqirc.xyz/posts/math/stats/from-decision-tree-to-random-forest/Fri, 18 Sep 2026 21:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/from-decision-tree-to-random-forest/Một cây quyết định (DT) sâu có độ chệch thấp nhưng phương sai rất cao: nó học vẹt nhiễu và rất nhạy với dữ liệu huấn luyện. Bagging và Random Forest (RF) cùng dùng triết lý “sức mạnh số đông” để dập tắt phương sai, nhưng ở hai cấp độ khác nhau.

---

1. Bagging: Hội đồng đọc chung tài liệu

Thay vì tin 1 cây, Bagging rút mẫu bootstrap tạo $B$ tập con, trồng cây DT nguyên bản trên mỗi tập rồi lấy trung bình dự đoán:

]]>https://nzqirc.xyz/posts/math/stats/bagging/Fri, 18 Sep 2026 20:50:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/bagging/Một cây quyết định sâu có độ chệch thấp nhưng phương sai rất cao: nó ghi nhớ nhiễu và rất nhạy với mẫu huấn luyện.

Năm 1996, Leo Breiman đề xuất Bagging (Bootstrap Aggregating) giúp triệt tiêu phương sai mà không tăng độ chệch.

---

1. Trực giác toán học: Sức mạnh số đông

Nếu có $B$ biến ngẫu nhiên độc lập cùng phương sai $\sigma^2$, trung bình cộng của chúng có phương sai giảm $B$ lần:

]]>https://nzqirc.xyz/posts/math/stats/bias-variance-tradeoff/Fri, 18 Sep 2026 19:50:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/bias-variance-tradeoff/Mọi mô hình học máy khi dự đoán một điểm dữ liệu mới $x_0$ đều phải đối mặt với một phương trình phân rã sai số kinh điển:

$$ \mathbb{E}\left[\left(y_0 - \hat{f}(x_0)\right)^2\right] = \operatorname{Var}\left(\hat{f}(x_0)\right) + \left[\operatorname{Bias}\left(\hat{f}(x_0)\right)\right]^2 + \operatorname{Var}(\varepsilon). $$

---

1. Trực giác (Intuition) của từng thành phần

Phương trình chia sai số dự đoán thành đúng ba mảnh ghép độc lập:

1. Vế trái: $\mathbb{E}\left[\left(y_0 - \hat{f}(x_0)\right)^2\right]$ — Sai số kiểm định kỳ vọng (Expected Test MSE)

• Ý nghĩa: Sai số bình phương trung bình khi mô hình đem đi thực chiến trên dữ liệu mới, tính trung bình qua vô số lần huấn luyện với các tập dữ liệu khác nhau.
• Hình dung: Đây là thước đo “chất lượng thực tế” ngoài đời của thuật toán.

2. $\operatorname{Var}\left(\hat{f}(x_0)\right)$ — Phương sai mô hình (“Tính khí thất thường”)

• Ý nghĩa: Dự đoán của mô hình dao động mạnh đến mức nào nếu ta huấn luyện nó trên một tập dữ liệu khác?
• Trực giác: Mô hình có Variance cao (như Decision Tree quá sâu, mạng nơ-ron không chặn) là kẻ “học vẹt” — quá nhạy cảm với từng điểm dữ liệu ngẫu nhiên của tập train. Đổi tập dữ liệu một chút là kết quả dự đoán nhảy lung tung.
• Bản chất: Gốc rễ của hiện tượng Quá khớp (Overfitting).

3. $\left[\operatorname{Bias}\left(\hat{f}(x_0)\right)\right]^2$ — Độ chệch bình phương (“Định kiến mô hình”)

• Ý nghĩa: Sai lệch giữa giá trị dự đoán trung bình của mô hình và sự thật khách quan: $\operatorname{Bias} = \mathbb{E}[\hat{f}(x_0)] - f(x_0)$.
• Trực giác: Mô hình có Bias cao là kẻ “bảo thủ” — mang nặng giả định giản lược thái quá (ví dụ ép dữ liệu cong thành đường thẳng Linear Regression). Dù có nạp thêm bao nhiêu triệu dữ liệu đi nữa, mô hình vẫn đoán lệch tâm.
• Bản chất: Gốc rễ của hiện tượng Dưới khớp (Underfitting).

4. $\operatorname{Var}(\varepsilon) = \sigma^2$ — Sai số bất khả quy (“Nhiễu của tạo hóa”)

• Ý nghĩa: Phương sai của biến ngẫu nhiên nhiễu $\varepsilon$ trong chính thực tại ($y_0 = f(x_0) + \varepsilon$).
• Trực giác: Thế giới thực luôn chứa đựng sai số đo đạc, biến số tiềm ẩn chưa thu thập hoặc bản chất ngẫu nhiên không thể đoán trước.
• Bản chất: Đây là sàn sai số vật lý (noise floor) mà không một thuật toán tối tân nào có thể vượt qua.

---

2. Hai Insight cốt tử của công thức

Insight 1: Cuộc đánh đổi bắt buộc (The Inevitable Trade-off)

Khi bạn tăng độ phức tạp của mô hình (thêm bậc đa thức, thêm tầng nơ-ron):

]]>https://nzqirc.xyz/posts/math/stats/score-function/Fri, 18 Sep 2026 18:12:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/score-function/Khi làm việc với các mô hình xác suất tham số, câu hỏi trung tâm của việc học tham số là: Nếu ta nhích nhẹ tham số mô hình $\theta$ một lượng vi phân, hàm hợp lý của dữ liệu quan sát sẽ phản ứng nhạy bén đến mức nào?

Công cụ toán học chuẩn mực để định lượng độ nhạy này chính là Score Function. Khác với các đạo hàm hàm số thông thường trong giải tích, Score Function là một biến ngẫu nhiên. Nó sở hữu hai tính chất xác suất nền tảng: kỳ vọng của nó luôn bằng $0$, và phương sai của nó chính là Thông tin Fisher (Fisher Information).

]]>https://nzqirc.xyz/posts/math/stats/mle-asymptotic-efficiency/Fri, 18 Sep 2026 18:10:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/mle-asymptotic-efficiency/Trong thống kê suy diễn, Bất đẳng thức Cramér-Rao (CRLB) đặt ra một giới hạn lý thuyết tối hậu: không một ước lượng không chệch nào có thể đạt phương sai nhỏ hơn nghịch đảo của Thông tin Fisher:

$$ \operatorname{Var}_\theta(\hat{\theta}) \ge \frac{1}{n I(\theta)}. $$

Nhưng CRLB chỉ là một chặn dưới lý thuyết. Câu hỏi đặt ra là: Làm thế nào để tìm được một phương pháp ước lượng tổng quát có thể chạm tới giới hạn lý tưởng này?

]]>https://nzqirc.xyz/posts/math/stats/cramer-rao-bound/Fri, 18 Sep 2026 18:05:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/cramer-rao-bound/Trong lý thuyết ước lượng thống kê (estimation theory), khi muốn suy đoán một tham số tiềm ẩn $\theta$ từ dữ liệu ngẫu nhiên, trực giác tự nhiên thôi thúc chúng ta tìm kiếm các ước lượng không chệch (unbiased estimators) có phương sai càng nhỏ càng tốt.

Nhưng một câu hỏi nền tảng đặt ra là: Liệu có tồn tại một giới hạn vật lý tối hậu mà phương sai của mọi ước lượng không chệch không bao giờ có thể vượt qua?

]]>https://nzqirc.xyz/posts/math/stats/why-information-uses-log/Fri, 18 Sep 2026 18:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/why-information-uses-log/Vì log gần như là hàm tự nhiên nhất khi ta muốn một đại lượng gọi là “information”.

1. Trực giác cốt lõi: Xác suất nhân, thông tin cộng

Nếu hai sự kiện độc lập xảy ra với xác suất $p$ và $q$, thì xác suất để cả hai cùng xảy ra là $pq$.

Nhưng ta muốn lượng thông tin thu được phải cộng dồn:

$$ I(pq) = I(p) + I(q). $$

Hàm liên tục thỏa mãn tính chất này có dạng:

]]>