Gini-Impurity - Nhãn - NZQIRChttps://nzqirc.xyz/tags/gini-impurity/Gini-Impurity - Nhãn - NZQIRCHugo -- gohugo.ioviThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Tue, 08 Sep 2026 14:48:00 +0700So sánh ba thước đo độ hỗn tạp: Gini, Entropy và Sai số phân loạihttps://nzqirc.xyz/posts/math/stats/gini-entropy-misclassification-error/Tue, 08 Sep 2026 14:48:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/gini-entropy-misclassification-error/Khi huấn luyện một cây quyết định phân loại (Decision Tree), giảm tỷ lệ dự đoán sai ngoài mẫu thường là một mục tiêu quan trọng. Vậy tại sao các thuật toán kinh điển như CART (Breiman et al., 1984) và C4.5 (Quinlan, 1993) không dùng trực tiếp Sai số phân loại (Misclassification Error) để tìm điểm phân nhánh, mà dùng Độ hỗn tạp Gini hoặc tiêu chí dựa trên Shannon Entropy?

Bài viết này so sánh trực diện ba thước đo độ hỗn tạp, làm sáng tỏ “điểm mù” của sai số phân loại, và chứng minh bất đẳng thức toán học $E(t) \le G(t)$ liên kết chúng với nhau.

]]>Entropy (Shannon Entropy): Đo lường sự bất ngờ và độ bất địnhhttps://nzqirc.xyz/posts/math/stats/entropy/Tue, 08 Sep 2026 14:45:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/entropy/Năm 1948, Claude Shannon công bố bài báo “A Mathematical Theory of Communication”, xây dựng một khuôn khổ toán học cho truyền thông. Một câu hỏi trung tâm của khuôn khổ ấy là: Làm thế nào để lượng hoá “lượng thông tin” chứa trong một thông điệp?

Một khái niệm trung tâm trong câu trả lời là Entropy — thước đo độ bất định (uncertainty) trung bình của một nguồn. Trong học máy, Entropy là cơ sở của Information Gain trong ID3 và Gain Ratio trong C4.5.

]]>Chỉ số Gini (Gini Impurity): Đo độ hỗn tạp từ một trò chơi xác suấthttps://nzqirc.xyz/posts/math/stats/gini-impurity/Sun, 30 Aug 2026 16:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/gini-impurity/Thuật toán cây phân loại CART (Classification and Regression Trees) thực chất là bài toán Cô Tấm lựa đậu được tự động hoá, vận hành nhờ sự phối hợp nhịp nhàng giữa hai vai trò: The Doer (người thực thi) và The Tester (giám khảo đánh giá).

  • Cô Tấm (The Doer — Bộ phân nhánh): Bắt đầu với một rổ đậu lẫn lộn (tập dữ liệu), nhiệm vụ của Tấm là liên tục đề xuất phương pháp phân loại.
  • Thước đo Gini (The Tester — Giám khảo): Mỗi khi Tấm chia thử, “máy đo Gini” sẽ quét qua hai rổ mới để định lượng độ hỗn tạp:
    • $\text{Gini} = 0$: Rổ thuần khiết tuyệt đối (chỉ còn một loại hạt) $\to$ Tấm cất rổ đó đi, nhánh này hoàn tất.
    • $\text{Gini} > 0$: Rổ vẫn hỗn tạp (còn lẫn nhiều loại hạt) $\to$ Tấm phải tiếp tục tìm tiêu chí để lựa tiếp.

“Doer” thử mọi cách chia khả dĩ, còn “Tester” kiên nhẫn chấm điểm mức độ giảm độ hỗn tạp $\Delta G$ — tức hiệu số giữa độ hỗn tạp của rổ ban đầu trừ đi độ hỗn tạp trung bình của các rổ con sau khi chia ($\Delta G = G_{\text{trước}} - G_{\text{sau}}$). Cách lựa nào mang lại $\Delta G$ lớn nhất (giúp rổ đậu sạch nhanh nhất) sẽ được chốt hạ, và chu trình cứ thế lặp lại cho đến khi các rổ đạt độ thuần khiết mong muốn (hoặc chạm ngưỡng dừng của cây).

]]>