Entropy - Nhãn - NZQIRChttps://nzqirc.xyz/tags/entropy/Entropy - Nhãn - NZQIRCHugo -- gohugo.ioviThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Fri, 18 Sep 2026 18:00:00 +0700Tại Sao 'Thông Tin' Lại Dùng Logarit?https://nzqirc.xyz/posts/math/stats/why-information-uses-log/Fri, 18 Sep 2026 18:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/why-information-uses-log/Vì log gần như là hàm tự nhiên nhất khi ta muốn một đại lượng gọi là “information”.

1. Trực giác cốt lõi: Xác suất nhân, thông tin cộng

Nếu hai sự kiện độc lập xảy ra với xác suất $p$ và $q$, thì xác suất để cả hai cùng xảy ra là $pq$.

Nhưng ta muốn lượng thông tin thu được phải cộng dồn:

$$ I(pq) = I(p) + I(q). $$

Hàm liên tục thỏa mãn tính chất này có dạng:

]]>So sánh ba thước đo độ hỗn tạp: Gini, Entropy và Sai số phân loạihttps://nzqirc.xyz/posts/math/stats/gini-entropy-misclassification-error/Tue, 08 Sep 2026 14:48:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/gini-entropy-misclassification-error/Khi huấn luyện một cây quyết định phân loại (Decision Tree), giảm tỷ lệ dự đoán sai ngoài mẫu thường là một mục tiêu quan trọng. Vậy tại sao các thuật toán kinh điển như CART (Breiman et al., 1984) và C4.5 (Quinlan, 1993) không dùng trực tiếp Sai số phân loại (Misclassification Error) để tìm điểm phân nhánh, mà dùng Độ hỗn tạp Gini hoặc tiêu chí dựa trên Shannon Entropy?

Bài viết này so sánh trực diện ba thước đo độ hỗn tạp, làm sáng tỏ “điểm mù” của sai số phân loại, và chứng minh bất đẳng thức toán học $E(t) \le G(t)$ liên kết chúng với nhau.

]]>Entropy (Shannon Entropy): Đo lường sự bất ngờ và độ bất địnhhttps://nzqirc.xyz/posts/math/stats/entropy/Tue, 08 Sep 2026 14:45:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/entropy/Năm 1948, Claude Shannon công bố bài báo “A Mathematical Theory of Communication”, xây dựng một khuôn khổ toán học cho truyền thông. Một câu hỏi trung tâm của khuôn khổ ấy là: Làm thế nào để lượng hoá “lượng thông tin” chứa trong một thông điệp?

Một khái niệm trung tâm trong câu trả lời là Entropy — thước đo độ bất định (uncertainty) trung bình của một nguồn. Trong học máy, Entropy là cơ sở của Information Gain trong ID3 và Gain Ratio trong C4.5.

]]>Chỉ số Gini (Gini Impurity): Đo độ hỗn tạp từ một trò chơi xác suấthttps://nzqirc.xyz/posts/math/stats/gini-impurity/Sun, 30 Aug 2026 16:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/gini-impurity/Thuật toán cây phân loại CART (Classification and Regression Trees) thực chất là bài toán Cô Tấm lựa đậu được tự động hoá, vận hành nhờ sự phối hợp nhịp nhàng giữa hai vai trò: The Doer (người thực thi) và The Tester (giám khảo đánh giá).

  • Cô Tấm (The Doer — Bộ phân nhánh): Bắt đầu với một rổ đậu lẫn lộn (tập dữ liệu), nhiệm vụ của Tấm là liên tục đề xuất phương pháp phân loại.
  • Thước đo Gini (The Tester — Giám khảo): Mỗi khi Tấm chia thử, “máy đo Gini” sẽ quét qua hai rổ mới để định lượng độ hỗn tạp:
    • $\text{Gini} = 0$: Rổ thuần khiết tuyệt đối (chỉ còn một loại hạt) $\to$ Tấm cất rổ đó đi, nhánh này hoàn tất.
    • $\text{Gini} > 0$: Rổ vẫn hỗn tạp (còn lẫn nhiều loại hạt) $\to$ Tấm phải tiếp tục tìm tiêu chí để lựa tiếp.

“Doer” thử mọi cách chia khả dĩ, còn “Tester” kiên nhẫn chấm điểm mức độ giảm độ hỗn tạp $\Delta G$ — tức hiệu số giữa độ hỗn tạp của rổ ban đầu trừ đi độ hỗn tạp trung bình của các rổ con sau khi chia ($\Delta G = G_{\text{trước}} - G_{\text{sau}}$). Cách lựa nào mang lại $\Delta G$ lớn nhất (giúp rổ đậu sạch nhanh nhất) sẽ được chốt hạ, và chu trình cứ thế lặp lại cho đến khi các rổ đạt độ thuần khiết mong muốn (hoặc chạm ngưỡng dừng của cây).

]]>Tổng quan về sinh số ngẫu nhiên: từ entropy đến PRNG và CSPRNGhttps://nzqirc.xyz/posts/math/stats/random-number-generation-overview/Mon, 03 Aug 2026 11:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/random-number-generation-overview/1. “Số ngẫu nhiên” có thể đến từ hai nơi

Khi một chương trình yêu cầu số ngẫu nhiên, có hai công việc rất khác nhau có thể đang diễn ra:

  1. Thu nhận entropy từ thế giới thực: đo một hiện tượng khó dự đoán như nhiễu điện tử hoặc độ lệch thời gian của các sự kiện hệ thống.
  2. Mở rộng một trạng thái hữu hạn bằng thuật toán tất định: từ một seed ngắn, sinh nhanh một luồng bit dài có tính chất thống kê hoặc tính chất mật mã mong muốn.

Hệ điều hành hiện đại thường kết hợp cả hai. Nó gom các tín hiệu khó dự đoán, kiểm tra và trộn chúng thành seed; sau đó một bộ sinh số giả ngẫu nhiên an toàn mật mã (cryptographically secure pseudorandom number generator, CSPRNG) mở rộng seed đó thành lượng dữ liệu lớn. Vì vậy, “ngẫu nhiên vật lý” và “PRNG tất định” không nhất thiết là hai lựa chọn loại trừ nhau: nhánh thứ nhất thường nuôi seed và reseed cho nhánh thứ hai.

]]>