Information-Theory - Nhãn - NZQIRChttps://nzqirc.xyz/tags/information-theory/Information-Theory - Nhãn - NZQIRCHugo -- gohugo.ioviThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Fri, 18 Sep 2026 18:00:00 +0700Tại Sao 'Thông Tin' Lại Dùng Logarit?https://nzqirc.xyz/posts/math/stats/why-information-uses-log/Fri, 18 Sep 2026 18:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/why-information-uses-log/Vì log gần như là hàm tự nhiên nhất khi ta muốn một đại lượng gọi là “information”.

1. Trực giác cốt lõi: Xác suất nhân, thông tin cộng

Nếu hai sự kiện độc lập xảy ra với xác suất $p$ và $q$, thì xác suất để cả hai cùng xảy ra là $pq$.

Nhưng ta muốn lượng thông tin thu được phải cộng dồn:

$$ I(pq) = I(p) + I(q). $$

Hàm liên tục thỏa mãn tính chất này có dạng:

]]>Entropy (Shannon Entropy): Đo lường sự bất ngờ và độ bất địnhhttps://nzqirc.xyz/posts/math/stats/entropy/Tue, 08 Sep 2026 14:45:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/stats/entropy/Năm 1948, Claude Shannon công bố bài báo “A Mathematical Theory of Communication”, xây dựng một khuôn khổ toán học cho truyền thông. Một câu hỏi trung tâm của khuôn khổ ấy là: Làm thế nào để lượng hoá “lượng thông tin” chứa trong một thông điệp?

Một khái niệm trung tâm trong câu trả lời là Entropy — thước đo độ bất định (uncertainty) trung bình của một nguồn. Trong học máy, Entropy là cơ sở của Information Gain trong ID3 và Gain Ratio trong C4.5.

]]>Bất đẳng thức Jensen: Trực giác hình học từ hàm lồi đến kỳ vọng xác suấthttps://nzqirc.xyz/posts/math/analysis/jensen-inequality/Sun, 30 Aug 2026 17:00:00 +0700Du Mãhttps://nzqirc.xyz/posts/math/analysis/jensen-inequality/Trong toán học và xác suất, phép lấy trung bình (hay kỳ vọng toán học $\mathbb{E}$) là một toán tử tuyến tính mẫu mực. Nếu ta có một hàm tuyến tính $f(x) = ax + b$, việc áp dụng hàm trước rồi lấy trung bình hay lấy trung bình trước rồi áp dụng hàm luôn cho cùng một kết quả:

$$ f(\mathbb{E}[X]) = \mathbb{E}[f(X)]. $$

Tuy nhiên, thế giới tự nhiên và các mô hình thống kê hiếm khi tuyến tính. Khi $f$ là một hàm phi tuyến (như $x^2, e^x, \ln x$), câu hỏi căn bản xuất hiện: $f(\mathbb{E}[X])$ và $\mathbb{E}[f(X)]$, đại lượng nào lớn hơn?

]]>