Bài viết này so sánh trực diện ba thước đo độ hỗn tạp, làm sáng tỏ “điểm mù” của sai số phân loại, và chứng minh bất đẳng thức toán học $E(t) \le G(t)$ liên kết chúng với nhau.

Tuy nhiên, thế giới tự nhiên và các mô hình thống kê hiếm khi tuyến tính. Khi $f$ là một hàm phi tuyến (như $x^2, e^x, \ln x$), câu hỏi căn bản xuất hiện: $f(\mathbb{E}[X])$ và $\mathbb{E}[f(X)]$, đại lượng nào lớn hơn?

• Cô Tấm (The Doer — Bộ phân nhánh): Bắt đầu với một rổ đậu lẫn lộn (tập dữ liệu), nhiệm vụ của Tấm là liên tục đề xuất phương pháp phân loại.
• Thước đo Gini (The Tester — Giám khảo): Mỗi khi Tấm chia thử, “máy đo Gini” sẽ quét qua hai rổ mới để định lượng độ hỗn tạp:
  • $\text{Gini} = 0$: Rổ thuần khiết tuyệt đối (chỉ còn một loại hạt) $\to$ Tấm cất rổ đó đi, nhánh này hoàn tất.
  • $\text{Gini} > 0$: Rổ vẫn hỗn tạp (còn lẫn nhiều loại hạt) $\to$ Tấm phải tiếp tục tìm tiêu chí để lựa tiếp.

“Doer” thử mọi cách chia khả dĩ, còn “Tester” kiên nhẫn chấm điểm mức độ giảm độ hỗn tạp $\Delta G$ — tức hiệu số giữa độ hỗn tạp của rổ ban đầu trừ đi độ hỗn tạp trung bình của các rổ con sau khi chia ($\Delta G = G_{\text{trước}} - G_{\text{sau}}$). Cách lựa nào mang lại $\Delta G$ lớn nhất (giúp rổ đậu sạch nhanh nhất) sẽ được chốt hạ, và chu trình cứ thế lặp lại cho đến khi các rổ đạt độ thuần khiết mong muốn (hoặc chạm ngưỡng dừng của cây).

Sự đơn giản này dễ tạo cảm giác rằng cây chỉ là một sơ đồ if–else được viết bằng tay. Điểm khác biệt nằm ở chỗ dữ liệu quyết định câu hỏi nào được đặt, đặt ở đâu và khi nào dừng lại. Bài viết sẽ đi từ một phép chia duy nhất tới toàn bộ cây, sau đó chỉ ra vì sao một cây đơn thường được dùng làm mô hình cơ sở (base learner) cho Random Forest.

Trước MPT, người ta đầu tư đơn giản bằng cách chọn ra những cổ phiếu có lợi nhuận kỳ vọng cao nhất. Markowitz chỉ ra một sự thật cơ bản nhưng thường bị phớt lờ: “Don’t put all your eggs in one basket” (Đừng bỏ tất cả trứng vào một rổ). Nhưng rổ nào, và bao nhiêu trứng mỗi rổ?

Giả sử bạn đang xem xét tỷ suất sinh lời hàng ngày của hai tài sản:

• Tài sản X (Ví dụ: Trái phiếu Chính phủ): An toàn, biến động thấp.
• Tài sản Y (Ví dụ: Cổ phiếu Bất động sản): Rủi ro cao, biến động cực mạnh.

Để đo lường rủi ro (sự phân tán), chúng ta dùng Phương sai (Variance) cho từng tài sản. Nhưng để biết chúng đi cùng nhau hay ngược nhau (để đa dạng hoá danh mục), chúng ta cần đến Hiệp phương sai (Covariance) và Tương quan (Correlation).

Nếu chúng ta cố gắng dùng một đường thẳng (Hồi quy tuyến tính) cho bài toán này, kết quả sẽ rất kỳ cục. Đường thẳng có thể trả về các giá trị như $1.5$ (hơn cả mức Đậu) hoặc $-0.3$ (dưới cả mức Rớt). Điều này không có ý nghĩa toán học khi ta muốn một xác suất nằm trong khoảng $[0, 1]$.

Khi bạn có một tập hợp các điểm dữ liệu và bạn nhận thấy chúng có vẻ tuân theo một xu hướng tăng hoặc giảm, câu hỏi tự nhiên là: Làm sao để vẽ một đường thẳng đại diện tốt nhất cho xu hướng đó?