“Luật Số Lớn không có nghĩa là ‘quy luật bù trừ’ (Gambler’s Fallacy). Nếu bạn vừa tung được 10 lần Ngửa liên tiếp, đồng xu không hề ‘ghi nhớ’ điều đó để tự động ra Sấp ở lần tiếp theo nhằm bù lại. Xác suất lần 11 vẫn y nguyên là 50/50. Sự hội tụ xảy ra đơn giản là vì 10 lần Ngửa ban đầu sẽ bị ‘pha loãng’ và chìm nghỉm trong đại dương của 1.000, 10.000 lần tung tiếp theo…”

Trong thực tế, mỗi loại dữ liệu có thể theo một phân phối khác nhau, khiến việc xây dựng kiểm định hay ước lượng trở nên phức tạp. Vậy làm sao ước lượng và ra quyết định khi không biết rõ phân phối thật sự của dữ liệu?

Trong trường hợp i.i.d. với kỳ vọng và phương sai hữu hạn, CLT cho biết phân phối của trung bình mẫu đã chuẩn hóa hội tụ về phân phối chuẩn. Cỡ mẫu cần thiết để xấp xỉ tốt phụ thuộc vào phân phối gốc; điều kiện “$n$ đủ lớn” không có một ngưỡng chung cho mọi phân phối.