Bias - Variance Tradeoff

1. Định nghĩa cơ bản

Bias (Thiên lệch)

• Bias là độ lệch giữa dự đoán của mô hình và giá trị thực tế.

• Bias cao xảy ra khi mô hình quá đơn giản, không thể học đúng mối quan hệ trong dữ liệu.

• Hậu quả: Dự đoán sai lệch có hệ thống.

📌 Ví dụ:

Bạn dùng một đường thẳng để dự đoán kết quả học tập, trong khi mối quan hệ thực sự là phi tuyến (cong). Mô hình không đủ khả năng để học mối quan hệ này → kết quả luôn sai → bias cao.

Variance (Phương sai)

• Variance là mức độ mà dự đoán của mô hình thay đổi khi dữ liệu huấn luyện thay đổi.

• Variance cao xảy ra khi mô hình quá nhạy cảm với dữ liệu huấn luyện, học thuộc lòng dữ liệu.

• Hậu quả: Mô hình kém ổn định và dự đoán kém trên dữ liệu mới.

📌 Ví dụ:

Một mô hình Decision Tree cực kỳ sâu có thể dự đoán chính xác tất cả điểm huấn luyện, nhưng khi gặp dữ liệu mới sẽ hoạt động rất tệ vì không có khả năng tổng quát.

2. Tổng lỗi (Total Error)

Khi huấn luyện mô hình, Tổng lỗi = Bias² + Variance + Noise

• Bias²: lỗi do mô hình đơn giản hóa quá mức

• Variance: lỗi do mô hình quá phức tạp

• Noise: yếu tố ngẫu nhiên trong dữ liệu không thể tránh

3. Tradeoff – Tại sao cần đánh đổi?

• Không thể cùng lúc đạt Bias thấp và Variance thấp

• Nếu giảm Bias (mô hình phức tạp hơn) → tăng Variance

• Nếu giảm Variance (mô hình đơn giản hơn) → tăng Bias

Mục tiêu:

Tìm mô hình vừa đủ — không quá đơn giản cũng không quá phức tạp → Tổng lỗi thấp nhất

Ví dụ thực tế minh họa

Ví dụ 1: Học sinh làm bài toán

• Bias cao:

  • Học sinh mới học lớp 1, chỉ biết cộng trừ → gặp bài nâng cao thì làm sai hoàn toàn

• Variance cao:

  • Học sinh học thuộc lòng đáp án → đổi đề một chút là không biết làm

Học sinh giỏi sẽ hiểu bản chất, không học vẹt → Bias thấp, Variance thấp

Ví dụ 2: Nấu ăn với gia vị

• Bias cao: chỉ dùng mỗi muối và tiêu → món ăn luôn nhạt → đơn giản hóa quá mức

• Variance cao: có 50 loại gia vị, trộn lung tung mỗi lần khác nhau → không ổn định, vị không lặp lại

Người nấu ăn giỏi biết chọn lọc gia vị hợp lý → tạo ra món ngon ổn định

4. Làm sao để giải quyết Tradeoff?