Tối ưu hóa bộ nhớ ngắn hạn bằng cách tóm tắt hội thoại

Trong bài học trước, bạn đã học cách giảm số lượng tin nhắn trong bộ nhớ ngắn hạn để tiết kiệm token khi làm việc với mô hình ngôn ngữ.
Trong bài học này, chúng ta sẽ tìm hiểu một phương pháp thay thế: Tạo bản tóm tắt hội thoại thay vì lưu toàn bộ danh sách tin nhắn.

Tóm tắt hội thoại: Ý tưởng chính

Ưu điểm:

Nhược điểm:

Khi nào nên dùng tóm tắt hội thoại?

Ghi nhớ:
Hiệu suất và chi phí luôn cần cân bằng tùy vào mục tiêu dự án của bạn.

Cách triển khai

a. Cấu trúc State mới

Trong state của ứng dụng, ngoài khóa mặc định messages, bạn sẽ thêm một khóa mới:

state = {
    "messages": [...],
    "summary": "..."
}
b. Logic hoạt động
  1. Bắt đầu cuộc trò chuyện như bình thường.

  2. Khi số lượng tin nhắn trong bộ nhớ vượt quá ngưỡng (ví dụ: 6 tin nhắn), tạo hoặc cập nhật bản tóm tắt.

  3. Nếu chưa vượt ngưỡng, tiếp tục hội thoại bình thường.

Điều kiện:
Nếu len(messages) > 6 → tạo / cập nhật bản tóm tắt.

c. Các thành phần cần lập trình

Lưu ý khi thực thi

Tổng kết

Ghi nhớ

"Hiệu suất vs Chi phí luôn cần cân bằng. Hiểu kỹ các kỹ thuật ngay từ giai đoạn phát triển sẽ giúp bạn xây dựng các ứng dụng AI tối ưu và chuyên nghiệp hơn."

Tác giả: Đỗ Ngọc Tú
Công Ty Phần Mềm VHTSoft


Phiên bản #1
Được tạo 29 tháng 4 2025 03:42:03 bởi Đỗ Ngọc Tú
Được cập nhật 29 tháng 4 2025 03:47:10 bởi Đỗ Ngọc Tú