Hệ thống Đánh giá Chất lượng Chatbot RAG trong Tương tác Mạng Xã hội
Nền tảng fullstack đánh giá và kiểm thử tự động chất lượng phản hồi của chatbot RAG trên môi trường mạng xã hội bằng Django.
Giới thiệu
Trong bối cảnh các mô hình ngôn ngữ lớn kết hợp kỹ thuật RAG được ứng dụng ngày càng nhiều vào các nền tảng mạng xã hội và cộng đồng trực tuyến, việc kiểm soát độ chính xác và tính an toàn của câu trả lời trở nên cấp thiết. Hệ thống được xây dựng nhằm giải quyết bài toán đo lường, giám sát chất lượng phản hồi của chatbot, phát hiện kịp thời hiện tượng ảo giác thông tin và đánh giá mức độ phù hợp ngữ cảnh trong các tình huống tương tác thực tế.
Dự án được triển khai toàn diện trên nền tảng Django theo kiến trúc fullstack, tích hợp các bộ chỉ số đo lường chuẩn hóa như độ trung thực, độ liên quan và tính chuẩn xác của dữ liệu truy xuất. Giải pháp cho phép tự động hóa quy trình kiểm thử đối thoại, lưu trữ lịch sử đánh giá và trực quan hóa hiệu năng mô hình, hỗ trợ các nhóm vận hành cộng đồng tối ưu hóa chatbot một cách khoa học.
Chức năng có trong gói chuẩn
- Quản lý bộ dữ liệu kiểm thử và kịch bản hội thoại mẫu theo chủ đề mạng xã hội
- Kết nối và gửi truy vấn đồng thời tới các pipeline RAG khác nhau để thu thập phản hồi
- Tự động chấm điểm chất lượng câu trả lời theo các tiêu chí trung thực và liên quan
- Phát hiện và cảnh báo câu trả lời có nguy cơ sai lệch thông tin hoặc vi phạm tiêu chuẩn
- Giao diện thu thập phản hồi và đánh giá thủ công từ cộng tác viên kiểm thử
- Bảng điều khiển trực quan hóa báo cáo phân tích hiệu năng và biến động chất lượng
- Quản lý phiên tương tác, phân quyền người đánh giá và quản trị viên hệ thống
Chức năng ngoài danh sách này được tính riêng và ghi rõ trong bản chốt scope trước khi bắt đầu.
Công nghệ
- django
Muốn đổi sang công nghệ khác cho khớp yêu cầu môn học? Được — báo trước khi chốt scope, giá điều chỉnh theo hệ số công nghệ chứ không phải làm lại từ đầu.