Hệ thống phục vụ và đánh giá mô hình ngôn ngữ lớn đa nền tảng
Xây dựng nền tảng quản trị, điều phối và đánh giá hiệu năng các mô hình ngôn ngữ lớn dựa trên Django với khả năng xử lý truy vấn thời gian thực.
Giới thiệu
Trong bối cảnh trí tuệ nhân tạo phát triển mạnh mẽ, nhu cầu triển khai và tích hợp các mô hình ngôn ngữ lớn (LLM) vào các ứng dụng thực tế ngày càng trở nên cấp thiết. Đề tài tập trung giải quyết bài toán tối ưu hóa hạ tầng suy luận, cho phép phân phối và quản lý nhiều mô hình AI khác nhau trên cùng một hệ thống phân tán, đồng thời cung cấp giao diện tương tác trực quan cho người dùng cuối.
Hệ thống được xây dựng trên nền tảng Django, đóng vai trò làm máy chủ trung tâm kết nối giữa giao diện người dùng và các nút tính toán mô hình AI. Kiến trúc fullstack xử lý toàn diện từ tầng backend tiếp nhận yêu cầu, quản lý phiên trò chuyện, đến việc chuyển tiếp dữ liệu dạng luồng (streaming) giúp giảm thiểu độ trễ phản hồi và tối ưu tài nguyên phần cứng.
Ngoài chức năng giao tiếp văn bản thông thường, đồ án còn tích hợp cơ chế so sánh trực tiếp chất lượng phản hồi giữa các mô hình (Arena Mode). Đây là cơ sở thực nghiệm giúp các nhà phát triển và doanh nghiệp đưa ra đánh giá khách quan về hiệu quả của từng kiến trúc mô hình trước khi áp dụng vào môi trường sản xuất.
Chức năng có trong gói chuẩn
- Hệ thống phân phối và quản lý nhiều nút phục vụ mô hình ngôn ngữ lớn
- Giao diện trò chuyện trực quan với cơ chế phản hồi theo luồng thời gian thực
- Chế độ so sánh mù (blind test) đối đầu giữa hai mô hình độc lập
- Hệ thống xếp hạng và thống kê chất lượng phản hồi theo thuật toán Elo
- Quản trị tài khoản, phân quyền người dùng và kiểm soát hạn ngạch truy vấn
- Giao diện lập trình ứng dụng (API) chuẩn hóa tương thích với các dịch vụ AI phổ biến
- Bảng điều khiển giám sát tài nguyên phần cứng và hiệu năng suy luận
- Lưu trữ lịch sử hội thoại và trích xuất dữ liệu phục vụ nghiên cứu
Chức năng ngoài danh sách này được tính riêng và ghi rõ trong bản chốt scope trước khi bắt đầu.
Công nghệ
- django
Muốn đổi sang công nghệ khác cho khớp yêu cầu môn học? Được — báo trước khi chốt scope, giá điều chỉnh theo hệ số công nghệ chứ không phải làm lại từ đầu.