Hệ thống tính toán phân tán phục vụ suy luận mô hình ngôn ngữ lớn trên nền tảng Django
Nghiên cứu và xây dựng nền tảng Fullstack điều phối tài nguyên phân tán, hỗ trợ suy luận mô hình ngôn ngữ lớn hiệu quả với chi phí tối ưu.
Giới thiệu
Trong bối cảnh các mô hình ngôn ngữ lớn (LLM) ngày càng phát triển, nhu cầu tài nguyên phần cứng để vận hành và suy luận trở thành rào cản lớn đối với nhiều tổ chức. Đề tài tập trung giải quyết bài toán tối ưu hóa hạ tầng tính toán bằng cách ứng dụng cơ chế phân tán tải suy luận mô hình qua mạng ngang hàng, chia nhỏ các lớp mạng nơ-ron để xử lý trên nhiều thiết bị có cấu hình phổ thông thay vì phụ thuộc vào máy chủ GPU đơn lẻ đắt đỏ.
Hệ thống được xây dựng hoàn chỉnh theo kiến trúc Fullstack với backend sử dụng Django, đảm nhiệm vai trò trung tâm điều phối, quản lý phiên làm việc, định tuyến yêu cầu và giám sát trạng thái của các nút tính toán trong mạng. Giao diện người dùng trực quan cho phép tương tác trực tiếp với mô hình, theo dõi độ trễ, lưu lượng và hiệu năng của từng nút theo thời gian thực, đảm bảo tính ổn định và bảo mật trong suốt quá trình xử lý.
Chức năng có trong gói chuẩn
- Quản lý và đăng ký tham gia mạng lưới của các nút tính toán phân tán
- Giao diện tương tác trò chuyện và gửi yêu cầu suy luận mô hình ngôn ngữ
- Cơ chế định tuyến thông minh và cân bằng tải giữa các nút đang hoạt động
- Giám sát hiệu năng hệ thống, độ trễ và băng thông mạng theo thời gian thực
- Hệ thống xác thực, phân quyền người dùng và quản lý khóa API truy cập
- Lưu trữ lịch sử hội thoại và thống kê mức độ tiêu thụ tài nguyên
- Bảng điều khiển quản trị viên theo dõi trạng thái cụm và cấu hình mô hình
Chức năng ngoài danh sách này được tính riêng và ghi rõ trong bản chốt scope trước khi bắt đầu.
Công nghệ
- django
Muốn đổi sang công nghệ khác cho khớp yêu cầu môn học? Được — báo trước khi chốt scope, giá điều chỉnh theo hệ số công nghệ chứ không phải làm lại từ đầu.