Hệ thống Trợ lý AI Cục bộ Tích hợp Mô hình Ngôn ngữ Lớn trên Nền tảng .NET
Đồ án xây dựng hệ thống hỏi đáp và xử lý ngôn ngữ tự nhiên chạy trực tiếp trên hạ tầng nội bộ, sử dụng .NET và kỹ thuật suy luận LLM tối ưu tài nguyên.
Giới thiệu
Trong bối cảnh bảo mật dữ liệu doanh nghiệp ngày càng được chú trọng, việc phụ thuộc vào các dịch vụ đám mây công cộng tiềm ẩn nguy cơ rò rỉ thông tin nhạy cảm. Đề tài tập trung giải quyết bài toán triển khai các mô hình ngôn ngữ lớn (LLM) trực tiếp trên máy chủ cục bộ mà không đòi hỏi phần cứng chuyên dụng quá tốn kém, đảm bảo dữ liệu xử lý hoàn toàn khép kín.
Hệ thống được xây dựng trên nền tảng .NET Fullstack với kiến trúc phân lớp hiện đại, tích hợp công nghệ LLamaSharp để liên kết trực tiếp với thư viện llama.cpp cấp thấp. Giải pháp cho phép nạp và chạy suy luận các mô hình lượng tử hóa (GGUF) với hiệu năng cao, hỗ trợ cả CPU và GPU, từ đó cung cấp dịch vụ sinh văn bản, tóm tắt và hỏi đáp theo thời gian thực.
Phần backend chịu trách nhiệm quản lý phiên trò chuyện, lập chỉ mục ngữ cảnh và tương tác mô hình, trong khi giao diện người dùng cung cấp trải nghiệm trò chuyện mượt mà thông qua kết nối truyền phát trực tiếp. Đồ án minh chứng tính khả thi của việc ứng dụng AI nâng cao trong hệ sinh thái doanh nghiệp sử dụng công nghệ Microsoft.
Chức năng có trong gói chuẩn
- Quản lý và chuyển đổi linh hoạt giữa các mô hình ngôn ngữ định dạng GGUF
- Giao diện trò chuyện trực quan với cơ chế phản hồi dạng luồng (Streaming API) thời gian thực
- Hệ thống quản lý ngữ cảnh hội thoại thông minh và lưu vết lịch sử tương tác
- Cơ chế RAG cơ bản hỗ trợ hỏi đáp dựa trên tài liệu văn bản nội bộ được tải lên
- Thiết lập tham số suy luận linh hoạt như nhiệt độ (Temperature), Top-P, phạt lặp lại
- Kiểm soát tài nguyên phần cứng, hỗ trợ phân bổ tải giữa CPU và GPU nội bộ
- Quản lý người dùng, phân quyền truy cập và bảo mật dữ liệu hội thoại cục bộ
Chức năng ngoài danh sách này được tính riêng và ghi rõ trong bản chốt scope trước khi bắt đầu.
Công nghệ
- dotnet
Muốn đổi sang công nghệ khác cho khớp yêu cầu môn học? Được — báo trước khi chốt scope, giá điều chỉnh theo hệ số công nghệ chứ không phải làm lại từ đầu.