Xây dựng hệ thống giao diện web tương tác mô hình ngôn ngữ lớn Ollama với Spring Boot
Hệ thống quản lý và tương tác mô hình AI cục bộ qua giao diện web hiện đại, tích hợp thư viện Ollama4j trên nền tảng Spring Boot.
Giới thiệu
Trong bối cảnh trí tuệ nhân tạo phát triển nhanh chóng, việc triển khai các mô hình ngôn ngữ lớn (LLM) cục bộ để bảo mật dữ liệu đang trở thành xu hướng quan trọng của doanh nghiệp. Đề tài tập trung giải quyết bài toán giao tiếp, quản lý tài nguyên và tối ưu hóa luồng hội thoại với các mô hình AI chạy offline thông qua công cụ Ollama.
Hệ thống được xây dựng trên kiến trúc Fullstack, sử dụng Spring Boot làm nền tảng xử lý logic và tích hợp thư viện Ollama4j để kết nối trực tiếp với Ollama API. Phía giao diện cung cấp trải nghiệm tương tác thời gian thực mượt mà, hỗ trợ cơ chế phản hồi theo luồng (streaming response) và lưu trữ lịch sử hội thoại có cấu trúc.
Chức năng có trong gói chuẩn
- Quản lý danh sách và thông tin các mô hình AI cục bộ đã cài đặt
- Giao diện trò chuyện trực quan với hỗ trợ phản hồi theo thời gian thực (Streaming SSE)
- Quản lý lịch sử hội thoại, phân chia chủ đề và tìm kiếm nội dung tin nhắn
- Tùy chỉnh tham số suy luận của mô hình như Temperature, Top-P, System Prompt
- Hỗ trợ tải xuống (pull) và xóa mô hình AI trực tiếp từ giao diện quản trị
- Quản lý tài khoản người dùng, phân quyền truy cập và bảo mật phiên làm việc
- Thống kê hiệu suất phản hồi và tài nguyên hệ thống khi thực thi mô hình
Chức năng ngoài danh sách này được tính riêng và ghi rõ trong bản chốt scope trước khi bắt đầu.
Công nghệ
- spring-boot
Muốn đổi sang công nghệ khác cho khớp yêu cầu môn học? Được — báo trước khi chốt scope, giá điều chỉnh theo hệ số công nghệ chứ không phải làm lại từ đầu.