Hệ thống Trợ lý Ảo Đa Phương thức Tương tác Thời gian thực

Đề tài tập trung giải quyết bài toán giao tiếp người - máy tự nhiên bằng cách kết hợp mô hình ngôn ngữ lớn (LLM) với nhân vật ảo mô phỏng 3D. Hệ thống loại bỏ rào cản của chatbot truyền thống chỉ dựa trên văn bản, mang lại trải nghiệm tương tác trực quan thông qua giọng nói, cảm xúc và chuyển động cơ thể trong thời gian thực.

Giải pháp được phát triển theo kiến trúc fullstack với backend xây dựng trên nền tảng .NET Core/C#, đóng vai trò trung tâm điều phối luồng xử lý AI bao gồm nhận dạng giọng nói (STT), tổng hợp giọng nói (TTS) và phân tích cảm xúc từ phản hồi văn bản. Hệ thống tối ưu hóa độ trễ qua kết nối WebSocket/gRPC để truyền phát dữ liệu thời gian thực tới giao diện hiển thị 3D.

Phía frontend tích hợp công nghệ kết xuất đồ họa hỗ trợ đồng bộ khẩu hình (viseme) và kích hoạt hoạt ảnh cử chỉ tương ứng với trạng thái hội thoại. Kiến trúc module hóa giúp dễ dàng thay thế hoặc tích hợp các nhà cung cấp dịch vụ AI khác nhau tùy theo nhu cầu triển khai thực tế.