Hệ thống Quản lý Dữ liệu và Tự động hóa Thu thập Thông tin Web
Giải pháp quản lý và điều phối các tác vụ trích xuất dữ liệu tự động, hỗ trợ tổ chức thông tin tập trung và chuẩn hóa dữ liệu trên nền tảng .NET.
Giới thiệu
Trong bối cảnh dữ liệu số phát triển nhanh chóng, nhu cầu thu thập và quản lý thông tin đa nguồn để phục vụ vận hành doanh nghiệp ngày càng trở nên thiết yếu. Đề tài tập trung xây dựng một hệ thống quản lý tập trung, cho phép người dùng cấu hình, lên lịch và giám sát các tiến trình thu thập dữ liệu web một cách có hệ thống, giảm thiểu thao tác thủ công và sai sót dữ liệu.
Hệ thống được xây dựng hoàn chỉnh theo mô hình fullstack sử dụng hệ sinh thái .NET hiện đại. Phía backend ứng dụng ASP.NET Core kết hợp cùng Entity Framework Core và SQL Server đảm bảo hiệu năng xử lý, tính toàn vẹn dữ liệu và khả năng mở rộng. Phía giao diện trực quan hỗ trợ quản trị viên dễ dàng thiết lập quy trình, quản lý kết quả đầu ra và theo dõi trạng thái tác vụ theo thời gian thực.
Chức năng có trong gói chuẩn
- Quản trị người dùng, phân quyền truy cập và bảo mật hệ thống
- Quản lý danh mục nguồn dữ liệu và cấu hình quy tắc trích xuất
- Lên lịch trình thực thi tự động các tác vụ thu thập theo chu kỳ
- Giám sát trạng thái hoạt động và ghi nhật ký tiến trình thời gian thực
- Kiểm duyệt, chuẩn hóa và lưu trữ dữ liệu đầu ra có cấu trúc
- Tìm kiếm, lọc và phân loại tập dữ liệu thu thập được
- Xuất báo cáo kết quả sang các định dạng thông dụng như Excel, CSV, JSON
- Bảng điều khiển thống kê số lượng và tỷ lệ thực thi tác vụ
Chức năng ngoài danh sách này được tính riêng và ghi rõ trong bản chốt scope trước khi bắt đầu.
Công nghệ
- dotnet
Muốn đổi sang công nghệ khác cho khớp yêu cầu môn học? Được — báo trước khi chốt scope, giá điều chỉnh theo hệ số công nghệ chứ không phải làm lại từ đầu.