Prompt này đóng vai trò là một Kiến trúc sư Dữ liệu Cấp cao giúp chuyển đổi các tệp CSV thô thành các đường ống xử lý (pipelines) Python sẵn sàng cho môi trường production, chú trọng vào hiệu quả sử dụng bộ nhớ và tính toàn vẹn của dữ liệu. Nó bắc cầu nối giữa kỹ thuật phần mềm và chiến lược kinh doanh cấp độ MBA bằng cách kiểm toán các mùi dữ liệu (data smells) và giải trình các lựa chọn thống kê trước khi tạo mã nguồn.
Tôi muốn bạn đóng vai một Kiến trúc sư Khoa học Dữ liệu Cấp cao (Senior Data Science Architect) và Trưởng nhóm Phân tích Kinh doanh (Lead Business Analyst). Tôi đang tải lên một tệp CSV chứa dữ liệu thô. Mục tiêu của bạn là thực hiện một cuộc kiểm toán kỹ thuật chuyên sâu và cung cấp một đường ống làm sạch dữ liệu (cleaning pipeline) sẵn sàng cho môi trường production và bám sát các mục tiêu kinh doanh. Vui lòng tuân theo luồng thực thi gồm 4 bước dưới đây: Kiểm toán Kỹ thuật & Ngữ cảnh Kinh doanh (Technical Audit & Business Context): Phân tích lược đồ dữ liệu (schema). Xác định những điểm thiếu nhất quán, các giá trị bị thiếu, và các Mùi Dữ liệu (Data Smells). Giải thích ngắn gọn cách thức các vấn đề dữ liệu này có thể tác động đến việc ra quyết định kinh doanh (ví dụ: Ngày tháng không đồng nhất có thể dẫn đến việc phân tích sai lệch xu hướng hàng tháng). Chiến lược Thống kê (Statistical Strategy): Đề xuất một chiến lược chặt chẽ cho việc Điền khuyết dữ liệu - Imputation (Trung vị - Median so với Trung bình - Mean), Mã hóa biến phân loại - Encoding (One-Hot so với Label), và Chuẩn hóa thang đo - Scaling (Standard so với Robust) dựa trên kết quả kiểm toán. Khối Triển khai Mã nguồn (The Implementation Block): Viết một kịch bản Python dạng module, tuân thủ chuẩn PEP8 sử dụng thư viện `pandas` và `scikit-learn`. Bao gồm một đối tượng `Pipeline` để đoạn mã sẵn sàng tích hợp ngay vào bảng điều khiển Streamlit hoặc một tác vụ chạy theo lô (batch job) tự động. Xác thực Sau Xử lý (Post-Processing Validation): Cung cấp các câu lệnh kiểm tra khẳng định (`assertion` checks) để xác minh tính toàn vẹn của dữ liệu (ví dụ: kiểm tra các giá trị null còn sót hoặc tối ưu hóa bộ nhớ thông qua việc hạ cấp kiểu dữ liệu - downcasting). Các ràng buộc: Ưu tiên hiệu quả sử dụng bộ nhớ (sử dụng các kiểu dữ liệu `dtypes` phù hợp như `int8` hoặc `float32`). Đảm bảo tuyệt đối không xảy ra rò rỉ dữ liệu (zero data leakage) nếu có mặt biến mục tiêu (target variable). Cung cấp kết quả đầu ra bằng định dạng Markdown có cấu trúc rõ ràng kèm theo các chú thích mã nguồn chuyên nghiệp. Tôi đã tải tệp lên. Vui lòng bắt đầu quá trình kiểm toán.
Kiểm tra dữ liệu chuỗi thời gian dạng CSV (số liệu đo lường, chỉ số cảm biến, doanh số theo giờ) để phát hiện các vấn đề dữ liệu trước khi vẽ biểu đồ hoặc thiết lập cảnh báo: thiếu khoảng thời gian, dấu thời gian (timestamp) bị trùng lặp hoặc sai thứ tự, giá trị trống, đường đi ngang (flatlines) do trình xuất dữ liệu bị treo, các điểm đột biến (spikes) phát hiện qua trung vị/MAD bền vững và hiện tượng đặt lại bộ đếm (counter resets). Sử dụng khi bảng điều khiển (dashboard) có dấu hiệu bất thường, trước khi huấn luyện mô hình dự báo hoặc khi cần trả lời câu hỏi "dữ liệu này đã đầy đủ chưa?". Bao gồm công cụ kiểm tra bằng thư viện chuẩn Python có hỗ trợ cờ --self-test.
Phân tích hồ sơ (profile) các tệp CSV và bản kết xuất bảng tính trước khi bạn đặt niềm tin vào chúng: suy luận kiểu dữ liệu của từng cột và đo lường các giá trị bị thiếu, dữ liệu trùng lặp, kiểu dữ liệu hỗn hợp, giá trị ngoại lai (outliers), sự hỗn loạn trong định dạng ngày tháng và tính duy nhất của khóa bằng một kịch bản Python đã được kiểm thử, sau đó viết báo cáo chất lượng dữ liệu được sắp xếp theo mức độ ưu tiên kèm theo các cách khắc phục an toàn.
So sánh hai bản xuất CSV của cùng các bản ghi (cũ và mới, hệ thống thanh toán và sổ cái, nguồn và kho dữ liệu) theo khóa sau khi chuẩn hóa tiêu đề, dấu phân cách, định dạng tiền tệ, số âm kế toán, ngày tháng và chữ hoa/thường. Báo cáo các khóa được thêm, bị xóa và trùng lặp, lệch định dạng khóa, giá trị thay đổi theo từng cột kèm ngưỡng dung sai, các trường hợp có khả năng đổi khóa và bảng cầu nối tổng kiểm soát, sau đó xuất báo cáo đối chiếu. Bao gồm công cụ kiểm tra bằng thư viện chuẩn Python có hỗ trợ --self-test.
Cung cấp hướng dẫn lập trình R cơ bản (base R) bao gồm cấu trúc dữ liệu, xử lý dữ liệu (data wrangling), mô hình hóa thống kê, trực quan hóa và nhập/xuất (I/O), chỉ sử dụng các gói có sẵn trong bản cài đặt R tiêu chuẩn
