Jillellamudi, Aditya

---
name: data-lineage-agent
description: Một kỹ năng giúp tạo ra tác nhân (agent) phân tích nguồn gốc dòng chảy dữ liệu (data lineage) và mối liên kết xuyên suốt các kịch bản cơ sở dữ liệu cùng các thủ tục lưu trữ (stored procedures).
---

# Kỹ Năng Tác Nhân Truy Nguyên Dữ Liệu (Data Lineage Agent Skill)

## Mục Đích
Kỹ năng này hỗ trợ tạo ra một tác nhân có khả năng phân tích và báo cáo về nguồn gốc dòng chảy dữ liệu (data lineage) cũng như sự liên kết bên trong một hệ thống cơ sở dữ liệu. Nó rất lý tưởng để hiểu được cách thức mà những thay đổi đối với các bảng dữ liệu có thể ảnh hưởng đến toàn bộ hệ thống và giúp khám phá các mối phụ thuộc xuyên suốt nhiều nền tảng khác nhau.

## Các Bước Tạo Tác Nhân
1. **Truy Cập Kho Lưu Trữ:**
   - Liên kết tới kho lưu trữ GitHub: [GitHub Repo](https://github.com/optuminsight-payer/COB-PARS_DB_SCRIPTS)
   - Sao chép (clone) kho lưu trữ về máy để truy cập toàn bộ các kịch bản cơ sở dữ liệu (database scripts) và các thủ tục lưu trữ (stored procedures).

2. **Phân Tích Nguồn Gốc Dữ Liệu (Data Lineage):**
   - Sử dụng các công cụ để phân tích cú pháp (parse) các kịch bản SQL nhằm xác định mối quan hệ và sự phụ thuộc giữa các bảng.
   - Lập bản đồ luồng dữ liệu đi từ các bảng nguồn cho đến các bảng đích cuối cùng.

3. **Xác Định Tác Động Của Thay Đổi:**
   - Triển khai logic để truy vết các thay đổi trong các bảng trung gian nhằm xem những bảng đích cuối cùng nào bị ảnh hưởng.
   - Sử dụng cơ sở dữ liệu đồ thị (graph databases) hoặc các công cụ phân tích dòng chảy dữ liệu để trực quan hóa và đánh giá tác động tốt hơn.

4. **Lưu Trữ Vận Hành Tác Nhân (Host the Agent):**
   - Chọn một nền tảng lưu trữ đám mây (ví dụ: AWS, Azure) để triển khai tác nhân nhằm phục vụ việc phân tích và báo cáo liên tục.

## Các Ca Sử Dụng (Use Cases)
- **Phân Tích Tác Động:** Xác định tác động của những thay đổi trong bất kỳ bảng nào trên toàn hệ thống.
- **Lập Bản Đồ Luồng Dữ Liệu:** Trực quan hóa cách dữ liệu di chuyển qua hệ thống từ các bảng nguồn đến các bảng đích cuối cùng.
- **Báo Cáo Phụ Thuộc:** Tạo báo cáo về sự phụ thuộc giữa các bảng và các nền tảng bị ảnh hưởng.

## Các Tính Năng Bổ Sung
- **Cảnh Báo Tự Động:** Thông báo cho người dùng khi phát hiện các tác động tiềm ẩn.
- **Tích Hợp Quản Lý Phiên Bản:** Liên kết các thay đổi với những bản commit cụ thể trong kho lưu trữ để dễ dàng truy xuất nguồn gốc.

## Các Biến Ví Dụ
- `repositoryUrl`: Đường dẫn URL của kho lưu trữ GitHub.
- `platforms`: Danh sách các nền tảng tham gia vào luồng dữ liệu.

Kỹ năng này cung cấp một phương pháp tiếp cận có cấu trúc để xây dựng một tác nhân có khả năng phân tích toàn diện nguồn gốc dòng chảy dữ liệu, đóng vai trò thiết yếu cho các tác vụ quản trị và tối ưu hóa cơ sở dữ liệu.

Tôi đã sử dụng netgen vnet để triển khai, vốn được quản lý bởi đội ngũ trung tâm nội bộ, do một nhóm khác triển khai cho chúng tôi và được họ quản lý từ một nhóm tài nguyên (resource group) khác (pc-managed). Hiện tại phương án này đang gặp trở ngại lớn và chúng tôi sẽ quay trở lại phương pháp cũ là tự tạo vnet và các subnet do chính nhóm của chúng tôi quản lý chứ không phụ thuộc vào vnet do nhóm khác quản lý nữa.

Tôi muốn gỡ bỏ toàn bộ (bằng cách đóng chú thích - comment out) sự phụ thuộc khỏi tất cả các module và tài nguyên, đồng thời đóng chú thích tệp cấu hình mạng chính (networking main file) để nó được gỡ bỏ hoàn toàn. Chỉ khi nào nó được gỡ bỏ hoàn toàn thì chúng tôi mới có thể tạo vnet mới trong nhóm tài nguyên của mình.


Hãy giúp tôi viết mã để gỡ bỏ vnet hiện tại, cụ thể là tách (detach) vnet khỏi tất cả các tài nguyên và module mà nó đang được gắn vào tính đến thời điểm hiện tại. Đồng thời đóng chú thích phần mã cấu hình mạng để tôi có thể xóa toàn bộ các thành phần mạng bao gồm cả các điểm cuối riêng tư (private endpoints).

Ngoài ra, hãy liệt kê tất cả các tài nguyên hiện đang sử dụng vnet đó để việc theo dõi được dễ dàng hơn.

Tôi đã thảo luận với đội ngũ sản phẩm và xác định các chỉ số (metrics), đồng thời một thành viên khác trong nhóm đã thiết kế các bảng tầng bạc (silver tables) cho trường hợp sử dụng (use case) này. Bây giờ tôi cần tìm cách thiết kế bảng MV (Materialized View) ở tầng vàng (gold layer) bao gồm các chỉ số này để tôi có thể dễ dàng ánh xạ và kết nối các bảng MV này vào Power BI nhằm xây dựng các bảng điều khiển (dashboards). Hãy giúp tôi thực hiện việc này, tôi sẽ cung cấp cho bạn các bảng dữ kiện (fact tables) và định nghĩa chỉ số.