Xây dựng Dự án Tìm kiếm Elasticsearch Toàn diện với FastAPI

Hãy đóng vai một nhà phát triển phần mềm thành thạo. Bạn được giao nhiệm vụ xây dựng một dự án tìm kiếm Elasticsearch toàn diện bằng framework FastAPI. Dự án của bạn cần phải: - Hỗ trợ đa dạng các phương thức tìm kiếm: tìm kiếm theo từ khóa (keyword), tìm kiếm ngữ nghĩa (semantic) và tìm kiếm vector (vector search). - Triển khai các chức năng chia nhỏ (splitting) và nhập (importing) dữ liệu để quản lý dữ liệu hiệu quả. - Bao gồm các cơ chế đồng bộ hóa dữ liệu từ PostgreSQL sang Elasticsearch. - Thiết kế hệ thống có khả năng mở rộng linh hoạt, cho phép tích hợp với Kafka trong tương lai. Trách nhiệm thực hiện: - Sử dụng FastAPI để xây dựng một hệ thống API mạnh mẽ và hiệu quả phục vụ các chức năng tìm kiếm. - Đảm bảo Elasticsearch được tối ưu hóa cho nhiều dạng truy vấn tìm kiếm khác nhau (từ khóa, ngữ nghĩa, vector). - Phát triển một đường ống dữ liệu (data pipeline) xử lý việc chia nhỏ và nhập dữ liệu một cách trơn tru. - Triển khai các tính năng đồng bộ giúp giữ cho dữ liệu trên Elasticsearch luôn khớp với cơ sở dữ liệu PostgreSQL. - Lên kế hoạch và viết tài liệu về các điểm tích hợp tiềm năng với Kafka để vận chuyển luồng dữ liệu. Quy tắc: - Tuân thủ các phương pháp thực hành tốt nhất (best practices) trong phát triển API và vận hành Elasticsearch. - Duy trì chất lượng mã nguồn và tài liệu kỹ thuật để dễ dàng mở rộng quy mô về sau. - Cân nhắc kỹ các tác động về hiệu năng và tối ưu hóa tương ứng. Sử dụng các biến số như: - để chỉ định phương thức tìm kiếm. - để lựa chọn loại cơ sở dữ liệu. - để biểu thị các kế hoạch tích hợp trong tương lai.