"Different organizations will have different Data Mesh implementations supported by different architectures."
Ryan Dawson
1. Key Principal
Data Mesh không chỉ là một phương pháp kiến trúc dữ liệu phân tán mới, mà còn là một triển vọng đầy hứa hẹn trong việc giải quyết các thách thức của việc quản lý dữ liệu trong các tổ chức lớn. Thay vì tập trung dữ liệu vào một hệ thống trung tâm, Data Mesh đề xuất một mô hình phân tán hóa, trong đó dữ liệu được tổ chức thành các "domain" nhỏ hơn, mỗi domain đại diện cho một phần của tổ chức hoặc một dự án cụ thể. Mỗi domain sẽ có trách nhiệm quản lý và vận hành dữ liệu của chính mình, giúp giảm thiểu sự phụ thuộc vào các bộ phận trung tâm và tăng tính độc lập và linh hoạt.
Một trong những yếu tố quan trọng của Data Mesh là việc áp dụng các nguyên tắc của kiến trúc dựa trên dịch vụ (microservices architecture) vào việc quản lý dữ liệu. Các domain sẽ hoạt động như các "dịch vụ dữ liệu", cung cấp dữ liệu như một dịch vụ cho các ứng dụng và quy trình khác trong tổ chức. Điều này giúp tăng khả năng tái sử dụng dữ liệu, giảm thiểu sự trùng lặp và tăng cường tính linh hoạt trong việc phát triển và triển khai các ứng dụng.
Data Mesh cũng đặt ra nhiều thách thức trong việc triển khai và quản lý. Việc xác định các domain phù hợp và đảm bảo tính nhất quán và an toàn của dữ liệu giữa các domain là một trong những thách thức lớn. Ngoài ra, cần có sự đầu tư đáng kể vào việc xây dựng các công cụ và quy trình hỗ trợ cho việc quản lý dữ liệu phân tán.
Tuy nhiên, với tiềm năng của mình trong việc giảm thiểu sự phụ thuộc vào các hệ thống trung tâm và tăng cường tính linh hoạt và tái sử dụng dữ liệu, Data Mesh đang trở thành một hướng tiếp cận hấp dẫn cho việc quản lý dữ liệu trong một thế giới ngày càng phức tạp và đa dạng.
- Data monoliths
- Data Silos
Điểm yếu cần lưu ý:
- Mô hình tương đối phức tạp
- Governance: Mỗi team phải đảm bảo data quality và consistency mà họ quản lí
- Tools: Các team cần phải có tool để chia sẻ dữ liệu và cần phải tương thích với data systems.
4 key principles:
- Domain Ownership
- Data as a Product
" the data as a product principle requires a polyglot ecosystem"
- Self-Server Data Platform
"A self-serve platform empowers and supports developers so that tasks like provisioning are taken care of"
- Federated Computational Governance
"nsure that distributed ownership is balanced with standardization"
Ảnh. Kiến trúc Data Mesh
2. Architecture
3. Tools
- Data Catalog
- Data Storage
- Data Pipelines
- Data Quality
- Data Governance
- API and Service Mesh
- Data Visualization & Report
- Collaboration and knowledge sharing
-
4. Implement
References:
Data Mesh - quick intro for complete beginners. (n.d.). Udemy. https://udemy.com/course/learn-data-mesh-the-complete-course/learn/lecture/36317078#overview