Cách để xây dựng kiến trúc dữ liệu trong doanh nghiệp chuyển đổi số

Định nghĩa của kiến trúc dữ liệu

Kiến trúc dữ liệu mô tả cấu trúc của tài nguyên dữ liệu được sắp xếp một cách logic và được quản lý bởi tổ chức. Nó là một nhánh của kiến trúc doanh nghiệp bao gồm các mô hình, chính sách, quy tắc và tiêu chuẩn chi phối việc thu thập, lưu trữ, sắp xếp, tích hợp và sử dụng dữ liệu trong tổ chức. Kiến trúc dữ liệu của một tổ chức là tầm nhìn của các kiến trúc sư dữ liệu.

Mục tiêu của việc xây dựng kiến trúc dữ liệu

Mục tiêu của kiến trúc dữ liệu là chuyển các nhu cầu của doanh nghiệp thành các yêu cầu về dữ liệu và hệ thống, đồng thời quản lý dữ liệu và dòng chảy của nó thông qua doanh nghiệp.

Nguyên tắc kiến trúc dữ liệu

Theo Joshua Klahr, Phó chủ tịch quản lý sản phẩm cốt lõi tại Splunk và trước đây là phó chủ tịch quản lý sản phẩm tại AtScale cho biết có 6 nguyên tắc hình thành nền tảng của kiến trúc dữ liệu hiện đại:

1. Dữ liệu là tài sản được chia sẻ: Một kiến trúc dữ liệu hiện đại cần phải loại bỏ các kho chứa dữ liệu phòng ban và cung cấp cho tất cả các bên liên quan một cái nhìn đầy đủ về công ty.

2. Người dùng yêu cầu quyền truy cập đầy đủ vào dữ liệu: Ngoài việc phá vỡ các silo, các kiến trúc dữ liệu hiện đại cần cung cấp các giao diện giúp người dùng dễ dàng sử dụng dữ liệu bằng các công cụ phù hợp với công việc của họ.

3. Bảo mật là điều cần thiết: Kiến trúc dữ liệu hiện đại phải được thiết kế để bảo mật và chúng phải hỗ trợ các chính sách dữ liệu và kiểm soát truy cập trực tiếp trên dữ liệu thô.

4. Thống nhất các từ chuyên ngành được sử dụng: Nội dung dữ liệu được chia sẻ, chẳng hạn như danh mục sản phẩm, định nghĩa về KPI v.v... yêu cầu một loại tên gọi chung để tránh gây ra hiểu nhầm trong quá trình phân tích

5. Dữ liệu nên được sắp xếp: Đầu tư vào các chức năng cốt lõi thực hiện việc quản lý dữ liệu (lập mô hình các mối quan hệ quan trọng và làm sạch dữ liệu thô).

6. Luồng dữ liệu nên được tối ưu hóa: Giảm số lần dữ liệu di chuyển để giảm chi phí, tăng tính mới của dữ liệu và tối ưu hóa sự linh hoạt của doanh nghiệp.

Các thành phần kiến trúc dữ liệu

Dataversity cho biết kiến trúc dữ liệu có thể được tổng hợp thành ba phần chính:

- Kết quả của kiến trúc dữ liệu: Kết quả của kiến trúc dữ liệu. Đây là các mô hình, định nghĩa và luồng dữ liệu thường được gọi là tạo tác kiến trúc dữ liệu.

- Các hoạt động kiến trúc dữ liệu: Đây là các biểu mẫu, triển khai và thực hiện các ý định về kiến trúc dữ liệu.

- Các hành vi kiến trúc dữ liệu: Đây là sự hợp tác, tư duy và kỹ năng của các vai trò khác nhau ảnh hưởng đến kiến trúc dữ liệu của doanh nghiệp.

Điểm khác nhau giữa kiến trúc dữ liệu và mô hình dữ liệu

Theo Sách Kiến thức Quản lý Dữ liệu (DMBOK 2), kiến trúc dữ liệu xác định kế hoạch chi tiết để quản lý tài sản dữ liệu sao cho phù hợp với chiến lược của tổ chức. Qua đó thiết lập các yêu cầu và thiết kế dữ liệu chiến lược để đáp ứng các yêu cầu đó. Mặt khác, DMBOK 2 định nghĩa mô hình dữ liệu là, "quá trình phát hiện, phân tích và truyền đạt các yêu cầu dữ liệu ở trong một định dạng cụ thể được gọi là mô hình dữ liệu".

Trong khi cả kiến trúc dữ liệu và mô hình dữ liệu đều tìm cách thu hẹp khoảng cách giữa mục tiêu kinh doanh và công nghệ, thì kiến trúc dữ liệu lại nổi bật hơn trong việc đưa đến cái nhìn tổng quát cho doanh nghiệp nhằm tìm cách hiểu và hỗ trợ sự hợp tác giữa các phòng ban đối với việc sử dụng công nghệ và dữ liệu của doanh nghiệp. Mô hình dữ liệu thì lại tập trung nhiều hơn vào các hệ thống hoặc trường hợp kinh doanh cụ thể.

Khung kiến trúc dữ liệu

Có một số khung kiến trúc doanh nghiệp thường được dùng làm nền tảng để xây dựng khung kiến trúc dữ liệu của tổ chức.

- DAMA-DMBOK 2: Tổ chức tri thức quản lý dữ liệu của DAMA International là một khuôn khổ dành riêng cho việc quản lý dữ liệu. Nó cung cấp các định nghĩa tiêu chuẩn cho các chức năng quản lý dữ liệu, phân phối, vai trò và các thuật ngữ khác, đồng thời cung cấp các nguyên tắc hướng dẫn quản lý dữ liệu.

- Zachman Framework cho kiến trúc doanh nghiệp: Zachman Framework được tạo ra bởi John Zachman tại IBM vào những năm 1980. Cột "dữ liệu" của Zachman Framework bao gồm nhiều lớp, bao gồm các tiêu chuẩn kiến trúc quan trọng đối với doanh nghiệp. Nó bao gồm khái niệm về mô hình dữ liệu cho doanh nghiệp, mô hình dữ liệu vật lý và cơ sở dữ liệu thực tế.

- TOGAF: TOGAF là một phương pháp luận kiến trúc doanh nghiệp cung cấp một khuôn khổ cấp cao để phát triển phần mềm doanh nghiệp. Giai đoạn C của TOGAF bao gồm phát triển kiến trúc dữ liệu và xây dựng lộ trình kiến trúc dữ liệu.

Đặc điểm của kiến trúc dữ liệu hiện đại

Kiến trúc dữ liệu hiện đại phải được thiết kế để tận dụng các công nghệ mới nổi như trí tuệ nhân tạo (AI), tự động hóa, Internet vạn vật (IoT) và blockchain. Dan Sutherland, kỹ sư xuất sắc và là CTO nền tảng dữ liệu tại IBM cho biết kiến trúc dữ liệu hiện đại đều có những điểm chung sau:

- Điện toán đám mây: Các kiến trúc dữ liệu hiện đại được thiết kế để hỗ trợ mở rộng quy mô, tính sẵn sàng cao, bảo mật đầu cuối cho dữ liệu đang chuyển và dữ liệ ở trạng thái nghỉ, cũng như khả năng mở rộng chi phí và hiệu suất.

- Mở rộng hệ thống di chuyển dữ liệu: Để tận dụng lợi thế của các công nghệ mới nổi, kiến trúc dữ liệu hỗ trợ truyền dữ liệu theo thời gian thực

- Tích hợp dữ liệu liền mạch: Kiến trúc dữ liệu tích hợp với các ứng dụng kế thừa bằng cách sử dụng giao diện API tiêu chuẩn. Chúng được tối ưu hóa để chia sẻ dữ liệu giữa các hệ thống, chi nhánh của tổ chức.

- Kích hoạt dữ liệu thời gian thực: Kiến trúc dữ liệu hiện đại hỗ trợ khả năng triển khai xác thực, phân loại, quản lý và quản trị dữ liệu tự động

- Có khả năng tách rời và có thể mở rộng: Các kiến trúc dữ liệu hiện đại được thiết kế để kết hợp với nhau một cách linh hoạt, cho phép các dịch vụ thực hiện các tác vụ tối thiểu độc lập với các dịch vụ khác.