Một số nhiệm vụ cơ bản của quản trị kho dữ liệu (Data Warehouse Administrator)

chucnv — Wed, 10 Mar 2010 15:32:40 GMT

Nhiệm vụ quản trị kho dữ liệu gồm các nhiệm vụ cơ bản sau

Chuyển đổi dữ liệu (Data transformation): Nhiệm vụ rất quan trọng khi khởi tạo một kho dữ liệu lag cho phép người quản trị có thể chuyển đổi dữ liệu từ các định dạng khác nhau(MS Excel, MS Access, XML, SQL SERVER) từ các nguồn khác nhau (các khoa, phòng) đã tồn tại trước đó về định dạng thống nhất là ORACLE lưu trữ trong các Data Mart phục vụ công khai thác dữ liệu phục vụ hoạt động tác nghiệp của nhà trường. cũng như chuyển đổi dữ liệu từ ORACLE sang các định dạng dữ liệu khác để chia sẻ dữ liệu từ kho dữ liệu tới các người sử dụng cuối. Đây là chức năng rất thiết thực cho công tác thu thập dữ liệu vì hiện tại các khoa, phòng của nhà trường chưa có chương trình quản lý chung mà mỗi đơn vị ứng dụng máy tính một cách riêng lẻ, tự phát. Hiện nay XML là chuẩn dữ liệu phổ biến để trao đổi dữ liệu trên internet vì vậy hệ thống cũng hỗ trợ chuyển đổi qua lại từ định dạng XML vào các nguồn dữ liệu khác(SQL SERVER, ORACLE) làm tăng khả năng trao đổi thông tin của kho dữ liệu.

Tích hợp dữ liệu (Data Integration): Chức năng tích hợp dữ liệu cho phép người quản trị dữ liệu có thể trao đổi dữ liệu từ các Data Mart khác nhau trong nhà trường. Nguên tắc của tích hợp dữ liệu giữa các Data Mart các Data Mart trao đổi dữ liệu phải có các bảng có cấu trúc giống nhau và dựa trên khóa chính.

Đồng bộ dữ liệu (Data Replication) Chức năng này cho phép người quản trị kho dữ liệu so sánh, làm sạch dữ liệu để cho dữ liệu giữa các Data mart làm cho dữ liệu trong hệ thống có tính nhất quán cao. Chẳn hạn, kiểm tra, đối chiếu điểm của sinh viên giữa khoa và phòng đào tạo. Đây là chức năng rất cần thiết đối với công tác xử lý dữ liệu của nhà trường.

Tạo mới (New): Chức năng này cho phép tạo ra các bảng mới trong Data Mart đích trong các trường hợp Data Mart đích chưa có bảng dữ liệu tương ứng với Data mart nguồn. Công việc này rất cần thiết khi mới khởi tạo các Data Mart.

Lọc dữ liệu (Data Filter) Đây là chức năng cho phép trích chọn dữ liệu theo một số tiêu chí của dữ liệu trong Data Mart nào đó để kiểm tra, cập nhật hay đưa vào các Data Mart đích. Chẳn hạn, ta có thể lọc ra tất cả cả các sinh viên của một khoa náo đó để chuyển dữ liệu về lưu trữ trong Data Mart của khoa đó.

Phân tán dữ liệu (Data Distribution)Chức năng này cho phép người quản trị kho dữ liệu có thể phân tán dữ liệu giữa các Data Mart trong hệ thống. Phân tán ngang cho tạo ra các bảng dữ liệu được phân tán theo cách giữ nguyên cấu trúc bảng trong Data Mart nguồn nhưng có thể hiện dữ liệu khác. Chẳn hạn, khi dữ liệu về sinh viên trong nhà trường đã được cập nhật trong tổng kho của trường(DATAWH) thì có thể phân tán dữ liệu xuống các khoa, sinh viên khoa nào lưu trữ trong Data mart của khoa đó. Phân tán dọc cho phép tạo ra các bảng có câu trúc khác nhau( Nhưng phải có chung khoa) với bảng dữ liệu nguồn. Chẳn hạn, bảng dữ liệu sinh viên trong tổng kho của trường(DATAWH) có rất nhiều trường nhưng mỗi Data Mart của khoa, phòng chỉ cần một số thuộc tính khác nhau cần thiết cho tác nghiệp của đơn vị mình mà không phải cần tất cả các thuộc tính của bảng sinh viên.

Hợp nhất (Merge): Chức năng hợp nhất dữ liệu được thực hiện nếu các bảng được phân tán theo chiều dọc đã được thực hiện trước đó qua chức năng phân tán dữ liệu. Yêu cầu của phân tán theo chiều dọc là tất cảc các bảng tham gia hợp nhất phải có cùng khóa chính. Chức năng này cho phép tổng hợp dữ liệu từ các bảng khác nhau thông qua khóa chính.

Nguyễn Văn Chức (chucnv@ud.edu.vn) -Chúc các bạn thành công

1. Tổng quan về kho dữ liệu (Data Warehouse)

chucnv — Mon, 12 Jan 2009 03:25:52 GMT

1.1. KHO DỮ LIỆU

1.1.1. Định nghĩa kho dữ liệu (Data Warehouse - DW)

Kho dữ liệu là tuyển tập các cơ sở dữ liệu tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định .

Theo John Ladley [9], Công nghệ kho dữ liệu (Data Warehouse Technology) là tập các phương pháp, kỹ thuật và các công cụ có thể kết hợp, hỗ trợ nhau để cung cấp thông tin cho người sử dụng trên cơ sở tích hợp từ nhiều nguồn dữ liệu, nhiều môi trường khác nhau.

Kho dữ liệu thường rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte. Kho dữ liệu được xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu dữ liệu khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước.

1.1.2. Mục đích của kho dữ liệu

Mục tiêu chính của kho dữ liệu là nhằm đáp ứng các tiêu chuẩn cơ bản sau:

Phải có khả năng đáp ứng mọi yêu cầu về thông tin của NSD
Hỗ trợ để các nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của mình, như có những quyết định hợp lý, nhanh và bán được nhiều hàng hơn, năng suất cao hơn, thu được lợi nhuận cao hơn, v.v.
Giúp cho tổ chức, xác định, quản lý và điều hành các dự án, các nghiệp vụ một cách hiệu quả và chính xác.
Tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau

Muốn đạt được những yêu cầu trên thì DW phải:

Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ liệu theo những hướng chủ đề nhất định
Tổng hợp và kết nối dữ liệu
Đồng bộ hoá các nguồn dữ liệu với DW
Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các công cụ chuẩn để phục vụ cho DW.
Quản lí siêu dữ liệu
Cung cấp thông tin được tích hợp, tóm tắt hoặc được liên kết, tổ chức theo các chủ đề
Dùng trong các hệ thống hỗ trợ quyết định (Decision suport system - DSS), các hệ thống thông tin tác nghiệp hoặc hỗ trợ cho các truy vấn đặc biệt.

1.1.3. Đặc tính của kho dữ liệu

Những đặc điểm cơ bản của Kho dữ liệu (DW) là một tập hợp dữ liệu có tính chất sau:

Search results matching tag 'kho dữ liệu'

Một số nhiệm vụ cơ bản của quản trị kho dữ liệu (Data Warehouse Administrator)

1. Tổng quan về kho dữ liệu (Data Warehouse)

1.1. KHO DỮ LIỆU

1.1.1. Định nghĩa kho dữ liệu (Data Warehouse - DW)

1.1.2. Mục đích của kho dữ liệu

1.1.3. Đặc tính của kho dữ liệu

Tính tích hợp (Integration)

Dữ liệu gắn thời gian và có tính lịch sử

Dữ liệu có tính ổn định (nonvolatility)

Dữ liệu không biến động

Dữ liệu tổng hợp