Kinh nghiệm migrate SQL Data Warehouse, OLAP 2000 và xây dựng hệ thống Business Intelligence Solution 2008


Phần 1. Nhận xét:

Business Intelligence thực tế cái tên này đã có từ hơn 16 năm qua, nhưng những thập niên 90 vẫn là cái gì đó ước muốn của giới quản lý và Công nghệ

Chức năng chính: Thu thập dữ liệu, Xử lý kho dữ liệu, lọc và báo cáo phân tích.

Năm 2000 xuất hiện Microsoft SQL 2000 mới đúng là cuộc cách mạng công nghệ ứng dụng trong quản lý kinh tế, vẫn có một chút thay đổi cho cái tên:

– SQL Server 2000 Analysis Services database objects

MSSQLServerOLAPService service

– Database Mining & Cube

– Database WareHouse…

Quan điểm: Vậy là đã hơn 12 năm cho công nghệ này, khá cũ kỹ nhưng vẫn còn rất nhiều ngành kinh tế Việt nam không biết đến, biết đến rất ít, áp dụng không đáng kể

hoặc vẫn bám vào nó. Trong khi giới Công nghệ ngày nay đã dùng đến SQL Server 2008, SQL Server 2012 với rất nhiều công nghệ gọn nhẹ, tốc độ xử lý cao, độ ổn định và đáp ứng kho dữ liệu khổng lồ. Những ngành kinh tế Việt nam giờ vẫn rất lỗi thời trong Hệ thống phân tích số liệu phải kể đến: TCTK, TCCNTT-HQVN, TC Thuế VN…

Vấn đề của chúng ta không phải là chạy đua với Công nghệ mới, v/đ là áp dụng triệt để giải pháp Business Intelligence Solution (BIS) một cách hệ thống, hiệu quả, an toàn và ổn định cho xu thế phát triển Thông tin.

Phần 2.

Nâng cấp hệ thống BIS 2012: Nói về hệ thống BIS, FAO là tổ chức lớn nhất và đi đầu trong áp dụng giải pháp triển khai cho các chương trình nghiên cứu phân tích kho CSDL thế giới về kinh tế, quản lý, dự báo Nông, Lâm, Thuỷ sản Trên toàn bộ Thế giới với hơn 70 năm quan.

Bước 1. Nâng cấp CSDL

image

Đưa hệ thống dữ liệu HQVN từ năm 2000 sang hệ thống SQL Server 2008 R2

image

Khôi phục các dữ liệu cũ và mới hơn:

image

Lựa chọn đè dữ liệu:

image

 

Bước 2: Nâng cấp quy trình đồng bộ dữ liệu DTS

image

Lỗi không tương thích 2000:

image

Như vậy phải cài thêm trong bộ cài: SQLSererv2008_Ent\1033_ENU_LP\x86\Setup\x86\SQLServer2005_BC.msi

image

Tiếp tục lỗi thiết công cụ Design DTS 2000:

image

Hãy vào trang sau để Download: http://www.microsoft.com/en-us/download/details.aspx?id=11988

Lưu ý chúng ta cần bản: SQLServer2005_DTS.msi

image

To install SQL Server 2000 DTS Designer Components
  1. Start Internet Explorer, and go to the http://go.microsoft.com/fwlink/?linkid=66593.

  2. On the Integration Services Downloads page, click Microsoft SQL Server 2000 DTS Designer Components.

  3. In the File Download dialog box, click Save.

  4. In the Save As dialog box, specify a folder for saving the components package, and then click Save.

  5. Click Start, click Run, type Explorer, and then click OK.

  6. In Windows Explorer, locate the folder (specified in step 4) where you saved the components package, and then double-click sqlserver2005_dts.msi.

  7. In the Open File dialog box, click Run.

  8. On the Welcome to the Install Wizard for SQL Server 2000 DTS Designer Components page, click Next.

  9. On the License Agreement page, accept the terms of the license, and then click Next.

  10. On the Registration Information page, type your name and company name, and then click Next.

  11. On the Ready to Install the Program page, click Install.

    The wizard installs the components.

  12. On the Completing the SQL Server 2000 DTS Designer Components Setup page, click Finish.

  13. In the SQL Server 2000 DTS Designer Components Setup dialog box asking you to restart the computer, click Yes

Vấn đề đồng bộ DTS từ 2000 sang SQL 2008 vẫn cần sự tương thích  trên công cụ thiết kế Business Intelligence Development Studio 2008

Run-time Support for DTS Packages

SQL Server 2008 does not install run-time support for DTS packages. Before you can run and manage DTS packages, you have to install this run-time support as described in the following procedure.

To install run-time support for Data Transformation Services packages
  • In an Internet browser, open the Microsoft SQL Server 2008 Feature Pack page, and then download and install the Microsoft SQL Server 2005 Backward Compatibility Components.

    NoteNote

    This download has not been updated for SQL Server 2008 R2.

và công cụ thiết kế DTS tương thích 2000

Trích dẫn:

There is no 64-bit run-time support for DTS packages. On a 64-bit computer, DTS packages, and Integration Services packages that run DTS packages, can run only in 32-bit mode. To run packages in 32-bit mode outside BI Development Studio on a 64-bit computer, you have to install the following components:

  • The 32-bit DTS runtime, as described in the previous section.

  • The 32-bit version of the Integration Services runtime and command prompt utilities.

To install the 32-bit version of the Integration Services runtime and command prompt utilities on a 64-bit x86 computer

  • During Setup, select Business Intelligence Development Studio or Management Tools – Complete.

    Selecting either of these options installs the 32-bit version of the Integration Services runtime, the dtexec utility (dtexec.exe), and other Integration Services tools.

To install the 32-bit version of the Integration Services runtime and command prompt utilities on a 64-bit Itanium computer

  • During Setup, select Management Tools – Complete.

    Selecting this option installs the 32-bit version of the Integration Services runtime, the dtexec utility (dtexec.exe), and other Integration Services tools.

SQL Server 2008 does not install design-time support for DTS packages. Before you can use the SQL Server 2008 tools to open and view DTS packages, you have to download and install this design-time support as described in the following procedure.

NoteNote

The DTS package designer that you can download works with the SQL Server 2008 tools, but the designer’s features have not been updated for SQL Server 2008.

To install design-time support for Data Transformation Services packages

By default, on a 32-bit computer, the binary files for SQL Server 2000 are in the %ProgramFiles%\Microsoft SQL Server\80\Tools\Binn folder, and the binary files for SQL Server 2008 are in the %ProgramFiles%\Microsoft SQL Server\100\Tools\Binn folder. These default locations might cause the path of the binary files for SQL Server 2000 to occur in the PATH environment variable before the path of the binary files for SQL Server 2008. If this happens, an error message can appear when you try to use the DTS Designer. To resolve this error, copy the files that the designer requires to a new location as described in the following procedures.

NoteNote

On a 64-bit computer, substitute %ProgramFiles(x86)% for %ProgramFiles% in the following procedures.

To ensure that the DTS designer can be used in SQL Server Management Studio

  1. Copy the files, SEMSFC.DLL, SQLGUI.DLL, and SQLSVC.DLL, from the %ProgramFiles%\Microsoft SQL Server\80\Tools\Binn folder to the %ProgramFiles%\Microsoft SQL Server\100\Tools\Binn\VSShell\Common7\IDE folder.

  2. Copy the files, SEMSFC.RLL, SQLGUI.RLL, and SQLSVC.RLL, from the %ProgramFiles%\Microsoft SQL Server\80\Tools\Binn\Resources folder to the %ProgramFiles%\Microsoft SQL Server\100\Tools\Binn\VSShell\Common7\IDE\Resources\%lang_id% folder. For example, for U.S. English, the lang_id subfolder will be “1033”.

To ensure that the DTS designer can be used in Business Intelligence Development Studio

  1. Copy the files, SEMSFC.DLL, SQLGUI.DLL, and SQLSVC.DLL, from the %ProgramFiles%\Microsoft SQL Server\80\Tools\Binn folder to the %ProgramFiles%\Microsoft Visual Studio 9.0\Common7\IDE folder.

  2. Copy the files, SEMSFC.RLL, SQLGUI.RLL, and SQLSVC.RLL, from the %ProgramFiles%\Microsoft SQL Server\80\Tools\Binn\Resources folder to the %ProgramFiles%\Microsoft Visual Studio 9.0\Common7\IDE\Resources\%lang_id% folder. For example, for U.S. English, the lang_id subfolder will be “1033”.

 

Bảng tổng kết các công cụ tương thích giữa SQL 2000 và SQL 2005:

The Data Warehouse and analysis server imports, transforms, and stores Web site data. You use the data that is stored in the Data Warehouse database to analyze user activity on your Web site.

Commerce Server 2007 does not support mixed deployments of SQL Server 2000 and SQL Server 2005. All SQL Server components that you install must be at the same version level as the SQL Server database that you installed.

Microsoft SQL Server Express does not support the Data Warehouse.

Component to install and configure

SQL Server 2000

SQL Server 2005

SQL Server 2000

X

SQL Server 2000 Service Pack 4

X

SQL Server 2005

X

SQL Server 2005 Service Pack 2

X

SQL Server 2000 Analysis Services

X

SQL Server 2005 Analysis Services

X

SQL Server 2000 Reporting Services

X

SQL Server 2005 Reporting Services

X

SQL Server 2000 DTS Designer Components

X

The Data Warehouse uses SQL Server Analysis Services to access the online analytical processing (OLAP) database. SQL Server Reporting Services is required for analysis reporting.

Commerce Server 2007 Data Warehouse does not support SQL Server or SQL Server Analysis Services installed on a named instance.

Trường hợp dùng SQL Server 2005 và dùng lại file .CAB được export từ OLAP Server 2000:

Tham khảo:

Trường hợp dùng SQL Server 2008 R2 Analysis Server và di chuyển OLAP 2000 Server

Tham khảo: http://msdn.microsoft.com/en-us/library/ms143409.aspx

 

Phần 3. Migration Database WareHouse từ MS SQL 2000 sang MS SQL Analysis Server 2008 R2.

1. Cài bàn MS SQL server 2008 R2 trên cùng máy chủ SQL 2000

2. Cài bổ sung bản SQL Server 2005 Backward Compatibility có trong SQLServer2005_BC.msi

và SQL Server 2000 DTS Designer Components có trong SQLServer2005_DTS.msi

Download: http://www.microsoft.com/en-us/download/details.aspx?id=11988

 

image

Ghi chú: Lỗi nếu không cài thêm bản SQL Server 2005 Backward Compatibility

Databases: SDATA_Demo
        Cubes:             Unable to cast COM object of type ‘System.__ComObject’ to interface type ‘Interop.Dso.IDbGroup90Ex’. This operation failed because the QueryInterface call on the COM component for the interface with IID ‘{CE55E9E9-9597-4214-B21F-30C7683467B1}’ failed due

3. Khởi động hệ thống SQL Analysis Server 2008 R2

image

Chọn chế độ Migrate Database…

image

Bước cuối trong loạt động tác đồng bộ dữ liệu từ SQL OLAP 2000 sang SQL Analysis 2008 R2

image

Mọi thứ của SQL 2000 bây giờ sẽ là ở phía sau bạn !

 

Phần 4. Xác định v/đ nên hay không nên dùng Migrating SQL server để chuyển từ OLAP 2000 ?

Theo kinh nghiệm và các kết quả mà tôi sưu tầm được hơn 12 năm qua cho thấy:

– Trong các công cụ Migration Data giữa các phiên bản SQL server 6.5 , 7.0, 2000, 2005, 2008 đều luôn có vấn đề nảy sinh khi convert Database mining / Analysis, kết quả chỉ đạt 80 – 90%, và quan trọng là sự sai lệch chuẩn dữ liệu, sai lệnh các Method, không chuyển được hết dữ liệu …

– Tương tự v/đ trên, khi chuyển dữ liệu từ Lotus Notes, Oracle sang SQL / MySQL cũng vấp rất nhiều lỗi khi chuyển dạng dữ liệu…

– Tất cả đều phải dùng phương án giống nhau: là phải chạy cả OLAP 2000, SQL Server 2000 và cài SQL Server 2005 / 2008 trên cùng một máy để có thể Migration Convert Data Warehouse, Data mining, Cube…

Ở đây, tôi đề xuất phướng tối ưu và toàn vẹn dữ liệu theo cách làm bằng tay theo thiết kế của bản SQL 2000:

Bước 1: Chuyển dữ liệu từ SQL 2000 sang SQL Server 2008 R2 như cách thông thường ( Attachment file mdf & ldf)

Bước 2: Mở công cụ DTS của SQL 2000 và để sửa bản design DTS, tương tự bên SQL 2005 / 2008 cũng mở DTS để design manual sau đó chạy test thử các tiến trình có kiểm tra biên dịch.

Bước 3: Mở Analysis Server 2005 / 2008 và design các database Warehouse , Data mining, Data cube, Compact DB …

image

Sử dụng VS 2008 để chuyên thiết kế BIS 2008

image

Thiết kế các data mining và Cube khai báo các đơn vị tính 3 chiều và các kích thước Dimension

image

Sau khi thiết kế được toàn bộ Data Mining, Cube… hãy chạy Process để compile toàn bộ các tiến trình tính toán và tối ưu hoá Database Warehouse

Lưu lại thành Project trong VS 2008 Business Intelligence để có thể dùng lại về sau.

Chúc các bạn thành công trong triển khai hệ thống BIS 2008 hoặc BIS 2012 sắp tới !

About thangletoan

Hallo Aloha

Posted on 27/09/2012, in Business Intelligent Solution, Công nghệ và Giáo dục, Chính sách CNTT, Giác ngộ giáo dục, Giác ngộ giáo dục, Giải pháp BIS, Microsoft, Microsoft Access Database, Microsoft Database Cluster, Microsoft SQL Server 2000, SQL 2008 R2 and tagged . Bookmark the permalink. Để lại bình luận.

Gửi phản hồi

Mời bạn điền thông tin vào ô dưới đây hoặc kích vào một biểu tượng để đăng nhập:

WordPress.com Logo

Bạn đang bình luận bằng tài khoản WordPress.com Log Out / Thay đổi )

Twitter picture

Bạn đang bình luận bằng tài khoản Twitter Log Out / Thay đổi )

Facebook photo

Bạn đang bình luận bằng tài khoản Facebook Log Out / Thay đổi )

Google+ photo

Bạn đang bình luận bằng tài khoản Google+ Log Out / Thay đổi )

Connecting to %s

%d bloggers like this: