Hurtownia danych statystycznych



Pobieranie 248.08 Kb.
Strona3/7
Data07.05.2016
Rozmiar248.08 Kb.
1   2   3   4   5   6   7

1.3.2. ŚRODOWISKO DZIAŁANIA HDS




1.3.2.1. STRUKTURA LOGICZNA – SPRZĘT I OPROGRAMOWANIE SYSTEMOWE

Dwa serwery HP-UX, wersja UNIX 11.11 ;

macierz dyskowa EVA 3000 3TB – 2004 r w tym do HDS przydzielone 2 TB

Serwer I (4xCPU, 8GB RAM) - 2001r

Na pierwszym serwerze zainstalowana jest relacyjna baza danych Oracle 10g Enterprise Edition wersja 10.2.0.2


Serwer II (2xCPU, 4 GB RAM) – 2001 r
Na drugim serwerze zainstalowany jest Oracle 10g Application Server w którego skład wchodzą następujące komponenty:

    • Oracle HTTP Server

    • Oracle10g AS Discoverer

    • Oracle10g AS Reports

    • Oracle10g AS Forms

    • Oracle10g AS Portal


Stacje administratorskie:

Na stacjach administratorskich, w zależności od rodzaju zarządzanego podsystemu zainstalowane jest następujące oprogramowanie:



  • Reports Builder

  • Forms Builder

  • Discoverer Administrator

  • Oracle Enterprise Manager

  • QUEST TOAD


Stacje klienckie do korzystania z Hurtowni na zasadzie klient-serwer:

Na stacjach klienckich zainstalowane jest następujące oprogramowanie:




Stacje klienckie do korzystania z Hurtowni przez przeglądarkę WWW :

Na stacjach klienckich z zainstalowaną przeglądarką internetową Internet Explorer (wersja 6.0 lub wyższa) jest dostęp do Oracle Discoverer Viewer i Oracle Discoverer Plus.




1.3.2.2. ARCHITEKTURA I OPIS POSZCZEGÓLNYCH MODUŁÓW HDS



Moduły HDS

HDS składa się z następujących modułów:



  • Moduł metabazy;

  • Moduł bazy operacyjnej;

  • Moduł bazy centralnej;

  • Moduł data martów.


Metabaza hurtowni

Moduł metabazy składa się z dwóch części:



  • metabazy hurtowni;

  • metadanych statystycznych.

Metabaza hurtowni zawiera zbiór informacji o strukturze logicznej i fizycznej hurtowni.

Metabazę stanowią słowniki danych bazy realcyjnej Oracle 10g oraz warstwa użytkownika końcowoego (ang. End User Layer) zdefiniowana w Oracle Discoverer Administrator.

Warstwa użytkownika końcowego Oracle Discoverer jest zbiorem informacji o strukturze tematycznej hurtowni (grupy zagadnień, tabele, powiązania pomiędzy tabelami, hierarchie itp.). Słowniki danych bazy relacyjnej Oracle 10g to zestaw informacji o fizycznej reprezentacji zaprojektowanej strukturze logicznej tzn. o elementach bazodanowych hurtowni takich jak tabele, indeksy, partycje, perspektywy, procedury bazodanowe itp.

Bardzo istotnym elementem metabazy hurtowni jest część obejmująca metadane statystyczne, będące zbiorem zunifikowanych informacji (słowników, pojęć, klasyfikacji) niezbędnych do wieloaspektowych analiz statystycznych. Ich rolę pełnią specjalnie w tym celu zaprojektowane struktury bazy Oracle 10g. Po wczytaniu metadanych do bazy operacyjnej są one załadowane do struktur metabazy.
Baza operacyjna hurtowni

Rolę bazy operacyjnej pełni wydzielony zestaw tablic i procedur bazy Oracle 10g wykorzystywany do bezpośredniego importowania danych z systemów źródłowych. Następnie dane podlegają wstępnemu przetworzeniu polegającemu np. na uzupełnieniu braków wg zdefiniowanych wcześniej algorytmów, agregacji danych źródłowych, sprawdzeniu spójności itp. Po obróbce dane te przenoszone są do tablic centralnej bazy hurtowni.

System hurtowni danych GUS zasilany jest danymi pochodzącymi z wielu źródeł.

Źródła te to pliki tekstowe lub tablice baz danych, a w szczególności:




Centralna baza danych hurtowni

Centralna baza danych hurtowni obejmuje następujące typy danych statystycznych:



  • zbiory danych jednostkowych lub wtórnych (np. wskaźniki) wyliczanych w oparciu o źródłowe dane jednostkowe z bazy operacyjnej bądź z centralnej bazy danych hurtowni;

  • niezbędne agregaty wyliczane w oparciu o źródłowe dane jednostkowe oraz źródłowe zbiory zagregowanych wcześniej danych;

  • wersje historyczne powyższych danych (jeżeli uległy zmianie po opublikowaniu).

Dane do struktur centralnej bazy hurtowni pochodzą z bazy operacyjnej. Na podstawie przygotowanych algorytmów transformacji dane z bazy operacyjnej są przeniesione do struktur docelowych z zachowaniem reguł spójności i integralności (spełnienia nałożonych więzów integralnych). Reguły transformacji i nałożone więzy sprawdzają powiązanie poszczególnych pól we wczytywanych formularzach ze słownikami, pojęciami i klasyfikacjami metadanych statystycznych.


Data marty

Data marty, czyli fragmenty wydzielone tematycznie z centralnej hurtowni danych ukierunkowane są na obsługę wydzielonych grup użytkowników np. pracowników departamentu lub użytkowników zainteresowanych analizą wydzielonego zakresu informacji. . Z części informacji zawartych w centralnej bazie hurtowni tworzone są agregaty, które stają się podstawą analiz wielowymiarowych wykonywanych w systemie MOLAP. Jest utrzymywany w tym samym środowisku co główny model hurtowni danych i udostępniany za pomocą tych samych narzędzi raportujących.


Zasilanie hurtowni
Baza hurtowni zasilana jest z następujących źródeł danych:

  • MS SQL Server – jednorazowy import dla NSP i PSR. Komunikacja z bazą Oracle jest zrealizowana przez JDBC, zapewniając bezpośredni dostęp do struktur bazy SQL Server;

  • pliki dbf – miesięczny i kwartalny import dla formularzy: DG-1, F-01/I-01 statystyki gospodarczej. Zbiory *.dbf są przekształcone do postaci tekstowej i z wykorzystaniem SQL*Loader’a (narzędzia importu do bazy Oracle) załadowane do hurtowni danych. Przekształcenie do jednolitej struktury tekstowej uniezależnia interfejs czytający hurtowni od zmian jakie mogą następować w strukturze plików dba;

  • Hurtownia jest również zasilana metadanymi statystycznymi pochodzącymi ze źródeł GUS poprzez pliki tekstowe lub połączenie JDBC.


Systemy Udostępniania
Oracle Discoverer

Oracle Discoverer jest wykorzystany do przeglądania bazy danych i tworzenia zapytań ad hoc oraz tworzenia raportów przez użytkowników z różnych organizacji.



Oracle Reports


Oracle Reports to raporty przygotowane w narzędziu Oracle Reports Builder w oparciu o dane zawarte w hurtowni. Raport jest przygotowywany przez osobę przeszkoloną w tym zakresie, a następnie jest udostępniany użytkownikom końcowym, którzy przy pomocy Oracle Reports Runtime mogą uruchomić ten raport na swoim stanowisku. Jest to architektura klient-serwer wymagająca zainstalowania Oracle Client na stanowisku użytkownika.

Narzędzie Oracle Reports podobnie jak Oracle Discoverer umożliwia przeglądanie raportów przez przeglądarki WWW.


Internet / Intranet


Narzędziem pozwalającym na dostęp do bazy danych poprzez Internet/Intranet jest Oracle Application Server. Narzędzie to zawiera między innymi takie komponenty (wykorzystywane w tej hurtowni) jak:

  • Oracle HTTP Server;

  • Oracle 10g AS Discoverer;

  • Oracle 10g AS Reports;

  • Oracle 10g AS Portal.

Każdy z tych komponentów odpowiada za komunikację z przeglądarką i z raportem zapisanym w bazie danych przez odpowiednie narzędzie.


Oracle BI Suite Enterprise Edition


    Oracle BI Suite Enterprise Edition jest to narzędzie umożliwiające tworzenie wielu różnorodnych dokumentów i raportów, sprawozdań i analiz ad hoc. System ten został wdrożony pilotażowo na danych finansowych z formularza F-01 oraz na danych handlu zagranicznego, które znajdują się w odrębnej hurtowni danych HURTDEV. Hurtownia ta została pilotażowo zbudowana przy użyciu narzędzia Oracle Warehouse Builder.

    Ochrona i bezpieczeństwo danych


Zabezpieczenie fizyczne przed utratą danych.

Funkcję tą realizuje się głównie poprzez regularne wykonywanie kopii oprogramowania i plików bazy danych. Ze względu na małą zmienność danych zdecydowano, że baza nie pracuje w trybie archiwalnym. Kopia bazy i oprogramowania Oracle wykonywana jest co tydzień przy pomocy pakietu "HP Data Protector, ver. 6.0"


Zabezpieczenie dostępu do danych.
W celu zabezpieczenia danych Hurtowni Danych GUS przed nieupoważnionym dostępem system wykorzystuje zaawansowane, wielopoziomowe mechanizmy zarządzania, identyfikacji i autoryzacji grup użytkowników. Zabezpieczenie dostępu do poszczególnych obiektów bazy danych, odbywa się z wykorzystaniem mechanizmu uprawnień, ról i przywilejów zawartego w bazie danych Oracle.

Obok mechanizmu uprawnień i ról dla użytkowników bazy operacyjnej i centralnej bazy hurtowni danych GUS, uzupełniającą rolę odgrywają tzw. konteksty pracy użytkowników oparte na Drobnoziarnistej Kontroli Dostępu (DKD) bazy danych Oracle. Utworzone zostały następujące konteksty pracy użytkowników.:



  • Kontekst PKD;

  • Kontekst terytorialny;

  • Kontekst formularza.



Utajnianie danych zagregowanych


Utajnianie danych związane jest z ochroną tajemnicy statystycznej i dotyczy danych zagregowanych. W tabelach z danymi zagregowanymi istnieją kolumny, które zawierają informacje wspomagające utajnianie danych dla osoby budującej raport.

Informacje te są wyliczane podczas generowania danych zagregowanych i zapisywane w tabelach związanych z agregatami. Mając do dyspozycji te wartości osoba budująca raport decyduje, które informacje powinny być chronione i w zależności od tego buduje odpowiedni raport w narzędziu zewnętrznym.



Sposób wykorzystywania zainstalowanego oprogramowania


Lp.

Narzędzie

Podsystem

  1. 1.

Oracle 10g Enterprise Edition

  • metabaza

  • baza operacyjna

  • centralna baza hurtowni

  • data marty



Oralcle 10g Client

  • systemy udostępniania (architektura klient-serwer)



Oracle 10g Enterprise Manager

zarządzanie całą bazą relacyjną Oracle10g EE w tym:

  • metabaza

  • baza operacyjna

  • centralna baza hurtowni

  • data marty



Oracle Discoverer Administrator

systemy udostępniania (architektura klient-serwer)



Oracle Discoverer User

systemy udostępniania (architektura klient-serwer)



Oracle Reports Builder

systemy udostępniania (architektura klient-serwer)



Oracle Reports Runtime

systemy udostępniania (architektura klient-serwer)



Oracle Internet Application Server

systemy udostępniania architektura trójwarstwowa z wykorzystaniem przeglądarek



Oracle BI Suite Enterprise Edition

systemy udostępniania (wdrożony pilotażowo)



Oracle Warehouse Builder

system budowy hurtowni danych Oracle



QUEST TOAD

zarządzanie bazą danych i optymalizacja przetwarzania.


Interfejsy pomiędzy podsystemami

Do sposobów komunikacji pomiędzy podsystemami należą:



  • SQL*Net - protokół Oracle do komunikowania się oprogramowania klienta z bazą danych wykorzystywany w systemach udostępniania tj: Oracle Discoverer, Oracle Reports;

  • ODBC – Open Database Connectivity pozwala na połączenie z bazą inną niż Oracle dzięki stadndardowo dostarczanym sterownikom;

  • HTTP – standardowy protokół wykorzystywany przez przeglądarki.

Poniżej przedstawiono zestawienie interfejsów pomiędzy poszczególnymi podsystemami:

  • Baza operacyjna, metabaza, centralna baza hurtowni, data marty należą do wspólnej bazy Oracle 10g EE i komunikują się mechanizmami wewnętrznymi zapewnionymi przez RDBMS Oracle

  • Oracle 10g EE <-> Oracle Application Server - SQL*Net (protokół komunikacyjny firmy Oracle oparty o TCP/IP, SPX)

  • Oprogramowanie klienckie w architekturze dwuwarstwowej <-> Oracle wykorzystują SQL*Net

  • Oprogramowanie klienckie w architekturze trójwarstwowej <-> Oracle Application Server wykorzystują protokół HTTP

  • na potrzeby komunikacji z innymi systemami zewnętrznymi (BDR i Eurostat) utworzone są w HDS specjalne struktury danych, które mogą być wykorzystywane w sposób bezpośredni (DBLink), bądź pośredni (pliki zewnętrzne).

  • Dla systemów wyjściowych GUS jako systemów udostępniania danych, metodą komunikacji z hurtownią danych jest połączenie poprzez ODBC lub JDBC np. z poziomu narzędzi: Access, SQL Server. W przypadku innych aplikacji wyjściowych z HD (napisanych np. w DELPHI) sposobem komunikacji jest BDE (ang. Borland Database Engine).

1.3.2.3. PILOTAŻOWA HURTOWNIA HINEX


Pilotażowa hurtownia HINEX obejmuje dane o obrotach w handlu zagranicznym z 5 lat (2004-2008). Została zbudowana z wykorzystaniem narzędzia Oracle Warehouse Builder. Informacje pochodzące z hurtowni są prezentowane w postaci raportów przy użyciu narzędzia Oracle BI Suite Enterprise Edition. Niniejszy element zostanie zintegrowany z HDS.

1   2   3   4   5   6   7


©absta.pl 2016
wyślij wiadomość

    Strona główna