Əməliyyat analitik emal üsulları. Onlayn analitik emal

Anbar məlumat bazasının strukturu adətən informasiyanın təhlilini mümkün qədər asanlaşdıracaq şəkildə tərtib edilir. Məlumatları müxtəlif istiqamətlərdə (ölçülər adlanır) "yerləşdirmək" rahat olmalıdır. Məsələn, bu gün istifadəçi öz fəaliyyətlərini müqayisə etmək üçün təchizatçı tərəfindən hissələrin göndərilməsinin xülasəsini görmək istəyir. Sabah eyni istifadəçiyə tədarük dinamikasını izləmək üçün hissələrin tədarükü həcmində aylar üzrə dəyişikliklərin şəkli lazım olacaq. Verilənlər bazası strukturu verilmiş ölçülər dəstinə uyğun gələn məlumatların çıxarılmasına imkan verməklə bu tip analizləri dəstəkləməlidir.

Operativ analitik məlumatların işlənməsinin əsasını məlumatın hiperkubik modelə təşkili prinsipi təşkil edir. Əvvəllər müzakirə edilmiş test verilənlər bazası üçün hissələrin təchizatı üçün ən sadə üçölçülü məlumat kubu Şəkil 1-də göstərilmişdir. 3.11. Hər bir hüceyrə bir "fakta" uyğun gəlir - məsələn, bir hissənin çatdırılma həcmi. Kubun bir tərəfi boyunca (bir ölçü) kubun əks etdirdiyi çatdırılmaların edildiyi aylar var. İkinci ölçü hissə növlərindən ibarətdir, üçüncü ölçü isə təchizatçılara uyğundur. Hər bir hüceyrədə hər üç ölçüdə müvafiq dəyərlərin birləşməsi üçün çatdırılma miqdarı var. Qeyd etmək lazımdır ki, kubu doldurarkən, test bazasından hər ayın çatdırılması üçün dəyərlər toplanmışdır.

3.11. Hissə tədarükünü təhlil etmək üçün sadələşdirilmiş hiperkub variantı

OLAP sinif sistemləri məlumatları təqdim etmə üsulu ilə fərqlənir.

Çoxölçülü OLAP (MOLAP) – bu sistemlər müvafiq giriş metodları ilə dinamik massivlərə əsaslanan çoxölçülü verilənlər strukturuna əsaslanır. MOLAP çoxölçülü DBMS-nin təşkili üçün patentləşdirilmiş texnologiyalardan istifadə etməklə həyata keçirilir. Bu yanaşmanın üstünlüyü hiperkub hüceyrələri üzərində hesablamaların aparılmasının rahatlığıdır, çünki Müvafiq hüceyrələr bütün ölçmə kombinasiyaları üçün yaradılır (elektron cədvəldəki kimi). Belə sistemlərin klassik nümayəndələrinə Oracle Express və SAS İnstitutu MDDB daxildir.

Əlaqəli OLAP (ROLAP)– əlaqəli verilənlər bazası üzərində çoxölçülü analitik modelləri dəstəkləyir. Bu sistemlər sinfinə Meta Cube Informix, Microsoft OLAP Services, Hyperion Solutions, SAS Institute Relational OLAP daxildir.

Masaüstü OLAP– yerli informasiya sistemləri (elektron cədvəllər, düz fayllar) üçün çoxölçülü sorğular və hesabatlar yaratmaq üçün alətlər. Aşağıdakı sistemləri ayırd etmək olar: Biznes Obyektləri, Cognos Power Play.

E.F. Codd, məlumatların çoxölçülü konseptual təqdimatı, şəffaflıq, mövcudluq, möhkəm performans, müştəri-server arxitekturası, ölçülü bərabərlik, seyrək matrislərin dinamik işlənməsi, çox istifadəçi dəstəyi, çarpaz ölçülü üçün qeyri-məhdud dəstək daxil olmaqla, OLAP məhsulunun təmin etməli olduğu on iki qaydanı müəyyən etdi. əməliyyatlar, məlumatların intuitiv manipulyasiyası, çevik hesabat yaratma mexanizmi, limitsiz sayda ölçülər və toplama səviyyələri.

Ən çox yayılmış sistemlər ROLAP sinfidir. Onlar hər hansı bir strukturun əlaqəli-tam saxlanması və ya xüsusi data market üzərində məlumat modelini təşkil etməyə imkan verir.

düyü. 3.12. Hissələrin tədarükü üçün analitik vitrin ulduz tipli diaqramı

Əksər məlumat anbarları üçün N-ölçülü kubu modelləşdirməyin ən səmərəli yolu ulduz kimidir. Şəkildə. Şəkil 3.11-də məlumatların dörd ölçü (təchizatçı, hissə, ay, il) üzrə birləşdirildiyi hissələrin tədarükünün təhlili üçün hiperkub modeli göstərilir. Ulduz sxemi faktlar cədvəlinə əsaslanır. Fakt cədvəlində tədarük edilən kəmiyyəti göstərən sütun, eləcə də bütün ölçü cədvəlləri üçün xarici açarları göstərən sütunlar var. Hər bir kub ölçüsü faktlar cədvəlinə münasibətdə istinad olan dəyərlər cədvəli ilə təmsil olunur. Məlumatın ümumiləşdirilməsi səviyyələrini təşkil etmək üçün kateqoriyalı girişlər ölçmə kitabçalarının üstündə təşkil edilir (məsələn, “material-hissə”, “təchizatçı şəhər”).

Şəkildəki diaqramın səbəbi. 3.12 "ulduz" adlanır, olduqca açıqdır. Ulduzun uclarını ölçü cədvəlləri təşkil edir və onların mərkəzdə yerləşən fakt cədvəli ilə əlaqəsi şüaları əmələ gətirir. Bu verilənlər bazası strukturu ilə əksər biznes təhlili sorğuları bir və ya bir neçə ölçü cədvəli ilə mərkəzi fakt cədvəlinə qoşulur. Məsələn, 2004-cü ildə bütün hissələrin tədarük həcmini aylar üzrə əldə etmək üçün tədarükçü tərəfindən bölünmüş sorğu belə görünür:

SUM(VALUE), SUPPLIER.SUPPLIER_NAME, FACT.MONTH_ID SEÇİN

FAKTDAN, TƏQDİMATÇIDAN

HARADA FACT.YEAR_ID=2004

VƏ FACT.SUPPLIER_CODE=SUPPLIER.SUPPLIER_CODE

GROUP_BY SUPPLIER_CODE, MONTH_ID

ORDER_BY SUPPLIER_CODE, MONTH_ID.

Şəkildə. Şəkil 3.13-də göstərilən sorğu nəticəsində yaradılan hesabatın fraqmenti göstərilir.

Biznes proseslərinin analitik texnologiyaları

Business Intelligence (BI) sistemləri müəssisə miqyaslı məlumatların təhlili və emalı üçün müxtəlif alətləri və texnologiyaları birləşdirir. Bu alətlər əsasında BI sistemləri yaradılır, onların məqsədi idarəetmə qərarlarının qəbulu üçün məlumatların keyfiyyətini artırmaqdır.

BI aşağıdakı siniflərin proqram məhsullarını əhatə edir:

· onlayn analitik emal (OLAP) sistemləri;

· data mining (DM) alətləri;

Hər bir sinifin proqram məhsulları xüsusi texnologiyalardan istifadə edərək müəyyən funksiyalar və ya əməliyyatlar dəstini yerinə yetirir.

OLAP (On-Line Analytical Processing) - onlayn analitik emal - konkret məhsulun deyil, bütöv bir texnologiyanın adıdır. OLAP konsepsiyası verilənlərin çoxölçülü təsvirinə əsaslanır.

Sonradan yeni və çox perspektivli texnologiyanın əsas məzmununa çevrilən OLAP texnologiyasının 12 meyarı.

Onlar daha sonra OLAP məhsulları üçün tələbləri müəyyən edən FASMI testinə çevrildi:

· FAST (sürətli). OLAP tətbiqi analitik məlumatlara minimal giriş vaxtı təmin etməlidir - orta hesabla təxminən 5 saniyə;

· ANALİZ (analiz). OLAP tətbiqi istifadəçiyə ədədi və statistik təhlil aparmağa imkan verməlidir;

· PAYLAŞILAN (ortaq giriş). OLAP proqramı bir çox istifadəçiyə eyni vaxtda məlumatla işləməyə imkan verməlidir;

· ÇOX ÖLÇÜLÜ (çoxölçülülük);

· MƏLUMAT (məlumat). OLAP tətbiqi istifadəçiyə hansı elektron məlumat anbarında yerləşməsindən asılı olmayaraq ehtiyac duyduğu məlumatı əldə etməyə imkan verməlidir.

FASMI əsasında aşağıdakı tərif verilə bilər: OLAP proqramları - Bunlar ədədi və statistik analiz imkanları ilə çoxölçülü analitik məlumatlara çox istifadəçinin sürətli çıxışı üçün sistemlərdir.

OLAP-ın əsas ideyası istifadəçi sorğuları üçün əlçatan olacaq çoxölçülü kublar yaratmaqdır. Çoxölçülü kublar (şək. 5.3) həm relyasiyalı, həm də çoxölçülü verilənlər bazalarında saxlanıla bilən mənbə və ümumiləşdirilmiş verilənlər əsasında qurulur. Buna görə hazırda məlumatların saxlanması üçün üç üsuldan istifadə olunur: MOLAP (Çoxölçülü OLAP), ROLAP (Relational OLAP) və HOLAP (Hibrid OLAP).

Müvafiq olaraq, OLAP məhsulları məlumatların saxlanma üsuluna görə üç oxşar kateqoriyaya bölünür:

1. MOLAP vəziyyətində mənbə və çoxölçülü məlumatlar çoxölçülü verilənlər bazasında və ya çoxölçülü lokal kubda saxlanılır. Bu saxlama üsulu OLAP əməliyyatlarının yüksək sürətini təmin edir. Ancaq bu vəziyyətdə çoxölçülü baza çox vaxt lazımsız olacaqdır. Onun əsasında qurulmuş bir kub ölçülərin sayından çox asılı olacaq. Ölçülərin sayı artdıqca kubun həcmi eksponent olaraq artacaq. Bəzən bu, məlumatların partlamasına səbəb ola bilər.

2. ROLAP məhsullarında mənbə verilənlər əlaqəli verilənlər bazalarında və ya fayl serverində düz lokal cədvəllərdə saxlanılır. Ümumi məlumatlar eyni verilənlər bazasında xidmət cədvəllərində yerləşdirilə bilər. Əlaqəli verilənlər bazasından verilənlərin çoxölçülü kublara çevrilməsi OLAP alətinin tələbi ilə baş verir. Bu halda, kubun qurulması sürəti məlumat mənbəyinin növündən çox asılı olacaq.

3. Hibrid arxitekturadan istifadə zamanı mənbə verilənlər relyasiya verilənlər bazasında qalır, aqreqatlar isə çoxölçülündə yerləşdirilir. OLAP kubunun qurulması relyativ və çoxölçülü məlumatlara əsaslanan OLAP alətinin tələbi ilə həyata keçirilir. Bu yanaşma partlayıcı məlumat artımının qarşısını alır. Bu halda müştəri sorğuları üçün optimal icra müddətinə nail olmaq mümkündür.

OLAP texnologiyalarından istifadə edərək istifadəçi məlumatın çevik baxışını həyata keçirə, müxtəlif məlumat dilimlərini əldə edə, detallaşdırma, konvolyusiya, uçdan-uca paylamanın analitik əməliyyatlarını yerinə yetirə bilər, zamanla müqayisə edə bilər, yəni. hesabatları və sənədləri tərtib etmək və dinamik şəkildə dərc etmək.

Uzun illər ərzində informasiya texnologiyaları korporativ əməliyyatların işlənməsini dəstəkləmək üçün sistemlərin qurulmasına diqqət yetirir. Bu cür sistemlər vizual olaraq nasazlığa dözümlü olmalı və sürətli reaksiya verməlidir. Effektiv həll paylanmış əlaqəli verilənlər bazası mühitinə yönəlmiş OLTP tərəfindən təmin edilmişdir.

Bu sahədə daha yeni bir inkişaf müştəri-server arxitekturasının əlavə edilməsi idi. OLTP proqramlarının inkişafı üçün bir çox alətlər nəşr edilmişdir.

Məlumatlara giriş çox vaxt həm OLTP proqramları, həm də qərara dəstək informasiya sistemləri tərəfindən tələb olunur. Təəssüf ki, hər iki növ sorğuya xidmət göstərməyə çalışmaq problem yarada bilər. Buna görə də bəzi şirkətlər verilənlər bazasını OLTP tipinə və OLAP tipinə bölmək yolunu seçmişlər.

OLAP (Online Analytical Processing - onlayn analitik emal) istifadəçiyə sistemə sorğu vermək, təhlil aparmaq və s. imkan verən informasiya prosesidir. əməliyyat rejimində (onlayn). Nəticələr saniyələr ərzində yaradılır.

Digər tərəfdən, OLTP sistemində nəhəng həcmli məlumatlar giriş kimi qəbul edildiyi qədər tez emal olunur.

OLAP sistemləri son istifadəçilər üçün, OLTP sistemləri isə peşəkar İS istifadəçiləri üçün hazırlanmışdır. OLAP-a sorğuların yaradılması, xüsusi hesabatların sorğulanması, statistik təhlilin aparılması və multimedia proqramlarının yaradılması kimi fəaliyyətlər daxildir.

OLAP-ın təmin edilməsi məlumat anbarı (və ya çoxölçülü anbar) və bir sıra alətlər dəsti, adətən çoxölçülü imkanlarla işləməyi tələb edir. Bu alətlər sorğu alətləri, elektron cədvəllər, verilənlərin öyrənilməsi vasitələri, məlumatların vizuallaşdırılması vasitələri və s. ola bilər.

OLAP konsepsiyası çoxölçülü məlumatların təqdim edilməsi prinsipinə əsaslanır. E.Codd relational modelin çatışmazlıqlarını araşdıraraq, ilk növbədə məlumatların çoxölçülü nöqteyi-nəzərdən, yəni korporativ analitiklər üçün ən başa düşülən şəkildə birləşdirilməsi, onlara baxmaq və təhlil edilməsinin mümkünsüzlüyünü qeyd etmiş və ümumi tələbləri müəyyən etmişdir. relational DBMS-lərin funksionallığını genişləndirən və onun xüsusiyyətlərindən biri kimi çoxölçülü təhlili daxil edən OLAP sistemləri üçün.

Çoxlu sayda nəşrlərdə OLAP abbreviaturası yalnız məlumatların çoxölçülü görünüşünü deyil, həm də məlumatların özünün çoxölçülü verilənlər bazasında saxlanmasını ifadə edir. Ümumiyyətlə, bu doğru deyil, çünki Codd özü qeyd edir ki, əlaqəli verilənlər bazası müəssisə məlumatlarının saxlanması üçün ən uyğun texnologiya olub, var və olacaq. Ehtiyac yeni verilənlər bazası texnologiyasına deyil, daha çox mövcud DBMS-lərin funksionallığını tamamlayan və OLAP-a xas olan müxtəlif mədənçilik növlərini yerləşdirmək və avtomatlaşdırmaq üçün kifayət qədər çevik olan analiz alətləridir.

Codd-a görə, çoxölçülü konseptual baxış, müəyyən məlumat dəstlərinin təhlil oluna biləcəyi bir neçə müstəqil ölçüdən ibarət olan çoxsaylı perspektivdir. Çoxölçülü eyni vaxtda analiz çoxdəyişənli analiz kimi müəyyən edilir. Hər bir ölçü bir sıra ardıcıl ümumiləşdirmə səviyyələrindən ibarət məlumatların konsolidasiyası sahələrini əhatə edir, burada hər bir yüksək səviyyə müvafiq ölçü üçün daha yüksək məlumatların toplanması dərəcəsinə uyğundur. Beləliklə, İcraçı ölçüsü "müəssisə - şöbə - şöbə - işçi" ümumiləşdirmə səviyyələrindən ibarət konsolidasiya istiqaməti ilə müəyyən edilə bilər. Vaxt ölçüsünə hətta iki konsolidasiya istiqaməti də daxil ola bilər - “il - rüb - ay - gün” və “həftə - gün”, çünki vaxtı aya və həftəyə görə hesablamaq uyğun gəlmir. Bu halda, ölçülərin hər biri üçün məlumatın istənilən detal səviyyəsini özbaşına seçmək mümkün olur. Eniş əməliyyatı birləşmənin ən yüksək pillələrindən aşağıya doğru hərəkətə uyğundur; əksinə, yüksəliş əməliyyatı aşağı səviyyədən yuxarıya doğru hərəkət deməkdir.

Codd OLAP sinfi proqram məhsulunun təmin etməli olduğu 12 qaydanı müəyyən etdi. Bu qaydalar:

1. Verilənlərin çoxölçülü konseptual təsviri.

2. Şəffaflıq.

3. Mövcudluq.

4. Davamlı performans.

5. Müştəri - server arxitekturası.

6. Ölçmələrin bərabərliyi.

7. Seyrək matrislərin dinamik işlənməsi.

8. Çox istifadəçi rejimi üçün dəstək.

9. Çarpaz ölçülü əməliyyatlar üçün limitsiz dəstək.

10. Məlumatların intuitiv manipulyasiyası.

11. Çevik hesabat yaratma mexanizmi.

12. Ölçülərin və toplama səviyyələrinin limitsiz sayı.

OLAP-ın faktiki tərifi kimi xidmət edən bu tələblər toplusu tövsiyələr kimi qəbul edilməli və konkret məhsullar bütün tələblərə ideal tam uyğunluq dərəcəsinə yaxınlıq dərəcəsinə görə qiymətləndirilməlidir.

Data mining.

Data mining (DMA) və ya Data Mining, verilənlər bazalarında bilik kəşfini, biliklərin çıxarılmasını, məlumatların çıxarılmasını, məlumatların çıxarılmasını, məlumat nümunələrinin işlənməsini, məlumatların təmizlənməsini və məlumatların çıxarılmasını təsvir etmək üçün istifadə edilən termindir; Bu həm də müşayiət olunan proqram təminatı deməkdir. Bütün bu hərəkətlər avtomatik olaraq həyata keçirilir və hətta proqramçı olmayanlara da tez nəticələr əldə etməyə imkan verir.

Sorğu son istifadəçi tərəfindən, ola bilsin, təbii dildə edilir. Sorğu SQL formatına çevrilir. SQL sorğusu şəbəkə üzərindən verilənlər bazasını və ya məlumat saxlanmasını idarə edən DBMS-ə göndərilir. DBMS sorğuya cavab tapır və onu geri çatdırır. İstifadəçi daha sonra təqdimatı və ya hesabatı öz tələblərinə uyğun tərtib edə bilər.

Biznesin və sosial sferanın demək olar ki, hər hansı bir sahəsində bir çox mühüm qərarlar böyük və mürəkkəb verilənlər bazalarının təhlilinə əsaslanır. Bu hallarda IBP çox kömək edə bilər.

Data mining metodları OLAP texnologiyaları və məlumat anbarı texnologiyaları ilə sıx bağlıdır. Buna görə də, ən yaxşı seçim onların həyata keçirilməsinə inteqrasiya olunmuş yanaşmadır.

Mövcud məlumat anbarlarının idarəetmə qərarlarının qəbulunu asanlaşdırması üçün məlumat analitikə tələb olunan formada təqdim edilməlidir, yəni o, anbar məlumatlarına daxil olmaq və emal etmək üçün hazırlanmış alətlərə malik olmalıdır.

Çox vaxt qərar qəbul edənlər tərəfindən birbaşa istifadə gözləntiləri ilə yaradılan məlumat və analitik sistemlərin istifadəsi olduqca asan, lakin funksionallıq baxımından ciddi şəkildə məhdudlaşır. Belə statik sistemlər İcraçı İnformasiya Sistemləri adlanır. Onlar əvvəlcədən müəyyən edilmiş sorğu dəstlərini ehtiva edir və gündəlik nəzərdən keçirmək üçün kifayət etsə də, qərar qəbul edərkən yarana biləcək mövcud məlumatlar haqqında bütün suallara cavab verə bilmir. Belə bir sistemin nəticələri, bir qayda olaraq, çox səhifəli hesabatlardır, diqqətlə öyrənildikdən sonra analitikin yeni bir sıra sualları var. Bununla belə, belə bir sistemin layihələndirilməsi zamanı nəzərdə tutulmayan hər bir yeni sorğu əvvəlcə rəsmi şəkildə təsvir edilməli, proqramçı tərəfindən kodlaşdırılmalı və yalnız bundan sonra yerinə yetirilməlidir. Bu vəziyyətdə gözləmə müddəti saatlar və günlər ola bilər, bu həmişə məqbul deyil. Beləliklə, informasiya və analitik sistemlərin əksər müştərilərinin fəal mübarizə apardığı statistik qərarların qəbuluna dəstək informasiya sistemlərinin xarici sadəliyi çevikliyin itirilməsi ilə nəticələnir.

Dinamik qərar dəstəyi sistemləri, əksinə, məlumat üçün tənzimlənməmiş (ad hoc) analitik sorğularının işlənməsinə yönəldilmişdir. Analitiklərin bu sistemlərlə işi sorğuların formalaşdırılması və onların nəticələrinin öyrənilməsinin interaktiv ardıcıllığından ibarətdir.

Lakin dinamik qərara dəstək sistemləri təkcə onlayn analitik emal (OLAP) sahəsində fəaliyyət göstərə bilməz. Yığılmış məlumatlar əsasında idarəetmə qərarlarının qəbul edilməsinə dəstək üç əsas sahədə həyata keçirilə bilər.

1. Ətraflı məlumatların əhatə dairəsi. Bu, əksər informasiya axtarış sistemlərinin əhatə dairəsidir. Əksər hallarda relational DBMS-lər burada yaranan vəzifələrin öhdəsindən yaxşı gəlir. Əlaqəli məlumatların manipulyasiya dili üçün ümumi qəbul edilmiş standart SQL-dir. Təfərrüatlı məlumatların axtarışı tapşırıqlarında son istifadəçi interfeysini təmin edən informasiya axtarış sistemləri həm əməliyyat sistemlərinin ayrı-ayrı verilənlər bazaları, həm də ümumi məlumat anbarı üzərində əlavələr kimi istifadə edilə bilər.

2. Məcmu göstəricilərin əhatə dairəsi. Məlumat anbarında toplanmış məlumatlara hərtərəfli baxmaq, onun ümumiləşdirilməsi və toplanması, çoxölçülü təhlili OLAP sistemlərinin vəzifələridir. Burada ya xüsusi çoxölçülü DBMS-lərə diqqət yetirə bilərsiniz, ya da əlaqəli texnologiyalar çərçivəsində qala bilərsiniz. İkinci halda, əvvəlcədən cəmləşdirilmiş məlumatlar ulduz formalı verilənlər bazasında toplana bilər və ya relyasiya verilənlər bazasının təfərrüatlı cədvəllərinin skan edilməsi prosesində məlumatların aqreqasiyası həyata keçirilə bilər.

3. Naxışlar sferası. İntellektual emalı verilənlərin işlənməsi metodlarından istifadə etməklə həyata keçirilir ki, onun əsas məqsədləri toplanmış məlumatda funksional və məntiqi qanunauyğunluqların axtarışı, aşkar edilmiş anomaliyaları izah edən modellər və qaydaların qurulması və/və ya müəyyən proseslərin inkişafının proqnozlaşdırılmasıdır.

Məlumat anbarı əsasında qurulmuş məlumat və analitik sistemin tam strukturu Şəkil 1-də göstərilmişdir. 3.2. Xüsusi tətbiqlərdə bu dövrənin fərdi komponentləri tez-tez yoxdur.

Şəkil 3.2. Korporativ informasiya və analitik sistemin strukturu.

3.4 Analitik məlumatların emalı üsulları

Çox vaxt qərar qəbul edənlər tərəfindən birbaşa istifadə gözləntiləri ilə yaradılan məlumat və analitik sistemlərin istifadəsi olduqca asan, lakin funksionallıq baxımından ciddi şəkildə məhdudlaşır. Belə statik sistemlər İcraçı İnformasiya Sistemləri (IIS) və ya İcraçı İnformasiya Sistemləri (EIS) adlanır. Onlar çoxlu sorğuları ehtiva edir və gündəlik nəzərdən keçirmək üçün kifayət etsə də, qərar qəbul edərkən yarana biləcək bütün suallara cavab verə bilmirlər. Belə bir sistemin nəticəsi, bir qayda olaraq, çox səhifəli hesabatlardır, diqqətlə öyrənildikdən sonra analitikin yeni bir sıra sualları var. Bununla belə, belə bir sistemin layihələndirilməsi zamanı nəzərdə tutulmayan hər bir yeni sorğu əvvəlcə rəsmi şəkildə təsvir edilməli, proqramçı tərəfindən kodlaşdırılmalı və yalnız bundan sonra yerinə yetirilməlidir. Bu vəziyyətdə gözləmə müddəti saatlar və günlər ola bilər, bu həmişə məqbul deyil.

Onlayn analitik emal. Və ya On-Line Analitik Emal, OLAP məlumat anbarlarının təşkilinin əsas komponentidir. OLAP konsepsiyası 1993-cü ildə Edqar Codd tərəfindən təsvir edilmişdir və çoxölçülü analiz tətbiqləri üçün aşağıdakı tələblərə malikdir:

– məlumatların çoxölçülü konseptual təqdimatı, o cümlədən iyerarxiyalar və çoxsaylı iyerarxiyalar üçün tam dəstək (OLAP-ın əsas tələbi);

– istifadəçiyə daha az təfərrüatlı təhlil bahasına olsa belə, məqbul müddətdə (adətən 5 saniyədən çox olmayan) analiz nəticələrinin təqdim edilməsi;

– verilmiş proqrama xas olan hər hansı məntiqi və statistik təhlili aparmaq və onu son istifadəçi üçün əlçatan formada saxlamaq imkanı;

– müvafiq kilidləmə mexanizmləri və səlahiyyətli giriş vasitələri üçün dəstək ilə məlumatlara çox istifadəçi girişi;

– həcmindən və saxlanma yerindən asılı olmayaraq istənilən zəruri məlumatı əldə etmək imkanı.

OLAP sistemi bir çox komponentdən ibarətdir. Təqdimatın ən yüksək səviyyəsində sistem məlumat mənbəyini, OLAP texnologiyasına əsaslanan hesabat mexanizmini, OLAP serverini və müştərini həyata keçirmək imkanı verən çoxölçülü verilənlər bazasını (MDB) ehtiva edir. Sistem klient-server prinsipi əsasında qurulub və MDB serverinə uzaqdan və çox istifadəçi girişini təmin edir.

OLAP sisteminin komponentlərinə nəzər salaq.

Mənbələr. OLAP sistemlərində mənbə təhlil üçün məlumatları təmin edən serverdir. OLAP məhsulunun istifadə sahəsindən asılı olaraq, mənbə məlumat anbarı, ümumi məlumatları ehtiva edən irsi verilənlər bazası, dəst ola bilər.

maliyyə məlumatlarını və ya yuxarıda göstərilənlərin hər hansı kombinasiyasını birləşdirən cədvəllər.

Məlumatların saxlanması. Mənbə məlumatları məlumatların saxlanması prinsiplərinə uyğun olaraq hazırlanmış anbarda toplanır və saxlanılır. Məlumat anbarı əlaqəli verilənlər bazasıdır (RDB). Əsas məlumat cədvəli (fakt cədvəli) statistik məlumatların toplandığı göstəricilərin ədədi dəyərlərini ehtiva edir.

Çoxölçülü verilənlər bazası.Məlumat anbarı obyektlərin toplusu olan çoxölçülü verilənlər bazası üçün informasiya təminatçısı kimi xidmət edir. Bu obyektlərin əsas sinifləri ölçülər və ölçülərdir. Ölçülərə verilənlərin indeksləşdirildiyi dəyər dəstləri (parametrlər) daxildir, məsələn, vaxt, bölgələr, qurumun növü və s. Hər bir ölçü məlumat anbarının müvafiq ölçü cədvəllərindən dəyərlərlə doldurulur. Ölçmələr toplusu tədqiq olunan prosesin məkanını müəyyən edir. Göstəricilər çoxölçülü məlumat kublarına (hiperkublara) aiddir. Hiperkub məlumatların özünü, həmçinin göstəriciyə daxil edilmiş ölçülər üçün ümumi məbləğləri ehtiva edir. Göstəricilər MDB-nin əsas məzmununu təşkil edir və faktlar cədvəlinə uyğun doldurulur. Hiperkubun hər oxu boyunca məlumatlar müxtəlif təfərrüat səviyyələrini təmsil edən bir iyerarxiya şəklində təşkil edilə bilər. Bu, sonrakı məlumatların təhlili zamanı məlumat təqdimatını toplamaq və ya aşağıya endirmək üçün istifadə olunacaq iyerarxik ölçülər yaratmağa imkan verir. İerarxik ölçünün tipik nümunəsi rayonlar, bölgələr və rayonlar üzrə qruplaşdırılmış ərazi obyektlərinin siyahısıdır.

Server. OLAP sisteminin tətbiq hissəsi OLAP serveridir. Bu komponent bütün işləri görür (sistem modelindən asılı olaraq) və aktiv girişin təmin olunduğu bütün məlumatları saxlayır. Server arxitekturası müxtəlif konsepsiyalarla idarə olunur. Xüsusilə, OLAP məhsullarının əsas funksional xarakteristikası məlumatların saxlanması üçün MDB və ya RDB-nin istifadəsidir.

Müştəri tətbiqi.Müvafiq olaraq strukturlaşdırılmış və MDB-də saxlanılan məlumatlar müştəri proqramından istifadə etməklə təhlil üçün əlçatandır. İstifadəçi məlumatlara uzaqdan daxil olmaq, mürəkkəb sorğular tərtib etmək, hesabatlar yaratmaq və ixtiyari məlumat alt dəstlərini əldə etmək imkanı əldə edir. Hesabat əldə etmək xüsusi ölçmə dəyərlərini seçmək və hiperkubun bir hissəsinin qurulmasıdır. Kesiti seçilmiş ölçmə dəyərləri ilə müəyyən edilir. Digər ölçmələr üçün məlumatlar ümumiləşdirilmişdir.

OLAPmüştəri və serverdə.Çoxölçülü məlumatların təhlili müştəri və server OLAP alətlərinə bölünə bilən müxtəlif vasitələrdən istifadə etməklə həyata keçirilə bilər.

OLAP müştəri alətləri (məsələn, Microsoft-dan Excel 2000-də Pivot Cədvəllər və ya Knosys-dən ProClarity) məcmu məlumatları hesablayan və onları göstərən proqramlardır. Eyni zamanda, məcmu məlumatların özü belə bir OLAP alətinin ünvan məkanında bir önbellekdə saxlanılır.

Mənbə verilənləri masaüstü DBMS-də olarsa, məcmu məlumatların hesablanması OLAP alətinin özü tərəfindən həyata keçirilir. Əgər ilkin məlumatların mənbəyi server DBMS-dirsə, bir çox müştəri OLAP alətləri SQL sorğularını serverə göndərir və nəticədə serverdə hesablanmış məcmu məlumatları alır.

Tipik olaraq, OLAP funksionallığı statistik məlumatların emalı alətlərində və bəzi elektron cədvəllərdə həyata keçirilir.

Bir çox inkişaf alətləri sadə OLAP funksionallığını həyata keçirən proqramlar yaratmağa imkan verən siniflər və ya komponentlər kitabxanalarını ehtiva edir (məsələn, Borland Delphi və Borland C++ Builder-dəki Qərar Cube komponentləri). Bundan əlavə, bir çox şirkətlər ActiveX nəzarətləri və oxşar funksiyaları həyata keçirən digər kitabxanalar təklif edirlər.

Müştəri OLAP alətləri, bir qayda olaraq, az sayda ölçülərlə (adətən altıdan çox deyil) və bu parametrlər üçün az sayda dəyərlə istifadə olunur - çünki əldə edilən məcmu məlumatlar belə bir alətin ünvan sahəsinə uyğun olmalıdır. , və ölçülərin sayı artdıqca onların sayı eksponent olaraq artır.

Bir çox OLAP müştəri alətləri, onları yenidən hesablamamaq üçün ümumi məlumatlarla birlikdə keşin məzmununu fayl kimi saxlamağa imkan verir. Bununla belə, bu imkandan çox vaxt məcmu məlumatları başqa təşkilatlara ötürmək və ya dərc etmək məqsədilə özgəninkiləşdirmək üçün istifadə olunur.

Bir faylda məcmu məlumatların keşinin saxlanması ideyası, məcmu məlumatların saxlanması və dəyişdirilməsi, habelə onları ehtiva edən yaddaşın saxlandığı server OLAP alətlərində (məsələn, Oracle Express Server və ya Microsoft OLAP Services) daha da inkişaf etdirilmişdir. , OLAP server adlanan ayrıca proqram və ya proses tərəfindən həyata keçirilir. Müştəri proqramları belə çoxölçülü yaddaş tələb edə və cavab olaraq müəyyən məlumatları qəbul edə bilər. Bəzi müştəri proqramları da bu cür mağazalar yarada və ya dəyişdirilmiş mənbə məlumatlarına əsasən onları yeniləyə bilər.

Müştəri OLAP alətləri ilə müqayisədə server OLAP alətlərindən istifadənin üstünlükləri masa üstü olanlarla müqayisədə server DBMS-lərindən istifadənin üstünlüklərinə bənzəyir: server alətlərindən istifadə edərkən məcmu məlumatların hesablanması və saxlanması serverdə baş verir və müştəri tətbiqi yalnız onlara qarşı sorğuların nəticələri, bu, ümumilikdə şəbəkə trafikini, sorğunun icra müddətini və müştəri tətbiqi tərəfindən istehlak edilən resurs tələblərini azaltmağa imkan verir.

3.5 Çoxölçülü məlumatların saxlanmasının texniki aspektləri

OLAP proqramlarında çoxölçülülük üç səviyyəyə bölünə bilər:

1. Çoxölçülü məlumat təqdimatı– çoxölçülü vizuallaşdırma və məlumatların manipulyasiyasını təmin edən son istifadəçi alətləri; Çoxölçülü təmsil qatı verilənlərin fiziki strukturundan mücərrədləşir və verilənlərə çoxölçülü kimi yanaşır.

Çoxölçülü emal– çoxölçülü sorğuların formalaşdırılması üçün vasitə (dil) (ənənəvi əlaqə dili SQL burada uyğun deyil) və belə bir sorğunu emal edib icra edə bilən prosessor.

Çoxölçülü saxlama– çoxölçülü sorğuların effektiv icrasını təmin edən məlumatların fiziki təşkili vasitələri.

İlk iki səviyyə bütün OLAP alətlərində məcburidir. Üçüncü səviyyə, geniş yayılmış olsa da, lazım deyil, çünki çoxölçülü təqdimat üçün məlumatlar adi əlaqə strukturlarından çıxarıla bilər. Çoxölçülü sorğu prosessoru, bu halda, çoxölçülü sorğuları əlaqəli DBMS tərəfindən yerinə yetirilən SQL sorğularına çevirir.

İstənilən məlumat anbarında - həm adi, həm də çoxölçülü - əməliyyat sistemlərindən çıxarılan təfərrüatlı məlumatlar ilə yanaşı, aylar üzrə, məhsul kateqoriyası üzrə satış həcminin cəmi kimi məcmu göstəricilər (ümumi göstəricilər) də saxlanılır sorğunun icrasını sürətləndirmək üçün açıq şəkildə. Axı, bir tərəfdən, çox böyük miqdarda məlumat, bir qayda olaraq, anbarda toplanır, digər tərəfdən, analitikləri əksər hallarda ətraflı deyil, ümumiləşdirilmiş göstəricilər maraqlandırır. İlin ümumi satışlarını hesablamaq üçün hər dəfə milyonlarla fərdi satışı toplamaq lazım gəlsəydi, sürət çox güman ki, qəbuledilməz olardı. Buna görə də, məlumatları çoxölçülü verilənlər bazasına yükləyərkən bütün ümumi göstəricilər və ya onların bir hissəsi hesablanır və saxlanılır.

Bununla belə, ümumiləşdirilmiş məlumatların istifadəsinin mənfi cəhətləri var. Əsas çatışmazlıqlar saxlanılan məlumatların həcminin artmasıdır (yeni ölçülər əlavə edildikdə, kubu təşkil edən məlumatların həcmi eksponent olaraq artır) və onları yükləmək üçün lazım olan vaxtdır. Üstəlik, informasiyanın həcmi onlarla, hətta yüzlərlə dəfə arta bilər. Məsələn, dərc edilmiş standart testlərdən birində 10 MB xam məlumat üçün aqreqatların tam hesablanması üçün 2,4 GB tələb olunurdu, yəni məlumat 240 dəfə artdı!

Aqreqatların hesablanması zamanı məlumat həcminin artım dərəcəsi kubun ölçülərinin sayından və bu ölçülərin strukturundan, yəni müxtəlif ölçmə səviyyələrində "valideynlər" və "uşaqlar" sayının nisbətindən asılıdır. Aqreqatların saxlanması problemini həll etmək üçün bütün mümkün olmayan aqreqatları hesablayarkən sorğu performansında əhəmiyyətli artım əldə etməyə imkan verən kompleks sxemlərdən istifadə olunur.

Həm xam, həm də məcmu məlumatlar hər ikisində saxlanıla bilər

əlaqəli və ya çoxölçülü strukturlarda. Bu baxımdan hazırda çoxölçülü məlumatların saxlanması üçün üç üsuldan istifadə olunur:

MOLAP (Çoxölçülü OLAP) – mənbə və məcmu məlumatlar çoxölçülü verilənlər bazasında saxlanılır. Çoxölçülü strukturlarda məlumatların saxlanması, məlumatları çoxölçülü bir massiv kimi manipulyasiya etməyə imkan verir, buna görə məcmu dəyərlərin hesablanması sürəti hər hansı bir ölçü üçün eynidır. Bununla belə, bu halda çoxölçülü verilənlər bazası lazımsızdır, çünki çoxölçülü verilənlər tamamilə orijinal relational məlumatları ehtiva edir.

Bu sistemlər OLAP emalının tam dövrünü təmin edir. Onlar ya server komponentinə əlavə olaraq öz inteqrasiya olunmuş müştəri interfeysini də əhatə edir, ya da istifadəçi ilə əlaqə saxlamaq üçün xarici cədvəl proqramlarından istifadə edirlər.

ROLAP (Relational OLAP) - ilkin verilənlər ilkin yerləşdiyi relational verilənlər bazasında qalır. Ümumi məlumatlar eyni verilənlər bazasında saxlanılması üçün xüsusi olaraq yaradılmış xidmət cədvəllərində yerləşdirilir.

HOLAP (Hybrid OLAP) – ilkin verilənlər ilkin yerləşdiyi relational verilənlər bazasında qalır və məcmu məlumatlar çoxölçülü verilənlər bazasında saxlanılır.

Bəzi OLAP alətləri məlumatların yalnız relational strukturlarda, bəziləri isə çoxölçülü olanlarda saxlanmasını dəstəkləyir. Bununla belə, əksər müasir server OLAP alətləri hər üç məlumat saxlama üsulunu dəstəkləyir. Saxlama metodunun seçimi mənbə məlumatlarının həcmindən və strukturundan, sorğunun icra sürətinə olan tələblərdən və OLAP kublarının yenilənməsi tezliyindən asılıdır.

3.6 Məlumatların öyrənilməsi (DataMədən)

Data Mining termini müxtəlif riyazi və statistik alqoritmlər vasitəsilə korrelyasiya, tendensiya və münasibətlərin tapılması prosesinə aiddir: qərara dəstək sistemləri üçün klasterləşdirmə, reqressiya və korrelyasiya təhlili və s. Bu zaman yığılmış informasiya avtomatik olaraq bilik kimi səciyyələndirilə bilən informasiyaya ümumiləşdirilir.

Müasir Data Mining texnologiyası verilənlərin alt nümunələrinə xas olan nümunələri əks etdirən və sözdə gizli bilikləri təşkil edən şablonlar konsepsiyasına əsaslanır.

Nümunələrin axtarışı bu alt nümunələr haqqında heç bir apriori fərziyyədən istifadə etməyən metodlardan istifadə etməklə həyata keçirilir. Data Mining-in mühüm xüsusiyyəti, axtarılan nümunələrin qeyri-standart və qeyri-aşkar xarakteridir. Başqa sözlə, Data Mining alətləri statistik məlumatların emalı alətlərindən və OLAP alətlərindən istifadəçilərin əvvəlcədən qəbul etdikləri münasibətləri yoxlamaq əvəzinə onunla fərqlənir.

məlumatlar arasında, onlar, mövcud məlumatlara əsaslanaraq, müstəqil olaraq bu cür əlaqələri tapa bilirlər, həmçinin onların təbiəti haqqında fərziyyələr qururlar.

Ümumilikdə Data Mining prosesi üç mərhələdən ibarətdir

nümunələrin müəyyən edilməsi (pulsuz axtarış);

naməlum dəyərləri proqnozlaşdırmaq üçün müəyyən edilmiş nümunələrdən istifadə etməklə (proqnozlaşdırma modelləşdirmə);

aşkar edilmiş nümunələrdə anomaliyaları müəyyən etmək və şərh etmək üçün nəzərdə tutulmuş istisna təhlili.

Bəzən aşkar edilmiş nümunələrin aşkarlanması və istifadəsi arasında etibarlılığının yoxlanılmasının aralıq mərhələsi (validasiya mərhələsi) açıq şəkildə müəyyən edilir.

Data Mining metodları ilə müəyyən edilmiş beş standart nümunə növü vardır:

1. Assosiasiya aralarında gizli əlaqə olan obyektlərin sabit qruplarını müəyyən etməyə imkan verir. Fərdi maddənin və ya maddələr qrupunun faizlə ifadə edilən baş vermə tezliyi yayılma adlanır. Aşağı yayılma nisbəti (bir faizin mində birindən az) birliyin əhəmiyyətli olmadığını göstərir. Birliklər qaydalar şəklində yazılır: A=> B, Harada A - paket, IN - nəticəsi. Yaranan hər bir assosiasiya qaydasının əhəmiyyətini müəyyən etmək üçün güvən adlanan dəyəri hesablamaq lazımdır A Kimə IN(və ya əlaqə A və B). Güvən nə qədər tez-tez olduğunu göstərir A görünür IN. Məsələn, əgər d(A/B)=20%, bu o deməkdir ki, məhsul alarkən A hər beşinci halda mallar da alınır IN.

Assosiasiyadan istifadənin tipik nümunəsi satınalma nümunələrinin təhlilidir. Məsələn, supermarketdə araşdırma apararkən görə bilərsiniz ki, kartof çipsi alanların 65%-i də Coca-Cola alır və belə dəstdə endirim olarsa, 85% hallarda kola alırlar. Bu cür nəticələr marketinq strategiyalarının hazırlanması zamanı dəyərlidir.

2. Ardıcıllıq - zamanla assosiasiyaları müəyyən etmək üsuludur. Bu halda, müəyyən hadisələr qruplarının ardıcıl baş verməsini təsvir edən qaydalar müəyyən edilir. Ssenarilərin qurulması üçün belə qaydalar lazımdır. Bundan əlavə, onlar, məsələn, müəyyən bir məhsulun sonrakı satışına səbəb ola biləcək əvvəlki satışların tipik dəstini formalaşdırmaq üçün istifadə edilə bilər.

3. Təsnifat - ümumiləşdirmə vasitəsidir. O, ayrı-ayrı obyektləri nəzərdən keçirməkdən obyektlərin müəyyən kolleksiyalarını xarakterizə edən və bu kolleksiyalara (siniflərə) aid olan obyektləri tanımaq üçün kifayət edən ümumiləşdirilmiş anlayışlara keçməyə imkan verir. Konsepsiya formalaşması prosesinin mahiyyəti siniflər üçün xarakterik olan nümunələri tapmaqdır. Obyektləri təsvir etmək üçün çoxlu müxtəlif xüsusiyyətlərdən (atributlardan) istifadə olunur. Xüsusiyyətlərin təsviri əsasında anlayışların formalaşdırılması problemi M.M. Bonqart. Onun həlli iki əsas prosedurun tətbiqinə əsaslanır: təlim və sınaq. Təlim prosedurlarında obyektlərin təlim toplusunun işlənməsi əsasında təsnifat qaydası qurulur. Yoxlama (imtahan) proseduru yeni (ekspert) nümunədən obyektlərin tanınması üçün nəticədə yaranan təsnifat qaydasından istifadə etməkdən ibarətdir. Test nəticələri qənaətbəxş hesab edilərsə, o zaman təlim prosesi başa çatır, əks halda yenidən hazırlıq prosesində təsnifat qaydası dəqiqləşdirilir;

4. Klasterləşmə – bu, verilənlər bazasından məlumatın (qeydlərin) qruplara (klasterlərə) və ya bu qrupların eyni vaxtda müəyyən edilməsi ilə seqmentlərə paylanmasıdır. Təsnifatdan fərqli olaraq, burada təhlil siniflərin ilkin təyin edilməsini tələb etmir.

5. Zaman sıralarının proqnozlaşdırılması zamanla nəzərdən keçirilən obyektlərin atributlarının dəyişmə meyllərini müəyyən etmək üçün vasitədir. Zaman sıralarının davranışının təhlili öyrənilən xüsusiyyətlərin dəyərlərini proqnozlaşdırmağa imkan verir.

Bu cür problemləri həll etmək üçün müxtəlif Data Mining metodlarından və alqoritmlərindən istifadə olunur. Data Mining-in statistika, məlumat nəzəriyyəsi, maşın öyrənməsi və verilənlər bazası nəzəriyyəsi kimi fənlərin kəsişməsində inkişaf etdiyi və inkişaf etməkdə olduğu üçün çox təbiidir ki, Data Mining alqoritmləri və metodlarının əksəriyyəti bunlardan müxtəlif üsullar əsasında hazırlanmışdır. fənlər.

Mövcud verilənlərin öyrənilməsi üsullarının müxtəlifliyindən aşağıdakıları ayırd etmək olar:

reqressiya, variasiya və korrelyasiya təhlili(əksər müasir statistik paketlərdə, xüsusən SAS İnstitutunun məhsullarında, StatSoft və s. tətbiq edilir);

təhlil üsulları empirik modellərə əsaslanan müəyyən bir mövzu sahəsində (çox vaxt, məsələn, ucuz maliyyə təhlili alətlərində istifadə olunur);

neyron şəbəkə alqoritmləri– mürəkkəb asılılıqları təkrar istehsal etməyə imkan verən prosesləri və hadisələri simulyasiya etmək üsulu. Metod bioloji beynin sadələşdirilmiş modelinin istifadəsinə əsaslanır və ondan ibarətdir ki, ilkin parametrlər "neyronlar" arasında mövcud əlaqələrə uyğun olaraq çevrilən siqnallar və bütün şəbəkənin ilkin məlumatlar təhlilin nəticəsi olan cavab kimi qəbul edilir. Bu halda, bağlantılar həm ilkin məlumatları, həm də düzgün cavabları ehtiva edən böyük bir nümunə ölçüsü vasitəsilə sözdə şəbəkə təlimindən istifadə edərək yaradılır. Təsnifat məsələlərinin həlli üçün neyron şəbəkələrdən geniş istifadə olunur;

qeyri-səlis məntiq müxtəlif linqvistik dəyişənlərlə təmsil oluna bilən qeyri-səlis həqiqət dəyərlərinə malik məlumatları emal etmək üçün istifadə olunur. Qeyri-səlis biliklərin təqdimatı təsnifat və proqnozlaşdırma məsələlərinin həlli üçün geniş istifadə olunur, məsələn, XpertRule Miner sistemində (Attar Software Ltd., Böyük Britaniya), həmçinin AIS, NeuFuz və s.;

induktiv nəticələr verilənlər bazasında saxlanılan faktların ümumiləşdirilməsini əldə etməyə imkan verir. İnduktiv öyrənmə prosesinə fərziyyələr verən mütəxəssis cəlb oluna bilər. Bu üsul nəzarətli öyrənmə adlanır. Ümumiləşdirmə qaydalarının axtarışı müəllimsiz, avtomatik fərziyyələr yaratmaqla həyata keçirilə bilər. Müasir proqram vasitələri, bir qayda olaraq, hər iki üsulu birləşdirir və fərziyyələri yoxlamaq üçün statistik metodlardan istifadə olunur. İnduktiv aparıcılardan istifadə edən sistemə misal Attar Software Ltd tərəfindən hazırlanmış XpertRule Miner-dir. (Birləşmiş Krallıq);

əsaslanan mülahizə oxşar hallar(“ən yaxın qonşu” metodu) (Case-based əsaslandırma - CBR) verilənlər bazasında təsvirləri verilmiş vəziyyətə bir sıra üsullarla oxşar olan vəziyyətlərin axtarışına əsaslanır. Bənzətmə prinsipi oxşar vəziyyətlərin nəticələrinin də bir-birinə yaxın olacağını güman etməyə imkan verir. Bu yanaşmanın mənfi cəhəti ondan ibarətdir ki, o, əvvəlki təcrübəni ümumiləşdirən heç bir model və ya qayda yaratmır. Bundan əlavə, çıxarılan nəticələrin etibarlılığı induktiv nəticə çıxarma proseslərində olduğu kimi vəziyyətlərin təsvirinin tamlığından asılıdır. CBR-dən istifadə edən sistemlərə nümunələr bunlardır: KATE Tools (Acknosoft, Fransa), Pattern Recognition Workbench (Unica, ABŞ);

qərar ağacları– təpələri məlumatları təsnif etməyə və ya qərarların nəticələrini təhlil etməyə imkan verən istehsal qaydalarına uyğun gələn ağac qrafiki şəklində problemin qurulması üsulu. Bu üsul təsnifat qaydaları sisteminin, əgər onlardan çox deyilsə, vizual təsvirini verir. Bu üsuldan istifadə etməklə sadə problemlər neyron şəbəkələrdən daha tez həll oluna bilər. Mürəkkəb problemlər və bəzi məlumat növləri üçün qərar ağacları uyğun olmaya bilər. Bundan əlavə, bu üsul əhəmiyyət problemi ilə xarakterizə olunur. İerarxik məlumatların klasterləşdirilməsinin nəticələrindən biri bir çox xüsusi hallar üçün çoxlu sayda təlim nümunələrinin olmamasıdır və buna görə təsnifatı etibarlı hesab etmək olmaz. Qərar ağacı üsulları bir çox proqram alətlərində həyata keçirilir, yəni: C5.0 (RuleQuest, Avstraliya), Clementine (Integral Solutions, Böyük Britaniya), SIPINA (Lyon Universiteti, Fransa), IDIS (Information Discovery, ABŞ);

təkamül proqramlaşdırma– axtarış prosesi zamanı dəyişdirilmiş ilkin müəyyən edilmiş alqoritm əsasında verilənlərin qarşılıqlı asılılığını ifadə edən alqoritmin axtarışı və yaradılması; bəzən müəyyən funksiya növləri (məsələn, çoxhədlilər) arasında qarşılıqlı asılılıqların axtarışı aparılır;

məhdud axtarış alqoritmləri, verilənlərin alt qruplarında sadə məntiqi hadisələrin hesablama birləşmələri.

3.7 İnteqrasiyaOLAPVəDataMədən

Onlayn analitik emal (OLAP) və məlumatların istehsalı (Data Mining) qərara dəstək prosesinin iki komponentidir. Bununla belə, bu gün əksər OLAP sistemləri yalnız çoxölçülü məlumatlara çıxışın təmin edilməsinə diqqət yetirir və əksər model mədən alətləri birölçülü məlumat perspektivləri ilə məşğul olur. Qərarlara dəstək sistemləri üçün məlumatların emalının səmərəliliyini artırmaq üçün bu iki analiz növü birləşdirilməlidir.

Hal-hazırda, belə bir birləşməyə istinad etmək üçün "OLAP Data Mining" (çoxölçülü mədənçilik) mürəkkəb termini yaranır.

"OLAP Data Mining" yaratmağın üç əsas yolu var:

"Kubing sonra mədən". Çoxölçülü konseptual təsvirə sorğunun istənilən nəticəsi, yəni göstəricilərin hiperkubunun hər hansı proyeksiyasının hər hansı fraqmenti üzərində ağıllı təhlil aparmaq bacarığı təmin edilməlidir.

"Mədən sonra kublama". Anbardan alınan məlumatlar kimi, mədənçilik nəticələri də sonrakı çoxölçülü analiz üçün hiperkub şəklində təqdim edilməlidir.

"Mədən çıxararkən kublama". Bu çevik inteqrasiya üsulu ümumiləşdirmə səviyyələri arasında çoxölçülü analizin (keçid) hər bir addımının nəticəsi üzərində eyni tipli intellektual emal mexanizmlərini avtomatik olaraq aktivləşdirməyə imkan verir, hiperkubun yeni fraqmentinin çıxarılması və s.).

11-ci sinif [Mətn... onlar Necə Hissə hamısı sistemləri ... dosent ... Çeboksarı, 2009. No 10. S. 44 -49... Müəlliflər- tərtibçilər: N... qeydlərmühazirələr, ...

Tədris və metodik vəsait
... mühazirələr. Hazırlıq mühazirələr riyaziyyatda. yazı qeydlərmühazirələr mühazirələr. İstifadəsi məlumattexnologiyalar ...
Və Kondaurova Lebedev ilə, gələcək riyaziyyat müəlliminin tədqiqat fəaliyyəti, ibtidai riyaziyyatda yaradıcı tapşırıqlar və onun tədrisi üsulları
Tədris və metodik vəsait
... mühazirələr. Hazırlıq mühazirələr riyaziyyatda. yazı qeydlərmühazirələr. Vizual vəsaitlərin hazırlanması. Oxuma texnikası mühazirələr. İstifadəsi məlumattexnologiyalar ...
MEDİA MONİTORİNQİ Peşə təhsilinin modernləşdirilməsi mart-avqust 2011-ci il
Xülasə
... 11 .08.2011 RNIMU-da "Ölü Canlar-2" onlar ... 3,11 -3,44 . ... ictimai mühazirələr liderlər... Çeboksarı... və cızmaq qeydlər tamaşaçı -... məlumat xarakterlisistemləri Və texnologiyalar. ... sistemi təhsil deyir dosent ... tərtibçilər ... hissələri real artım məzmun ...

OLAP (Online Analytical Processing) istifadəçiyə sistemə sorğu göndərməyə, təhlil aparmağa və s. imkan verən informasiya prosesidir. əməliyyat rejimində (onlayn). Nəticələr saniyələr ərzində yaradılır.

OLAP-ın təmin edilməsi məlumat anbarı (və ya çoxölçülü anbar) və adətən çoxölçülü imkanlara malik alətlər dəsti ilə işləməyi tələb edir. Bu alətlər sorğu alətləri, elektron cədvəllər, verilənlərin öyrənilməsi vasitələri, məlumatların vizuallaşdırılması vasitələri və s. ola bilər.

OLAP sinif proqram məhsulunun təmin etməli olduğu 12 qayda. Bu qaydalar:

1. Verilənlərin çoxölçülü konseptual təsviri.

2. Şəffaflıq.

3. Mövcudluq.

4. Davamlı performans.

5. Müştəri - server arxitekturası.

6. Ölçmələrin bərabərliyi.

7. Seyrək matrislərin dinamik işlənməsi.

8. Çox istifadəçi rejimi üçün dəstək.

9. Çarpaz ölçülü əməliyyatlar üçün limitsiz dəstək.

10. Məlumatların intuitiv manipulyasiyası.

11. Çevik hesabat yaratma mexanizmi.

12. Ölçülərin və toplama səviyyələrinin limitsiz sayı.

Data Mining və Knowledge Mining. Böyük həcmli məlumatların idarə edilməsi və təhlili (Big data). Biznes zəka sistemləri (BI).

Data Mining (IDA) riyazi metodların və alqoritmlərin (optimallaşdırma metodları, genetik alqoritmlər, nümunələrin tanınması, statistik metodlar, Data Mining və s.) aktiv istifadəsi ilə vizual məlumat üçün metodların tətbiqi nəticələrindən istifadə etməklə verilənlərin təhlili üçün ümumi termindir. təqdimat.

Ümumiyyətlə, IAD prosesi üç mərhələdən ibarətdir:

1) nümunələrin müəyyən edilməsi (pulsuz axtarış);

2) naməlum dəyərləri proqnozlaşdırmaq üçün müəyyən edilmiş nümunələrdən istifadə etmək (proqnozlaşdırma);

3) aşkar edilmiş nümunələrdə anomaliyaları müəyyən etmək və şərh etmək üçün istisnaların təhlili.

Bəzən tapılan nümunələrin etibarlılığının yoxlanılmasının aralıq mərhələsi (validasiya mərhələsi) onların aşkarlanması və istifadəsi arasında olur.

Mənbə məlumatları ilə işləmək prinsipinə əsaslanan bütün BİA üsulları iki qrupa bölünür:

Case-based Reasoning Techniques - Xam məlumatlar açıq-aşkar təfərrüatlarda saxlanıla bilər və birbaşa proqnoz və/və ya istisna təhlili üçün istifadə edilə bilər. Bu metodlar qrupunun dezavantajı onlardan böyük həcmli məlumatlarda istifadənin çətinliyidir.

İlkin məlumatlardan məlumatın çıxarılmasını və onun növü xüsusi metoddan asılı olan bəzi formal strukturlara çevrilməsini tələb edən rəsmiləşdirilmiş nümunələrin müəyyən edilməsi və istifadəsi üsulları.

Data Mining (DM) insan fəaliyyətinin müxtəlif sahələrində qərar qəbul etmək üçün lazım olan, əvvəllər məlum olmayan, qeyri-trivial, praktiki olaraq faydalı və şərh edilə bilən biliklərin “xam” formada aşkar edilməsi texnologiyasıdır. Data Mining-də istifadə olunan alqoritmlər çoxlu sayda hesablamalar tələb edir ki, bu da əvvəllər bu metodların geniş praktiki istifadəsi üçün məhdudlaşdırıcı amil idi, lakin müasir prosessorların artan performansı bu problemi yüngülləşdirdi.

Biznes zəka bazarı 5 sektordan ibarətdir:

1. OLAP məhsulları;

2. Data mining alətləri;

3. Məlumat Anbarı və Məlumat Vitrini qurmaq üçün alətlər;

4. İdarəetmə informasiya sistemləri və tətbiqləri;

5. Sorğu və hesabat üçün son istifadəçi alətləri.

Hal-hazırda korporativ BI platformalarının liderləri arasında MicroStrategy, Business Objects, Cognos, Hyperion Solutions, Microsoft, Oracle, SAP, SAS İnstitutu və başqalarını qeyd edə bilərik (Əlavə B BI sistemlərinin bəzi funksionallığının müqayisəli təhlilini təqdim edir).