ഒരു ഡിസൈൻ ടെക്നിക് ആയി ഡാറ്റാ മാർട്ടുകൾ സംഘടിപ്പിക്കുന്നു. വലിയ ഡാറ്റ ആക്സസ് ചെയ്യുന്നതിനുള്ള ലോജിക്കൽ സ്റ്റോറിന്റെ മുൻഭാഗം. ലഭിച്ച മെറ്റീരിയലുമായി ഞങ്ങൾ എന്തുചെയ്യും?

ഡാറ്റ മാർട്ട് ) ഡാറ്റ വെയർഹൗസിന്റെ പ്രത്യേക ഘടകമായ ഒരു പ്രത്യേക ഉപസിസ്റ്റമാണ്.

കമ്പനിയുടെ പ്രവർത്തനങ്ങളുടെ ഒരു പ്രത്യേക മേഖല മറ്റുള്ളവരുമായി പ്രായോഗികമായി ബന്ധമില്ലാത്തതാണെങ്കിൽ, ഒരു കേന്ദ്രീകൃത കോർപ്പറേറ്റ് സംഭരണവുമായി ബന്ധിപ്പിക്കാതെ സ്വയംഭരണാധികാരത്തോടെ പ്രവർത്തിക്കുന്ന ഒരു സ്വതന്ത്ര ഡാറ്റാ മാർട്ട് നിർമ്മിക്കാൻ കഴിയും. അല്ലെങ്കിൽ ഒരു കോർപ്പറേറ്റ് ഡാറ്റ വെയർഹൗസ് സൃഷ്ടിക്കുന്നതിലൂടെയല്ല, ഒരു സ്വതന്ത്ര ഡാറ്റാ മാർട്ട് ഉപയോഗിച്ച് ഒരു കമ്പനിയെ ഓട്ടോമേറ്റ് ചെയ്യാൻ ആരംഭിക്കുക വിഷയ മേഖല, കമ്പനിയിൽ ഏറ്റവും ഡിമാൻഡ്.

ഈ സാഹചര്യത്തിൽ, ഒരു ഡാറ്റാ മാർട്ട് എന്നത് കമ്പനിയുടെ പ്രവർത്തന മേഖലകളിൽ ഒന്ന് സേവിക്കുന്ന ഒരു പ്രത്യേക ഡാറ്റാ വെയർഹൗസായി മനസ്സിലാക്കപ്പെടുന്നു.

ഡാറ്റാ മാർട്ടുകൾ, നിർവചനം അനുസരിച്ച്, ഡാറ്റ വെയർഹൗസുകളേക്കാൾ വളരെ വിലകുറഞ്ഞതും നിർമ്മിക്കാൻ എളുപ്പവുമാണ്; അവ നടപ്പിലാക്കുന്നതിന് കൂടുതൽ സമയം ആവശ്യമില്ല, മാത്രമല്ല വേഗത്തിലും മൂർച്ചയുള്ള ഫലവും നൽകുന്നു. അതേ സമയം, ഈ സമീപനത്തിലൂടെ, സ്വതന്ത്ര ഡാറ്റാ മാർട്ടുകൾ ഒരു ഏകീകൃത കമ്പനി വിവര സംവിധാനം സൃഷ്ടിക്കില്ലെന്ന് മനസ്സിലാക്കേണ്ടത് ആവശ്യമാണ്; ഏകീകൃത സംവിധാനംവിവരശേഖരണം, ഏകീകരണം, മാനേജ്മെന്റ്, പരിപാലനം.

കമ്പനി ചെറുതാണെങ്കിൽ, സ്വയംഭരണ ഡാറ്റാ മാർട്ടുകൾ സൃഷ്ടിക്കുന്നതിന് സുരക്ഷിതമായി പോകാം. കമ്പനി വലുതാണെങ്കിൽ, സ്വയംഭരണ ഡാറ്റാ മാർട്ടുകൾ സൃഷ്ടിക്കുന്നത് ഏകോപിപ്പിക്കണം ഒറ്റ കേന്ദ്രംആത്യന്തികമായി ഒരു ഏകീകൃത കമ്പനി ഡാറ്റ വെയർഹൗസ് സൃഷ്ടിക്കുന്നതിലേക്ക് വരാൻ.

ഒരു ഡാറ്റാ മാർട്ട് സൃഷ്ടിക്കുന്നു

ഒരു ഡാറ്റാ മാർട്ട് സൃഷ്ടിക്കുക എന്നതിനർത്ഥം അനുബന്ധ ഡാറ്റാബേസും അത് ലോഡുചെയ്യുന്നതിനുള്ള ഒരു സിസ്റ്റവും സൃഷ്ടിക്കുക എന്നാണ്. ഒരു ഡാറ്റാബേസ് സൃഷ്ടിക്കുന്നത് തികച്ചും സാങ്കേതിക പ്രശ്നമാണെങ്കിൽ, ഒരു ലോഡിംഗ് സിസ്റ്റം സൃഷ്ടിക്കുന്നത് പ്രധാന ബുദ്ധിമുട്ടാണ്. ഈ സിസ്റ്റത്തിൽ മൂന്ന് ഘട്ടങ്ങൾ അടങ്ങിയിരിക്കുന്നു:

1. ഡാറ്റ എക്‌സ്‌ട്രാക്ഷന് ഘടനയെക്കുറിച്ചുള്ള കൃത്യമായ അറിവ് ആവശ്യമാണ് ഉറവിട സംവിധാനങ്ങൾ. പട്ടികകളുടെ ഘടനകളും ബന്ധങ്ങളും, ഉറവിട സിസ്റ്റത്തിലെ വിവര ഘടനകൾ. ഏത് പട്ടികകളിൽ നിന്നും ഫീൽഡുകളിൽ നിന്നുമാണ് നിങ്ങൾക്ക് ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യേണ്ടതെന്നും ഈ ഡാറ്റയുടെ ഘടന എന്താണെന്നും നിങ്ങൾ വ്യക്തമായി അറിയേണ്ടതുണ്ട്.

2. സോഴ്സ് സിസ്റ്റം തുടക്കത്തിൽ ഒരു ഡാറ്റാ മാർട്ടുമായി പ്രവർത്തിക്കാൻ രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതല്ല, അതിൽ നിന്ന് വേർതിരിച്ചെടുത്ത ഡാറ്റ നേരിട്ടുള്ള ഉപയോഗത്തിന് ഉദ്ദേശിച്ചുള്ളതല്ല, മാത്രമല്ല നിരവധി പരിവർത്തനങ്ങൾക്ക് വിധേയമാകുകയും വേണം. ഈ പരിവർത്തനങ്ങളുടെ പ്രക്രിയ ഉറവിട സിസ്റ്റങ്ങളുടെ ഘടനയെയും ഡാറ്റാ മാർട്ടിന്റെ ആവശ്യകതകളെയും ആശ്രയിച്ചിരിക്കുന്നു; അതിൽ നിരവധി പ്രവർത്തനങ്ങൾ ഉൾപ്പെടാം:

  • മൊത്തം ഡാറ്റ സൃഷ്ടിക്കുന്നു
  • ഡാറ്റ ഫോർമാറ്റുകൾ മാറ്റുന്നു.
  • ഡാറ്റയുടെ വിശ്വാസ്യതയും സമഗ്രതയും പരിശോധിക്കുന്നു.
  • അനാവശ്യ ഡാറ്റ നീക്കംചെയ്യുന്നു
  • തുടങ്ങിയവ.

ഈ പരിവർത്തനങ്ങളെല്ലാം സ്റ്റോർഫ്രണ്ടിലേക്കുള്ള ഡാറ്റ എൻട്രിയുടെ ഘട്ടത്തിൽ മാത്രമാണ് നടപ്പിലാക്കുന്നത്, അത് ഉറപ്പാക്കുന്നു ഉയർന്ന വേഗതമാർട്ടിൽ നിന്ന് ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുകയും ഉപയോക്താവിന്റെ വീക്ഷണകോണിൽ നിന്ന് ആ ഡാറ്റ മികച്ച രീതിയിൽ അവതരിപ്പിക്കുകയും ചെയ്യുന്നു. ആത്യന്തികമായി, ഇത് ഉപയോക്താവിന് മികച്ച വിവര വ്യവസ്ഥയിലേക്ക് നയിക്കുകയും ശരിയായ തീരുമാനങ്ങൾ വേഗത്തിൽ എടുക്കാൻ സഹായിക്കുകയും ചെയ്യുന്നു. മാനേജ്മെന്റ് തീരുമാനങ്ങൾ.

3. സ്റ്റോർഫ്രണ്ടിലെ ഡാറ്റ സോഴ്സ് സിസ്റ്റങ്ങളിലെ ഡാറ്റയുമായി പൊരുത്തപ്പെടണം, അത് കാലക്രമേണ സ്വാഭാവികമായും മാറുന്നു. അതിനാൽ, പരിവർത്തനങ്ങൾ നടത്തുകയും സ്റ്റോറിന്റെ മുൻഭാഗത്തേക്ക് ഡാറ്റ ലോഡ് ചെയ്യുകയും ചെയ്യുന്ന ടൂളുകൾ ഇടയ്ക്കിടെ ലോഞ്ച് ചെയ്യണം ചില മാറ്റങ്ങൾഉറവിട സിസ്റ്റങ്ങളിൽ നിന്നുള്ള ഡാറ്റ കൂടാതെ/അല്ലെങ്കിൽ ഒരു നിർദ്ദിഷ്ട ഷെഡ്യൂൾ അനുസരിച്ച് സ്വയമേവ.

മുകളിൽ നിന്ന് വളരെ പ്രധാനപ്പെട്ട ഒരു നിഗമനം പിന്തുടരുന്നു. നിങ്ങളുടെ കമ്പനിക്കായി നിങ്ങൾക്ക് ഒരു റെഡിമെയ്ഡ് ഡാറ്റാ മാർട്ട് വാങ്ങാൻ കഴിയില്ല. ഒരു ഡാറ്റാ ഷോകേസ് എന്നത് ഒരു പ്രത്യേക ഇഷ്‌ടാനുസൃത ഉൽപ്പന്നമാണ്, അത് ഒരു നിർദ്ദിഷ്ട കമ്പനിയ്‌ക്കായി, അതിന്റെ എല്ലാ പ്രത്യേകതകൾക്കും വേണ്ടി നേരിട്ട് സൃഷ്‌ടിക്കേണ്ടതാണ്.

ഒരു ഡാറ്റ വെയർഹൗസ് രൂപകൽപന ചെയ്യുന്നതിനും വികസിപ്പിക്കുന്നതിനുമുള്ള ചെലവ് കുറയ്ക്കുന്നത് ഡാറ്റാ മാർട്ടുകൾ (DW) സൃഷ്ടിക്കുന്നതിലൂടെ നേടാനാകും. VD എന്നത് ഡാറ്റാ വെയർഹൗസിന്റെ ലളിതമായ ഒരു പതിപ്പാണ്, അതിൽ തീമാറ്റിക് ആയി സംയോജിത ഡാറ്റ മാത്രം അടങ്ങിയിരിക്കുന്നു (ചിത്രം 3).

ചിത്രം 3. സ്വതന്ത്ര ഐഡികളുള്ള DSS-ന്റെ ഘടന

ഒരു നിർദ്ദിഷ്‌ട ഉപയോക്താവിനെ ടാർഗെറ്റുചെയ്‌ത ഡാറ്റ VD-യിൽ അടങ്ങിയിരിക്കുന്നു, വോളിയത്തിൽ വളരെ ചെറുതാണ്, മാത്രമല്ല ഇത് നടപ്പിലാക്കുന്നതിന് കുറഞ്ഞ ചിലവ് ആവശ്യമാണ്. VD സ്വതന്ത്രമായോ HD യ്‌ക്കൊപ്പം ഒന്നിച്ചോ നിർമ്മിക്കാം. വിഡികൾ വളരെ വേഗത്തിൽ നടപ്പിലാക്കുകയും അവയുടെ ഉപയോഗത്തിന്റെ ഫലം വേഗത്തിൽ ദൃശ്യമാവുകയും ചെയ്യുന്നു. വ്യത്യസ്ത ഡാറ്റ ഫയലുകളിൽ ഒരേ ഡാറ്റയുടെ ആവർത്തിച്ചുള്ള സംഭരണവും ഡൊമെയ്ൻ തലത്തിൽ ഏകീകരണത്തിന്റെ അഭാവവുമാണ് ഡാറ്റ സംഭരണത്തിന്റെ ദോഷങ്ങൾ.

സാധാരണഗതിയിൽ, ഡാറ്റ വെയർഹൗസിൽ നിന്ന് വിവരങ്ങൾ VD-യിലേക്ക് പ്രവേശിക്കുന്നു; ഈ സാഹചര്യത്തിൽ, VD-കളെ ഡിപൻഡന്റ് എന്ന് വിളിക്കുന്നു. VD വീണ്ടും നിറയ്ക്കുന്നതിനുള്ള വിവരങ്ങളുടെ ഉറവിടം OLTP സിസ്റ്റങ്ങളിൽ നിന്ന് നേരിട്ട് ആയിരിക്കാനും സാധ്യതയുണ്ട്. സ്വതന്ത്രമായവ എന്ന് വിളിക്കപ്പെടുന്ന അത്തരം ED-കൾ സാധാരണയായി ഒരു താൽക്കാലിക പരിഹാരമായി കണക്കാക്കപ്പെടുന്നു, ഇത് ഏറ്റവും ബുദ്ധിമുട്ടുള്ള പ്രശ്നങ്ങൾ വേഗത്തിലും കുറഞ്ഞ ചെലവിലും പരിഹരിക്കുന്നത് സാധ്യമാക്കുന്നു. പ്രധാനപ്പെട്ട ജോലികൾ, പുതിയ സമീപനത്തിന്റെ ഗുണങ്ങൾ വിലയിരുത്തുക, ഒരു പൊതു ഡാറ്റ വെയർഹൗസ് വികസിപ്പിക്കുന്നതിനുള്ള ഒരു വലിയ പ്രോജക്റ്റിനായി ചില ശുപാർശകൾ രൂപപ്പെടുത്തുക.

ഒരു ഡിഎസ്എസിനുള്ളിൽ എച്ച്ഡിയും വിഡിയും സംയോജിപ്പിക്കാനും സാധിക്കും. ഈ കേസിലെ ഡാറ്റ വെയർഹൗസ് മുഴുവൻ സബ്ജക്ട് ഏരിയയ്‌ക്കുമുള്ള ഡാറ്റയുടെ ഒരൊറ്റ ഉറവിടമാണ്, കൂടാതെ ഡാറ്റ ഡൊമെയ്‌നുകൾ റിപ്പോസിറ്ററിയിൽ നിന്നുള്ള ഡാറ്റയുടെ ഉപസെറ്റുകളാണ്, തന്നിരിക്കുന്ന പ്രദേശത്തിന്റെ തീമാറ്റിക് വിഭാഗങ്ങളെക്കുറിച്ചുള്ള വിവരങ്ങൾ അവതരിപ്പിക്കാൻ സംഘടിപ്പിക്കുന്നു. VD സൃഷ്ടിച്ച ഉപയോക്താവിന് മതിയായ ഡാറ്റ ഇല്ലെങ്കിൽ, അയാൾക്ക് DW ലേക്ക് തിരിയാം (ചിത്രം 4).

ചിത്രം 4. HD, VD എന്നിവയുള്ള DSS-ന്റെ ഘടന

ഈ പരിഹാരത്തിന്റെ പ്രയോജനങ്ങൾ ഡാറ്റ വെയർഹൗസ് സൃഷ്ടിക്കുന്നതിനും പൂരിപ്പിക്കുന്നതിനുമുള്ള എളുപ്പമാണ്, കാരണം പൂരിപ്പിക്കൽ വരുന്നത് വൃത്തിയാക്കിയ ഡാറ്റയുടെ ഒരൊറ്റ സ്റ്റാൻഡേർഡ് ഉറവിടത്തിൽ നിന്നാണ് - ഡാറ്റ വെയർഹൗസിൽ നിന്ന്, പുതിയ ഡാറ്റ ഫയലുകൾ ചേർത്ത് വിപുലീകരിക്കാനുള്ള എളുപ്പവും, കൂടാതെ ലോഡ് കുറയ്ക്കുന്നതും. പ്രധാന ഡാറ്റ വെയർഹൗസ്.

ഡാറ്റ വെയർഹൗസിലും ഡാറ്റ വെയർഹൗസിലും ഡാറ്റ സംഭരിച്ചിരിക്കുന്നതിനാൽ, ഡാറ്റ വെയർഹൗസും ഡാറ്റ വെയർഹൗസും ഉപയോഗിച്ച് ഒരു ഡിഎസ്എസ് വികസിപ്പിക്കുന്നതിനുള്ള അധിക ചിലവുകളും ദോഷങ്ങളുമുണ്ട്.

    1. olap ആശയവും ഡാറ്റ മോഡലും

      1. ആശയം olap

OLAP (ഓൺലൈൻ അനലിറ്റിക്കൽ പ്രോസസ്സിംഗ്) എന്നത് ഓൺലൈൻ അനലിറ്റിക്കൽ ഡാറ്റ പ്രോസസ്സിംഗിനുള്ള ഒരു സാങ്കേതികവിദ്യയാണ്, അത് തീരുമാനമെടുക്കൽ പ്രക്രിയകളെ പിന്തുണയ്ക്കുന്നതിനായി മൾട്ടിഡൈമൻഷണൽ ഡാറ്റ ശേഖരിക്കുന്നതിനും സംഭരിക്കുന്നതിനും വിശകലനം ചെയ്യുന്നതിനുമുള്ള രീതികളും ഉപകരണങ്ങളും ഉപയോഗിക്കുന്നു.

OLAP സിസ്റ്റങ്ങളുടെ പ്രധാന ലക്ഷ്യം, വിശകലന പ്രവർത്തനങ്ങളെയും ഉപയോക്താക്കളിൽ നിന്നുള്ള അനിയന്ത്രിതമായ അഭ്യർത്ഥനകളെയും പിന്തുണയ്ക്കുക എന്നതാണ്. ഉയർന്നുവരുന്ന അനുമാനങ്ങൾ പരീക്ഷിക്കുക എന്നതാണ് OLAP വിശകലനത്തിന്റെ ലക്ഷ്യം.

      1. ഡാറ്റ സംഭരണത്തിലെ ഡാറ്റയുടെ വിഭാഗങ്ങൾ

ഡാറ്റ വെയർഹൗസിലെ എല്ലാ ഡാറ്റയും മൂന്ന് വിഭാഗങ്ങളായി തിരിച്ചിരിക്കുന്നു (ചിത്രം 5):

ചിത്രം 5. ഡാറ്റ സ്റ്റോറേജ് ആർക്കിടെക്ചർ

    വിശദമായ ഡാറ്റ - OLTP സബ്സിസ്റ്റങ്ങളിൽ നിന്ന് നേരിട്ട് കൈമാറുന്ന ഡാറ്റ. OLTP സിസ്റ്റങ്ങളിൽ രേഖപ്പെടുത്തിയിട്ടുള്ള പ്രാഥമിക സംഭവങ്ങളുമായി പൊരുത്തപ്പെടുന്നു. തിരിച്ചിരിക്കുന്നു:

    അളവുകൾ - ഇവന്റുകൾ വിവരിക്കുന്നതിന് ആവശ്യമായ ഡാറ്റ സെറ്റുകൾ (ഉൽപ്പന്നം, വിൽപ്പനക്കാരൻ, വാങ്ങുന്നയാൾ, സ്റ്റോർ, ...);

    വസ്തുതകൾ - ഇവന്റിന്റെ സാരാംശം പ്രതിഫലിപ്പിക്കുന്ന ഡാറ്റ (വിറ്റ സാധനങ്ങളുടെ അളവ്, വിൽപ്പനയുടെ അളവ്, ...);

സംഗ്രഹിച്ച (സാമാന്യവൽക്കരിക്കപ്പെട്ട) ഡാറ്റ - ചില അളവുകൾ സംഗ്രഹിച്ച് വിശദമായ ഡാറ്റയുടെ അടിസ്ഥാനത്തിൽ ലഭിച്ച ഡാറ്റ;

മെറ്റാഡാറ്റ - ഡാറ്റ വെയർഹൗസിൽ അടങ്ങിയിരിക്കുന്ന ഡാറ്റയെക്കുറിച്ചുള്ള ഡാറ്റ. വിവരിക്കാം:

  • സബ്ജക്ട് ഏരിയ ഒബ്ജക്റ്റുകൾ, ഡാറ്റ വെയർഹൗസിൽ അടങ്ങിയിരിക്കുന്ന വിവരങ്ങൾ;

    ഡാറ്റ സംഭരണത്തിന്റെ സ്ഥലങ്ങളും രീതികളും;

    ഡാറ്റയിൽ നടത്തിയ പ്രവർത്തനങ്ങൾ;

    ലീഡ് ടൈം വിവിധ പ്രവർത്തനങ്ങൾഓവർ ഡാറ്റ;

    ഡാറ്റയിൽ വിവിധ പ്രവർത്തനങ്ങൾ നടത്തുന്നതിനുള്ള കാരണങ്ങൾ.

വിഷയ മേഖലയുടെ മതിയായ പ്രാതിനിധ്യം, ഡാറ്റാബേസിന്റെ വികസനം, പരിപാലനം എന്നിവ എളുപ്പമാക്കുന്നതിന്, ബന്ധങ്ങൾ മൂന്നാമത്തെ സാധാരണ രൂപത്തിലേക്ക് ചുരുക്കണം, അതായത്, അവ വളരെ സാധാരണമാക്കണം. എന്നിരുന്നാലും, ദുർബലമായി നോർമലൈസ് ചെയ്ത ബന്ധങ്ങൾക്കും അവയുടെ ഗുണങ്ങളുണ്ട്, അവയിൽ പ്രധാനം, ഡാറ്റാബേസ് പ്രധാനമായും ചോദ്യങ്ങളിലൂടെ മാത്രമേ ആക്സസ് ചെയ്യുകയുള്ളൂ, കൂടാതെ ഡാറ്റയുടെ പരിഷ്ക്കരണങ്ങളും കൂട്ടിച്ചേർക്കലുകളും വളരെ അപൂർവമായി മാത്രമേ നടക്കുന്നുള്ളൂ, അവയുടെ സാമ്പിൾ വളരെ വേഗതയുള്ളതാണ്. ദുർബലമായി നോർമലൈസ് ചെയ്ത ബന്ധങ്ങളിൽ അവരുടെ കണക്ഷൻ ഇതിനകം തന്നെ ഉണ്ടാക്കിയിട്ടുണ്ടെന്നും പ്രോസസർ സമയം ഇതിൽ പാഴാക്കുന്നില്ല എന്നതിനാലും ഇത് വിശദീകരിക്കുന്നു.

രണ്ട് തരം ഇൻഫർമേഷൻ ബേസ് ടെക്നോളജികൾ ഉണ്ട്, അവയ്ക്ക് ശക്തമായതും ദുർബലവുമായ സാധാരണ ബന്ധങ്ങൾ കൂടുതൽ അനുയോജ്യമാണ്:

· OLTP (ഓൺലൈൻ ഇടപാട് പ്രോസസ്സിംഗ്) - ഓൺലൈൻ ഇടപാട് പ്രോസസ്സിംഗ്, ഒരു DBMS ഓർഗനൈസ് ചെയ്യുന്നതിനുള്ള ഒരു രീതി ഉപയോഗിച്ച്, വലിപ്പത്തിൽ ചെറുതും എന്നാൽ വലിയ അളവിൽ ഒഴുകുന്നതുമായ ഇടപാടുകൾക്കൊപ്പം സിസ്റ്റം പ്രവർത്തിക്കുന്നു, അതേ സമയം ക്ലയന്റിന് സിസ്റ്റത്തിൽ നിന്ന് സാധ്യമായ ഏറ്റവും വേഗതയേറിയ പ്രതികരണ സമയം ആവശ്യമാണ്;

· OLAP (ഓൺലൈൻ അനലിറ്റിക്കൽ പ്രോസസ്സിംഗ്) - അനലിറ്റിക്കൽ പ്രോസസ്സിംഗ്റിപ്പോർട്ടുകളുടെയും രേഖകളുടെയും സമാഹാരവും ചലനാത്മക പ്രസിദ്ധീകരണവും നിർമ്മാണ തത്വങ്ങൾ നടപ്പിലാക്കുന്നതും ഉൾപ്പെടെ തത്സമയം വിവരങ്ങൾ തീരുമാന പിന്തുണാ സംവിധാനങ്ങൾ - ഡിസിഷൻ സപ്പോർട്ട് സിസ്റ്റം (ഡിഎസ്എസ്) ഒപ്പം ഡാറ്റ മൈനിംഗ് സിസ്റ്റങ്ങൾ - ഡാറ്റ മൈനിംഗ് .

നടപ്പിലാക്കുമ്പോൾ OLAP സാങ്കേതികവിദ്യകൾകൂടാതെ OLTP ഉപയോഗിക്കുന്നു പുതിയ രൂപംഇൻട്രാമച്ചിന്റെ ഓർഗനൈസേഷൻ വിവര അടിസ്ഥാനം, പരസ്പരബന്ധിത ഘടകങ്ങളുടെ ഒരു കൂട്ടം പ്രതിനിധീകരിക്കുന്നു: പ്രവർത്തനങ്ങളുടെ അടിസ്ഥാനംഡാറ്റ വെയർഹൗസും (DW) ഡാറ്റ ഷോകേസുകളും (ചിത്രം 5.6).

അരി. 5.6 - ഒരു ആന്തരിക IS വിവര അടിത്തറയുടെ ഓർഗനൈസേഷൻ

ഓപ്പറേറ്റിംഗ് ഡാറ്റാബേസ് സിസ്റ്റങ്ങൾ OLTP (ഓൺലൈൻ ട്രാൻസാക്ഷൻ പ്രോസസ്സിംഗ്) - ഓൺലൈൻ ഇടപാട് പ്രോസസ്സിംഗ്, വിവരങ്ങളുടെ പ്രധാന ഉറവിടമാണ്. അവ പൂരകമാണ് ബാഹ്യ ഡാറ്റ , സാധാരണയായി ടെക്സ്റ്റ് ഫോർമാറ്റിൽ അവതരിപ്പിക്കുന്നു.

വിവരങ്ങളുടെ കലവറഅത് നിർദ്ദേശിച്ച വ്യക്തിയുടെ നിർവചനം അനുസരിച്ച് ബിൽ ഇൻമോൻ - മാനേജ്മെന്റ് തീരുമാനമെടുക്കൽ പ്രക്രിയയെ പിന്തുണയ്ക്കുന്നതിനായി വിഷയ-നിർദ്ദിഷ്ട, സമയബന്ധിതവും മാറ്റമില്ലാത്തതുമായ ഡാറ്റ ശേഖരണം.

പ്രോപ്പർട്ടികൾഡാറ്റ സംഭരണങ്ങൾ:

· വിഷയ ഓറിയന്റേഷൻ - ഡാറ്റ ഒരു വിഷയത്തെ പ്രതിനിധീകരിക്കുന്നു, ഒരു പ്രക്രിയയല്ല;

· സംയോജനം;

· കർശനവും ഏകീകൃതവുമായ കാലഗണന - ഡാറ്റയുടെ നിർബന്ധിത സമയ റഫറൻസ്;

· മാറ്റമില്ലാത്തത് - ഡാറ്റ മാറില്ല, എന്നാൽ OBD, ബാഹ്യ ഡാറ്റ എന്നിവയാൽ പുനർനിർമ്മിക്കപ്പെടുന്നു.

ഡാറ്റ ഘടനഡാറ്റ സ്റ്റോറിൽ:

· മെറ്റാ ഡാറ്റ (ഡാറ്റയെക്കുറിച്ചുള്ള ഡാറ്റ) - യഥാർത്ഥ ഡാറ്റയിൽ നടത്തിയ ഉറവിടത്തെയും പ്രവർത്തനങ്ങളെയും കുറിച്ചുള്ള വിവരങ്ങൾ;

ഒറിജിനൽ (വിശദമായ) ഡാറ്റ - സാധാരണഗതിയിൽ റിഡൻഡൻസി ഉപയോഗിച്ച് ഡീനോർമലൈസ് ചെയ്ത ഡാറ്റ, ആവശ്യമായ ഡാറ്റയിലേക്കുള്ള ആക്‌സസ് വേഗത വർദ്ധിപ്പിക്കാൻ ഇത് അനുവദിക്കുന്നു, എന്നിരുന്നാലും ഇതിന് കൂടുതൽ സംഭരണ ​​ശേഷി ആവശ്യമാണ്;



· സംഗ്രഹിച്ച ഡാറ്റ.

പരിഗണിച്ച് സാധാരണ സംഘടന വെർച്വൽ സംഭരണം , നമുക്ക് രണ്ട് തലങ്ങളെ വേർതിരിക്കാം - ലോജിക്കൽ, ഫിസിക്കൽ.

ലോജിക് ലെവൽ ഈ മോഡലിനായുള്ള ഡാറ്റാ മോഡലിന്റെയും അന്വേഷണ ഭാഷയുടെയും തിരഞ്ഞെടുപ്പിലൂടെ നിർണ്ണയിക്കപ്പെടുന്നു. എല്ലാ ഉറവിടങ്ങളിൽ നിന്നും വേർതിരിച്ചെടുത്ത ഡാറ്റയെ പ്രതിനിധീകരിക്കാൻ തിരഞ്ഞെടുത്ത മോഡൽ ഉപയോഗിക്കുന്നു. അങ്ങനെ, ഇന്റഗ്രേഷൻ സിസ്റ്റത്തിന്റെ ഉപയോക്താവിന് എല്ലാ സംയോജിത ഡാറ്റയിലേക്കും ഏകീകൃത ആക്സസ് ലഭിക്കാനുള്ള അവസരം ലഭിക്കുന്നു.

ഈ വാസ്തുവിദ്യപൊതുവായതിനെ അടിസ്ഥാനമാക്കി മധ്യസ്ഥരുടെ ആശയങ്ങൾ. ഈ വാസ്തുവിദ്യയിലെ രണ്ട് തരം ഘടകങ്ങൾ നോക്കാം. റാപ്പർ ഒരു ബാഹ്യ ഉറവിടത്തെക്കുറിച്ചുള്ള വിവരങ്ങൾ സംഭരിക്കാനും അതിലേക്കുള്ള ആക്സസ് സംഘടിപ്പിക്കാനും ഉപയോഗിക്കുന്നു. ഒരു അഭ്യർത്ഥന ലഭിക്കുമ്പോൾ, റാപ്പർ അത് നൽകുന്ന ഇന്റർഫേസ് വഴി ഉറവിടവുമായി ബന്ധപ്പെടുന്നു. ഉറവിടത്തിൽ നിന്ന് ലഭിച്ച ഡാറ്റ വെയർഹൗസിന്റെ ആന്തരിക ഡാറ്റ ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യപ്പെടുന്നു (അതായത്, വെയർഹൗസ് ഡാറ്റ മോഡലിലേക്ക്). ഓരോ ഉറവിടത്തിനും അതിന്റേതായ റാപ്പർ ആവശ്യമാണെന്ന് വ്യക്തമാണ്. മധ്യസ്ഥൻ വിവിധ ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റ സംയോജിപ്പിക്കുന്നു (വിവിധ റാപ്പറുകളിൽ നിന്ന്). ഒരു മധ്യസ്ഥന് റാപ്പറുകളുമായും മറ്റ് മധ്യസ്ഥരുമായും സംവദിക്കാൻ കഴിയും. അങ്ങനെ, പരസ്പരം ഇടപഴകുന്ന ഇടനിലക്കാരുടെ ഒരു സങ്കീർണ്ണ ശൃംഖല നിർമ്മിക്കാൻ കഴിയും, ഇത് ഡാറ്റയെ സാമാന്യവൽക്കരിക്കാൻ അനുവദിക്കും. വ്യത്യസ്ത വഴികൾവെർച്വൽ സ്റ്റോറേജുമായി സംവദിക്കുന്ന വിവിധ ആപ്ലിക്കേഷനുകളുടെ ആവശ്യങ്ങൾ നിറവേറ്റുന്നതിന്.

പ്രത്യേകം പ്രഖ്യാപന ഭാഷകൾ , ഇത് റാപ്പറുകളെയും ഇടനിലക്കാരെയും വിവരിക്കുന്നു ശാരീരിക നിലവെർച്വൽ സംഭരണം സംഘടിപ്പിക്കുന്നു.

ഷോകേസുകൾ (ഡാറ്റ കിയോസ്‌ക്കുകൾ)- നിരവധി വിഷയ മേഖലകൾ ഉൾക്കൊള്ളുന്ന ചെറിയ ഡാറ്റ വെയർഹൗസുകൾ, ചെറിയ ചരിത്രമുണ്ട്. സ്റ്റോർഫ്രണ്ടുകളുടെ ഡാറ്റാ ഉറവിടം വെയർഹൗസ് ഡാറ്റയാണ്, ഇത് സാധാരണയായി വിവിധ ശ്രേണി തലങ്ങളിൽ സംയോജിപ്പിക്കുകയും ഏകീകരിക്കുകയും ചെയ്യുന്നു. അതിനാൽ, ഡാറ്റാ മാർട്ടുകളെ ഒരു ഡാറ്റ വെയർഹൗസിന്റെ യുക്തിപരമായും ഭൗതികമായും വേർതിരിക്കുന്ന ഉപവിഭാഗങ്ങളായി കണക്കാക്കാം.

IS വിവര അടിത്തറയുടെ വാസ്തുവിദ്യആറ് ലെവലുകൾ ഉണ്ട് (ചിത്രം 5.7) (ഘടകങ്ങൾ തന്നെ നഷ്‌ടമായേക്കാം എന്ന വസ്തുത ഉണ്ടായിരുന്നിട്ടും, ലെവലുകൾ ഒരു രൂപത്തിൽ അല്ലെങ്കിൽ മറ്റൊന്നിൽ സംരക്ഷിക്കപ്പെടുന്നു):

അരി. 5.7 - ഡാറ്റ വെയർഹൗസ് ആർക്കിടെക്ചറിന്റെ ആറ് പാളികൾ

ആദ്യ ലെവൽ അവതരിപ്പിക്കുന്നു ഡാറ്റ ഉറവിടങ്ങൾ , ട്രാൻസാക്ഷൻ, ലെഗസി സിസ്റ്റങ്ങൾ, ആർക്കൈവുകൾ, അറിയപ്പെടുന്ന ഫോർമാറ്റുകളുടെ ചിതറിക്കിടക്കുന്ന ഫയലുകൾ, MS Office ഡോക്യുമെന്റുകൾ, അതുപോലെ ഘടനാപരമായ ഡാറ്റയുടെ മറ്റേതെങ്കിലും ഉറവിടങ്ങൾ.

രണ്ടാം തലത്തിൽ ഉണ്ട് ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിനും രൂപാന്തരപ്പെടുത്തുന്നതിനും ലോഡുചെയ്യുന്നതിനുമുള്ള സിസ്റ്റം (ETL - എക്‌സ്‌ട്രാക്റ്റ്, ട്രാൻസ്‌ഫോർമേഷൻ ആൻഡ് ലോഡ്). നിന്ന് ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്യുക എന്നതാണ് ETL-ന്റെ പ്രധാന ദൗത്യം വ്യത്യസ്ത സംവിധാനങ്ങൾ, അവയെ ഒരു സ്ഥിരതയുള്ള രൂപത്തിൽ കൊണ്ടുവന്ന് അവ ശേഖരത്തിലേക്ക് അപ്‌ലോഡ് ചെയ്യുക.

പങ്ക് അടുത്ത തലത്തിലേക്ക്- വിശ്വസനീയമായ, അനധികൃത പ്രവേശനത്തിൽ നിന്ന് സംരക്ഷിച്ചിരിക്കുന്നു, ഡാറ്റ സംഭരണം . നിർദ്ദിഷ്ട ട്രിപ്പിൾ സ്ട്രാറ്റജിക്ക് അനുസൃതമായി, മെറ്റാഡാറ്റ നിലനിർത്തുന്നതിനുള്ള സംവിധാനങ്ങളും റെഗുലേറ്ററി റഫറൻസ് വിവരങ്ങൾ (RNI) . പ്രവർത്തന ഡാറ്റ സ്റ്റോർ അപൂർണ്ണവും പൂർണ്ണമായും സ്ഥിരതയില്ലാത്തതുമായ ഡാറ്റയിലേക്കുള്ള ഏറ്റവും വേഗതയേറിയ ആക്‌സസ് ആവശ്യമായി വരുമ്പോൾ അത് ആവശ്യമാണ്. സാധ്യമായ കാലതാമസം. സ്റ്റേജിംഗ് ഏരിയ ഒരു നിർദ്ദിഷ്‌ട ബിസിനസ് പ്രോസസ്സ് നടപ്പിലാക്കുന്നതിന് ആവശ്യമാണ്, ഉദാഹരണത്തിന്, ഡാറ്റ ലോഡുചെയ്യുന്നതിന് മുമ്പ്, ഡാറ്റ കൺട്രോളർ അത് അവലോകനം ചെയ്യുകയും സ്റ്റോറേജിലേക്ക് ലോഡ് ചെയ്യാൻ അനുമതി നൽകുകയും വേണം.

ലെവൽ സിസ്റ്റങ്ങൾ ഡാറ്റ വിതരണം ETL ടാസ്ക്കുകളിൽ നിന്ന് കാര്യമായ വ്യത്യാസമുള്ള ജോലികൾ ചെയ്യുക, അതായത്, സാമ്പിൾ, റീസ്ട്രക്ചറിംഗ്, ഡാറ്റ ഡെലിവറി (എസ്ആർഡി - സാമ്പിൾ, റീസ്ട്രക്ചർ, ഡെലിവർ). ETL ഒരു സെറ്റിൽ നിന്ന് ഡാറ്റ എക്സ്ട്രാക്റ്റ് ചെയ്യുന്നു ബാഹ്യ സംവിധാനങ്ങൾ. ഒരൊറ്റ ഡാറ്റ സ്റ്റോറിൽ നിന്ന് SRD വീണ്ടെടുക്കുന്നു. ഏകീകൃത ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യേണ്ട പൊരുത്തമില്ലാത്ത ഡാറ്റ ETL-ന് ലഭിക്കുന്നു. SRD വൃത്തിയാക്കിയ ഡാറ്റ കൈകാര്യം ചെയ്യുന്നു, അതിന്റെ ഘടനകൾ പാലിക്കേണ്ടതുണ്ട് വിവിധ ആപ്ലിക്കേഷനുകൾ. ETL ഒരു സെൻട്രൽ വെയർഹൗസിലേക്ക് ഡാറ്റ ലോഡ് ചെയ്യുന്നു. ആക്‌സസ് അവകാശങ്ങൾ, ഡെലിവറി ഷെഡ്യൂളുകൾ, ഉള്ളടക്ക ആവശ്യകതകൾ എന്നിവയ്ക്ക് അനുസൃതമായി SRD വിവിധ ഡാറ്റാ മാർട്ടുകളിലേക്ക് ഡാറ്റ ഡെലിവർ ചെയ്യണം.

ലെവൽ ഡാറ്റ നൽകുന്നു വിവിധ ജോലികൾക്കായി സ്റ്റോറേജ് ഫംഗ്ഷനുകളും സേവന പ്രവർത്തനങ്ങളും വേർതിരിക്കുന്നതിന് രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. ഡേറ്റാ മാർട്ടുകൾക്ക് നൽകപ്പെടുന്ന ടാസ്ക്കുകളുടെ ആവശ്യങ്ങൾ ഏറ്റവും നന്നായി നിറവേറ്റുന്ന ഡാറ്റ ഘടനകൾ ഉണ്ടായിരിക്കണം. ഏതൊരു ജോലിക്കും അനുയോജ്യമായ സാർവത്രിക ഡാറ്റാ ഘടനകളില്ലാത്തതിനാൽ, പ്രദേശികം, തീമാറ്റിക്, ഓർഗനൈസേഷണൽ, അപ്ലൈഡ്, ഫങ്ഷണൽ, മറ്റ് സവിശേഷതകൾ എന്നിവ അനുസരിച്ച് ഡാറ്റാ മാർട്ടുകളെ ഗ്രൂപ്പുചെയ്യണം.

ലെവൽ ബിസിനസ്സ് ആപ്ലിക്കേഷനുകൾ സാഹചര്യ കണക്കുകൂട്ടലുകളാൽ അവതരിപ്പിച്ചു സ്ഥിതിവിവര വിശകലനം, മൾട്ടിഡൈമൻഷണൽ വിശകലനം, ആസൂത്രണം, റിപ്പോർട്ടിംഗ് ഉപകരണങ്ങൾ. സ്വാഭാവികമായും, ബിസിനസ്സ് ആപ്ലിക്കേഷനുകളുടെ ലിസ്റ്റ് അവിടെ അവസാനിക്കുന്നില്ല.

അസംസ്കൃതവും സംഗ്രഹിച്ചതുമായ ഡാറ്റ റിലേഷണൽ അല്ലെങ്കിൽ മൾട്ടിഡൈമൻഷണൽ ഡാറ്റാബേസുകളിൽ സംഭരിക്കാൻ കഴിയും. അതിനാൽ, അവ നിലവിൽ ഉപയോഗിക്കുന്നു ഡാറ്റ സംഭരിക്കുന്നതിനുള്ള മൂന്ന് വഴികൾ :

· MOLAP (മൾട്ടിഡൈമൻഷണൽ OLAP) അല്ലെങ്കിൽ പല അളവുകളുള്ള OLAP - ഉറവിടവും സംഗ്രഹിച്ച ഡാറ്റയും ഒരു മൾട്ടിഡൈമൻഷണൽ ഡാറ്റാബേസിൽ സംഭരിച്ചിരിക്കുന്നു;

· ROLAP (റിലേഷണൽ OLAP) അല്ലെങ്കിൽ റിലേഷണൽ OLAP - ഉറവിട ഡാറ്റ അതിന്റെ സ്വന്തം റിലേഷണൽ ഡാറ്റാബേസിൽ സ്ഥിതിചെയ്യുന്നു, സംഗ്രഹിച്ച ഡാറ്റ അതേ ഡാറ്റാബേസിൽ പ്രത്യേകം സൃഷ്ടിച്ച സേവന പട്ടികകളിൽ സ്ഥാപിച്ചിരിക്കുന്നു;

HOLAP (ഹൈബ്രഡ് OLAP)അല്ലെങ്കിൽ ഹൈബ്രിഡ് OLAP - ഉറവിട ഡാറ്റ അതിന്റെ സ്വന്തം റിലേഷണൽ ഡാറ്റാബേസിൽ സ്ഥിതി ചെയ്യുന്നു, സംഗ്രഹിച്ച ഡാറ്റ ഒരു മൾട്ടിഡൈമൻഷണൽ ഡാറ്റാബേസിൽ സംഭരിച്ചിരിക്കുന്നു.

ഏകീകൃതം ഉറപ്പാക്കാനുള്ള മറ്റൊരു മാർഗം വിവര ഇടംഒരു ഡാറ്റ വെയർഹൗസിന്റെ ഉപയോഗമാണ്.

പ്രവർത്തനപരവും വിശകലനപരവുമായ രണ്ട് തരം ഡാറ്റ പ്രോസസ്സ് ചെയ്യേണ്ടതിന്റെ ആവശ്യകതയാണ് ബാങ്കിന്റെ വിവര സംവിധാനത്തിന്റെ സവിശേഷത. അതിനാൽ, ഐ‌ബി‌എസിന്റെ പ്രവർത്തന പ്രക്രിയയിൽ, രണ്ട് തരം പ്രശ്നങ്ങൾ പരിഹരിക്കേണ്ടതുണ്ട്: വിവരങ്ങൾ നൽകുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള ബാങ്കിന്റെ ദൈനംദിന ജോലി ഉറപ്പാക്കുക, വികസന പ്രവണതകൾ തിരിച്ചറിയുന്നതിനും അവസ്ഥകൾ പ്രവചിക്കുന്നതിനും വിലയിരുത്തുന്നതിനും ഡാറ്റ വിശകലനം ചെയ്യുന്നതിനായി ഒരു വിവര സംഭരണശാല സംഘടിപ്പിക്കുക. അപകടസാധ്യതകൾ കൈകാര്യം ചെയ്യൽ തുടങ്ങിയവ. ഒന്നാം ക്ലാസിലെ പ്രശ്നങ്ങൾ പൂർണ്ണമായും OLTP സംവിധാനങ്ങൾ വഴി പരിഹരിക്കുന്നു (ഓൺലൈൻ ഇടപാട് പ്രോസസ്സിംഗ് - പ്രവർത്തന പ്രോസസ്സിംഗ്ഇടപാടുകൾ). അനലിറ്റിക്കൽ ഡാറ്റയുമായി പ്രവർത്തിക്കാൻ, OLAP സിസ്റ്റങ്ങൾ (ഓൺലൈൻ അനലിറ്റിക്കൽ പ്രോസസ്സിംഗ്) രൂപകൽപ്പന ചെയ്തിട്ടുണ്ട്, അവ ഡാറ്റ വെയർഹൗസ് സാങ്കേതികവിദ്യ ഉപയോഗിച്ച് നിർമ്മിക്കുകയും സംഗ്രഹിച്ച വിശകലനത്തിന് സഹായിക്കുകയും ചെയ്യുന്നു. വലിയ വോള്യങ്ങൾഡാറ്റ. ഈ സംവിധാനങ്ങളാണ് അവിഭാജ്യതീരുമാനമെടുക്കൽ സംവിധാനങ്ങൾ അല്ലെങ്കിൽ മാനേജ്മെന്റ് സിസ്റ്റങ്ങൾമിഡിൽ, ടോപ്പ് മാനേജ്മെന്റ് ക്ലാസുകൾ, അതായത്. ശരാശരി രൂപകല്പന ചെയ്ത സിസ്റ്റങ്ങൾ കൂടാതെ ഉയർന്ന തലംബാങ്ക് മാനേജ്മെന്റ്.

അങ്ങനെ, IHD യുടെ കഴിവുകൾ വിപുലീകരിക്കാൻ കഴിയും പങ്കുവയ്ക്കുന്നു ഇടപാട് OLTP സംവിധാനങ്ങൾകൂടാതെ ഡാറ്റ വെയർഹൗസുകൾ (ഡാറ്റ വെയർഹൗസ്).

ഡാറ്റ വെയർഹൗസിന്റെ സവിശേഷ സവിശേഷതകൾ ഇവയാണ്:

  • · വിഷയ മേഖല ഓറിയന്റേഷൻ -ജോലിക്ക് ഉപയോഗപ്രദമാകുന്ന വിവരങ്ങൾ മാത്രമേ ഡാറ്റ വെയർഹൗസിൽ സ്ഥാപിക്കുകയുള്ളൂ വിശകലന സംവിധാനങ്ങൾ;
  • · സുരക്ഷ- വിവരങ്ങൾ ശേഖരത്തിലേക്ക് ചേർക്കാം, പക്ഷേ അത് മാറ്റാനോ പരിഷ്കരിക്കാനോ ക്രമീകരിക്കാനോ കഴിയില്ല;
  • · ചരിത്രപരമായ ഡാറ്റ പിന്തുണ -വിശകലനത്തിന് ഒരു നീണ്ട കാലയളവിൽ ശേഖരിച്ച വിവരങ്ങൾ ആവശ്യമാണ്;
  • · സംയോജനം ഒറ്റ ശേഖരംമുമ്പ് വിച്ഛേദിച്ച ഡാറ്റ,നിന്നും വരുന്ന വിവിധ ഉറവിടങ്ങൾ, അതുപോലെ അവയുടെ സ്ഥിരീകരണം, ഏകോപനം, ഏകീകൃത ഫോർമാറ്റിലേക്ക് കുറയ്ക്കൽ;
  • · സമാഹരണം- ഡാറ്റാബേസിൽ സംഗ്രഹിച്ചതും പ്രാഥമികവുമായ ഡാറ്റയുടെ ഒരേസമയം സംഭരണം, അങ്ങനെ മൊത്തം മൂല്യങ്ങൾ നിർണ്ണയിക്കുന്നതിനുള്ള അഭ്യർത്ഥനകൾ വേണ്ടത്ര വേഗത്തിൽ പൂർത്തിയാകും.

അതിനാൽ, വിവരങ്ങൾ ശേഖരിക്കുകയും സംഭരിക്കുകയും ചെയ്യുന്ന ഒരു പ്രത്യേക ഡാറ്റാബേസാണ് ഡാറ്റ വെയർഹൗസ്. മാനേജർമാർക്ക് അത്യാവശ്യമാണ്മാനേജ്മെന്റ് തീരുമാനങ്ങൾ തയ്യാറാക്കുന്നതിനുള്ള ബാങ്ക് (ബാങ്ക് ക്ലയന്റുകളെ കുറിച്ച്, ക്രെഡിറ്റ് കാര്യങ്ങൾ, പലിശ നിരക്കുകൾ, വിനിമയ നിരക്കുകൾ, സ്റ്റോക്ക് ഉദ്ധരണികൾ, നിക്ഷേപ പോർട്ട്ഫോളിയോയുടെ അവസ്ഥ, ശാഖകളുടെ പ്രവർത്തന ദിനങ്ങൾ മുതലായവ).

ഡാറ്റ വെയർഹൗസുകൾ സാധാരണയായി ചിത്രീകരിച്ചിരിക്കുന്നു മൾട്ടിഡൈമൻഷണൽ ക്യൂബ്. ഈ ക്യൂബിന്റെ സെല്ലുകളിൽ സംഭരിച്ചിരിക്കുന്നതും വസ്തുതകൾ എന്ന് വിളിക്കപ്പെടുന്നതുമായ മൂല്യങ്ങൾ ഒരു ക്രെഡിറ്റ് സ്ഥാപനത്തിന്റെ പ്രവർത്തനങ്ങളെ സൂചിപ്പിക്കുന്ന അളവ് സൂചകങ്ങളാണ്. പ്രത്യേകിച്ചും, ഇത് വിറ്റുവരവ്, അക്കൗണ്ട് ബാലൻസുകൾ, ചെലവുകളുടെയും വരുമാനത്തിന്റെയും ഘടന, നില, ചലനം എന്നിവയെക്കുറിച്ചുള്ള ഡാറ്റയായിരിക്കാം പണംതുടങ്ങിയവ. വസ്‌തുതകൾ (ഉദാഹരണത്തിന്, ബാങ്ക് ശാഖകൾ, വ്യാപാര ദിനങ്ങൾ, ഉപഭോക്താക്കൾ, കറൻസികൾ) വിവരിക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന അതേ തരത്തിലുള്ള ഡാറ്റയുടെ ഒരു കൂട്ടമാണ് അതിന്റെ മുഖങ്ങളിലൊന്നായി രൂപപ്പെടുന്ന ക്യൂബ് അളവുകൾ. ക്യൂബ് അളവുകൾക്കൊപ്പം ഡാറ്റ അഗ്രഗേഷൻ നടത്തുന്നു, അതിനാൽ ഡൈമൻഷൻ ഘടകങ്ങൾ സാധാരണയായി സംയോജിപ്പിക്കുന്നു ശ്രേണിപരമായ ഘടനകൾ. അതിനാൽ, ശാഖകൾ പലപ്പോഴും പ്രാദേശിക അടിസ്ഥാനത്തിൽ, ക്ലയന്റുകൾ - വ്യവസായം അനുസരിച്ച്, തീയതികൾ ആഴ്ചകൾ, മാസങ്ങൾ, ക്വാർട്ടറുകൾ, വർഷങ്ങൾ എന്നിങ്ങനെ തരം തിരിച്ചിരിക്കുന്നു. ഓരോ സെല്ലും ക്യൂബ് നൽകിഅതിന്റെ വ്യക്തിഗത അളവുകൾക്കനുസൃതമായി ഒരു നിർദ്ദിഷ്ട മൂല്യങ്ങളുടെ "ഉത്തരവാദിത്തം", ഉദാഹരണത്തിന്, ബാലൻസ് ഷീറ്റ് അക്കൗണ്ട് വിറ്റുവരവ് പ്രതിദിനം, പാദം, വർഷം, ശാഖകൾ പ്രകാരം. സെല്ലുകളിൽ സംഭരിച്ചിരിക്കുന്ന സംഖ്യാ വസ്‌തുതകൾ വിവിധ ഗണിതശാസ്ത്രം നടത്താനും ഉപയോഗിക്കാനും കഴിയും ലോജിക്കൽ പ്രവർത്തനങ്ങൾ, വിവിധ കോണുകളിൽ നിന്ന് അവതരിപ്പിച്ച വിവരങ്ങൾ കാണാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഡാറ്റ മാനേജ്മെന്റ് ടെക്നിക്കുകൾ ഉപയോഗിച്ചാണ് പ്രവർത്തനങ്ങൾ നടത്തുന്നത്. രീതികളുടെ മുഴുവൻ ശേഖരത്തെയും ഒരു ഡാറ്റ വെയർഹൗസ് മെത്തേഡ് റിപ്പോസിറ്ററി എന്ന് വിളിക്കുന്നു.

എന്നതിൽ നിന്ന് സ്‌റ്റോറേജിലേക്ക് ഡാറ്റ ലോഡ് ചെയ്‌തു ഓപ്പറേറ്റിങ് സിസ്റ്റങ്ങൾഡാറ്റ പ്രോസസ്സിംഗ് (ഹെഡ് ഓഫീസിന്റെയും വ്യക്തിഗത ശാഖകളുടെയും OLTP സംവിധാനങ്ങൾ) കൂടാതെ ബാഹ്യ ഉറവിടങ്ങളിൽ നിന്നും (എന്റർപ്രൈസുകളുടെയും ബാങ്കുകളുടെയും ഔദ്യോഗിക റിപ്പോർട്ടുകൾ, എക്സ്ചേഞ്ച് ട്രേഡിംഗിന്റെ ഫലങ്ങൾ മുതലായവ). റിപ്പോസിറ്ററിയിലേക്ക് ഡാറ്റ ലോഡുചെയ്യുമ്പോൾ, ലോഡ് ചെയ്ത ഡാറ്റയുടെ സമഗ്രത, താരതമ്യത, പൂർണ്ണത എന്നിവ പരിശോധിക്കുകയും അവയുടെ ആവശ്യമായ പരിവർത്തനവും പരിവർത്തനവും നടത്തുകയും ചെയ്യുന്നു.

തീരുമാനമെടുക്കുന്നതിനും ബിസിനസ്സ് വികസനത്തിനും ഉത്തരവാദികളായ ബാങ്കിന്റെ മുതിർന്ന, മധ്യ മാനേജ്‌മെന്റിനെ ലക്ഷ്യമിട്ടുള്ളതാണ് ഡാറ്റ വെയർഹൗസ്. ഇവ ഘടനാപരമായ, സാമ്പത്തിക, ക്ലയന്റ് വകുപ്പുകളുടെയും മാർക്കറ്റിംഗ്, വിശകലനം, ആസൂത്രണം എന്നീ വകുപ്പുകളുടെയും തലവന്മാരാണ്.

ഡാറ്റ വെയർഹൗസുകളിൽ പ്രവർത്തിക്കാൻ, പ്രത്യേകം സോഫ്റ്റ്വെയർ ഉൽപ്പന്നങ്ങൾ, SQL സെർവറുകൾ ഡാറ്റ ആക്സസ് ചെയ്യുന്നതിന് ആവശ്യമായ വേഗത നൽകുന്നില്ല എന്നതിനാൽ. ഒരു ഡാറ്റ വെയർഹൗസിൽ പ്രവർത്തിക്കുമ്പോൾ അന്വേഷണ ഭാഷയും SQL-ൽ നിന്ന് വ്യത്യസ്തമാണ്.

പ്രായോഗികമായി ഒരു ഡാറ്റ വെയർഹൗസ് നടപ്പിലാക്കുന്നതിനുള്ള ഓപ്ഷനുകളിലൊന്ന് ഡാറ്റാ മാർട്ടുകളുടെ (ഡാറ്റ മാർട്ടുകൾ) നിർമ്മാണമാണ്. അവയെ ചിലപ്പോൾ ഡാറ്റ മാർട്ടുകൾ എന്നും വിളിക്കുന്നു. ഒരു പ്രത്യേക ഓർഗനൈസേഷനുള്ള ഒരു വിഷയാധിഷ്ഠിത ഡാറ്റാ ശേഖരമാണ് ഡാറ്റാ മാർട്ട്. ഡാറ്റാ മാർട്ടുകളുടെ ഉള്ളടക്കം, ഒരു ചട്ടം പോലെ, ഒരു മേഖലയിലോ നിരവധി അനുബന്ധ വിഷയ മേഖലകളിലോ ഒരു നിശ്ചിത പരിധിയിലുള്ള ഏകതാനമായ പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ ഉദ്ദേശിച്ചുള്ളതാണ്. ഉദാഹരണത്തിന്, വിശകലനവുമായി ബന്ധപ്പെട്ട പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് ക്രെഡിറ്റ് സേവനങ്ങൾബാങ്ക്, ഒരു ഷോകേസ് ഉപയോഗിക്കുന്നു, സ്റ്റോക്ക് മാർക്കറ്റിലെ ബാങ്കിന്റെ പ്രവർത്തനങ്ങൾ വിശകലനം ചെയ്യുന്നതിനുള്ള പ്രവർത്തനത്തിനായി - മറ്റൊന്ന്.

അതിനാൽ, ഒരു ഡാറ്റാ മാർട്ട് എന്നത് താരതമ്യേന ചെറുതും പ്രത്യേകമായതുമായ ഒരു ഡാറ്റാ വെയർഹൗസാണ്, വിഷയ-നിർദ്ദിഷ്‌ട ഡാറ്റ മാത്രം ഉൾക്കൊള്ളുന്നതും ഒരു പ്രത്യേക ഫങ്ഷണൽ യൂണിറ്റ് ഉപയോഗിക്കുന്നതിന് ഉദ്ദേശിച്ചുള്ളതുമാണ്. അതിനാൽ, ഫങ്ഷണൽ ഓറിയന്റഡ് ഡാറ്റാ മാർട്ടുകൾ ഒരു പരിഹാരം നൽകുന്ന ഡാറ്റാ ഘടനകളാണ് വിശകലന ചുമതലകൾകമ്പനിയുടെ ഒരു പ്രത്യേക ഫങ്ഷണൽ ഏരിയയിൽ അല്ലെങ്കിൽ ഡിവിഷനിൽ (ലാഭത മാനേജ്മെന്റ്, മാർക്കറ്റ് അനാലിസിസ്, റിസോഴ്സ് അനാലിസിസ്, ക്യാഷ് ഫ്ലോ വിശകലനം, അസറ്റ് ആൻഡ് ലയബിലിറ്റി മാനേജ്മെന്റ് മുതലായവ). അതിനാൽ, ഡാറ്റാ മാർട്ടുകളെ ആവശ്യത്തിനായി സൃഷ്ടിക്കുന്ന ചെറിയ ശേഖരങ്ങളായി കണക്കാക്കാം വിവര പിന്തുണകമ്പനിയുടെ പ്രത്യേക മാനേജ്മെന്റ് ഡിവിഷനുകളുടെ വിശകലന ചുമതലകൾ.

ഏറ്റവും ഒപ്റ്റിമൽ മാർഗങ്ങൾ ഉപയോഗിച്ച് ഒരു പ്രത്യേക വിഷയ മേഖലയിൽ നിന്നുള്ള ഡാറ്റ വിശകലനം ചെയ്യാനുള്ള കഴിവ് നൽകേണ്ടതിന്റെ ആവശ്യകതയാണ് ഒരു ഡാറ്റാ മാർട്ടിന്റെ സൃഷ്ടി നിർണ്ണയിക്കുന്നത്.

ഡാറ്റാ മാർട്ടുകളും ഡാറ്റ വെയർഹൗസുകളും പരസ്പരം തികച്ചും വ്യത്യസ്തമാണ്. എന്റർപ്രൈസ് ഡാറ്റ മോഡലിൽ നിലവിലുള്ള എന്റർപ്രൈസ് പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ ഒരു ഡാറ്റ വെയർഹൗസ് സൃഷ്ടിച്ചിരിക്കുന്നു. സാധാരണഗതിയിൽ, ക്ലാസിക് ഓർഗനൈസേഷനുകൾ പോലെയുള്ള കേന്ദ്ര നിയന്ത്രിത ഓർഗനൈസേഷനുകളാണ് ഡാറ്റ വെയർഹൗസുകൾ സൃഷ്ടിക്കുന്നതും ഏറ്റെടുക്കുന്നതും. വിവര സാങ്കേതിക വിദ്യകൾ, ഉദാഹരണത്തിന് ഒരു ബാങ്ക്. മുഴുവൻ കോർപ്പറേഷനും ചേർന്നാണ് ഡാറ്റ വെയർഹൗസ് സമാഹരിച്ചിരിക്കുന്നത്. വിവര വെയർഹൗസ് ഡാറ്റ ഇടപാട്

ഒരു നിർദ്ദിഷ്ട ഏകതാനമായ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള ആവശ്യങ്ങൾ നിറവേറ്റുന്നതിനാണ് ഡാറ്റാ മാർട്ട് വികസിപ്പിച്ചിരിക്കുന്നത്. അതിനാൽ, ഒരു ബാങ്കിന് നിരവധി വ്യത്യസ്ത ഡാറ്റാ മാർട്ടുകൾ ഉണ്ടായിരിക്കാം, അവയിൽ ഓരോന്നിനും അതിന്റേതായവയുണ്ട് രൂപംഅതിന്റെ ഉള്ളടക്കവും.

ഡാറ്റാ മാർട്ടിൽ ഇതിനകം സംഗ്രഹിച്ച ഡാറ്റ അടങ്ങിയിരിക്കുന്നതിനാൽ, അടുത്ത വ്യത്യാസം ഡാറ്റയുടെ ഗ്രാനുലാരിറ്റിയുടെ നിലയാണ്. നേരെമറിച്ച്, ഡാറ്റ വെയർഹൗസിൽ ഏറ്റവും വിശദമായ ഡാറ്റ അടങ്ങിയിരിക്കുന്നു. ഡാറ്റാ മാർട്ടുകളിലെ സംയോജനത്തിന്റെ തോത് വെയർഹൗസുകളേക്കാൾ കൂടുതലായതിനാൽ, ഡാറ്റാ മാർട്ടിന്റെ ഗ്രാനുലാരിറ്റി വെയർഹൗസിന്റെ ഗ്രാനുലാരിറ്റിയിലേക്ക് എളുപ്പത്തിൽ വിഘടിപ്പിക്കാൻ കഴിയില്ല. എന്നാൽ നിങ്ങൾക്ക് എല്ലായ്പ്പോഴും പിന്തുടരാനാകും വിപരീത ദിശകൂടാതെ വ്യക്തിഗത ഡാറ്റ സംഗ്രഹ സൂചകങ്ങളായി കൂട്ടിച്ചേർക്കുക.

ഒരു വെയർഹൗസിൽ നിന്ന് വ്യത്യസ്തമായി, ഒരു ഡാറ്റാ മാർട്ടിൽ ചെറിയ അളവിലുള്ള ചരിത്രപരമായ വിവരങ്ങൾ മാത്രമേ അടങ്ങിയിട്ടുള്ളൂ, അത് ഒരു ചെറിയ കാലയളവുമായി മാത്രം ബന്ധപ്പെട്ടിരിക്കുന്നു, ഒരു പ്രശ്നം പരിഹരിക്കുന്നതിനുള്ള ആവശ്യകതകൾ നിറവേറ്റുന്ന നിമിഷത്തിൽ മാത്രം അത് പ്രാധാന്യമർഹിക്കുന്നു. ഒരു ഡാറ്റാ വെയർഹൗസിന്റെ ലോജിക്കലിയോ ഫിസിക്കലോ വേർതിരിക്കുന്ന ഉപവിഭാഗങ്ങളായി ഡാറ്റാ മാർട്ടുകളെ കണക്കാക്കാം.

ഡാറ്റാ മാർട്ടുകൾ സാധാരണയായി ലേയേർഡ് ടെക്നോളജി ഉപയോഗിച്ചാണ് സൃഷ്ടിക്കുന്നത്, ഇത് വിശകലന വഴക്കത്തിന് അനുയോജ്യമാണ്, എന്നാൽ വലിയ അളവിലുള്ള ഡാറ്റയ്ക്ക് അനുയോജ്യമല്ല. അത്തരം ഒരു ഷോകേസിലെ ഡാറ്റ നൽകിയിരിക്കുന്നു വലിയ തുകസൂചികകൾ.

ഡാറ്റാ മാർട്ടുകളുടെ ഘടന ഒരു ക്യൂബിന്റെ രൂപത്തിൽ ഡാറ്റയുടെ ബഹുമുഖ ഓർഗനൈസേഷനിലും ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. എന്നിരുന്നാലും, അവയുടെ നിർമ്മാണം, ഒരു പ്രവർത്തന മേഖലയുടെ ആവശ്യങ്ങൾ നിറവേറ്റുന്ന പരിമിതമായ വിവര ശ്രേണി കാരണം, ഒരു ഡാറ്റ വെയർഹൗസ് സൃഷ്ടിക്കുന്നതിനേക്കാൾ വളരെ ലളിതവും കൂടുതൽ ലാഭകരവുമാണ്. ഡാറ്റാ മാർട്ടിലെ ഡാറ്റാബേസിന്റെ ഫിസിക്കൽ ഘടന "സ്റ്റാർ" മോഡൽ അനുസരിച്ചാണ് സൃഷ്ടിച്ചിരിക്കുന്നത്, ഇത് മാർട്ട് നിർമ്മിച്ചിരിക്കുന്ന പ്രശ്‌നങ്ങളുടെ ഗ്രൂപ്പ് പരിഹരിക്കുന്നതിന് അനുയോജ്യമാണ്, കാരണം ഇത് ഡാറ്റ വിഭജിച്ച് അന്വേഷണ നിർവ്വഹണത്തിന്റെ ഉയർന്ന വേഗത ഉറപ്പാക്കുന്നു. ഒരു സ്റ്റാർ സ്കീമയിൽ ഒരു സെൻട്രൽ ഫാക്റ്റ് ടേബിൾ ഉൾപ്പെടുന്നു, അതിൽ സംഗ്രഹമോ വസ്തുതാപരമോ ആയ ഡാറ്റയും വിവരണാത്മക വിവരങ്ങൾ പ്രതിഫലിപ്പിക്കുന്ന ചുറ്റുമുള്ള ഡൈമൻഷണൽ ടേബിളുകളും അടങ്ങിയിരിക്കുന്നു. ലിങ്കുകൾ തിരിച്ചറിയുന്നതിലൂടെ ഫാക്‌ട് ടേബിളും ഡൈമൻഷൻ ടേബിളുകളും പരസ്പരം ബന്ധിപ്പിച്ചിരിക്കുന്നു, കൂടാതെ വസ്തുത പട്ടികയുടെ പ്രധാന ഫീൽഡ് എല്ലാം ഉൾക്കൊള്ളുന്നു. പ്രാഥമിക കീകൾഅളവ് പട്ടികകൾ.

രണ്ട് തരത്തിലുള്ള ഡാറ്റാ മാർട്ടുകൾ ഉണ്ട്: ആശ്രിതവും സ്വതന്ത്രവും. ആശ്രിതൻഒരു ഡാറ്റാ വെയർഹൗസിന്റെ ഉറവിടമാണ് ഡാറ്റാ മാർട്ട്. ഉറവിടം സ്വതന്ത്രമായഡാറ്റാ മാർട്ട് ഒരു പ്രാഥമിക പരിസ്ഥിതിയാണ് സോഫ്റ്റ്വെയർ ആപ്ലിക്കേഷനുകൾ. ആശ്രിത ഡാറ്റാ മാർട്ടുകൾ സുസ്ഥിരവും ശക്തമായ വാസ്തുവിദ്യയും ഉള്ളവയാണ്. സ്വതന്ത്ര ഡാറ്റാ മാർട്ടുകൾ അസ്ഥിരവും അസ്ഥിരമായ ആർക്കിടെക്ചറും ഉള്ളവയാണ് ഇത്രയെങ്കിലും, ഡാറ്റ അയയ്ക്കുമ്പോൾ.

ഡാറ്റാ മാർട്ടുകൾ അവതരിപ്പിക്കപ്പെടുന്നു എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ് അനുയോജ്യമായ പരിഹാരംഡാറ്റ വെയർഹൗസ് രൂപകൽപ്പനയിലെ ഏറ്റവും പ്രധാനപ്പെട്ട വൈരുദ്ധ്യം പ്രകടനവും വഴക്കവുമാണ്. പൊതുവേ, ഒരു ഡാറ്റാ വെയർഹൗസ് മോഡൽ കൂടുതൽ നിലവാരമുള്ളതും വഴക്കമുള്ളതുമായിരിക്കുമ്പോൾ, ചോദ്യങ്ങളോട് പ്രതികരിക്കുമ്പോൾ അത് ഉൽപ്പാദനക്ഷമത കുറവാണ്. സ്റ്റാൻഡേർഡ് ആയി രൂപകൽപന ചെയ്ത സിസ്റ്റത്തിൽ പ്രവേശിക്കുന്നതിനുള്ള അഭ്യർത്ഥനകൾക്ക് ഒപ്റ്റിമൽ രൂപകല്പന ചെയ്ത സിസ്റ്റത്തേക്കാൾ കൂടുതൽ പ്രാഥമിക പ്രവർത്തനങ്ങൾ ആവശ്യമായി വരുന്നതാണ് ഇതിന് കാരണം. ഒരു ഫ്ലെക്സിബിൾ ഡാറ്റ വെയർഹൗസ് മോഡൽ നിലനിർത്തിക്കൊണ്ട് എല്ലാ ഉപയോക്തൃ അന്വേഷണങ്ങളും ഡാറ്റാ മാർട്ടുകളിലേക്ക് നയിക്കുന്നതിലൂടെ, ഡവലപ്പർമാർക്ക് വെയർഹൗസ് രൂപകൽപ്പനയിൽ വഴക്കവും ദീർഘകാല സ്ഥിരതയും നേടാനാകും, കൂടാതെ ഉപയോക്തൃ അന്വേഷണങ്ങൾക്കുള്ള ഒപ്റ്റിമൽ പ്രകടനവും.

ഡാറ്റ, സംഭരണത്തിൽ ഒരിക്കൽ, ഉപയോക്തൃ അന്വേഷണങ്ങൾ വഴി ആക്സസ് ചെയ്യുന്നതിനായി നിരവധി ഡാറ്റാ മാർട്ടുകൾക്കിടയിൽ വിതരണം ചെയ്യാൻ കഴിയും. ഈ ഡാറ്റാ മാർട്ടുകൾക്ക് സ്വീകരിക്കാൻ കഴിയും വിവിധ രൂപങ്ങൾ- ക്ലയന്റ്-സെർവർ ഡാറ്റാബേസുകൾ മുതൽ ഡെസ്ക്ടോപ്പ് ഡാറ്റാബേസുകൾ, OLAP ക്യൂബുകൾ അല്ലെങ്കിൽ ഡൈനാമിക് വരെ സ്പ്രെഡ്ഷീറ്റുകൾ. ഉപയോക്തൃ അന്വേഷണങ്ങൾക്കുള്ള ടൂളുകളുടെ തിരഞ്ഞെടുപ്പ് വിശാലവും മുൻഗണനകളും അനുഭവവും പ്രതിഫലിപ്പിക്കുന്നതുമാണ് നിർദ്ദിഷ്ട ഉപയോക്താക്കൾ. വിശാലമായ തിരഞ്ഞെടുപ്പ്അത്തരം ഉപകരണങ്ങളും അവയുടെ ഉപയോഗ എളുപ്പവും ഒരു ഡാറ്റ വെയർഹൗസ് പ്രോജക്റ്റ് നടപ്പിലാക്കുന്നതിന്റെ ഏറ്റവും ചെലവേറിയ ഭാഗമാക്കി മാറ്റും. സ്റ്റോറേജിലെ ഡാറ്റ ഉണ്ടെങ്കിൽ നല്ല ഘടനകൂടാതെ തെളിയിക്കപ്പെട്ട ഗുണനിലവാരവും, മറ്റ് ഡാറ്റാ മാർട്ടുകളിലേക്കുള്ള അവരുടെ കൈമാറ്റം ഒരു സാധാരണവും കുറഞ്ഞ ചെലവും ഉള്ള പ്രവർത്തനമായി മാറും.

ആശ്രിതവും സ്വതന്ത്രവുമായ ഡാറ്റാ മാർട്ട് സാങ്കേതികവിദ്യകളുടെ ഉപയോഗം, വിവിധ സ്രോതസ്സുകളിൽ നിന്നുള്ള ഡാറ്റ ഏറ്റവും കൂടുതൽ ഏകീകരിക്കുന്നതിനുള്ള പ്രശ്നം പരിഹരിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. ഫലപ്രദമായ പരിഹാരംഡാറ്റ വിശകലന ചുമതലകൾ. ഈ സാഹചര്യത്തിൽ, സ്രോതസ്സുകൾ വാസ്തുവിദ്യയിലും പ്രവർത്തനത്തിലും വ്യത്യാസമുള്ള അക്കൗണ്ടിംഗ്, അക്കൌണ്ടിംഗ് സംവിധാനങ്ങളായിരിക്കാം. സഹായ സംവിധാനങ്ങൾ, ഭൂമിശാസ്ത്രപരമായി ചിതറിക്കിടക്കുന്നവ ഉൾപ്പെടെ.

ഒരു ഡാറ്റ വെയർഹൗസ് വികസിപ്പിക്കുമ്പോൾ, ഇനിപ്പറയുന്ന ചോദ്യങ്ങൾ ഉയർന്നുവരുന്നു, അവ പരിഹരിക്കേണ്ടതുണ്ട്:
1) സ്റ്റോറേജിൽ എന്ത് ഡാറ്റയാണ് സ്ഥാപിക്കേണ്ടത്
2) ഈ ഡാറ്റ എങ്ങനെ കണ്ടെത്താം, എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്യാം
3) ഡാറ്റയുടെ കൃത്യത എങ്ങനെ ഉറപ്പാക്കാം.

അടിസ്ഥാനപരമായി, ഈ ചോദ്യങ്ങൾക്കുള്ള ഉത്തരങ്ങൾ നിങ്ങൾക്കറിയാമെങ്കിൽ, നിങ്ങൾ രൂപകൽപ്പന ചെയ്യുന്ന ഡാറ്റാബേസ് ഉദ്ദേശിച്ചിട്ടുള്ള ടാസ്ക്കുകളുടെ ശ്രേണിയും അതനുസരിച്ച്, ഉപയോക്താക്കളുടെ ശ്രേണിയും നിങ്ങൾ നിർണ്ണയിക്കുന്നു. അങ്ങനെ ശേഖരിക്കൽ, ശുദ്ധീകരണം, കൂട്ടിച്ചേർക്കൽ എന്നിവയുടെ ചുമതല ഉയർന്നുവരുന്നു.

ഡാറ്റാ ശേഖരണം എന്നത് ഡാറ്റയുടെ കൈമാറ്റം സംഘടിപ്പിക്കുന്ന പ്രക്രിയയെ സൂചിപ്പിക്കുന്നു ബാഹ്യ ഉറവിടംസംഭരണത്തിൽ. ഇന്ന് ഈ പ്രക്രിയ അടിസ്ഥാനപരമായ ബുദ്ധിമുട്ടുകളൊന്നും അവതരിപ്പിക്കുന്നില്ല. മിക്കവാറും എല്ലാ പ്രോഗ്രാമർമാർക്കും ഒരു ഡാറ്റാബേസിൽ നിന്ന് മറ്റൊന്നിലേക്ക് കൈമാറാൻ കഴിയും.

ശേഖരവുമായി ബന്ധപ്പെട്ട രണ്ടാം ഭാഗം ആനുകാലിക നികത്തലാണ്. ഡാറ്റാബേസ് പ്രതിമാസം, ത്രൈമാസികം മുതലായവ എങ്ങനെ നിറയ്ക്കണമെന്ന് ഇവിടെ നിങ്ങൾ തീരുമാനിക്കേണ്ടതുണ്ട്. ഇവന്റ് മെക്കാനിസം ഉപയോഗിച്ചാണ് ഇത് സാധാരണയായി പരിഹരിക്കുന്നത്; ഇവിടെ, തീർച്ചയായും ആരും സ്വമേധയാ ഒന്നും ചെയ്യുന്നില്ല. ചില ഇവന്റിനെ അടിസ്ഥാനമാക്കി, ഇത് യാന്ത്രികമായി ചെയ്യുന്ന ഒരു പ്രോഗ്രാം സമാഹരിച്ചിരിക്കുന്നു. ഈ ഡാറ്റ വെയർഹൗസിലേക്ക് എത്തിക്കുന്നത് ഏറ്റവും എളുപ്പമുള്ള പ്രക്രിയയല്ല, കാരണം ഡാറ്റ ഓർഗനൈസുചെയ്യേണ്ടതുണ്ട് - അത് പതിവായി ആവശ്യമുള്ള രൂപത്തിൽ എത്തുന്നുവെന്ന് ഉറപ്പാക്കാൻ. ഉദാഹരണത്തിന്: മോസ്കോ നഗരം ഒരേപോലെ എഴുതണം (ചിലർ ചെറിയ അക്ഷരങ്ങളിലും മറ്റുള്ളവ വലിയ അക്ഷരങ്ങളിലും എഴുതും). ഡ്യൂപ്ലിക്കേറ്റ് ഒഴിവാക്കൽ പ്രശ്നം, അത്തരം വിവരങ്ങൾ സാധ്യമായേക്കാം. ഇതിലെ രണ്ടാമത്തെ പ്രശ്നം നഷ്ടപ്പെട്ട ഡാറ്റ വീണ്ടെടുക്കലാണ്. ഉദാഹരണത്തിന്: ഒരു മെഡിക്കൽ സ്ഥാപനത്തിന് ഇത് സാധാരണമാണ്, ഒരു രോഗം അല്ലെങ്കിൽ മറ്റൊന്ന് കാരണം, ഡോക്ടർ എല്ലാ ഡാറ്റയും നൽകുന്നില്ല. ഒരു മൂത്ര പരിശോധനയുണ്ട് - എല്ലാ പാരാമീറ്ററുകൾക്കും അല്ല, ഒരു പ്രത്യേക രോഗത്തിനാണ് റീഡിംഗുകൾ എടുക്കുന്നത്. ഞങ്ങൾ 5 ഡാറ്റ എടുത്തു ... പട്ടികയിൽ 20 സൂചകങ്ങൾ ഉണ്ട്. നഷ്‌ടമായ ഡാറ്റ വീണ്ടെടുക്കുന്നത് വളരെ പ്രധാനമാണ് ഒരു വലിയ പ്രശ്നം, കാരണം തീരുമാനിക്കാൻ വ്യക്തമല്ല. കാരണം എന്ത് എവിടെ വെക്കണം. ഒരു വശത്ത്, ഇത് ഡാറ്റയുടെ അഭാവത്തിൽ നിന്ന് സാമാന്യവൽക്കരണത്തെ തടയുന്നു, കാരണം ശൂന്യമായ ഡാറ്റ ചില നിർദ്ദിഷ്ട ഡാറ്റ ഉപയോഗിച്ച് സംഗ്രഹിക്കേണ്ടതുണ്ട്, ചില നിരകൾക്കുള്ള സൂചകങ്ങൾ ഉടൻ തന്നെ വഷളാകുന്നു. മറുവശത്ത്, യാഥാർത്ഥ്യവുമായി പൊരുത്തപ്പെടാത്ത എന്തെങ്കിലും എഴുതുന്നത് സാങ്കൽപ്പികമാണ്; ഒരു രോഗത്തിന് സൂചകം പ്രധാനമാണ്, എന്നാൽ മറ്റൊന്നിന് അത് അങ്ങനെയല്ല. (ഓ അവൻ മുന്നോട്ട് പോയി). ആവശ്യമില്ലാത്ത പ്രതീകങ്ങൾ നീക്കം ചെയ്യുക, ഒരൊറ്റ ഫോർമാറ്റിലേക്ക് കൊണ്ടുവരിക. അതിനാൽ, ഡാറ്റ ശേഖരിക്കുമ്പോൾ, അത് വികസിപ്പിക്കേണ്ടത് വളരെ പ്രധാനമാണ് സങ്കീർണ്ണമായ സംവിധാനം, അത് നയിക്കാൻ തുടങ്ങുന്നു പൊതുവായ രൂപം. ഇത് സങ്കീർണ്ണമല്ല, മറിച്ച് കഠിനവും കഠിനവുമാണ് നീണ്ട ജോലിഎല്ലാ സൂക്ഷ്മതകളും കണക്കിലെടുക്കുക. ഉദാഹരണത്തിന്: വിൽപ്പനക്കാർ പല സ്ഥലങ്ങൾഅവർക്ക് ഒരേ കാസറ്റിനെ വ്യത്യസ്തമായി വിളിക്കാം.

ഡാറ്റ മാർട്ടുകൾ

ഡാറ്റാ മാർട്ടുകൾ എന്ന ആശയം 1992 ലാണ് നിർദ്ദേശിച്ചത്. ഒരു ഡാറ്റ വെയർഹൗസ് ഒരു നല്ല കാര്യമാണെങ്കിലും, അതിന്റെ വികസനവും നടപ്പാക്കലും നിരവധി വർഷങ്ങളായി നടക്കുന്നു എന്ന വസ്തുതയാണ് ഡാറ്റാ മാർട്ടുകൾ എന്ന ആശയത്തിന്റെ ആവിർഭാവത്തിന് കാരണം. ഇത് എന്റർപ്രൈസസിന്റെ ചെലവുകളെ ബാധിക്കുന്നു, അത് ദീർഘകാലത്തേക്ക് തങ്ങൾക്കായി പണം നൽകില്ല. പലപ്പോഴും വസ്തുത കാരണം വിവര ഘടനകമ്പനികൾ സങ്കീർണ്ണവും ആശയക്കുഴപ്പമുണ്ടാക്കുന്നതുമാണ് - ഒരു ഡാറ്റ വെയർഹൗസ് സൃഷ്ടിക്കുന്നത് ഒറ്റയടിക്ക് ചെയ്യാൻ കഴിയില്ല. രണ്ടാമത്തെ പ്രശ്നം, ഇതിനകം സൂചിപ്പിച്ചതുപോലെ, നിക്ഷേപമാണ്. മൂന്നാമതായി, പലപ്പോഴും നിലവിലുണ്ട് ഒ.എസ് OLTP-കൾ പുനർരൂപകൽപ്പന ചെയ്യേണ്ടതുണ്ട്, അതിലൂടെ അവ ക്യൂബുകൾക്ക് ആവശ്യമായ ഡാറ്റ സംഭരിക്കുകയോ ഓർമ്മിക്കുകയോ ചെയ്യും. പ്രധാന കാര്യം എന്നതാണ് നിലവിലുള്ള സാങ്കേതികവിദ്യകൾതീരുമാനങ്ങൾ എടുക്കുന്നതിൽ മാറ്റം വരുത്താനും മാറ്റാനും പ്രയാസമാണ്, അതിനാൽ നിങ്ങൾ അവയുമായി പൊരുത്തപ്പെടണം, അതായത് നിലവിലുള്ള സാങ്കേതികവിദ്യകളുമായി നിങ്ങളുടെ ഡാറ്റ ക്രമീകരിക്കുക. അതിനാൽ, ഡാറ്റ മാർട്ടുകളുടെ ആവിർഭാവം ഡാറ്റ വെയർഹൗസുകളുടെ ആവശ്യകതകളെ മയപ്പെടുത്താനുള്ള ശ്രമമായിരുന്നു. സാരാംശത്തിൽ, ഒരു ഡാറ്റാ മാർട്ട് എന്നത് പ്രവർത്തനത്തിന്റെ ഒരു മേഖലയെ സേവിക്കുന്ന പ്രത്യേക സംഭരണ ​​സൗകര്യങ്ങളെ സൂചിപ്പിക്കുന്നു. ഉദാഹരണത്തിന്: മാർക്കറ്റിംഗ്, ഇൻവെന്ററി അക്കൗണ്ടിംഗ് മുതലായവ. ദിശകൾ മുഴുവൻ ഡാറ്റ വെയർഹൗസിൽ നിന്നും വേർതിരിച്ച് ഓട്ടോമേറ്റഡ് ആണ്. ചട്ടം പോലെ, എളുപ്പത്തിൽ ഓട്ടോമേറ്റഡ്, നന്നായി പഠിച്ചതും സങ്കീർണ്ണമല്ലാത്തതുമായ പ്രക്രിയകൾ ആദ്യം എടുക്കുന്നു, കൂടാതെ ഈ ഡാറ്റ മാർട്ടുകൾ നടപ്പിലാക്കുന്നത് ചെറിയ ഉദാഹരണങ്ങൾ ഉപയോഗിച്ച് വേഗത്തിൽ തിരിച്ചടവ് നേടാൻ നിങ്ങളെ അനുവദിക്കുന്നു. അതിനാൽ, മിക്കപ്പോഴും ഒരു ഡാറ്റ വെയർഹൗസിന്റെയും ഡാറ്റാ മാർട്ടുകളുടെയും വികസനം സമാന്തരമായി നടക്കുന്നു, അതായത്, ഭാവിയിൽ ഒരു ഡാറ്റ വെയർഹൗസ് ആവശ്യമാണ്, എന്നാൽ സ്റ്റോർഫ്രണ്ടുകൾ വികസിപ്പിച്ചെടുക്കുന്നു, അത് ഫലങ്ങൾ പുറപ്പെടുവിക്കാൻ തുടങ്ങുന്നു, മറുവശത്ത്, അവ ഉപഭോക്താക്കളെ കാണിക്കാൻ ഡെവലപ്പർമാരെ അനുവദിക്കുന്നു. ഒരു പ്രഭാവം ഉണ്ടെന്ന്. ഡാറ്റ വെയർഹൗസുകളെപ്പോലെ, സ്റ്റാൻഡേർഡ് സ്റ്റാൻഡേർഡ് ഘടനയും വസ്തുത പട്ടികയുമാണ്.

ഡാറ്റാ മാർട്ടുകൾക്ക് സംശയിക്കാത്ത നിരവധി ഗുണങ്ങളുണ്ട്:
- നന്നായി, ഒന്നാമതായി, ഒരു ഡാറ്റാ മാർട്ടിൽ പ്രവർത്തിക്കുന്ന അനലിസ്റ്റുകൾ എല്ലായ്പ്പോഴും എളുപ്പത്തിൽ മനസ്സിലാക്കാവുന്നതും ദൃശ്യമാകുന്നതുമായ ഡാറ്റയിൽ പ്രവർത്തിക്കുന്നു. ഉദാഹരണത്തിന്: സെയിൽസ് ഡിപ്പാർട്ട്മെന്റിൽ നിന്നുള്ള ഒരു അനലിസ്റ്റ്. സപ്ലൈസ്, പ്രൊഡക്ഷൻ മുതലായവയെക്കുറിച്ച് അദ്ദേഹം ശ്രദ്ധിക്കുന്നില്ല. പ്രധാന കാര്യം, അയാൾക്ക് ചില ഉൽപ്പന്നങ്ങൾ വിൽക്കുന്ന ഒരു കൂട്ടം കമ്പനികളുണ്ട്. എങ്ങനെ, എന്ത്, ഉൽപ്പാദനം തുടങ്ങിയ കാര്യങ്ങളിൽ അദ്ദേഹത്തിന് തലവേദനയില്ല.

“കൂടാതെ, ഡാറ്റാ മാർട്ടുകൾ ഡാറ്റാബേസുകളേക്കാൾ വളരെ ചെറുതായതിനാൽ, കമ്പ്യൂട്ടിംഗ് പവറിൽ ഇതിനകം തന്നെ വലിയ നിക്ഷേപം ആവശ്യമാണ്.

ഇന്ന് ധാരാളം ഉണ്ട് വ്യാവസായിക സംവിധാനങ്ങൾ, ഡാറ്റാ മാർട്ടുകൾ എന്ന ആശയത്തിന് അനുയോജ്യമാണ്. ഒന്നാമതായി, കമ്പ്യൂട്ടർ സയൻസ് കമ്പനി PowerMarcSuit എന്ന ഉൽപ്പന്നം പുറത്തിറക്കി. അടുത്തതായി, Stgentehnology DataMapSollution പുറത്തിറക്കി. Oracal DataMapSuit ഉൽപ്പന്നം പുറത്തിറക്കി. 94-ൽ, ഡാറ്റാ മാർട്ടുകൾ, ഡാറ്റ വെയർഹൗസുകൾ എന്നിവയുടെ ആശയങ്ങൾ സംയോജിപ്പിക്കാനും ഡാറ്റാ മാർട്ടുകൾക്കായി വെയർഹൗസുകൾ ഉപയോഗിക്കാനും നിർദ്ദേശിച്ചു. എന്തുകൊണ്ടെന്നാല് സോഫ്റ്റ്വെയർഡാറ്റാ വെയർഹൗസുകളുടെ വിശകലനത്തിന്, കംപൈൽ ചെയ്യാൻ വളരെ സമയമെടുക്കും, വെയർഹൗസ് തന്നെ സൃഷ്ടിക്കാൻ പ്രയാസമാണ്, ഒരു ഡാറ്റാബേസിലേക്ക് ഡാറ്റ ശേഖരിക്കുന്നത് അത്ര ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല, വിശകലനം ചെയ്യുന്ന സോഫ്റ്റ്‌വെയർ ഇതിലേക്ക് അറ്റാച്ചുചെയ്യുന്നത് ബുദ്ധിമുട്ടാണ്, അതിനാൽ ഏകീകരണത്തിന്റെ ഉദ്ദേശ്യം, ഡേറ്റാ മാർട്ടുകൾ തന്നെ സ്റ്റോറേജ് സൗകര്യങ്ങളിൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റയെ അടിസ്ഥാനമാക്കിയുള്ളതായിരിക്കും. നന്നായി, അത് വിളിക്കപ്പെടുന്ന നിർദ്ദേശിച്ചു ലേയേർഡ് ആർക്കിടെക്ചർമൂന്ന് ലെവലുകൾ.

വിതരണം ചെയ്ത DBMS അടിസ്ഥാനമാക്കിയുള്ള ഒരു പൊതു കോർപ്പറേറ്റ് ഡാറ്റാബേസിന്റെ ആദ്യ ലെവൽ.

ഡിപ്പാർട്ട്‌മെന്റ് ഡാറ്റാബേസിന്റെ രണ്ടാം ലെവൽ. സാധാരണ ഒരു ഡെസ്ക്ടോപ്പ് DBMS അടിസ്ഥാനമാക്കിയുള്ളതാണ്. സമാഹരിച്ച ഡാറ്റ ഇവിടെ സംഭരിച്ചിരിക്കുന്നു, അതായത് റിലേഷണൽ ഡാറ്റാബേസുകൾഡാറ്റ പ്രവർത്തന ഡാറ്റ സംഭരിക്കുന്നു, കൂടാതെ ഡെസ്‌ക്‌ടോപ്പ് DBMS ഉപയോഗിക്കാനാകുന്ന ലെവൽ 2-ലേക്ക് സമാഹരിച്ച ഡാറ്റ ഉപേക്ഷിക്കപ്പെടും.

മൂന്നാമത്തെ ലെവൽ ഉപയോക്തൃ-അനലിസ്റ്റുകളുടെ പ്രത്യേക സ്ഥലങ്ങളാണ്. ഡാറ്റാ മാർട്ടുകളെ അടിസ്ഥാനമാക്കി ചില നിഗമനങ്ങളിൽ എത്തിച്ചേരുന്ന ഉപയോക്താക്കൾ.