സാധാരണഗതിയിൽ, അവർ ഗുരുതരമായ അനലിറ്റിക്കൽ പ്രോസസ്സിംഗിനെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ, പ്രത്യേകിച്ചും അവർ ഡാറ്റാ മൈനിംഗ് എന്ന പദം ഉപയോഗിക്കുകയാണെങ്കിൽ, അവർ അർത്ഥമാക്കുന്നത് ഒരു വലിയ അളവിലുള്ള ഡാറ്റയാണെന്നാണ്. പൊതുവേ, ഇത് അങ്ങനെയല്ല, കാരണം നിങ്ങൾ പലപ്പോഴും ചെറിയ ഡാറ്റാ സെറ്റുകൾ പ്രോസസ്സ് ചെയ്യേണ്ടതുണ്ട്, കൂടാതെ അവയിൽ പാറ്റേണുകൾ കണ്ടെത്തുന്നത് ദശലക്ഷക്കണക്കിന് റെക്കോർഡുകളേക്കാൾ എളുപ്പമല്ല. വലിയ ഡാറ്റാബേസുകളിൽ പാറ്റേണുകൾക്കായി തിരയേണ്ടതിന്റെ ആവശ്യകത ഇതിനകം തന്നെ നിസ്സാരമല്ലാത്ത വിശകലന ചുമതലയെ സങ്കീർണ്ണമാക്കുന്നു എന്നതിൽ സംശയമില്ല.

ചില്ലറ വ്യാപാരം, ടെലികമ്മ്യൂണിക്കേഷൻസ്, ബാങ്കുകൾ, ഇന്റർനെറ്റ് എന്നിവയുമായി ബന്ധപ്പെട്ട ബിസിനസുകൾക്ക് ഈ സാഹചര്യം പ്രത്യേകിച്ചും സാധാരണമാണ്. അവരുടെ ഡാറ്റാബേസുകൾ ഇടപാടുകളുമായി ബന്ധപ്പെട്ട ധാരാളം വിവരങ്ങൾ ശേഖരിക്കുന്നു: ചെക്കുകൾ, പേയ്‌മെന്റുകൾ, കോളുകൾ, ലോഗുകൾ മുതലായവ.

എല്ലാ സാഹചര്യങ്ങൾക്കും ഏത് അളവിലുള്ള വിവരങ്ങൾക്കും അനുയോജ്യമായ സാർവത്രിക വിശകലന രീതികളോ അൽഗോരിതങ്ങളോ ഇല്ല. പ്രകടനം, ഫലങ്ങളുടെ ഗുണനിലവാരം, ഉപയോഗ എളുപ്പം, ഡാറ്റ ആവശ്യകതകൾ എന്നിവയിൽ ഡാറ്റ വിശകലന രീതികൾ കാര്യമായി വ്യത്യാസപ്പെട്ടിരിക്കുന്നു. ഒപ്റ്റിമൈസേഷൻ വിവിധ തലങ്ങളിൽ നടത്താം: ഉപകരണങ്ങൾ, ഡാറ്റാബേസുകൾ, അനലിറ്റിക്കൽ പ്ലാറ്റ്ഫോം, പ്രാരംഭ ഡാറ്റ തയ്യാറാക്കൽ, പ്രത്യേക അൽഗോരിതങ്ങൾ. ഒരു വലിയ അളവിലുള്ള ഡാറ്റയുടെ വിശകലനത്തിന് ഒരു പ്രത്യേക സമീപനം ആവശ്യമാണ്, കാരണം... "ബ്രൂട്ട് ഫോഴ്സ്" മാത്രം ഉപയോഗിച്ച് അവ പ്രോസസ്സ് ചെയ്യുന്നത് സാങ്കേതികമായി ബുദ്ധിമുട്ടാണ്, അതായത്. കൂടുതൽ ശക്തമായ ഉപകരണങ്ങൾ ഉപയോഗിക്കുന്നു.

തീർച്ചയായും, കൂടുതൽ ശക്തമായ ഹാർഡ്‌വെയർ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഡാറ്റ പ്രോസസ്സിംഗ് വേഗത വർദ്ധിപ്പിക്കാൻ കഴിയും, പ്രത്യേകിച്ചും ആധുനിക സെർവറുകളും വർക്ക്സ്റ്റേഷനുകളും മൾട്ടി-കോർ പ്രോസസറുകൾ, കാര്യമായ റാം, ശക്തമായ ഡിസ്ക് അറേകൾ എന്നിവ ഉപയോഗിക്കുന്നതിനാൽ. എന്നിരുന്നാലും, കൂടുതൽ സ്കേലബിളിറ്റി അനുവദിക്കുന്നതും അനന്തമായ ഹാർഡ്‌വെയർ അപ്‌ഗ്രേഡുകൾ ആവശ്യമില്ലാത്തതുമായ വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിന് മറ്റ് നിരവധി മാർഗങ്ങളുണ്ട്.

DBMS കഴിവുകൾ

ആധുനിക ഡാറ്റാബേസുകളിൽ വിവിധ സംവിധാനങ്ങൾ ഉൾപ്പെടുന്നു, ഇവയുടെ ഉപയോഗം അനലിറ്റിക്കൽ പ്രോസസ്സിംഗിന്റെ വേഗത ഗണ്യമായി വർദ്ധിപ്പിക്കും:

• പ്രാഥമിക ഡാറ്റ കണക്കുകൂട്ടൽ. വിശകലനത്തിനായി മിക്കപ്പോഴും ഉപയോഗിക്കുന്ന വിവരങ്ങൾ മുൻകൂട്ടി കണക്കാക്കാം (ഉദാഹരണത്തിന്, രാത്രിയിൽ) മൾട്ടിഡൈമൻഷണൽ ക്യൂബുകൾ, മെറ്റീരിയലൈസ്ഡ് കാഴ്‌ചകൾ, പ്രത്യേക പട്ടികകൾ എന്നിവയുടെ രൂപത്തിൽ ഡാറ്റാബേസ് സെർവറിൽ പ്രോസസ്സ് ചെയ്യുന്നതിന് തയ്യാറാക്കിയ ഒരു ഫോമിൽ സൂക്ഷിക്കാം.
• റാമിലേക്ക് പട്ടികകൾ കാഷെ ചെയ്യുന്നു. കുറച്ച് സ്ഥലം എടുക്കുന്ന ഡാറ്റ, എന്നാൽ വിശകലന പ്രക്രിയയിൽ പലപ്പോഴും ആക്സസ് ചെയ്യപ്പെടുന്നു, ഉദാഹരണത്തിന്, ഡയറക്ടറികൾ, ഡാറ്റാബേസ് ടൂളുകൾ ഉപയോഗിച്ച് RAM-ലേക്ക് കാഷെ ചെയ്യാൻ കഴിയും. ഇത് വേഗത കുറഞ്ഞ ഡിസ്ക് സബ്സിസ്റ്റത്തിലേക്കുള്ള കോളുകൾ പലതവണ കുറയ്ക്കുന്നു.
• ടേബിളുകൾ പാർട്ടീഷനുകളിലേക്കും ടേബിൾസ്പേസുകളിലേക്കും വിഭജിക്കുന്നു. നിങ്ങൾക്ക് പ്രത്യേക ഡിസ്കുകളിൽ ഡാറ്റ, സൂചികകൾ, സഹായ പട്ടികകൾ എന്നിവ സ്ഥാപിക്കാൻ കഴിയും. ഇത് DBMS-നെ സമാന്തരമായി ഡിസ്കുകളിലേക്ക് വിവരങ്ങൾ വായിക്കാനും എഴുതാനും അനുവദിക്കും. കൂടാതെ, ടേബിളുകളെ പാർട്ടീഷനുകളായി വിഭജിക്കാം, അതിനാൽ ഡാറ്റ ആക്സസ് ചെയ്യുമ്പോൾ കുറഞ്ഞ ഡിസ്ക് പ്രവർത്തനങ്ങൾ ഉണ്ടാകും. ഉദാഹരണത്തിന്, കഴിഞ്ഞ മാസത്തെ ഡാറ്റ ഞങ്ങൾ മിക്കപ്പോഴും വിശകലനം ചെയ്യുകയാണെങ്കിൽ, നമുക്ക് ചരിത്രപരമായ ഡാറ്റ ഉപയോഗിച്ച് ഒരു ടേബിൾ യുക്തിസഹമായി ഉപയോഗിക്കാം, പക്ഷേ അതിനെ ശാരീരികമായി നിരവധി പാർട്ടീഷനുകളായി വിഭജിക്കാം, അങ്ങനെ പ്രതിമാസ ഡാറ്റ ആക്‌സസ് ചെയ്യുമ്പോൾ, ഒരു ചെറിയ പാർട്ടീഷൻ വായിക്കുകയും ആക്‌സസുകളൊന്നും ഉണ്ടാകാതിരിക്കുകയും ചെയ്യും. എല്ലാ ചരിത്ര വിവരങ്ങളിലേക്കും.

ആധുനിക ഡിബിഎംഎസുകൾ നൽകുന്ന കഴിവുകളുടെ ഒരു ഭാഗം മാത്രമാണിത്. ഒരു ഡസൻ വഴികളിലൂടെ നിങ്ങൾക്ക് ഒരു ഡാറ്റാബേസിൽ നിന്ന് വിവരങ്ങൾ വീണ്ടെടുക്കുന്നതിനുള്ള വേഗത വർദ്ധിപ്പിക്കാൻ കഴിയും: യുക്തിസഹമായ സൂചിക, ബിൽഡിംഗ് ക്വറി പ്ലാനുകൾ, SQL അന്വേഷണങ്ങളുടെ സമാന്തര പ്രോസസ്സിംഗ്, ക്ലസ്റ്ററുകൾ ഉപയോഗിച്ച്, ഡാറ്റാബേസ് സെർവറിന്റെ വശത്തുള്ള സംഭരിച്ച നടപടിക്രമങ്ങളും ട്രിഗറുകളും ഉപയോഗിച്ച് വിശകലനം ചെയ്ത ഡാറ്റ തയ്യാറാക്കൽ തുടങ്ങിയവ. . മാത്രമല്ല, ഈ സംവിധാനങ്ങളിൽ പലതും "ഹെവി" ഡിബിഎംഎസുകൾ മാത്രമല്ല, സ്വതന്ത്ര ഡാറ്റാബേസുകളും ഉപയോഗിച്ച് ഉപയോഗിക്കാം.

മോഡലുകൾ സംയോജിപ്പിക്കുന്നു

വേഗത വർദ്ധിപ്പിക്കുന്നതിനുള്ള സാധ്യതകൾ ഡാറ്റാബേസിന്റെ പ്രകടനം ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിൽ പരിമിതപ്പെടുത്തിയിട്ടില്ല; വ്യത്യസ്ത മോഡലുകൾ സംയോജിപ്പിച്ച് ഒരുപാട് കാര്യങ്ങൾ ചെയ്യാൻ കഴിയും. പ്രോസസ്സിംഗ് വേഗത ഉപയോഗിക്കുന്ന ഗണിത ഉപകരണത്തിന്റെ സങ്കീർണ്ണതയുമായി കാര്യമായി ബന്ധപ്പെട്ടിരിക്കുന്നുവെന്ന് അറിയാം. ലളിതമായ വിശകലന സംവിധാനങ്ങൾ ഉപയോഗിക്കുന്നു, ഡാറ്റ വേഗത്തിൽ വിശകലനം ചെയ്യുന്നു.

മോഡലുകളുടെ ഒരു അരിപ്പയിലൂടെ ഡാറ്റ "റൺ" ചെയ്യുന്ന വിധത്തിൽ ഒരു ഡാറ്റ പ്രോസസ്സിംഗ് രംഗം നിർമ്മിക്കുന്നത് സാധ്യമാണ്. ഒരു ലളിതമായ ആശയം ഇവിടെ ബാധകമാണ്: നിങ്ങൾ വിശകലനം ചെയ്യേണ്ട ആവശ്യമില്ലാത്തവ പ്രോസസ്സ് ചെയ്യുന്നതിനായി സമയം പാഴാക്കരുത്.

ഏറ്റവും ലളിതമായ അൽഗോരിതങ്ങളാണ് ആദ്യം ഉപയോഗിക്കുന്നത്. അത്തരം അൽഗോരിതങ്ങൾ ഉപയോഗിച്ച് പ്രോസസ്സ് ചെയ്യാവുന്നതും കൂടുതൽ സങ്കീർണ്ണമായ രീതികൾ ഉപയോഗിച്ച് പ്രോസസ്സ് ചെയ്യുന്നതിൽ അർത്ഥമില്ലാത്തതുമായ ഡാറ്റയുടെ ഒരു ഭാഗം വിശകലനം ചെയ്യുകയും തുടർന്നുള്ള പ്രോസസ്സിംഗിൽ നിന്ന് ഒഴിവാക്കുകയും ചെയ്യുന്നു. ശേഷിക്കുന്ന ഡാറ്റ അടുത്ത പ്രോസസ്സിംഗ് ഘട്ടത്തിലേക്ക് കൈമാറ്റം ചെയ്യപ്പെടുന്നു, അവിടെ കൂടുതൽ സങ്കീർണ്ണമായ അൽഗോരിതങ്ങൾ ഉപയോഗിക്കുന്നു, അങ്ങനെ ചെയിൻ താഴേക്ക്. പ്രോസസ്സിംഗ് സ്ക്രിപ്റ്റിന്റെ അവസാന നോഡിൽ, ഏറ്റവും സങ്കീർണ്ണമായ അൽഗോരിതങ്ങൾ ഉപയോഗിക്കുന്നു, എന്നാൽ വിശകലനം ചെയ്ത ഡാറ്റയുടെ അളവ് പ്രാരംഭ സാമ്പിളിനേക്കാൾ പലമടങ്ങ് ചെറുതാണ്. തൽഫലമായി, എല്ലാ ഡാറ്റയും പ്രോസസ്സ് ചെയ്യുന്നതിന് ആവശ്യമായ മൊത്തം സമയം മാഗ്നിറ്റ്യൂഡ് ഓർഡറുകളാൽ കുറയുന്നു.

ഈ സമീപനം ഉപയോഗിക്കുന്നതിനുള്ള ഒരു പ്രായോഗിക ഉദാഹരണം നൽകാം. ഡിമാൻഡ് പ്രവചനത്തിന്റെ പ്രശ്നം പരിഹരിക്കുമ്പോൾ, ഒരു XYZ വിശകലനം നടത്താൻ തുടക്കത്തിൽ ശുപാർശ ചെയ്യുന്നു, ഇത് വിവിധ സാധനങ്ങളുടെ ഡിമാൻഡ് എത്രത്തോളം സ്ഥിരതയുള്ളതാണെന്ന് നിർണ്ണയിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഗ്രൂപ്പ് X ന്റെ ഉൽപ്പന്നങ്ങൾ വളരെ സ്ഥിരതയോടെ വിൽക്കപ്പെടുന്നു, അതിനാൽ അവയിൽ പ്രവചന അൽഗോരിതം പ്രയോഗിക്കുന്നത് ഉയർന്ന നിലവാരമുള്ള പ്രവചനം നേടാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. ഗ്രൂപ്പ് Y യുടെ ഉൽപ്പന്നങ്ങൾ സ്ഥിരമായി വിൽക്കുന്നത് കുറവാണ്, ഒരുപക്ഷേ ഓരോ ലേഖനത്തിനും വേണ്ടിയല്ല, ഗ്രൂപ്പിനായി മോഡലുകൾ നിർമ്മിക്കുന്നത് മൂല്യവത്താണ്, ഇത് സമയ ശ്രേണി സുഗമമാക്കാനും പ്രവചന അൽഗോരിതത്തിന്റെ പ്രവർത്തനം ഉറപ്പാക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു. ഗ്രൂപ്പ് Z ന്റെ ഉൽപ്പന്നങ്ങൾ താറുമാറായി വിൽക്കുന്നു, അതിനാൽ അവയ്‌ക്കായി പ്രവചന മോഡലുകൾ നിർമ്മിക്കേണ്ട ആവശ്യമില്ല; അവയുടെ ആവശ്യകത ലളിതമായ സൂത്രവാക്യങ്ങളെ അടിസ്ഥാനമാക്കി കണക്കാക്കണം, ഉദാഹരണത്തിന്, ശരാശരി പ്രതിമാസ വിൽപ്പന.

സ്ഥിതിവിവരക്കണക്കുകൾ പ്രകാരം, ഏകദേശം 70% ശേഖരം Z ഗ്രൂപ്പിൽ നിന്നുള്ള ഉൽപ്പന്നങ്ങളാണ്. മറ്റൊന്ന് 25% ഗ്രൂപ്പ് Y-ൽ നിന്നുള്ള ഉൽപ്പന്നങ്ങളാണ്, കൂടാതെ 5% മാത്രമേ ഗ്രൂപ്പ് X-ൽ നിന്നുള്ള ഉൽപ്പന്നങ്ങളാണ്. അതിനാൽ, സങ്കീർണ്ണമായ മോഡലുകളുടെ നിർമ്മാണവും പ്രയോഗവും പ്രസക്തമാണ്. പരമാവധി 30% ഉൽപ്പന്നങ്ങൾ. അതിനാൽ, മുകളിൽ വിവരിച്ച സമീപനം ഉപയോഗിക്കുന്നത് വിശകലനത്തിനും പ്രവചനത്തിനുമുള്ള സമയം 5-10 മടങ്ങ് കുറയ്ക്കും.

സമാന്തര പ്രോസസ്സിംഗ്

വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ള മറ്റൊരു ഫലപ്രദമായ തന്ത്രം, ഡാറ്റയെ സെഗ്‌മെന്റുകളായി വിഭജിക്കുകയും ഓരോ സെഗ്‌മെന്റിനും പ്രത്യേകം മോഡലുകൾ നിർമ്മിക്കുകയും തുടർന്ന് ഫലങ്ങൾ സംയോജിപ്പിക്കുകയും ചെയ്യുക എന്നതാണ്. മിക്കപ്പോഴും, വലിയ അളവിലുള്ള ഡാറ്റയിൽ, പരസ്പരം വ്യത്യസ്തമായ നിരവധി ഉപസെറ്റുകൾ തിരിച്ചറിയാൻ കഴിയും. ഉദാഹരണത്തിന്, ഉപഭോക്താക്കളുടെ ഗ്രൂപ്പുകൾ, സമാനമായ രീതിയിൽ പെരുമാറുന്ന ഉൽപ്പന്നങ്ങൾ, ഒരു മോഡൽ നിർമ്മിക്കുന്നത് ഉചിതം എന്നിവയായിരിക്കാം.

ഈ സാഹചര്യത്തിൽ, എല്ലാവർക്കും ഒരു സങ്കീർണ്ണ മോഡൽ നിർമ്മിക്കുന്നതിനുപകരം, ഓരോ സെഗ്മെന്റിനും നിങ്ങൾക്ക് നിരവധി ലളിതമായവ നിർമ്മിക്കാൻ കഴിയും. ഒരൊറ്റ പാസിൽ ചെറിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിലൂടെ വിശകലനത്തിന്റെ വേഗത വർദ്ധിപ്പിക്കാനും മെമ്മറി ആവശ്യകതകൾ കുറയ്ക്കാനും ഈ സമീപനം നിങ്ങളെ അനുവദിക്കുന്നു. കൂടാതെ, ഈ സാഹചര്യത്തിൽ, അനലിറ്റിക്കൽ പ്രോസസ്സിംഗ് സമാന്തരമാക്കാം, ഇത് ചെലവഴിച്ച സമയത്തെ നല്ല രീതിയിൽ സ്വാധീനിക്കുന്നു. കൂടാതെ, വ്യത്യസ്ത വിശകലന വിദഗ്ധർക്ക് ഓരോ സെഗ്മെന്റിനും മോഡലുകൾ നിർമ്മിക്കാൻ കഴിയും.

വേഗത വർദ്ധിപ്പിക്കുന്നതിന് പുറമേ, ഈ സമീപനത്തിന് മറ്റൊരു പ്രധാന നേട്ടമുണ്ട് - താരതമ്യേന ലളിതമായ നിരവധി മോഡലുകൾ വ്യക്തിഗതമായി സൃഷ്ടിക്കാനും പരിപാലിക്കാനും എളുപ്പമാണ്. നിങ്ങൾക്ക് ഘട്ടങ്ങളിൽ മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ കഴിയും, അങ്ങനെ സാധ്യമായ ഏറ്റവും കുറഞ്ഞ സമയത്തിനുള്ളിൽ ആദ്യ ഫലങ്ങൾ ലഭിക്കും.

പ്രതിനിധി സാമ്പിളുകൾ

വലിയ അളവിലുള്ള ഡാറ്റ ലഭ്യമാണെങ്കിൽ, ഒരു മോഡൽ നിർമ്മിക്കാൻ എല്ലാ വിവരങ്ങളും ഉപയോഗിക്കാനാവില്ല, എന്നാൽ ഒരു പ്രത്യേക ഉപവിഭാഗം - ഒരു പ്രതിനിധി സാമ്പിൾ. ശരിയായി തയ്യാറാക്കിയ പ്രതിനിധി സാമ്പിളിൽ ഉയർന്ന നിലവാരമുള്ള മോഡൽ നിർമ്മിക്കുന്നതിന് ആവശ്യമായ വിവരങ്ങൾ അടങ്ങിയിരിക്കുന്നു.

അനലിറ്റിക്കൽ പ്രോസസ്സിംഗ് പ്രക്രിയയെ 2 ഭാഗങ്ങളായി തിരിച്ചിരിക്കുന്നു: ഒരു മോഡൽ നിർമ്മിക്കുകയും പുതിയ ഡാറ്റയിലേക്ക് നിർമ്മിച്ച മോഡൽ പ്രയോഗിക്കുകയും ചെയ്യുന്നു. സങ്കീർണ്ണമായ ഒരു മാതൃക നിർമ്മിക്കുന്നത് ഒരു വിഭവ-ഇന്റൻസീവ് പ്രക്രിയയാണ്. ഉപയോഗിച്ച അൽഗോരിതം അനുസരിച്ച്, ഡാറ്റ കാഷെ ചെയ്യുന്നു, ആയിരക്കണക്കിന് തവണ സ്കാൻ ചെയ്യുന്നു, നിരവധി സഹായ പാരാമീറ്ററുകൾ കണക്കാക്കുന്നു, മുതലായവ. പുതിയ ഡാറ്റയിലേക്ക് ഇതിനകം നിർമ്മിച്ച മോഡൽ പ്രയോഗിക്കുന്നതിന് പതിനായിരക്കണക്കിന് മടങ്ങ് കുറച്ച് വിഭവങ്ങൾ ആവശ്യമാണ്. മിക്കപ്പോഴും ഇത് കുറച്ച് ലളിതമായ പ്രവർത്തനങ്ങൾ കണക്കാക്കുന്നതിലേക്ക് വരുന്നു.

അതിനാൽ, മോഡൽ താരതമ്യേന ചെറിയ സെറ്റുകളിൽ നിർമ്മിക്കുകയും പിന്നീട് മുഴുവൻ ഡാറ്റാ സെറ്റിലും പ്രയോഗിക്കുകയും ചെയ്താൽ, നിലവിലുള്ള മുഴുവൻ ഡാറ്റാ സെറ്റും പൂർണ്ണമായി പ്രോസസ്സ് ചെയ്യാനുള്ള ശ്രമവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഫലം നേടാനുള്ള സമയം മാഗ്നിറ്റ്യൂഡ് ഓർഡറുകളാൽ കുറയും.

പ്രതിനിധി സാമ്പിളുകൾ ലഭിക്കുന്നതിന്, പ്രത്യേക രീതികൾ ഉണ്ട്, ഉദാഹരണത്തിന്, സാമ്പിൾ. അവയുടെ ഉപയോഗം വിശകലനത്തിന്റെ ഗുണനിലവാരം ത്യജിക്കാതെ തന്നെ അനലിറ്റിക്കൽ പ്രോസസ്സിംഗിന്റെ വേഗത വർദ്ധിപ്പിക്കുന്നത് സാധ്യമാക്കുന്നു.

സംഗ്രഹം

വിവരിച്ച സമീപനങ്ങൾ വലിയ അളവിലുള്ള ഡാറ്റ വിശകലനം ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്ന രീതികളുടെ ഒരു ചെറിയ ഭാഗം മാത്രമാണ്. മറ്റ് രീതികൾ ഉണ്ട്, ഉദാഹരണത്തിന്, പ്രത്യേക സ്കേലബിൾ അൽഗോരിതങ്ങളുടെ ഉപയോഗം, ഹൈറാർക്കിക്കൽ മോഡലുകൾ, വിൻഡോ ലേണിംഗ് മുതലായവ.

വലിയ ഡാറ്റാബേസുകൾ വിശകലനം ചെയ്യുന്നത് നിസ്സാരമല്ലാത്ത ഒരു ജോലിയാണ്, മിക്ക കേസുകളിലും അത് പരിഹരിക്കാൻ കഴിയില്ല, എന്നാൽ ആധുനിക ഡാറ്റാബേസുകളും വിശകലന പ്ലാറ്റ്ഫോമുകളും ഈ പ്രശ്നം പരിഹരിക്കുന്നതിന് നിരവധി മാർഗങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു. വിവേകത്തോടെ ഉപയോഗിക്കുമ്പോൾ, സ്വീകാര്യമായ വേഗതയിൽ ടെറാബൈറ്റ് ഡാറ്റ പ്രോസസ്സ് ചെയ്യാൻ സിസ്റ്റങ്ങൾക്ക് കഴിയും.

"ബിഗ് ഡാറ്റ" എന്ന പദം ഇന്ന് തിരിച്ചറിയാൻ കഴിഞ്ഞേക്കാം, എന്നാൽ യഥാർത്ഥത്തിൽ എന്താണ് അർത്ഥമാക്കുന്നത് എന്നതിനെ കുറിച്ച് ഇപ്പോഴും ആശയക്കുഴപ്പം ഉണ്ട്. സത്യത്തിൽ, ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ്, ഡാറ്റാ സയൻസ്, ഇൻറർനെറ്റ് ഓഫ് തിംഗ്സ് എന്നിവയുൾപ്പെടെ, ഡിജിറ്റൽ പരിവർത്തനത്തിന്റെ നിരവധി തരംഗങ്ങൾക്ക് പിന്നിലെ പ്രേരകശക്തിയായി ഈ ആശയം നിരന്തരം വികസിക്കുകയും പുനർനിർവചിക്കപ്പെടുകയും ചെയ്യുന്നു. എന്നാൽ എന്താണ് ബിഗ്-ഡാറ്റ സാങ്കേതികവിദ്യ, അത് നമ്മുടെ ലോകത്തെ എങ്ങനെ മാറ്റുന്നു? ബിഗ് ഡാറ്റ സാങ്കേതികവിദ്യയുടെ സാരാംശവും ലളിതമായ വാക്കുകളിൽ അതിന്റെ അർത്ഥവും മനസ്സിലാക്കാൻ ശ്രമിക്കാം.

ഡിജിറ്റൽ യുഗത്തിന്റെ ആരംഭം മുതൽ ഞങ്ങൾ സൃഷ്ടിച്ച ഡാറ്റയുടെ അളവിൽ ഒരു സ്ഫോടനത്തോടെയാണ് ഇതെല്ലാം ആരംഭിച്ചത്. കമ്പ്യൂട്ടറുകൾ, ഇൻറർനെറ്റ്, നമുക്ക് ചുറ്റുമുള്ള ലോകത്തിൽ നിന്ന് ഡാറ്റ "കവർന്നെടുക്കാൻ" കഴിയുന്ന സാങ്കേതികവിദ്യകൾ എന്നിവയുടെ വികസനം മൂലമാണ് ഇത് പ്രധാനമായും സംഭവിക്കുന്നത്. ഡാറ്റ ഒരു പുതിയ കണ്ടുപിടുത്തമല്ല. കമ്പ്യൂട്ടറുകളുടെയും ഡാറ്റാബേസുകളുടെയും യുഗത്തിന് മുമ്പുതന്നെ, ഞങ്ങൾ പേപ്പർ ഇടപാട് റെക്കോർഡുകൾ, ഉപഭോക്തൃ റെക്കോർഡുകൾ, ഡാറ്റ ഉൾക്കൊള്ളുന്ന ആർക്കൈവൽ ഫയലുകൾ എന്നിവ ഉപയോഗിച്ചു. കമ്പ്യൂട്ടറുകൾ, പ്രത്യേകിച്ച് സ്‌പ്രെഡ്‌ഷീറ്റുകളും ഡാറ്റാബേസുകളും, വലിയ തോതിൽ ഡാറ്റ സംഭരിക്കാനും ഓർഗനൈസുചെയ്യാനും ഞങ്ങൾക്ക് എളുപ്പമാക്കി. ഒറ്റ ക്ലിക്കിൽ പെട്ടെന്ന് വിവരങ്ങൾ ലഭ്യമായി.

എന്നിരുന്നാലും, യഥാർത്ഥ പട്ടികകളിൽ നിന്നും ഡാറ്റാബേസുകളിൽ നിന്നും ഞങ്ങൾ ഒരുപാട് മുന്നോട്ട് പോയി. ഇന്ന്, ഓരോ രണ്ട് ദിവസത്തിലും ഞങ്ങൾ തുടക്കം മുതൽ 2000 വർഷം വരെ ലഭിച്ച അത്രയും ഡാറ്റ സൃഷ്ടിക്കുന്നു. അത് ശരിയാണ്, ഓരോ രണ്ട് ദിവസം കൂടുമ്പോഴും. ഞങ്ങൾ സൃഷ്ടിക്കുന്ന ഡാറ്റയുടെ അളവ് ക്രമാതീതമായി വളരുന്നു; 2020 ഓടെ, ലഭ്യമായ ഡിജിറ്റൽ വിവരങ്ങളുടെ അളവ് ഏകദേശം 5 സെറ്റാബൈറ്റിൽ നിന്ന് 20 സെറ്റാബൈറ്റായി വർദ്ധിക്കും.

ഇക്കാലത്ത്, നമ്മൾ ചെയ്യുന്ന മിക്കവാറും എല്ലാ പ്രവർത്തനങ്ങളും അതിന്റെ അടയാളം അവശേഷിപ്പിക്കുന്നു. ഞങ്ങൾ ഓൺലൈനിൽ പോകുമ്പോഴെല്ലാം, സെർച്ച് എഞ്ചിൻ ഘടിപ്പിച്ച സ്മാർട്ട്‌ഫോണുകൾ കൊണ്ടുപോകുമ്പോൾ, സോഷ്യൽ നെറ്റ്‌വർക്കുകളിലൂടെയോ ചാറ്റുകളിലൂടെയോ സുഹൃത്തുക്കളുമായി സംസാരിക്കുമ്പോൾ, ഞങ്ങൾ ഡാറ്റ സൃഷ്ടിക്കുന്നു. കൂടാതെ, മെഷീൻ സൃഷ്ടിച്ച ഡാറ്റയുടെ അളവും അതിവേഗം വളരുകയാണ്. ഞങ്ങളുടെ സ്‌മാർട്ട് ഹോം ഉപകരണങ്ങൾ പരസ്പരം അല്ലെങ്കിൽ അവരുടെ ഹോം സെർവറുകളുമായി ആശയവിനിമയം നടത്തുമ്പോൾ ഡാറ്റ സൃഷ്‌ടിക്കുകയും പങ്കിടുകയും ചെയ്യുന്നു. പ്ലാന്റുകളിലെയും ഫാക്ടറികളിലെയും വ്യാവസായിക ഉപകരണങ്ങളിൽ ഡാറ്റ ശേഖരിക്കുകയും കൈമാറുകയും ചെയ്യുന്ന സെൻസറുകൾ കൂടുതലായി സജ്ജീകരിച്ചിരിക്കുന്നു.

"ബിഗ്-ഡാറ്റ" എന്ന പദം, ഈ എല്ലാ ഡാറ്റയുടെയും ശേഖരണത്തെയും ബിസിനസ്സ് ഉൾപ്പെടെയുള്ള വിവിധ മേഖലകളിൽ ഇത് നമ്മുടെ നേട്ടത്തിനായി ഉപയോഗിക്കാനുള്ള ഞങ്ങളുടെ കഴിവിനെയും സൂചിപ്പിക്കുന്നു.

ബിഗ്-ഡാറ്റ സാങ്കേതികവിദ്യ എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്?

ബിഗ് ഡാറ്റ തത്ത്വത്തിൽ പ്രവർത്തിക്കുന്നു: ഒരു പ്രത്യേക വിഷയത്തെക്കുറിച്ചോ പ്രതിഭാസത്തെക്കുറിച്ചോ നിങ്ങൾക്ക് കൂടുതൽ അറിയാം, കൂടുതൽ വിശ്വസനീയമായി നിങ്ങൾക്ക് പുതിയ ധാരണ നേടാനും ഭാവിയിൽ എന്ത് സംഭവിക്കുമെന്ന് പ്രവചിക്കാനും കഴിയും. കൂടുതൽ ഡാറ്റാ പോയിന്റുകൾ താരതമ്യം ചെയ്യുമ്പോൾ, മുമ്പ് മറഞ്ഞിരുന്ന ബന്ധങ്ങൾ ഉയർന്നുവരുന്നു, ഈ ബന്ധങ്ങൾ പഠിക്കാനും മികച്ച തീരുമാനങ്ങൾ എടുക്കാനും ഞങ്ങളെ അനുവദിക്കുന്നു. മിക്കപ്പോഴും, ഞങ്ങൾക്ക് ശേഖരിക്കാനാകുന്ന ഡാറ്റയെ അടിസ്ഥാനമാക്കി മോഡലുകൾ നിർമ്മിക്കുന്നതും തുടർന്ന് ഓരോ തവണയും ഡാറ്റ പോയിന്റുകളുടെ മൂല്യങ്ങൾ മാറ്റുകയും അവ ഞങ്ങളുടെ ഫലങ്ങളെ എങ്ങനെ ബാധിക്കുന്നുവെന്ന് ട്രാക്കുചെയ്യുകയും ചെയ്യുന്ന സിമുലേഷനുകൾ പ്രവർത്തിപ്പിക്കുന്ന പ്രക്രിയയിലൂടെയാണ് ഇത് ചെയ്യുന്നത്. ഈ പ്രക്രിയ ഓട്ടോമേറ്റഡ് ആണ്-ആധുനിക അനലിറ്റിക്സ് സാങ്കേതികവിദ്യ ദശലക്ഷക്കണക്കിന് ഈ സിമുലേഷനുകൾ പ്രവർത്തിപ്പിക്കും, അവർ പ്രവർത്തിക്കുന്ന പ്രശ്നം പരിഹരിക്കാൻ സഹായിക്കുന്ന ഒരു മോഡൽ-അല്ലെങ്കിൽ ആശയം-കണ്ടെത്തുന്നതുവരെ സാധ്യമായ എല്ലാ വേരിയബിളുകളും ട്വീക്ക് ചെയ്യും.

ബിൽ ഗേറ്റ്സ് ഒരു സിഡിയുടെ പേപ്പർ ഉള്ളടക്കത്തിന് മുകളിൽ തൂക്കിയിരിക്കുന്നു

അടുത്ത കാലം വരെ, ഡാറ്റ സ്‌പ്രെഡ്‌ഷീറ്റുകളിലോ ഡാറ്റാബേസുകളിലോ മാത്രമായി പരിമിതപ്പെടുത്തിയിരുന്നു - കൂടാതെ എല്ലാം വളരെ ചിട്ടയോടെയും വൃത്തിയുള്ളതുമായിരുന്നു. വരികളും നിരകളും ആയി എളുപ്പത്തിൽ ക്രമീകരിക്കാൻ കഴിയാത്ത എന്തും പ്രവർത്തിക്കാൻ കഴിയാത്തവിധം സങ്കീർണ്ണമായി കണക്കാക്കുകയും അവഗണിക്കപ്പെടുകയും ചെയ്തു. എന്നിരുന്നാലും, സ്‌റ്റോറേജിലും അനലിറ്റിക്‌സിലുമുള്ള പുരോഗതി അർത്ഥമാക്കുന്നത് നമുക്ക് വിവിധ തരത്തിലുള്ള ഡാറ്റകൾ വലിയ അളവിൽ ക്യാപ്‌ചർ ചെയ്യാനും സംഭരിക്കാനും പ്രോസസ്സ് ചെയ്യാനും കഴിയും എന്നാണ്. തൽഫലമായി, ഇന്ന് “ഡാറ്റ” എന്നത് ഡാറ്റാബേസുകൾ മുതൽ ഫോട്ടോഗ്രാഫുകൾ, വീഡിയോകൾ, ശബ്ദ റെക്കോർഡിംഗുകൾ, എഴുതിയ ടെക്‌സ്‌റ്റുകൾ, സെൻസർ ഡാറ്റ എന്നിങ്ങനെ എന്തും അർത്ഥമാക്കാം.

ഈ കുഴഞ്ഞുമറിഞ്ഞ എല്ലാ ഡാറ്റയും മനസ്സിലാക്കാൻ, ബിഗ് ഡാറ്റ അധിഷ്‌ഠിത പ്രോജക്റ്റുകൾ പലപ്പോഴും ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസും കമ്പ്യൂട്ടർ ലേണിംഗും ഉപയോഗിച്ച് അത്യാധുനിക അനലിറ്റിക്‌സ് ഉപയോഗിക്കുന്നു. നിർദ്ദിഷ്ട ഡാറ്റ എന്താണെന്ന് നിർണ്ണയിക്കാൻ കമ്പ്യൂട്ടിംഗ് മെഷീനുകളെ പഠിപ്പിക്കുന്നതിലൂടെ - പാറ്റേൺ തിരിച്ചറിയൽ അല്ലെങ്കിൽ സ്വാഭാവിക ഭാഷാ പ്രോസസ്സിംഗ് വഴി - നമുക്ക് സ്വയം കഴിയുന്നതിനേക്കാൾ വളരെ വേഗത്തിലും കൂടുതൽ വിശ്വസനീയമായും പാറ്റേണുകൾ തിരിച്ചറിയാൻ അവരെ പഠിപ്പിക്കാൻ കഴിയും.

എങ്ങനെയാണ് ബിഗ് ഡാറ്റ ഉപയോഗിക്കുന്നത്?

സെൻസർ ഡാറ്റ, ടെക്‌സ്‌റ്റ്, വോയ്‌സ്, ഫോട്ടോ, വീഡിയോ ഡാറ്റ എന്നിവയുടെ വർദ്ധിച്ചുവരുന്ന ഈ ഒഴുക്ക് അർത്ഥമാക്കുന്നത് കുറച്ച് വർഷങ്ങൾക്ക് മുമ്പ് നമുക്ക് സങ്കൽപ്പിക്കാൻ പോലും കഴിയാത്ത രീതിയിൽ ഇപ്പോൾ ഡാറ്റ ഉപയോഗിക്കാൻ കഴിയും എന്നാണ്. ഇത് മിക്കവാറും എല്ലാ വ്യവസായങ്ങളിലും ബിസിനസ്സ് ലോകത്ത് വിപ്ലവകരമായ മാറ്റങ്ങൾ കൊണ്ടുവരുന്നു. ഇന്ന്, ഏത് പ്രത്യേക വിഭാഗത്തിലുള്ള ഉപഭോക്താക്കൾ വാങ്ങാൻ ആഗ്രഹിക്കുന്നുവെന്നും എപ്പോൾ വാങ്ങണമെന്നും കമ്പനികൾക്ക് അവിശ്വസനീയമായ കൃത്യതയോടെ പ്രവചിക്കാൻ കഴിയും. ബിഗ് ഡാറ്റ കമ്പനികളെ അവരുടെ പ്രവർത്തനങ്ങൾ കൂടുതൽ കാര്യക്ഷമമായി നടത്താൻ സഹായിക്കുന്നു.

ബിസിനസ്സിന് പുറത്ത് പോലും, ബിഗ് ഡാറ്റയുമായി ബന്ധപ്പെട്ട പ്രോജക്റ്റുകൾ ഇതിനകം തന്നെ നമ്മുടെ ലോകത്തെ വിവിധ രീതികളിൽ മാറ്റാൻ സഹായിക്കുന്നു:

• ആരോഗ്യ സംരക്ഷണം മെച്ചപ്പെടുത്തുന്നു - രോഗത്തെ പ്രാരംഭ ഘട്ടത്തിൽ തന്നെ കണ്ടെത്താനും പുതിയ മരുന്നുകൾ വികസിപ്പിക്കാനും സഹായിക്കുന്ന വലിയ അളവിലുള്ള മെഡിക്കൽ വിവരങ്ങളും ചിത്രങ്ങളും മോഡലുകളായി വിശകലനം ചെയ്യാനുള്ള കഴിവ് ഡാറ്റ-ഡ്രൈവ് മെഡിസിനുണ്ട്.
• പ്രകൃതിദത്തവും മനുഷ്യനിർമിതവുമായ ദുരന്തങ്ങൾ പ്രവചിക്കുകയും പ്രതികരിക്കുകയും ചെയ്യുന്നു. ഭൂകമ്പങ്ങൾ എവിടെയാണ് സംഭവിക്കാൻ സാധ്യതയുള്ളതെന്ന് പ്രവചിക്കാൻ സെൻസർ ഡാറ്റ വിശകലനം ചെയ്യാം, കൂടാതെ മനുഷ്യരുടെ പെരുമാറ്റരീതികൾ അതിജീവിച്ചവർക്ക് സഹായം നൽകാൻ സംഘടനകളെ സഹായിക്കുന്ന സൂചനകൾ നൽകുന്നു. ലോകമെമ്പാടുമുള്ള യുദ്ധമേഖലകളിൽ നിന്നുള്ള അഭയാർഥികളുടെ ഒഴുക്ക് ട്രാക്ക് ചെയ്യാനും സംരക്ഷിക്കാനും ബിഗ് ഡാറ്റ സാങ്കേതികവിദ്യ ഉപയോഗിക്കുന്നു.
• കുറ്റകൃത്യം തടയുന്നു. വിഭവങ്ങൾ കൂടുതൽ ഫലപ്രദമായി ഉപയോഗിക്കുന്നതിനും ആവശ്യമുള്ളിടത്ത് പ്രതിരോധ നടപടികൾ കൈക്കൊള്ളുന്നതിനും സ്വന്തം രഹസ്യാന്വേഷണ വിവരങ്ങളും പൊതുവായി ലഭ്യമായ വിവരങ്ങളും ഉൾക്കൊള്ളുന്ന ഡാറ്റാധിഷ്ഠിത തന്ത്രങ്ങളാണ് പോലീസ് സേന കൂടുതലായി ഉപയോഗിക്കുന്നത്.

ബിഗ്-ഡാറ്റ സാങ്കേതികവിദ്യയെക്കുറിച്ചുള്ള മികച്ച പുസ്തകങ്ങൾ

• എല്ലാവരും കള്ളം പറയുന്നു. സെർച്ച് എഞ്ചിനുകൾക്കും ബിഗ് ഡാറ്റയ്ക്കും ഇന്റർനെറ്റിനും നിങ്ങളെ കുറിച്ച് എല്ലാം അറിയാം.
• ബിഗ് ഡാറ്റ. എല്ലാ സാങ്കേതികവിദ്യയും ഒരു പുസ്തകത്തിൽ.
• സന്തോഷ വ്യവസായം. എങ്ങനെയാണ് ബിഗ് ഡാറ്റയും പുതിയ സാങ്കേതികവിദ്യകളും ചരക്കുകളിലും സേവനങ്ങളിലും വികാരം കൂട്ടാൻ സഹായിക്കുന്നത്.
• അനലിറ്റിക്സിലെ വിപ്ലവം. പ്രവർത്തന അനലിറ്റിക്‌സ് ഉപയോഗിച്ച് ബിഗ് ഡാറ്റയുടെ കാലഘട്ടത്തിൽ നിങ്ങളുടെ ബിസിനസ് എങ്ങനെ മെച്ചപ്പെടുത്താം.

ബിഗ് ഡാറ്റയിലെ പ്രശ്നങ്ങൾ

ബിഗ് ഡാറ്റ നമുക്ക് അഭൂതപൂർവമായ ആശയങ്ങളും അവസരങ്ങളും നൽകുന്നു, മാത്രമല്ല പരിഹരിക്കപ്പെടേണ്ട പ്രശ്നങ്ങളും ചോദ്യങ്ങളും ഉയർത്തുന്നു:

• ഡാറ്റ സ്വകാര്യത - ഇന്ന് ഞങ്ങൾ സൃഷ്ടിക്കുന്ന ബിഗ് ഡാറ്റയിൽ നമ്മുടെ സ്വകാര്യ ജീവിതത്തെക്കുറിച്ചുള്ള ധാരാളം വിവരങ്ങൾ അടങ്ങിയിരിക്കുന്നു, അതിന്റെ സ്വകാര്യതയ്ക്ക് ഞങ്ങൾക്ക് എല്ലാ അവകാശവുമുണ്ട്. ബിഗ് ഡാറ്റ അധിഷ്‌ഠിത ആപ്പുകളും സേവനങ്ങളും നൽകുന്ന സൗകര്യത്തിനനുസരിച്ച് ഞങ്ങൾ വെളിപ്പെടുത്തുന്ന വ്യക്തിഗത ഡാറ്റയുടെ അളവ് സന്തുലിതമാക്കാൻ ഞങ്ങളോട് കൂടുതൽ കൂടുതൽ ആവശ്യപ്പെടുന്നു.
• ഡാറ്റ സുരക്ഷ - ഒരു പ്രത്യേക ആവശ്യത്തിനായി ആരെങ്കിലും ഞങ്ങളുടെ ഡാറ്റ കൈവശം വച്ചതിൽ ഞങ്ങൾ സന്തുഷ്ടരാണെന്ന് ഞങ്ങൾ തീരുമാനിച്ചാലും, ഞങ്ങളുടെ ഡാറ്റ സുരക്ഷിതമായും സുരക്ഷിതമായും സൂക്ഷിക്കാൻ അവരെ വിശ്വസിക്കാമോ?
• ഡാറ്റാ വിവേചനം - എല്ലാ വിവരങ്ങളും അറിഞ്ഞുകഴിഞ്ഞാൽ, ആളുകളുടെ വ്യക്തിജീവിതത്തിൽ നിന്നുള്ള ഡാറ്റയുടെ അടിസ്ഥാനത്തിൽ വിവേചനം കാണിക്കുന്നത് സ്വീകാര്യമാകുമോ? ആർക്കൊക്കെ പണം കടം വാങ്ങാമെന്ന് തീരുമാനിക്കാൻ ഞങ്ങൾ ഇതിനകം ക്രെഡിറ്റ് സ്‌കോറുകൾ ഉപയോഗിക്കുന്നു, ഇൻഷുറൻസും വളരെയധികം ഡാറ്റാധിഷ്ഠിതമാണ്. കൂടുതൽ വിശദമായി വിശകലനം ചെയ്യുകയും വിലയിരുത്തുകയും ചെയ്യുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കണം, എന്നാൽ ഇത് കുറച്ച് വിഭവങ്ങളും വിവരങ്ങളിലേക്കുള്ള പരിമിതമായ ആക്‌സസ്സും ഉള്ളവർക്ക് ജീവിതം കൂടുതൽ ബുദ്ധിമുട്ടാക്കില്ലെന്ന് ഉറപ്പാക്കാൻ ശ്രദ്ധിക്കേണ്ടതുണ്ട്.

ഈ ടാസ്‌ക്കുകൾ നിർവഹിക്കുന്നത് ബിഗ് ഡാറ്റയുടെ ഒരു പ്രധാന ഘടകമാണ്, അത്തരം ഡാറ്റ ഉപയോഗിക്കാൻ ആഗ്രഹിക്കുന്ന ഓർഗനൈസേഷനുകൾ അത് അഭിസംബോധന ചെയ്യണം. ഇത് ചെയ്യുന്നതിൽ പരാജയപ്പെടുന്നത് ഒരു ബിസിനസ്സിനെ അതിന്റെ പ്രശസ്തിയുടെ കാര്യത്തിൽ മാത്രമല്ല, നിയമപരമായും സാമ്പത്തികമായും ദുർബലമാക്കും.

ഭാവിയിലേക്ക് നോക്കുന്നു

ഡാറ്റ നമ്മുടെ ലോകത്തെയും നമ്മുടെ ജീവിതത്തെയും അഭൂതപൂർവമായ വേഗതയിൽ മാറ്റുന്നു. ഇന്ന് ബിഗ് ഡാറ്റയ്ക്ക് ഇതിനെല്ലാം കഴിവുണ്ടെങ്കിൽ, നാളെ അതിന്റെ കഴിവ് എന്തായിരിക്കുമെന്ന് സങ്കൽപ്പിക്കുക. ഞങ്ങൾക്ക് ലഭ്യമായ ഡാറ്റയുടെ അളവ് വർദ്ധിക്കും, കൂടാതെ അനലിറ്റിക്സ് സാങ്കേതികവിദ്യ കൂടുതൽ വികസിക്കും.

ബിസിനസുകൾക്ക്, ബിഗ് ഡാറ്റ പ്രയോഗിക്കാനുള്ള കഴിവ് വരും വർഷങ്ങളിൽ കൂടുതൽ നിർണായകമാകും. ഡാറ്റയെ സ്ട്രാറ്റജിക് അസറ്റായി കാണുന്ന കമ്പനികൾ മാത്രമേ നിലനിൽക്കൂ. ഈ വിപ്ലവത്തെ അവഗണിക്കുന്നവർ പിന്തള്ളപ്പെടാനുള്ള സാധ്യതയുണ്ട്.

ബിഗ് ഡാറ്റ (അല്ലെങ്കിൽ ബിഗ് ഡാറ്റ) എന്നത് ഘടനാപരമോ ഘടനാരഹിതമോ ആയ വിവരങ്ങളുടെ വലിയ അളവുകൾക്കൊപ്പം പ്രവർത്തിക്കുന്നതിനുള്ള ഒരു കൂട്ടം രീതികളാണ്. ബിഗ് ഡാറ്റാ സ്പെഷ്യലിസ്റ്റുകൾ ദൃശ്യപരവും മനുഷ്യർക്ക് കാണാവുന്നതുമായ ഫലങ്ങൾ നേടുന്നതിന് ഇത് പ്രോസസ്സ് ചെയ്യുകയും വിശകലനം ചെയ്യുകയും ചെയ്യുന്നു. ലുക്ക് അറ്റ് മി പ്രൊഫഷണലുകളുമായി സംസാരിക്കുകയും റഷ്യയിലെ ബിഗ് ഡാറ്റ പ്രോസസ്സിംഗിന്റെ സാഹചര്യം എന്താണെന്നും ഈ മേഖലയിൽ പ്രവർത്തിക്കാൻ ആഗ്രഹിക്കുന്നവർക്ക് എവിടെ, എന്താണ് പഠിക്കാൻ ഏറ്റവും നല്ലതെന്നും കണ്ടെത്തി.

ബിഗ് ഡാറ്റ മേഖലയിലെ പ്രധാന പ്രവണതകൾ, ഉപഭോക്താക്കളുമായുള്ള ആശയവിനിമയം, സംഖ്യകളുടെ ലോകം എന്നിവയെക്കുറിച്ച് അലക്സി റിവ്കിൻ

ഞാൻ മോസ്കോ ഇൻസ്റ്റിറ്റ്യൂട്ട് ഓഫ് ഇലക്ട്രോണിക് ടെക്നോളജിയിൽ പഠിച്ചു. ഭൗതികശാസ്ത്രത്തിലും ഗണിതത്തിലും ഉള്ള അടിസ്ഥാനപരമായ അറിവാണ് എനിക്ക് അവിടെ നിന്ന് എടുത്തുമാറ്റാൻ കഴിഞ്ഞത്. എന്റെ പഠനത്തോടൊപ്പം, ഞാൻ R&D സെന്ററിൽ ജോലി ചെയ്തു, സുരക്ഷിതമായ ഡാറ്റാ ട്രാൻസ്മിഷനായി ശബ്ദ-പ്രതിരോധശേഷിയുള്ള കോഡിംഗ് അൽഗോരിതം വികസിപ്പിക്കുന്നതിലും നടപ്പിലാക്കുന്നതിലും ഞാൻ ഏർപ്പെട്ടിരുന്നു. എന്റെ ബാച്ചിലേഴ്സ് ബിരുദം പൂർത്തിയാക്കിയ ശേഷം, ഞാൻ ഹയർ സ്കൂൾ ഓഫ് ഇക്കണോമിക്സിൽ ബിസിനസ് ഇൻഫോർമാറ്റിക്സിൽ മാസ്റ്റർ പ്രോഗ്രാമിൽ പ്രവേശിച്ചു. അതിനുശേഷം ഞാൻ ഐബിഎസിൽ ജോലി ചെയ്യാൻ ആഗ്രഹിച്ചു. അക്കാലത്ത്, ധാരാളം പ്രോജക്റ്റുകൾ കാരണം, ഇന്റേണുകളുടെ അധിക റിക്രൂട്ട്മെന്റ് ഉണ്ടായിരുന്നു, നിരവധി അഭിമുഖങ്ങൾക്ക് ശേഷം ഞാൻ ഈ മേഖലയിലെ ഏറ്റവും വലിയ റഷ്യൻ കമ്പനികളിലൊന്നായ ഐബിഎസിൽ ജോലി ചെയ്യാൻ തുടങ്ങി. മൂന്ന് വർഷത്തിനുള്ളിൽ, ഞാൻ ഒരു ഇന്റേണിൽ നിന്ന് ഒരു എന്റർപ്രൈസ് സൊല്യൂഷൻ ആർക്കിടെക്റ്റിലേക്ക് പോയി. നിലവിൽ ഞാൻ സാമ്പത്തിക, ടെലികമ്മ്യൂണിക്കേഷൻ മേഖലകളിൽ നിന്നുള്ള ഉപഭോക്തൃ കമ്പനികൾക്കായി ബിഗ് ഡാറ്റ സാങ്കേതികവിദ്യകളിൽ വൈദഗ്ദ്ധ്യം വികസിപ്പിക്കുകയാണ്.

വലിയ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ ആഗ്രഹിക്കുന്ന ആളുകൾക്ക് രണ്ട് പ്രധാന സ്പെഷ്യലൈസേഷനുകളുണ്ട്: വലിയ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ സാങ്കേതികവിദ്യകൾ സൃഷ്ടിക്കുന്ന അനലിസ്റ്റുകളും ഐടി കൺസൾട്ടന്റുമാരും. കൂടാതെ, ഉപഭോക്താവിന്റെ ഐടി പ്ലാറ്റ്‌ഫോമിനൊപ്പം ബിഗ് ഡാറ്റ അനലിസ്റ്റിന്റെ പ്രൊഫഷനെക്കുറിച്ചും നമുക്ക് സംസാരിക്കാം, അതായത് ഡാറ്റയുമായി നേരിട്ട് പ്രവർത്തിക്കുന്ന ആളുകൾ. മുമ്പ്, സ്റ്റാറ്റിസ്റ്റിക്സും ഗണിതവും അറിയാവുന്ന സാധാരണ ഗണിതശാസ്ത്ര വിശകലന വിദഗ്ധരായിരുന്നു ഇവർ, ഡാറ്റാ വിശകലന പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ സ്റ്റാറ്റിസ്റ്റിക്കൽ സോഫ്റ്റ്വെയർ ഉപയോഗിച്ചു. ഇന്ന്, സ്ഥിതിവിവരക്കണക്കുകൾ, ഗണിതശാസ്ത്രം എന്നിവയെക്കുറിച്ചുള്ള അറിവ് കൂടാതെ, സാങ്കേതികവിദ്യയെയും ഡാറ്റാ ജീവിതചക്രത്തെയും കുറിച്ചുള്ള ധാരണയും ആവശ്യമാണ്. എന്റെ അഭിപ്രായത്തിൽ, ആധുനിക ഡാറ്റാ അനലിസ്റ്റുകളും മുമ്പ് വന്ന ആ അനലിസ്റ്റുകളും തമ്മിലുള്ള വ്യത്യാസം ഇതാണ്.

എന്റെ സ്പെഷ്യലൈസേഷൻ ഐടി കൺസൾട്ടിംഗ് ആണ്, അതായത്, ഐടി സാങ്കേതികവിദ്യകൾ ഉപയോഗിച്ച് ബിസിനസ്സ് പ്രശ്നങ്ങൾ പരിഹരിക്കാനുള്ള വഴികൾ ഞാൻ ഉപഭോക്താക്കൾക്ക് വാഗ്ദാനം ചെയ്യുന്നു. വ്യത്യസ്ത അനുഭവങ്ങളുള്ള ആളുകൾ കൺസൾട്ടിംഗിലേക്ക് വരുന്നു, എന്നാൽ ഈ തൊഴിലിന്റെ ഏറ്റവും പ്രധാനപ്പെട്ട ഗുണങ്ങൾ ക്ലയന്റിന്റെ ആവശ്യങ്ങൾ മനസ്സിലാക്കാനുള്ള കഴിവ്, ആളുകളെയും ഓർഗനൈസേഷനുകളെയും സഹായിക്കാനുള്ള ആഗ്രഹം, നല്ല ആശയവിനിമയവും ടീം കഴിവുകളും (എല്ലായ്‌പ്പോഴും ക്ലയന്റുമായി പ്രവർത്തിക്കുന്നതിനാൽ ഒരു ടീമിൽ), നല്ല വിശകലന കഴിവുകൾ. ആന്തരിക പ്രചോദനം വളരെ പ്രധാനമാണ്: ഞങ്ങൾ ഒരു മത്സര അന്തരീക്ഷത്തിൽ പ്രവർത്തിക്കുന്നു, കൂടാതെ ഉപഭോക്താവ് അസാധാരണമായ പരിഹാരങ്ങളും ജോലിയിൽ താൽപ്പര്യവും പ്രതീക്ഷിക്കുന്നു.

എന്റെ സമയത്തിന്റെ ഭൂരിഭാഗവും ഉപഭോക്താക്കളുമായി ആശയവിനിമയം നടത്താനും അവരുടെ ബിസിനസ് ആവശ്യങ്ങൾ ഔപചാരികമാക്കാനും ഏറ്റവും അനുയോജ്യമായ സാങ്കേതിക വാസ്തുവിദ്യ വികസിപ്പിക്കാനും അവരെ സഹായിക്കുന്നു. ഇവിടെ തിരഞ്ഞെടുക്കൽ മാനദണ്ഡങ്ങൾക്ക് അതിന്റേതായ പ്രത്യേകതയുണ്ട്: പ്രവർത്തനക്ഷമതയും TCO (ഉടമസ്ഥാവകാശത്തിന്റെ ആകെ ചെലവ്) കൂടാതെ, സിസ്റ്റത്തിന്റെ പ്രവർത്തനപരമല്ലാത്ത ആവശ്യകതകൾ വളരെ പ്രധാനമാണ്, മിക്കപ്പോഴും ഇവ പ്രതികരണ സമയവും വിവര പ്രോസസ്സിംഗ് സമയവുമാണ്. ഉപഭോക്താവിനെ ബോധ്യപ്പെടുത്താൻ, ഞങ്ങൾ പലപ്പോഴും ആശയ സമീപനത്തിന്റെ ഒരു തെളിവ് ഉപയോഗിക്കുന്നു - സാങ്കേതികവിദ്യ പ്രവർത്തിക്കുന്നുവെന്ന് ഉറപ്പാക്കാൻ, ചില ടാസ്ക്കുകളിൽ, ഒരു ഇടുങ്ങിയ ഡാറ്റയിൽ, സാങ്കേതികവിദ്യ സൗജന്യമായി "ടെസ്റ്റ്" ചെയ്യാൻ ഞങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു. അധിക ആനുകൂല്യങ്ങൾ (ഉദാഹരണത്തിന്, എക്സ്-സെൽ, ക്രോസ്-സെല്ലിംഗ്) നേടിക്കൊണ്ട് ഉപഭോക്താവിന് ഒരു മത്സരാധിഷ്ഠിത നേട്ടം സൃഷ്ടിക്കണം അല്ലെങ്കിൽ ഏതെങ്കിലും തരത്തിലുള്ള ബിസിനസ് പ്രശ്‌നങ്ങൾ പരിഹരിക്കുക, ഉയർന്ന തലത്തിലുള്ള വായ്പ തട്ടിപ്പ് കുറയ്ക്കുക.

ക്ലയന്റുകൾ ഒരു റെഡിമെയ്ഡ് ടാസ്‌ക്കുമായി വന്നാൽ അത് വളരെ എളുപ്പമായിരിക്കും,എന്നാൽ രണ്ട് വർഷത്തിനുള്ളിൽ വിപണിയെ മാറ്റാൻ കഴിയുന്ന ഒരു വിപ്ലവകരമായ സാങ്കേതികവിദ്യ പ്രത്യക്ഷപ്പെട്ടുവെന്ന് ഇതുവരെ അവർ മനസ്സിലാക്കിയിട്ടില്ല

നിങ്ങൾ എന്ത് പ്രശ്നങ്ങൾ നേരിടുന്നു? വലിയ ഡാറ്റാ സാങ്കേതികവിദ്യകൾ ഉപയോഗിക്കാൻ വിപണി ഇതുവരെ തയ്യാറായിട്ടില്ല. ക്ലയന്റുകൾ ഒരു റെഡിമെയ്ഡ് ടാസ്‌ക്കുമായി വന്നാൽ അത് വളരെ എളുപ്പമായിരിക്കും, എന്നാൽ രണ്ട് വർഷത്തിനുള്ളിൽ വിപണിയെ മാറ്റാൻ കഴിയുന്ന ഒരു വിപ്ലവകരമായ സാങ്കേതികവിദ്യ പ്രത്യക്ഷപ്പെട്ടുവെന്ന് ഇതുവരെ അവർ മനസ്സിലാക്കിയിട്ടില്ല. അതുകൊണ്ടാണ് ഞങ്ങൾ അടിസ്ഥാനപരമായി സ്റ്റാർട്ടപ്പ് മോഡിൽ പ്രവർത്തിക്കുന്നത് - ഞങ്ങൾ സാങ്കേതികവിദ്യകൾ വിൽക്കുന്നില്ല, എന്നാൽ ഓരോ തവണയും ക്ലയന്റുകൾക്ക് ഈ പരിഹാരങ്ങളിൽ നിക്ഷേപം ആവശ്യമാണെന്ന് ഞങ്ങൾ ബോധ്യപ്പെടുത്തുന്നു. ഇതാണ് ദർശകരുടെ സ്ഥാനം - ഡാറ്റയും ഐടിയും ഉപയോഗിച്ച് ഉപഭോക്താക്കൾക്ക് അവരുടെ ബിസിനസ്സ് എങ്ങനെ മാറ്റാമെന്ന് ഞങ്ങൾ കാണിക്കുന്നു. ഞങ്ങൾ ഈ പുതിയ വിപണി സൃഷ്ടിക്കുകയാണ് - ബിഗ് ഡാറ്റാ മേഖലയിൽ വാണിജ്യ ഐടി കൺസൾട്ടിങ്ങിനുള്ള വിപണി.

ഒരു വ്യക്തിക്ക് ബിഗ് ഡാറ്റാ മേഖലയിൽ ഡാറ്റാ വിശകലനത്തിലോ ഐടി കൺസൾട്ടിങ്ങിലോ ഏർപ്പെടാൻ താൽപ്പര്യമുണ്ടെങ്കിൽ, ആദ്യം പ്രധാനം നല്ല ഗണിതശാസ്ത്ര പരിശീലനമുള്ള ഒരു ഗണിത അല്ലെങ്കിൽ സാങ്കേതിക വിദ്യാഭ്യാസമാണ്. നിർദ്ദിഷ്‌ട സാങ്കേതികവിദ്യകൾ മാസ്റ്റർ ചെയ്യുന്നതിനും ഇത് ഉപയോഗപ്രദമാണ്, ഉദാഹരണത്തിന് SAS, Hadoop, R ഭാഷ അല്ലെങ്കിൽ IBM സൊല്യൂഷനുകൾ. കൂടാതെ, ബിഗ് ഡാറ്റയ്‌ക്കായുള്ള അപ്ലിക്കേഷനുകളിൽ നിങ്ങൾ സജീവമായി താൽപ്പര്യമുള്ളവരായിരിക്കണം - ഉദാഹരണത്തിന്, ഒരു ബാങ്കിലോ ഉപഭോക്തൃ ജീവിതചക്രം മാനേജ്‌മെന്റിലോ മെച്ചപ്പെട്ട ക്രെഡിറ്റ് സ്‌കോറിങ്ങിനായി ഇത് എങ്ങനെ ഉപയോഗിക്കാം. ഇതും മറ്റ് അറിവുകളും ലഭ്യമായ ഉറവിടങ്ങളിൽ നിന്ന് ലഭിക്കും: ഉദാഹരണത്തിന്, Coursera, Big Data University. പെൻസിൽവാനിയയിലെ വാർട്ടൺ യൂണിവേഴ്സിറ്റിയിൽ കസ്റ്റമർ അനലിറ്റിക്സ് ഇനിഷ്യേറ്റീവ് ഉണ്ട്, അവിടെ ധാരാളം രസകരമായ മെറ്റീരിയലുകൾ പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്.

ഞങ്ങളുടെ മേഖലയിൽ പ്രവർത്തിക്കാൻ ആഗ്രഹിക്കുന്നവരുടെ ഒരു പ്രധാന പ്രശ്നം ബിഗ് ഡാറ്റയെക്കുറിച്ചുള്ള വ്യക്തമായ വിവരങ്ങളുടെ അഭാവമാണ്. നിങ്ങൾക്ക് ഒരു പുസ്തകശാലയിലേക്കോ ഏതെങ്കിലും വെബ്‌സൈറ്റിലേക്കോ പോയി, ബാങ്കുകളിലെ ബിഗ് ഡാറ്റ സാങ്കേതികവിദ്യകളുടെ എല്ലാ ആപ്ലിക്കേഷനുകളിലുമുള്ള കേസുകളുടെ സമഗ്രമായ ശേഖരം നേടാനാവില്ല. അത്തരം ഡയറക്ടറികൾ ഒന്നുമില്ല. ചില വിവരങ്ങൾ പുസ്തകങ്ങളിൽ ഉണ്ട്, ചിലത് കോൺഫറൻസുകളിൽ ശേഖരിക്കുന്നു, ചിലത് നിങ്ങൾ സ്വയം കണ്ടെത്തേണ്ടതുണ്ട്.

മറ്റൊരു പ്രശ്നം, സംഖ്യകളുടെ ലോകത്ത് അനലിസ്റ്റുകൾ സുഖകരമാണ്, പക്ഷേ അവർ ബിസിനസ്സിൽ എല്ലായ്പ്പോഴും സുഖകരമല്ല. ഈ ആളുകൾ പലപ്പോഴും അന്തർമുഖരും ആശയവിനിമയം നടത്താൻ ബുദ്ധിമുട്ടുള്ളവരുമാണ്, ഇത് ഗവേഷണ കണ്ടെത്തലുകൾ ക്ലയന്റുകൾക്ക് ബോധ്യപ്പെടുത്തുന്ന രീതിയിൽ ആശയവിനിമയം നടത്തുന്നത് അവർക്ക് ബുദ്ധിമുട്ടാക്കുന്നു. ഈ കഴിവുകൾ വികസിപ്പിക്കുന്നതിന്, പിരമിഡ് തത്വം, ഡയഗ്രമുകളുടെ ഭാഷ സംസാരിക്കുക തുടങ്ങിയ പുസ്തകങ്ങൾ ഞാൻ ശുപാർശചെയ്യും. അവ അവതരണ കഴിവുകൾ വികസിപ്പിക്കാനും നിങ്ങളുടെ ചിന്തകൾ സംക്ഷിപ്തമായും വ്യക്തമായും പ്രകടിപ്പിക്കാനും സഹായിക്കുന്നു.

നാഷണൽ റിസർച്ച് യൂണിവേഴ്സിറ്റി ഹയർ സ്കൂൾ ഓഫ് ഇക്കണോമിക്സിൽ പഠിക്കുമ്പോൾ വിവിധ കേസ് ചാമ്പ്യൻഷിപ്പുകളിൽ പങ്കെടുത്തത് എന്നെ വളരെയധികം സഹായിച്ചു. ബിസിനസ് പ്രശ്‌നങ്ങൾ പഠിക്കുകയും അവയ്ക്ക് പരിഹാരം നിർദ്ദേശിക്കുകയും ചെയ്യേണ്ട വിദ്യാർത്ഥികൾക്കുള്ള ബൗദ്ധിക മത്സരങ്ങളാണ് കേസ് ചാമ്പ്യൻഷിപ്പുകൾ. രണ്ട് തരങ്ങളുണ്ട്: കൺസൾട്ടിംഗ് സ്ഥാപനങ്ങളുടെ കേസ് ചാമ്പ്യൻഷിപ്പുകൾ, ഉദാഹരണത്തിന്, മക്കിൻസി, ബിസിജി, ആക്‌സെഞ്ചർ, അതുപോലെ തന്നെ ചേഞ്ച്‌ലെഞ്ച് പോലുള്ള സ്വതന്ത്ര കേസ് ചാമ്പ്യൻഷിപ്പുകൾ. അവയിൽ പങ്കെടുക്കുമ്പോൾ, സങ്കീർണ്ണമായ പ്രശ്നങ്ങൾ കാണാനും പരിഹരിക്കാനും ഞാൻ പഠിച്ചു - ഒരു പ്രശ്നം തിരിച്ചറിയുന്നതും അതിനെ രൂപപ്പെടുത്തുന്നതും മുതൽ അതിന്റെ പരിഹാരത്തിനുള്ള ശുപാർശകൾ സംരക്ഷിക്കുന്നത് വരെ.

റഷ്യൻ വിപണിയെക്കുറിച്ചും വലിയ ഡാറ്റാ മേഖലയിൽ ഒരു പുതിയ ഉൽപ്പന്നം സൃഷ്ടിക്കുന്നതിന്റെ പ്രത്യേകതകളെക്കുറിച്ചും ഒലെഗ് മിഖാൽസ്കി

അക്രോണിസിൽ ചേരുന്നതിന് മുമ്പ്, മറ്റ് കമ്പനികളിൽ പുതിയ ഉൽപ്പന്നങ്ങൾ വിപണിയിലെത്തിക്കുന്നതിൽ ഞാൻ ഏർപ്പെട്ടിരുന്നു. ഇത് എല്ലായ്പ്പോഴും ഒരേ സമയം രസകരവും വെല്ലുവിളി നിറഞ്ഞതുമാണ്, അതിനാൽ ക്ലൗഡ് സേവനങ്ങളിലും ഡാറ്റ സ്റ്റോറേജ് സൊല്യൂഷനുകളിലും പ്രവർത്തിക്കാനുള്ള അവസരത്തിൽ എനിക്ക് പെട്ടെന്ന് താൽപ്പര്യമുണ്ടായിരുന്നു. എന്റെ സ്വന്തം സ്റ്റാർട്ടപ്പ് പ്രോജക്റ്റ് ഐ-ആക്സിലറേറ്റർ ഉൾപ്പെടെ ഐടി വ്യവസായത്തിലെ എന്റെ എല്ലാ മുൻകാല അനുഭവങ്ങളും ഈ മേഖലയിൽ ഉപയോഗപ്രദമായിരുന്നു. അടിസ്ഥാന എഞ്ചിനീയറിംഗ് ബിരുദത്തിന് പുറമേ ബിസിനസ് വിദ്യാഭ്യാസവും (എംബിഎ) നേടിയതും സഹായിച്ചു.

റഷ്യയിൽ, വലിയ കമ്പനികൾ - ബാങ്കുകൾ, മൊബൈൽ ഓപ്പറേറ്റർമാർ മുതലായവ - വലിയ ഡാറ്റ വിശകലനം ആവശ്യമാണ്, അതിനാൽ നമ്മുടെ രാജ്യത്ത് ഈ മേഖലയിൽ പ്രവർത്തിക്കാൻ ആഗ്രഹിക്കുന്നവർക്ക് സാധ്യതകളുണ്ട്. ശരിയാണ്, ഇപ്പോൾ പല പ്രോജക്റ്റുകളും ഇന്റഗ്രേഷൻ പ്രോജക്ടുകളാണ്, അതായത്, വിദേശ സംഭവവികാസങ്ങളുടെയോ ഓപ്പൺ സോഴ്‌സ് സാങ്കേതികവിദ്യകളുടെയോ അടിസ്ഥാനത്തിൽ നിർമ്മിച്ചതാണ്. അത്തരം പ്രോജക്ടുകളിൽ, അടിസ്ഥാനപരമായി പുതിയ സമീപനങ്ങളും സാങ്കേതികവിദ്യകളും സൃഷ്ടിക്കപ്പെടുന്നില്ല, പകരം നിലവിലുള്ള സംഭവവികാസങ്ങൾ പൊരുത്തപ്പെടുത്തുന്നു. അക്രോണിസിൽ, ഞങ്ങൾ മറ്റൊരു വഴി സ്വീകരിച്ചു, ലഭ്യമായ ഇതരമാർഗങ്ങൾ വിശകലനം ചെയ്ത ശേഷം, ഞങ്ങളുടെ സ്വന്തം വികസനത്തിൽ നിക്ഷേപിക്കാൻ തീരുമാനിച്ചു, തൽഫലമായി, ആമസോൺ എസ് 3-നേക്കാൾ വില കുറഞ്ഞതും എന്നാൽ വിശ്വസനീയമായി പ്രവർത്തിക്കുന്നതുമായ വലിയ ഡാറ്റയ്ക്കുള്ള വിശ്വസനീയമായ സംഭരണ ​​സംവിധാനം കാര്യക്ഷമമായും വളരെ ചെറിയ തോതിലും. വലിയ ഇന്റർനെറ്റ് കമ്പനികൾക്കും ബിഗ് ഡാറ്റയിൽ അവരുടേതായ സംഭവവികാസങ്ങളുണ്ട്, എന്നാൽ ബാഹ്യ ക്ലയന്റുകളുടെ ആവശ്യങ്ങൾ നിറവേറ്റുന്നതിനുപകരം അവർ ആന്തരിക ആവശ്യങ്ങളിൽ കൂടുതൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

ബിഗ് ഡാറ്റയുടെ മേഖലയെ സ്വാധീനിക്കുന്ന പ്രവണതകളും സാമ്പത്തിക ശക്തികളും മനസ്സിലാക്കേണ്ടത് പ്രധാനമാണ്. ഇത് ചെയ്യുന്നതിന്, നിങ്ങൾ ധാരാളം വായിക്കുകയും ഐടി വ്യവസായത്തിലെ ആധികാരിക വിദഗ്ധരുടെ പ്രസംഗങ്ങൾ കേൾക്കുകയും തീമാറ്റിക് കോൺഫറൻസുകളിൽ പങ്കെടുക്കുകയും വേണം. ഇപ്പോൾ മിക്കവാറും എല്ലാ കോൺഫറൻസുകളിലും ബിഗ് ഡാറ്റയിൽ ഒരു വിഭാഗം ഉണ്ട്, എന്നാൽ അവരെല്ലാം മറ്റൊരു കോണിൽ നിന്ന് അതിനെക്കുറിച്ച് സംസാരിക്കുന്നു: ഒരു സാങ്കേതികവിദ്യ, ബിസിനസ്സ് അല്ലെങ്കിൽ മാർക്കറ്റിംഗ് വീക്ഷണകോണിൽ നിന്ന്. ഈ വിഷയത്തിൽ ഇതിനകം തന്നെ പ്രോജക്ടുകൾക്ക് നേതൃത്വം നൽകുന്ന ഒരു കമ്പനിയിൽ നിങ്ങൾക്ക് പ്രോജക്ട് വർക്കുകൾക്കോ ​​ഇന്റേൺഷിപ്പ് ചെയ്യാനോ പോകാം. നിങ്ങളുടെ കഴിവുകളിൽ നിങ്ങൾക്ക് ആത്മവിശ്വാസമുണ്ടെങ്കിൽ, ബിഗ് ഡാറ്റാ മേഖലയിൽ ഒരു സ്റ്റാർട്ടപ്പ് സംഘടിപ്പിക്കാൻ ഇനിയും വൈകില്ല.

വിപണിയുമായി നിരന്തര സമ്പർക്കമില്ലാതെപുതിയ വികസന അപകടസാധ്യതകൾ ക്ലെയിം ചെയ്യപ്പെടാത്തതാണ്

ശരിയാണ്, നിങ്ങൾ ഒരു പുതിയ ഉൽപ്പന്നത്തിന് ഉത്തരവാദിയായിരിക്കുമ്പോൾ, ക്ലയന്റുകളെക്കുറിച്ചും അവരുടെ ആവശ്യങ്ങളെക്കുറിച്ചും ധാരാളം അറിയാവുന്ന ക്ലയന്റുകളുമായും പങ്കാളികളുമായും പ്രൊഫഷണൽ അനലിസ്റ്റുകളുമായും മാർക്കറ്റ് അനലിറ്റിക്‌സിനും ആശയവിനിമയത്തിനുമായി ധാരാളം സമയം ചെലവഴിക്കുന്നു. വിപണിയുമായി നിരന്തരമായ സമ്പർക്കം കൂടാതെ, ഒരു പുതിയ വികസനം ക്ലെയിം ചെയ്യപ്പെടാത്ത അപകടസാധ്യതകളാണ്. എല്ലായ്‌പ്പോഴും ധാരാളം അനിശ്ചിതത്വങ്ങളുണ്ട്: ആദ്യകാല ദത്തെടുക്കുന്നവർ ആരായിരിക്കും, നിങ്ങൾ അവർക്ക് എന്താണ് വാഗ്ദാനം ചെയ്യേണ്ടത്, പിന്നെ എങ്ങനെയാണ് ഒരു വലിയ പ്രേക്ഷകരെ ആകർഷിക്കുക എന്ന് നിങ്ങൾ കണ്ടെത്തേണ്ടതുണ്ട്. ചില ആവശ്യകതകൾ ഇപ്പോഴും മാറിയേക്കാം, കൂടാതെ മുൻഗണനകൾ ആദ്യ ഉപഭോക്താക്കളിൽ നിന്ന് വരുന്ന ഫീഡ്‌ബാക്കിനെ ആശ്രയിച്ചിരിക്കുന്നു, അത്തരം സാഹചര്യങ്ങളിൽ പ്രവർത്തിക്കാൻ അവരെ പ്രചോദിപ്പിക്കുന്നതിനായി അന്തിമ ഉൽപ്പന്നത്തിന്റെ വ്യക്തവും സമഗ്രവുമായ കാഴ്ചപ്പാട് രൂപപ്പെടുത്തുകയും അവരെ അറിയിക്കുകയും ചെയ്യുക എന്നതാണ് രണ്ടാമത്തെ പ്രധാന ചുമതല. അതിനാൽ, ഒരു വശത്ത് ക്ലയന്റുകളുടെയും മറുവശത്ത് ഡെവലപ്പർമാരുടെയും പ്രതീക്ഷകൾ കൈകാര്യം ചെയ്യുക എന്നതാണ് ഒരു പ്രധാന ചുമതല. അങ്ങനെ ഒന്നോ മറ്റോ താൽപ്പര്യം നഷ്‌ടപ്പെടുത്തുകയും പദ്ധതി പൂർത്തീകരിക്കുകയും ചെയ്യും. ആദ്യത്തെ വിജയകരമായ പ്രോജക്റ്റിന് ശേഷം, അത് എളുപ്പമാവുകയും പുതിയ ബിസിനസ്സിനായി ശരിയായ വളർച്ചാ മാതൃക കണ്ടെത്തുക എന്നതാണ് പ്രധാന വെല്ലുവിളി.

ബിഗ് ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്ന മിഥ്യകളെയും കേസുകളെയും കുറിച്ച് HSE അധ്യാപകരുടെ കോളം

ബുക്ക്മാർക്കുകളിലേക്ക്

നാഷണൽ റിസർച്ച് യൂണിവേഴ്സിറ്റി ഹയർ സ്കൂൾ ഓഫ് ഇക്കണോമിക്സിലെ സ്കൂൾ ഓഫ് ന്യൂ മീഡിയയിലെ അധ്യാപകർ കോൺസ്റ്റാന്റിൻ റൊമാനോവ്, ബീലൈനിലെ ഡിജിറ്റൽ ട്രാൻസ്ഫോർമേഷൻ ഡയറക്ടർ കൂടിയായ അലക്സാണ്ടർ പ്യാറ്റിഗോർസ്കി എന്നിവർ വലിയ ഡാറ്റയെക്കുറിച്ചുള്ള പ്രധാന തെറ്റിദ്ധാരണകളെക്കുറിച്ച് സൈറ്റിനായി ഒരു കോളം എഴുതി - ഉപയോഗത്തിന്റെ ഉദാഹരണങ്ങൾ. സാങ്കേതികവിദ്യയും ഉപകരണങ്ങളും. കമ്പനി മാനേജർമാരെ ഈ ആശയം മനസ്സിലാക്കാൻ പ്രസിദ്ധീകരണം സഹായിക്കുമെന്ന് രചയിതാക്കൾ അഭിപ്രായപ്പെടുന്നു.

ബിഗ് ഡാറ്റയെക്കുറിച്ചുള്ള മിഥ്യകളും തെറ്റിദ്ധാരണകളും

ബിഗ് ഡാറ്റ മാർക്കറ്റിംഗ് അല്ല

ബിഗ് ഡാറ്റ എന്ന പദം വളരെ ഫാഷനായി മാറിയിരിക്കുന്നു - ഇത് ദശലക്ഷക്കണക്കിന് സാഹചര്യങ്ങളിലും നൂറുകണക്കിന് വ്യത്യസ്ത വ്യാഖ്യാനങ്ങളോടെയും ഉപയോഗിക്കുന്നു, പലപ്പോഴും അത് എന്താണെന്നതുമായി ബന്ധപ്പെട്ടതല്ല. ആശയങ്ങൾ പലപ്പോഴും ആളുകളുടെ തലയിൽ പകരം വയ്ക്കുന്നു, കൂടാതെ ബിഗ് ഡാറ്റ ഒരു മാർക്കറ്റിംഗ് ഉൽപ്പന്നവുമായി ആശയക്കുഴപ്പത്തിലാകുന്നു. മാത്രമല്ല, ചില കമ്പനികളിൽ ബിഗ് ഡാറ്റ മാർക്കറ്റിംഗ് വകുപ്പിന്റെ ഭാഗമാണ്. വലിയ ഡാറ്റാ വിശകലനത്തിന്റെ ഫലം തീർച്ചയായും മാർക്കറ്റിംഗ് പ്രവർത്തനത്തിനുള്ള ഒരു ഉറവിടമാകാം, എന്നാൽ അതിൽ കൂടുതലൊന്നും ഇല്ല. ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് നോക്കാം.

രണ്ട് മാസം മുമ്പ് ഞങ്ങളുടെ സ്റ്റോറിൽ മൂവായിരം റുബിളിൽ കൂടുതൽ വിലയുള്ള സാധനങ്ങൾ വാങ്ങിയവരുടെ ഒരു ലിസ്റ്റ് ഞങ്ങൾ തിരിച്ചറിഞ്ഞു, തുടർന്ന് ഈ ഉപയോക്താക്കൾക്ക് എന്തെങ്കിലും തരത്തിലുള്ള ഓഫർ അയച്ചാൽ, ഇത് സാധാരണ മാർക്കറ്റിംഗ് ആണ്. ഘടനാപരമായ ഡാറ്റയിൽ നിന്ന് ഞങ്ങൾ വ്യക്തമായ പാറ്റേൺ നേടുകയും വിൽപ്പന വർദ്ധിപ്പിക്കുന്നതിന് അത് ഉപയോഗിക്കുകയും ചെയ്യുന്നു.

എന്നിരുന്നാലും, ഇൻസ്റ്റാഗ്രാമിൽ നിന്നുള്ള സ്ട്രീമിംഗ് വിവരങ്ങളുമായി ഞങ്ങൾ CRM ഡാറ്റ സംയോജിപ്പിച്ച് അത് വിശകലനം ചെയ്യുകയാണെങ്കിൽ, ഞങ്ങൾ ഒരു പാറ്റേൺ കണ്ടെത്തുന്നു: ബുധനാഴ്ച വൈകുന്നേരം തന്റെ പ്രവർത്തനം കുറയ്ക്കുകയും പൂച്ചക്കുട്ടികളെ ഏറ്റവും പുതിയ ഫോട്ടോ കാണിക്കുകയും ചെയ്യുന്ന ഒരു വ്യക്തി ഒരു നിശ്ചിത ഓഫർ നൽകണം. ഇത് ഇതിനകം തന്നെ ബിഗ് ഡാറ്റ ആയിരിക്കും. ഞങ്ങൾ ഒരു ട്രിഗർ കണ്ടെത്തി, അത് വിപണനക്കാർക്ക് കൈമാറി, അവർ അത് അവരുടെ സ്വന്തം ആവശ്യങ്ങൾക്കായി ഉപയോഗിച്ചു.

ഇതിൽ നിന്ന് ടെക്നോളജി സാധാരണയായി ഘടനാരഹിതമായ ഡാറ്റയിൽ പ്രവർത്തിക്കുന്നു, ഡാറ്റ ഘടനാപരമായതാണെങ്കിലും, സിസ്റ്റം ഇപ്പോഴും അതിൽ മറഞ്ഞിരിക്കുന്ന പാറ്റേണുകൾക്കായി തിരയുന്നത് തുടരുന്നു, അത് മാർക്കറ്റിംഗ് ചെയ്യുന്നില്ല.

ബിഗ് ഡാറ്റ ഐടി അല്ല

ഈ കഥയുടെ രണ്ടാമത്തെ തീവ്രത: ബിഗ് ഡാറ്റ പലപ്പോഴും ഐടിയുമായി ആശയക്കുഴപ്പത്തിലാകുന്നു. റഷ്യൻ കമ്പനികളിൽ, ഒരു ചട്ടം പോലെ, ഐടി സ്പെഷ്യലിസ്റ്റുകൾ വലിയ ഡാറ്റ ഉൾപ്പെടെ എല്ലാ സാങ്കേതികവിദ്യകളുടെയും ഡ്രൈവർമാരാണ് എന്നതാണ് ഇതിന് കാരണം. അതിനാൽ, ഈ വകുപ്പിൽ എല്ലാം സംഭവിക്കുകയാണെങ്കിൽ, ഇത് ഒരുതരം ഐടി പ്രവർത്തനമാണെന്ന ധാരണ കമ്പനിക്ക് മൊത്തത്തിൽ ലഭിക്കും.

വാസ്തവത്തിൽ, ഇവിടെ ഒരു അടിസ്ഥാന വ്യത്യാസമുണ്ട്: ബിഗ് ഡാറ്റ എന്നത് ഒരു നിർദ്ദിഷ്ട ഉൽപ്പന്നം നേടുന്നതിന് ലക്ഷ്യമിട്ടുള്ള ഒരു പ്രവർത്തനമാണ്, അത് ഐടിയുമായി ഒട്ടും ബന്ധമില്ലാത്തതാണ്, എന്നിരുന്നാലും സാങ്കേതികവിദ്യയില്ലാതെ നിലനിൽക്കാൻ കഴിയില്ല.

ബിഗ് ഡാറ്റ എല്ലായ്പ്പോഴും വിവരങ്ങളുടെ ശേഖരണവും വിശകലനവും അല്ല

ബിഗ് ഡാറ്റയെക്കുറിച്ച് മറ്റൊരു തെറ്റിദ്ധാരണയുണ്ട്. ഈ സാങ്കേതികവിദ്യയിൽ വലിയ അളവിലുള്ള ഡാറ്റ ഉൾപ്പെടുന്നുവെന്ന് എല്ലാവരും മനസ്സിലാക്കുന്നു, എന്നാൽ ഏത് തരത്തിലുള്ള ഡാറ്റയാണ് അർത്ഥമാക്കുന്നത് എന്നത് എല്ലായ്പ്പോഴും വ്യക്തമല്ല. ആർക്കും വിവരങ്ങൾ ശേഖരിക്കാനും ഉപയോഗിക്കാനും കഴിയും; ഇപ്പോൾ ഇത് സിനിമകളിൽ മാത്രമല്ല, വളരെ ചെറിയ ഒരു കമ്പനിയിലും സാധ്യമാണ്. കൃത്യമായി എന്താണ് ശേഖരിക്കേണ്ടത്, അത് നിങ്ങളുടെ നേട്ടത്തിനായി എങ്ങനെ ഉപയോഗിക്കാം എന്നതാണ് ഒരേയൊരു ചോദ്യം.

എന്നാൽ ബിഗ് ഡാറ്റ ടെക്നോളജി ഒരു വിവരത്തിന്റെയും ശേഖരണവും വിശകലനവും ആയിരിക്കില്ല എന്ന് മനസ്സിലാക്കണം. ഉദാഹരണത്തിന്, നിങ്ങൾ സോഷ്യൽ നെറ്റ്‌വർക്കുകളിൽ ഒരു നിർദ്ദിഷ്ട വ്യക്തിയെക്കുറിച്ചുള്ള ഡാറ്റ ശേഖരിക്കുകയാണെങ്കിൽ, അത് ബിഗ് ഡാറ്റ ആയിരിക്കില്ല.

ശരിക്കും എന്താണ് ബിഗ് ഡാറ്റ?

ബിഗ് ഡാറ്റ മൂന്ന് ഘടകങ്ങൾ ഉൾക്കൊള്ളുന്നു:

• ഡാറ്റ;
• അനലിറ്റിക്സ്;
• സാങ്കേതികവിദ്യകൾ.

ബിഗ് ഡാറ്റ ഈ ഘടകങ്ങളിൽ ഒന്ന് മാത്രമല്ല, മൂന്ന് ഘടകങ്ങളുടെയും സംയോജനമാണ്. ആളുകൾ പലപ്പോഴും ആശയങ്ങൾ മാറ്റിസ്ഥാപിക്കുന്നു: ചിലർ ബിഗ് ഡാറ്റ വെറും ഡാറ്റയാണെന്ന് വിശ്വസിക്കുന്നു, മറ്റുള്ളവർ അത് സാങ്കേതികവിദ്യയാണെന്ന് വിശ്വസിക്കുന്നു. എന്നാൽ വാസ്തവത്തിൽ, നിങ്ങൾ എത്ര ഡാറ്റ ശേഖരിച്ചാലും, ശരിയായ സാങ്കേതികവിദ്യയും അനലിറ്റിക്സും ഇല്ലാതെ നിങ്ങൾക്ക് ഒന്നും ചെയ്യാൻ കഴിയില്ല. നല്ല അനലിറ്റിക്‌സ് ഉണ്ടെങ്കിലും ഡാറ്റ ഇല്ലെങ്കിൽ, അത് അതിലും മോശമാണ്.

ഞങ്ങൾ ഡാറ്റയെക്കുറിച്ച് സംസാരിക്കുകയാണെങ്കിൽ, ഇത് ടെക്സ്റ്റുകൾ മാത്രമല്ല, ഇൻസ്റ്റാഗ്രാമിൽ പോസ്റ്റുചെയ്ത എല്ലാ ഫോട്ടോകളും മാത്രമല്ല, പൊതുവായി വിശകലനം ചെയ്യാനും വ്യത്യസ്ത ഉദ്ദേശ്യങ്ങൾക്കും ടാസ്ക്കുകൾക്കുമായി ഉപയോഗിക്കാനും കഴിയുന്ന എല്ലാം. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, ഡാറ്റ എന്നത് വിവിധ ഘടനകളുടെ ആന്തരികവും ബാഹ്യവുമായ ഡാറ്റയുടെ വലിയ അളവുകളെ സൂചിപ്പിക്കുന്നു.

അനലിറ്റിക്സും ആവശ്യമാണ്, കാരണം ബിഗ് ഡാറ്റയുടെ ചുമതല ചില പാറ്റേണുകൾ നിർമ്മിക്കുക എന്നതാണ്. അതായത്, അനലിറ്റിക്‌സ് എന്നത് മറഞ്ഞിരിക്കുന്ന ഡിപൻഡൻസികളുടെ തിരിച്ചറിയലും വൈവിധ്യമാർന്ന ഡാറ്റയുടെ മുഴുവൻ വോളിയത്തിന്റെയും വിശകലനത്തെ അടിസ്ഥാനമാക്കി പുതിയ ചോദ്യങ്ങളും ഉത്തരങ്ങളും തിരയലും ആണ്. മാത്രമല്ല, ഈ ഡാറ്റയിൽ നിന്ന് നേരിട്ട് ഉരുത്തിരിഞ്ഞുവരാൻ കഴിയാത്ത ചോദ്യങ്ങളാണ് ബിഗ് ഡാറ്റ ഉയർത്തുന്നത്.

ചിത്രങ്ങളുടെ കാര്യം വരുമ്പോൾ, നിങ്ങൾ ഒരു നീല ടീ-ഷർട്ട് ധരിച്ച് ഒരു ഫോട്ടോ പോസ്റ്റ് ചെയ്യുന്നത് അർത്ഥമാക്കുന്നില്ല. എന്നാൽ നിങ്ങൾ ബിഗ് ഡാറ്റ മോഡലിംഗിനായി ഫോട്ടോഗ്രാഫി ഉപയോഗിക്കുകയാണെങ്കിൽ, ഇപ്പോൾ നിങ്ങൾ ഒരു ലോൺ നൽകണം, കാരണം നിങ്ങളുടെ സോഷ്യൽ ഗ്രൂപ്പിൽ അത്തരം പെരുമാറ്റം പ്രവർത്തനത്തിലെ ഒരു പ്രത്യേക പ്രതിഭാസത്തെ സൂചിപ്പിക്കുന്നു. അതിനാൽ, അനലിറ്റിക്‌സ് ഇല്ലാതെ, മറഞ്ഞിരിക്കുന്നതും വ്യക്തമല്ലാത്തതുമായ ഡിപൻഡൻസികൾ തിരിച്ചറിയാതെയുള്ള "ബെയർ" ഡാറ്റ ബിഗ് ഡാറ്റയല്ല.

അതിനാൽ ഞങ്ങൾക്ക് വലിയ ഡാറ്റയുണ്ട്. അവരുടെ നിര വളരെ വലുതാണ്. നമുക്കൊരു അനലിസ്റ്റും ഉണ്ട്. എന്നാൽ ഈ അസംസ്‌കൃത ഡാറ്റയിൽ നിന്ന് ഞങ്ങൾ ഒരു നിർദ്ദിഷ്ട പരിഹാരവുമായി വരുന്നുണ്ടെന്ന് എങ്ങനെ ഉറപ്പാക്കാനാകും? ഇത് ചെയ്യുന്നതിന്, അവ സംഭരിക്കുന്നതിന് മാത്രമല്ല (ഇത് മുമ്പ് അസാധ്യമായിരുന്നു) മാത്രമല്ല അവ വിശകലനം ചെയ്യാനും അനുവദിക്കുന്ന സാങ്കേതികവിദ്യകൾ ഞങ്ങൾക്ക് ആവശ്യമാണ്.

ലളിതമായി പറഞ്ഞാൽ, നിങ്ങൾക്ക് ധാരാളം ഡാറ്റ ഉണ്ടെങ്കിൽ, നിങ്ങൾക്ക് സാങ്കേതികവിദ്യകൾ ആവശ്യമാണ്, ഉദാഹരണത്തിന്, ഹഡൂപ്പ്, പിന്നീടുള്ള വിശകലനത്തിനായി എല്ലാ വിവരങ്ങളും അതിന്റെ യഥാർത്ഥ രൂപത്തിൽ സൂക്ഷിക്കുന്നത് സാധ്യമാക്കുന്നു. ഇന്റർനെറ്റ് ഭീമൻമാരിൽ ഇത്തരത്തിലുള്ള സാങ്കേതികവിദ്യ ഉടലെടുത്തു, കാരണം വലിയ അളവിലുള്ള ഡാറ്റ സംഭരിക്കുന്നതിനും തുടർന്നുള്ള ധനസമ്പാദനത്തിനായി വിശകലനം ചെയ്യുന്നതിനുമുള്ള പ്രശ്നം ആദ്യം നേരിട്ടത് അവരായിരുന്നു.

ഒപ്റ്റിമൈസ് ചെയ്തതും വിലകുറഞ്ഞതുമായ ഡാറ്റ സംഭരണത്തിനുള്ള ടൂളുകൾക്ക് പുറമേ, നിങ്ങൾക്ക് അനലിറ്റിക്കൽ ടൂളുകളും അതുപോലെ ഉപയോഗിച്ച പ്ലാറ്റ്ഫോമിലേക്കുള്ള ആഡ്-ഓണുകളും ആവശ്യമാണ്. ഉദാഹരണത്തിന്, ഹഡൂപ്പിന് ചുറ്റും അനുബന്ധ പദ്ധതികളുടെയും സാങ്കേതികവിദ്യകളുടെയും ഒരു മുഴുവൻ ആവാസവ്യവസ്ഥയും ഇതിനകം രൂപപ്പെട്ടിട്ടുണ്ട്. അവയിൽ ചിലത് ഇതാ:

• പന്നി ഒരു ഡിക്ലറേറ്റീവ് ഡാറ്റ വിശകലന ഭാഷയാണ്.
• ഹൈവ് - SQL-ന് സമാനമായ ഭാഷ ഉപയോഗിച്ച് ഡാറ്റ വിശകലനം.
• ഓസി - ഹഡൂപ്പ് വർക്ക്ഫ്ലോ.
• Google ബിഗ് ടേബിളിന് സമാനമായ ഒരു ഡാറ്റാബേസാണ് Hbase (നോൺ റിലേഷണൽ).
• മഹൗട്ട് - മെഷീൻ ലേണിംഗ്.
• Sqoop - RSDB-യിൽ നിന്ന് ഹഡൂപ്പിലേക്കും തിരിച്ചും ഡാറ്റ കൈമാറുന്നു.
• ഫ്ലൂം - HDFS-ലേക്ക് ലോഗുകൾ കൈമാറുന്നു.
• Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS തുടങ്ങിയവ.

ഈ ഉപകരണങ്ങളെല്ലാം സൗജന്യമായി എല്ലാവർക്കും ലഭ്യമാണ്, എന്നാൽ പണമടച്ചുള്ള നിരവധി ആഡ്-ഓണുകളും ഉണ്ട്.

കൂടാതെ, സ്പെഷ്യലിസ്റ്റുകൾ ആവശ്യമാണ്: ഒരു ഡവലപ്പറും ഒരു അനലിസ്റ്റും (ഡാറ്റ സയന്റിസ്റ്റ് എന്ന് വിളിക്കപ്പെടുന്നവർ). ഒരു നിർദ്ദിഷ്ട പ്രശ്നം പരിഹരിക്കുന്നതിന് ഈ അനലിറ്റിക്സ് എങ്ങനെ പ്രയോഗിക്കാമെന്ന് മനസിലാക്കാൻ കഴിയുന്ന ഒരു മാനേജരും ആവശ്യമാണ്, കാരണം അത് ബിസിനസ്സ് പ്രക്രിയകളിൽ സംയോജിപ്പിച്ചില്ലെങ്കിൽ അതിൽ തന്നെ അത് പൂർണ്ണമായും അർത്ഥശൂന്യമാണ്.

മൂന്ന് ജീവനക്കാരും ഒരു ടീമായി പ്രവർത്തിക്കണം. ഒരു ഡാറ്റാ സയൻസ് സ്പെഷ്യലിസ്റ്റിന് ഒരു നിശ്ചിത പാറ്റേൺ കണ്ടെത്താനുള്ള ചുമതല നൽകുന്ന ഒരു മാനേജർ തനിക്ക് ആവശ്യമുള്ളത് കൃത്യമായി കണ്ടെത്താനാവില്ലെന്ന് മനസ്സിലാക്കണം. ഈ സാഹചര്യത്തിൽ, ഡാറ്റാ സയന്റിസ്റ്റ് കണ്ടെത്തിയ കാര്യങ്ങൾ മാനേജർ ശ്രദ്ധാപൂർവ്വം ശ്രദ്ധിക്കണം, കാരണം പലപ്പോഴും അദ്ദേഹത്തിന്റെ കണ്ടെത്തലുകൾ ബിസിനസിന് കൂടുതൽ രസകരവും ഉപയോഗപ്രദവുമാണ്. ഇത് ഒരു ബിസിനസ്സിൽ പ്രയോഗിക്കുകയും അതിൽ നിന്ന് ഒരു ഉൽപ്പന്നം നിർമ്മിക്കുകയും ചെയ്യുക എന്നതാണ് നിങ്ങളുടെ ജോലി.

ഇപ്പോൾ പല തരത്തിലുള്ള മെഷീനുകളും സാങ്കേതികവിദ്യകളും ഉണ്ടെങ്കിലും, അന്തിമ തീരുമാനം എല്ലായ്പ്പോഴും വ്യക്തിയിൽ തന്നെ തുടരും. ഇത് ചെയ്യുന്നതിന്, വിവരങ്ങൾ എങ്ങനെയെങ്കിലും ദൃശ്യവൽക്കരിക്കേണ്ടതുണ്ട്. ഇതിനായി ധാരാളം ഉപകരണങ്ങൾ ഉണ്ട്.

ജിയോ അനലിറ്റിക്കൽ റിപ്പോർട്ടുകളാണ് ഏറ്റവും പ്രകടമായ ഉദാഹരണം. വിവിധ നഗരങ്ങളിലെയും പ്രദേശങ്ങളിലെയും സർക്കാരുകളുമായി ബീലൈൻ കമ്പനി വളരെയധികം പ്രവർത്തിക്കുന്നു. മിക്കപ്പോഴും, ഈ ഓർഗനൈസേഷനുകൾ "ഒരു നിശ്ചിത സ്ഥലത്ത് ഗതാഗതക്കുരുക്ക്" പോലുള്ള റിപ്പോർട്ടുകൾ ഓർഡർ ചെയ്യുന്നു.

ഇത്തരമൊരു റിപ്പോർട്ട് ലളിതവും മനസ്സിലാക്കാവുന്നതുമായ രൂപത്തിൽ സർക്കാർ ഏജൻസികളിൽ എത്തണമെന്ന് വ്യക്തമാണ്. ഞങ്ങൾ അവർക്ക് വലിയതും പൂർണ്ണമായും മനസ്സിലാക്കാൻ കഴിയാത്തതുമായ ഒരു പട്ടിക (അതായത്, ഞങ്ങൾക്ക് ലഭിക്കുന്ന ഫോമിലെ വിവരങ്ങൾ) നൽകുകയാണെങ്കിൽ, അവർ അത്തരമൊരു റിപ്പോർട്ട് വാങ്ങാൻ സാധ്യതയില്ല - അത് പൂർണ്ണമായും ഉപയോഗശൂന്യമാകും, അതിൽ നിന്ന് അവർക്ക് അറിവ് ലഭിക്കില്ല. അവർ സ്വീകരിക്കാൻ ആഗ്രഹിച്ചു.

അതിനാൽ, ഡാറ്റാ സയന്റിസ്റ്റുകൾ എത്ര നല്ലവരായാലും അവർ എന്ത് പാറ്റേണുകൾ കണ്ടെത്തിയാലും, നല്ല വിഷ്വലൈസേഷൻ ടൂളുകൾ ഇല്ലാതെ നിങ്ങൾക്ക് ഈ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ കഴിയില്ല.

ഡാറ്റ ഉറവിടങ്ങൾ

ലഭിച്ച ഡാറ്റയുടെ നിര വളരെ വലുതാണ്, അതിനാൽ അതിനെ പല ഗ്രൂപ്പുകളായി തിരിക്കാം.

കമ്പനിയുടെ ആന്തരിക ഡാറ്റ

ശേഖരിച്ച ഡാറ്റയുടെ 80% ഈ ഗ്രൂപ്പിൽ പെട്ടതാണെങ്കിലും, ഈ ഉറവിടം എല്ലായ്പ്പോഴും ഉപയോഗിക്കില്ല. മിക്കപ്പോഴും ഇത് ആർക്കും ആവശ്യമില്ലെന്ന് തോന്നുന്ന ഡാറ്റയാണ്, ഉദാഹരണത്തിന്, ലോഗുകൾ. എന്നാൽ നിങ്ങൾ അവയെ മറ്റൊരു കോണിൽ നിന്ന് നോക്കുകയാണെങ്കിൽ, ചിലപ്പോൾ നിങ്ങൾക്ക് അവയിൽ അപ്രതീക്ഷിത പാറ്റേണുകൾ കണ്ടെത്താം.

ഷെയർവെയർ ഉറവിടങ്ങൾ

സോഷ്യൽ നെറ്റ്‌വർക്കുകൾ, ഇന്റർനെറ്റ് എന്നിവയിൽ നിന്നുള്ള ഡാറ്റയും സൗജന്യമായി ആക്‌സസ് ചെയ്യാൻ കഴിയുന്ന എല്ലാ കാര്യങ്ങളും ഇതിൽ ഉൾപ്പെടുന്നു. എന്തുകൊണ്ടാണ് ഇത് ഷെയർവെയർ സൗജന്യമായിരിക്കുന്നത്? ഒരു വശത്ത്, ഈ ഡാറ്റ എല്ലാവർക്കും ലഭ്യമാണ്, എന്നാൽ നിങ്ങളൊരു വലിയ കമ്പനിയാണെങ്കിൽ, പതിനായിരക്കണക്കിന്, നൂറുകണക്കിന് അല്ലെങ്കിൽ ദശലക്ഷക്കണക്കിന് ഉപഭോക്താക്കളുടെ വരിക്കാരുടെ വലുപ്പത്തിൽ ഇത് നേടുന്നത് എളുപ്പമുള്ള കാര്യമല്ല. അതിനാൽ, ഈ ഡാറ്റ നൽകുന്നതിന് മാർക്കറ്റിൽ പണമടച്ചുള്ള സേവനങ്ങളുണ്ട്.

പണമടച്ച ഉറവിടങ്ങൾ

പണത്തിനായി ഡാറ്റ വിൽക്കുന്ന കമ്പനികളും ഇതിൽ ഉൾപ്പെടുന്നു. ഇവ ടെലികോം, ഡിഎംപികൾ, ഇന്റർനെറ്റ് കമ്പനികൾ, ക്രെഡിറ്റ് ബ്യൂറോകൾ, അഗ്രഗേറ്ററുകൾ എന്നിവയായിരിക്കാം. റഷ്യയിൽ, ടെലികോം ഡാറ്റ വിൽക്കുന്നില്ല. ഒന്നാമതായി, ഇത് സാമ്പത്തികമായി ലാഭകരമല്ല, രണ്ടാമതായി, ഇത് നിയമപ്രകാരം നിരോധിച്ചിരിക്കുന്നു. അതിനാൽ, അവർ അവരുടെ പ്രോസസ്സിംഗിന്റെ ഫലങ്ങൾ വിൽക്കുന്നു, ഉദാഹരണത്തിന്, ജിയോ അനലിറ്റിക്കൽ റിപ്പോർട്ടുകൾ.

ഡാറ്റ തുറക്കുക

സംസ്ഥാനം ബിസിനസ്സുകളെ ഉൾക്കൊള്ളുകയും അവർ ശേഖരിക്കുന്ന ഡാറ്റ ഉപയോഗിക്കാനുള്ള അവസരം നൽകുകയും ചെയ്യുന്നു. ഇത് പടിഞ്ഞാറൻ രാജ്യങ്ങളിൽ വലിയ തോതിൽ വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്, എന്നാൽ ഇക്കാര്യത്തിൽ റഷ്യയും കാലത്തിനനുസരിച്ച് നിൽക്കുന്നു. ഉദാഹരണത്തിന്, മോസ്കോ ഗവൺമെന്റിന്റെ ഒരു ഓപ്പൺ ഡാറ്റ പോർട്ടൽ ഉണ്ട്, അവിടെ വിവിധ നഗര അടിസ്ഥാന സൗകര്യങ്ങളെക്കുറിച്ചുള്ള വിവരങ്ങൾ പ്രസിദ്ധീകരിക്കുന്നു.

മോസ്കോയിലെ താമസക്കാർക്കും അതിഥികൾക്കും, ഡാറ്റ ടാബുലാർ, കാർട്ടോഗ്രാഫിക് രൂപത്തിലും ഡവലപ്പർമാർക്കായി - പ്രത്യേക മെഷീൻ റീഡബിൾ ഫോർമാറ്റുകളിലും അവതരിപ്പിച്ചിരിക്കുന്നു. പ്രോജക്റ്റ് പരിമിതമായ മോഡിൽ പ്രവർത്തിക്കുമ്പോൾ, അത് വികസിച്ചുകൊണ്ടിരിക്കുന്നു, അതിനർത്ഥം ഇത് നിങ്ങളുടെ ബിസിനസ്സ് ടാസ്‌ക്കുകൾക്കായി ഉപയോഗിക്കാനാകുന്ന ഡാറ്റയുടെ ഉറവിടം കൂടിയാണ് എന്നാണ്.

ഗവേഷണം

ഇതിനകം സൂചിപ്പിച്ചതുപോലെ, ഒരു പാറ്റേൺ കണ്ടെത്തുക എന്നതാണ് ബിഗ് ഡാറ്റയുടെ ചുമതല. പലപ്പോഴും, ലോകമെമ്പാടുമുള്ള ഗവേഷണങ്ങൾ ഒരു പ്രത്യേക പാറ്റേൺ കണ്ടെത്തുന്നതിനുള്ള ഒരു ഫുൾക്രം ആയി മാറിയേക്കാം - നിങ്ങൾക്ക് ഒരു നിർദ്ദിഷ്ട ഫലം നേടാനും നിങ്ങളുടെ സ്വന്തം ആവശ്യങ്ങൾക്ക് സമാനമായ യുക്തി പ്രയോഗിക്കാനും കഴിയും.

ഗണിതശാസ്ത്രത്തിലെ എല്ലാ നിയമങ്ങളും ബാധകമല്ലാത്ത ഒരു മേഖലയാണ് ബിഗ് ഡാറ്റ. ഉദാഹരണത്തിന്, "1" + "1" എന്നത് "2" അല്ല, കൂടുതൽ കൂടുതൽ, കാരണം ഡാറ്റ ഉറവിടങ്ങൾ മിക്സ് ചെയ്യുന്നതിലൂടെ പ്രഭാവം ഗണ്യമായി വർദ്ധിപ്പിക്കാൻ കഴിയും.

ഉൽപ്പന്ന ഉദാഹരണങ്ങൾ

പലർക്കും മ്യൂസിക് സെലക്ഷൻ സർവീസ് Spotify പരിചിതമാണ്. ഇത് വളരെ മികച്ചതാണ്, കാരണം ഇത് ഉപയോക്താക്കളോട് അവരുടെ ഇന്നത്തെ മാനസികാവസ്ഥ എന്താണെന്ന് ചോദിക്കുന്നില്ല, പകരം അതിന് ലഭ്യമായ ഉറവിടങ്ങളെ അടിസ്ഥാനമാക്കി അത് കണക്കാക്കുന്നു. നിങ്ങൾക്ക് ഇപ്പോൾ എന്താണ് വേണ്ടതെന്ന് അവന് എപ്പോഴും അറിയാം - ജാസ് അല്ലെങ്കിൽ ഹാർഡ് റോക്ക്. ഫാനുകൾ നൽകുന്നതും മറ്റ് സേവനങ്ങളിൽ നിന്ന് അതിനെ വേർതിരിക്കുന്നതുമായ പ്രധാന വ്യത്യാസം ഇതാണ്.

അത്തരം ഉൽപ്പന്നങ്ങളെ സാധാരണയായി സെൻസ് ഉൽപ്പന്നങ്ങൾ എന്ന് വിളിക്കുന്നു - അവരുടെ ഉപഭോക്താക്കളെ അനുഭവിക്കുന്നവ.

ബിഗ് ഡാറ്റ ടെക്നോളജി ഓട്ടോമോട്ടീവ് വ്യവസായത്തിലും ഉപയോഗിക്കുന്നു. ഉദാഹരണത്തിന്, ടെസ്‌ല ഇത് ചെയ്യുന്നു - അവരുടെ ഏറ്റവും പുതിയ മോഡലിന് ഓട്ടോപൈലറ്റ് ഉണ്ട്. യാത്രക്കാരനെ അവൻ പോകേണ്ട സ്ഥലത്തേക്ക് കൊണ്ടുപോകുന്ന ഒരു കാർ സൃഷ്ടിക്കാൻ കമ്പനി ശ്രമിക്കുന്നു. ബിഗ് ഡാറ്റ ഇല്ലാതെ, ഇത് അസാധ്യമാണ്, കാരണം ഒരു വ്യക്തി ചെയ്യുന്നതുപോലെ നമുക്ക് നേരിട്ട് ലഭിക്കുന്ന ഡാറ്റ മാത്രം ഉപയോഗിക്കുകയാണെങ്കിൽ, കാർ മെച്ചപ്പെടുത്താൻ കഴിയില്ല.

നമ്മൾ സ്വയം ഒരു കാർ ഓടിക്കുമ്പോൾ, നമ്മൾ ശ്രദ്ധിക്കാത്ത പല ഘടകങ്ങളെ അടിസ്ഥാനമാക്കി തീരുമാനങ്ങൾ എടുക്കാൻ നമ്മുടെ ന്യൂറോണുകൾ ഉപയോഗിക്കുന്നു. ഉദാഹരണത്തിന്, ഒരു പച്ച വെളിച്ചത്തിൽ പെട്ടെന്ന് ത്വരിതപ്പെടുത്തരുതെന്ന് ഞങ്ങൾ തീരുമാനിച്ചത് എന്തുകൊണ്ടാണെന്ന് ഞങ്ങൾക്ക് മനസ്സിലാകുന്നില്ല, പക്ഷേ തീരുമാനം ശരിയായിരുന്നുവെന്ന് ഞങ്ങൾ മനസ്സിലാക്കുന്നു - ഒരു കാർ നിങ്ങളുടെ അടുത്തേക്ക് അതിവേഗം പാഞ്ഞുപോയി, നിങ്ങൾ ഒരു അപകടം ഒഴിവാക്കി.

സ്‌പോർട്‌സിൽ ബിഗ് ഡാറ്റ ഉപയോഗിക്കുന്നതിന്റെ ഒരു ഉദാഹരണവും നിങ്ങൾക്ക് നൽകാം. 2002-ൽ, ഓക്ലാൻഡ് അത്ലറ്റിക്സ് ബേസ്ബോൾ ടീമിന്റെ ജനറൽ മാനേജർ ബില്ലി ബീൻ, അത്ലറ്റുകളെ എങ്ങനെ റിക്രൂട്ട് ചെയ്യാം എന്നതിന്റെ മാതൃക തകർക്കാൻ തീരുമാനിച്ചു - അദ്ദേഹം കളിക്കാരെ തിരഞ്ഞെടുത്ത് പരിശീലിപ്പിച്ചു.

സാധാരണയായി മാനേജർമാർ കളിക്കാരുടെ വിജയത്തെ നോക്കുന്നു, എന്നാൽ ഈ സാഹചര്യത്തിൽ എല്ലാം വ്യത്യസ്തമായിരുന്നു - ഫലങ്ങൾ ലഭിക്കുന്നതിന്, മാനേജർ തനിക്ക് ആവശ്യമുള്ള കായികതാരങ്ങളുടെ സംയോജനത്തെക്കുറിച്ച് പഠിച്ചു, വ്യക്തിഗത സവിശേഷതകൾ ശ്രദ്ധിച്ചു. മാത്രമല്ല, കൂടുതൽ കഴിവുകളില്ലാത്ത അത്ലറ്റുകളെ അദ്ദേഹം തിരഞ്ഞെടുത്തു, പക്ഷേ ടീം മൊത്തത്തിൽ വിജയകരമായിരുന്നു, അവർ തുടർച്ചയായി ഇരുപത് മത്സരങ്ങൾ വിജയിച്ചു.

സംവിധായകൻ ബെന്നറ്റ് മില്ലർ പിന്നീട് ഈ കഥയ്ക്ക് സമർപ്പിച്ച ഒരു സിനിമ നിർമ്മിച്ചു - ബ്രാഡ് പിറ്റ് അഭിനയിച്ച “എല്ലാം മാറ്റിമറിച്ച മനുഷ്യൻ”.

സാമ്പത്തിക മേഖലയിലും ബിഗ് ഡാറ്റ ടെക്നോളജി ഉപയോഗപ്രദമാണ്. മറ്റൊരാൾക്ക് വായ്പ നൽകുന്നത് മൂല്യവത്താണോ എന്ന് സ്വതന്ത്രമായും കൃത്യമായും നിർണ്ണയിക്കാൻ ലോകത്തിലെ ഒരു വ്യക്തിക്കും കഴിയില്ല. ഒരു തീരുമാനമെടുക്കുന്നതിന്, സ്കോറിംഗ് നടത്തുന്നു, അതായത്, ഒരു പ്രോബബിലിസ്റ്റിക് മോഡൽ നിർമ്മിക്കപ്പെടുന്നു, അതിൽ നിന്ന് ഈ വ്യക്തി പണം തിരികെ നൽകുമോ ഇല്ലയോ എന്ന് മനസ്സിലാക്കാൻ കഴിയും. കൂടാതെ, സ്കോറിംഗ് എല്ലാ ഘട്ടങ്ങളിലും പ്രയോഗിക്കുന്നു: ഉദാഹരണത്തിന്, ഒരു നിശ്ചിത നിമിഷത്തിൽ ഒരു വ്യക്തി പണമടയ്ക്കുന്നത് നിർത്തുമെന്ന് നിങ്ങൾക്ക് കണക്കാക്കാം.

വലിയ ഡാറ്റ പണം സമ്പാദിക്കാൻ മാത്രമല്ല, അത് ലാഭിക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു. പ്രത്യേകിച്ചും, ഈ സാങ്കേതികവിദ്യ ജർമ്മൻ തൊഴിൽ മന്ത്രാലയത്തെ തൊഴിലില്ലായ്മ ആനുകൂല്യങ്ങളുടെ വില 10 ബില്യൺ യൂറോ കുറയ്ക്കാൻ സഹായിച്ചു, കാരണം വിവരങ്ങൾ വിശകലനം ചെയ്ത ശേഷം 20% ആനുകൂല്യങ്ങൾ അർഹതയില്ലാതെ നൽകിയെന്ന് വ്യക്തമായി.

വൈദ്യശാസ്ത്രത്തിലും സാങ്കേതികവിദ്യകൾ ഉപയോഗിക്കുന്നു (ഇത് ഇസ്രായേലിന് പ്രത്യേകിച്ചും സാധാരണമാണ്). ബിഗ് ഡാറ്റയുടെ സഹായത്തോടെ, മുപ്പത് വർഷത്തെ പരിചയമുള്ള ഒരു ഡോക്ടർക്ക് ചെയ്യാൻ കഴിയുന്നതിനേക്കാൾ വളരെ കൃത്യമായ വിശകലനം നിങ്ങൾക്ക് നടത്താനാകും.

ഏതൊരു ഡോക്ടറും, രോഗനിർണയം നടത്തുമ്പോൾ, സ്വന്തം അനുഭവത്തെ മാത്രം ആശ്രയിക്കുന്നു. യന്ത്രം ഇത് ചെയ്യുമ്പോൾ, ഇത് ആയിരക്കണക്കിന് ഡോക്ടർമാരുടെ അനുഭവത്തിൽ നിന്നും നിലവിലുള്ള എല്ലാ കേസ് ചരിത്രങ്ങളിൽ നിന്നും വരുന്നു. രോഗിയുടെ വീട് ഏത് വസ്തുക്കളിൽ നിന്നാണ് നിർമ്മിച്ചിരിക്കുന്നത്, ഇര ഏത് പ്രദേശത്താണ് താമസിക്കുന്നത്, ഏത് തരത്തിലുള്ള പുകയുണ്ട്, തുടങ്ങിയവ കണക്കിലെടുക്കുന്നു. അതായത്, ഡോക്ടർമാർ കണക്കിലെടുക്കാത്ത ഒരുപാട് ഘടകങ്ങൾ ഇത് കണക്കിലെടുക്കുന്നു.

ടൊറന്റോ ചിൽഡ്രൻസ് ഹോസ്പിറ്റൽ നടപ്പിലാക്കിയ പ്രോജക്ട് ആർട്ടെമിസ് പ്രോജക്റ്റ് ആരോഗ്യ സംരക്ഷണത്തിൽ ബിഗ് ഡാറ്റയുടെ ഉപയോഗത്തിന്റെ ഉദാഹരണമാണ്. കുഞ്ഞുങ്ങളുടെ വിവരങ്ങൾ തത്സമയം ശേഖരിക്കുകയും വിശകലനം ചെയ്യുകയും ചെയ്യുന്ന ഒരു വിവര സംവിധാനമാണിത്. ഓരോ സെക്കൻഡിലും ഓരോ കുട്ടിയുടെയും 1260 ആരോഗ്യ സൂചകങ്ങൾ വിശകലനം ചെയ്യാൻ മെഷീൻ നിങ്ങളെ അനുവദിക്കുന്നു. ഒരു കുട്ടിയുടെ അസ്ഥിരമായ അവസ്ഥ പ്രവചിക്കുന്നതിനും കുട്ടികളിലെ രോഗങ്ങൾ തടയുന്നതിനും ഈ പദ്ധതി ലക്ഷ്യമിടുന്നു.

റഷ്യയിലും വലിയ ഡാറ്റ ഉപയോഗിക്കാൻ തുടങ്ങുന്നു: ഉദാഹരണത്തിന്, Yandex-ന് ഒരു വലിയ ഡാറ്റാ ഡിവിഷൻ ഉണ്ട്. കമ്പനി, ആസ്ട്രസെനെക്കയും റഷ്യൻ സൊസൈറ്റി ഓഫ് ക്ലിനിക്കൽ ഓങ്കോളജി റസ്‌കോയും ചേർന്ന് ജനിതകശാസ്ത്രജ്ഞർക്കും തന്മാത്രാ ജീവശാസ്ത്രജ്ഞർക്കും വേണ്ടിയുള്ള റേ പ്ലാറ്റ്‌ഫോം സമാരംഭിച്ചു. കാൻസർ നിർണയിക്കുന്നതിനും ക്യാൻസറിനുള്ള മുൻകരുതൽ തിരിച്ചറിയുന്നതിനുമുള്ള രീതികൾ മെച്ചപ്പെടുത്താൻ പദ്ധതി ഞങ്ങളെ അനുവദിക്കുന്നു. പ്ലാറ്റ്ഫോം 2016 ഡിസംബറിൽ ആരംഭിക്കും.

എന്താണ് സംഭവിക്കുന്നത് ബിഗ് ഡാറ്റ(അക്ഷരാർത്ഥത്തിൽ - വലിയ ഡാറ്റ)? ആദ്യം നമുക്ക് ഓക്സ്ഫോർഡ് നിഘണ്ടു നോക്കാം:

ഡാറ്റ- ഒരു കമ്പ്യൂട്ടർ പ്രവർത്തിക്കുന്ന അളവുകൾ, അടയാളങ്ങൾ അല്ലെങ്കിൽ ചിഹ്നങ്ങൾ, അത് കാന്തിക, ഒപ്റ്റിക്കൽ അല്ലെങ്കിൽ മെക്കാനിക്കൽ മീഡിയയിൽ രേഖപ്പെടുത്തുന്ന വൈദ്യുത സിഗ്നലുകളുടെ രൂപത്തിൽ സംഭരിക്കാനും കൈമാറാനും കഴിയും.

കാലാവധി ബിഗ് ഡാറ്റകാലക്രമേണ അതിവേഗം വളരുന്ന ഒരു വലിയ ഡാറ്റാ സെറ്റിനെ വിവരിക്കാൻ ഉപയോഗിക്കുന്നു. അത്തരം ഒരു അളവ് ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിന്, നിങ്ങൾക്ക് ഇല്ലാതെ ചെയ്യാൻ കഴിയില്ല.

ബിഗ് ഡാറ്റ നൽകുന്ന നേട്ടങ്ങൾ:

1. വിവിധ ഉറവിടങ്ങളിൽ നിന്ന് ഡാറ്റ ശേഖരിക്കുന്നു.
2. തത്സമയ വിശകലനത്തിലൂടെ ബിസിനസ്സ് പ്രക്രിയകൾ മെച്ചപ്പെടുത്തുന്നു.
3. വലിയ അളവിലുള്ള ഡാറ്റ സംഭരിക്കുന്നു.
4. ഉൾക്കാഴ്ചകൾ. ഘടനാപരമായതും അർദ്ധ ഘടനാപരമായതുമായ ഡാറ്റയിലൂടെ മറഞ്ഞിരിക്കുന്ന വിവരങ്ങളിലേക്ക് ബിഗ് ഡാറ്റ കൂടുതൽ ഉൾക്കാഴ്ചയുള്ളതാണ്.
5. റിസ്ക് കുറയ്ക്കാനും ശരിയായ റിസ്ക് അനലിറ്റിക്സ് ഉപയോഗിച്ച് മികച്ച തീരുമാനങ്ങൾ എടുക്കാനും ബിഗ് ഡാറ്റ നിങ്ങളെ സഹായിക്കുന്നു

ബിഗ് ഡാറ്റ ഉദാഹരണങ്ങൾ

ന്യൂയോർക്ക് സ്റ്റോക്ക് എക്സ്ചേഞ്ച്ദിവസവും സൃഷ്ടിക്കുന്നു 1 ടെറാബൈറ്റ്കഴിഞ്ഞ സെഷനിലെ ട്രേഡിംഗ് ഡാറ്റ.

സോഷ്യൽ മീഡിയ: ഫേസ്ബുക്ക് എല്ലാ ദിവസവും അപ്‌ലോഡ് ചെയ്യുന്നുവെന്ന് സ്ഥിതിവിവരക്കണക്കുകൾ വ്യക്തമാക്കുന്നു 500 ടെറാബൈറ്റ്പ്രധാനമായും സോഷ്യൽ നെറ്റ്‌വർക്ക് സെർവറുകളിലേക്ക് ഫോട്ടോകളും വീഡിയോകളും അപ്‌ലോഡ് ചെയ്യുന്നത്, സന്ദേശമയയ്‌ക്കൽ, പോസ്റ്റുകൾക്ക് കീഴിലുള്ള കമന്റുകൾ മുതലായവ മൂലമാണ് പുതിയ ഡാറ്റ സൃഷ്ടിക്കപ്പെടുന്നത്.

ജെറ്റ് എഞ്ചിൻസൃഷ്ടിക്കുന്നു 10 ടെറാബൈറ്റ്ഫ്ലൈറ്റ് സമയത്ത് ഓരോ 30 മിനിറ്റിലും ഡാറ്റ. ഓരോ ദിവസവും ആയിരക്കണക്കിന് വിമാനങ്ങൾ നടത്തുന്നതിനാൽ, ഡാറ്റയുടെ അളവ് പെറ്റാബൈറ്റുകളിൽ എത്തുന്നു.

ബിഗ് ഡാറ്റ വർഗ്ഗീകരണം

വലിയ ഡാറ്റ ഫോമുകൾ:

• ഘടനാപരമായ
• ഘടനയില്ലാത്തത്
• അർദ്ധ-ഘടനാപരമായ

ഘടനാപരമായ രൂപം

ഒരു നിശ്ചിത ഫോർമാറ്റിലുള്ള ഫോമിൽ സംഭരിക്കാനും ആക്സസ് ചെയ്യാനും പ്രോസസ്സ് ചെയ്യാനും കഴിയുന്ന ഡാറ്റയെ ഘടനാപരമായത് എന്ന് വിളിക്കുന്നു. കാലക്രമേണ, കമ്പ്യൂട്ടർ സയൻസ് ഇത്തരത്തിലുള്ള ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നതിനുള്ള സാങ്കേതിക വിദ്യകൾ മെച്ചപ്പെടുത്തുന്നതിൽ വലിയ പുരോഗതി കൈവരിച്ചു (ഫോർമാറ്റ് മുൻകൂട്ടി അറിയാവുന്നിടത്ത്) അതിൽ നിന്ന് എങ്ങനെ പ്രയോജനം നേടാമെന്ന് മനസിലാക്കി. എന്നിരുന്നാലും, ഇന്ന് നിരവധി സെറ്റാബൈറ്റുകളുടെ പരിധിയിൽ അളക്കുന്ന വലുപ്പങ്ങളിലേക്കുള്ള വോള്യങ്ങളുടെ വളർച്ചയുമായി ബന്ധപ്പെട്ട പ്രശ്നങ്ങൾ ഉണ്ട്.

1 സെറ്റാബൈറ്റ് ഒരു ബില്യൺ ടെറാബൈറ്റിന് തുല്യമാണ്

ഈ നമ്പറുകൾ നോക്കുമ്പോൾ, ബിഗ് ഡാറ്റ എന്ന പദത്തിന്റെ കൃത്യതയും അത്തരം ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിലും സംഭരിക്കുന്നതുമായി ബന്ധപ്പെട്ട ബുദ്ധിമുട്ടുകളും കാണാൻ എളുപ്പമാണ്.

ഒരു റിലേഷണൽ ഡാറ്റാബേസിൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റ ഘടനാപരമായതാണ്, ഉദാഹരണത്തിന്, കമ്പനി ജീവനക്കാരുടെ പട്ടികകൾ പോലെയാണ്

ഘടനയില്ലാത്ത രൂപം

അജ്ഞാത ഘടനയുടെ ഡാറ്റ ഘടനയില്ലാത്തതായി തരം തിരിച്ചിരിക്കുന്നു. വലിയ വലിപ്പത്തിന് പുറമേ, ഉപയോഗപ്രദമായ വിവരങ്ങൾ പ്രോസസ്സ് ചെയ്യുന്നതിലും എക്‌സ്‌ട്രാക്റ്റുചെയ്യുന്നതിലും ഈ ആകൃതിയുടെ സവിശേഷതയുണ്ട്. ഘടനാരഹിതമായ ഡാറ്റയുടെ ഒരു സാധാരണ ഉദാഹരണം ലളിതമായ ടെക്സ്റ്റ് ഫയലുകൾ, ഇമേജുകൾ, വീഡിയോകൾ എന്നിവയുടെ സംയോജനം ഉൾക്കൊള്ളുന്ന ഒരു വൈവിധ്യമാർന്ന ഉറവിടമാണ്. ഇന്ന്, ഓർഗനൈസേഷനുകൾക്ക് വലിയ അളവിലുള്ള അസംസ്കൃത അല്ലെങ്കിൽ ഘടനാപരമായ ഡാറ്റയിലേക്ക് ആക്സസ് ഉണ്ട്, എന്നാൽ അതിൽ നിന്ന് മൂല്യം വേർതിരിച്ചെടുക്കുന്നത് എങ്ങനെയെന്ന് അറിയില്ല.

അർദ്ധ ഘടനാപരമായ രൂപം

ഈ വിഭാഗത്തിൽ മുകളിൽ വിവരിച്ച രണ്ടും അടങ്ങിയിരിക്കുന്നു, അതിനാൽ സെമി-സ്ട്രക്ചേർഡ് ഡാറ്റയ്ക്ക് ചില രൂപങ്ങളുണ്ട്, പക്ഷേ യഥാർത്ഥത്തിൽ റിലേഷണൽ ഡാറ്റാബേസുകളിലെ പട്ടികകൾ നിർവ്വചിക്കുന്നില്ല. ഈ വിഭാഗത്തിന്റെ ഒരു ഉദാഹരണം ഒരു XML ഫയലിൽ അവതരിപ്പിച്ചിരിക്കുന്ന വ്യക്തിഗത ഡാറ്റയാണ്.

പ്രശാന്ത് റാവുആൺ35 സീമ ആർ.സ്ത്രീ41 സതീഷ് മാനെആൺ29 സുബ്രതോ റോയ്ആൺ26 ജെറമിയ ജെ.ആൺ35

ബിഗ് ഡാറ്റയുടെ സവിശേഷതകൾ

കാലക്രമേണ വലിയ ഡാറ്റ വളർച്ച:

നീല നിറം ഘടനാപരമായ ഡാറ്റയെ (എന്റർപ്രൈസ് ഡാറ്റ) പ്രതിനിധീകരിക്കുന്നു, അത് റിലേഷണൽ ഡാറ്റാബേസുകളിൽ സംഭരിച്ചിരിക്കുന്നു. മറ്റ് നിറങ്ങൾ വിവിധ സ്രോതസ്സുകളിൽ നിന്നുള്ള (ഐപി ടെലിഫോണി, ഉപകരണങ്ങളും സെൻസറുകളും, സോഷ്യൽ നെറ്റ്‌വർക്കുകളും വെബ് ആപ്ലിക്കേഷനുകളും) ഘടനയില്ലാത്ത ഡാറ്റയെ സൂചിപ്പിക്കുന്നു.

ഗാർട്ട്നർ പറയുന്നതനുസരിച്ച്, വലിയ ഡാറ്റ വോളിയം, ജനറേഷൻ നിരക്ക്, വൈവിധ്യം, വേരിയബിളിറ്റി എന്നിവയിൽ വ്യത്യാസപ്പെടുന്നു. ഈ സ്വഭാവസവിശേഷതകൾ നമുക്ക് സൂക്ഷ്മമായി പരിശോധിക്കാം.

1. വ്യാപ്തം. ബിഗ് ഡാറ്റ എന്ന പദം തന്നെ വലിയ വലിപ്പവുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാനുള്ള സാധ്യതയുള്ള മൂല്യം നിർണ്ണയിക്കുന്നതിനുള്ള ഒരു നിർണായക മെട്രിക് ആണ് ഡാറ്റ വലുപ്പം. ഓരോ ദിവസവും, 6 ദശലക്ഷം ആളുകൾ ഡിജിറ്റൽ മീഡിയ ഉപയോഗിക്കുന്നു, ഇത് ഏകദേശം 2.5 ക്വിന്റില്യൺ ബൈറ്റുകൾ ഡാറ്റ സൃഷ്ടിക്കുന്നു. അതിനാൽ, പരിഗണിക്കേണ്ട ആദ്യത്തെ സ്വഭാവമാണ് വോളിയം.
2. വൈവിധ്യം- അടുത്ത വശം. ഇത് വൈവിധ്യമാർന്ന ഉറവിടങ്ങളെയും ഡാറ്റയുടെ സ്വഭാവത്തെയും സൂചിപ്പിക്കുന്നു, അവ ഘടനാപരമോ ഘടനാരഹിതമോ ആകാം. മുമ്പ്, മിക്ക ആപ്ലിക്കേഷനുകളിലും സ്പ്രെഡ്ഷീറ്റുകളും ഡാറ്റാബേസുകളും മാത്രമായിരുന്നു വിവരങ്ങളുടെ ഉറവിടങ്ങൾ. ഇന്ന്, ഇമെയിലുകൾ, ഫോട്ടോകൾ, വീഡിയോകൾ, PDF ഫയലുകൾ, ഓഡിയോ എന്നിവയുടെ രൂപത്തിലുള്ള ഡാറ്റയും വിശകലന ആപ്ലിക്കേഷനുകളിൽ പരിഗണിക്കപ്പെടുന്നു. ഘടനാരഹിതമായ ഈ വൈവിധ്യമാർന്ന ഡാറ്റ സംഭരണം, ഖനനം, വിശകലനം എന്നിവയിലെ പ്രശ്‌നങ്ങളിലേക്ക് നയിക്കുന്നു: 27% കമ്പനികൾ ശരിയായ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നുവെന്ന് ഉറപ്പില്ല.
3. ജനറേഷൻ വേഗത. ആവശ്യകതകൾ നിറവേറ്റുന്നതിനായി ഡാറ്റ എത്ര വേഗത്തിൽ ശേഖരിക്കപ്പെടുകയും പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യുന്നു എന്നത് സാധ്യതയെ നിർണ്ണയിക്കുന്നു. സ്രോതസ്സുകളിൽ നിന്നുള്ള വിവര പ്രവാഹത്തിന്റെ വേഗത നിർണ്ണയിക്കുന്നത് വേഗതയാണ് - ബിസിനസ്സ് പ്രക്രിയകൾ, ആപ്ലിക്കേഷൻ ലോഗുകൾ, സോഷ്യൽ നെറ്റ്‌വർക്കിംഗ്, മീഡിയ സൈറ്റുകൾ, സെൻസറുകൾ, മൊബൈൽ ഉപകരണങ്ങൾ. ഡാറ്റയുടെ ഒഴുക്ക് വളരെ വലുതും കാലക്രമേണ തുടർച്ചയായതുമാണ്.
4. വ്യതിയാനംചില സമയങ്ങളിൽ ഡാറ്റയുടെ വ്യതിയാനം വിവരിക്കുന്നു, ഇത് പ്രോസസ്സിംഗും മാനേജ്മെന്റും സങ്കീർണ്ണമാക്കുന്നു. ഉദാഹരണത്തിന്, മിക്ക ഡാറ്റയും പ്രകൃതിയിൽ ഘടനയില്ലാത്തതാണ്.

ബിഗ് ഡാറ്റ അനലിറ്റിക്സ്: ബിഗ് ഡാറ്റയുടെ നേട്ടങ്ങൾ എന്തൊക്കെയാണ്

ചരക്കുകളുടെയും സേവനങ്ങളുടെയും പ്രമോഷൻ: സെർച്ച് എഞ്ചിനുകളിൽ നിന്നും Facebook, Twitter പോലുള്ള സൈറ്റുകളിൽ നിന്നും ഡാറ്റയിലേക്കുള്ള ആക്‌സസ് മാർക്കറ്റിംഗ് തന്ത്രങ്ങൾ കൂടുതൽ കൃത്യമായി വികസിപ്പിക്കാൻ ബിസിനസുകളെ അനുവദിക്കുന്നു.

ഉപഭോക്താക്കൾക്കുള്ള സേവനം മെച്ചപ്പെടുത്തുന്നു: പരമ്പരാഗത ഉപഭോക്തൃ ഫീഡ്‌ബാക്ക് സംവിധാനങ്ങൾ പുതിയവ ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുന്നു, അത് ഉപഭോക്തൃ ഫീഡ്‌ബാക്ക് വായിക്കാനും വിലയിരുത്താനും ബിഗ് ഡാറ്റയും നാച്ചുറൽ ലാംഗ്വേജ് പ്രോസസ്സിംഗും ഉപയോഗിക്കുന്നു.

റിസ്ക് കണക്കുകൂട്ടൽഒരു പുതിയ ഉൽപ്പന്നത്തിന്റെയോ സേവനത്തിന്റെയോ റിലീസുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു.

പ്രവർത്തന കാര്യക്ഷമത: ആവശ്യമായ വിവരങ്ങൾ വേഗത്തിൽ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിനും കൃത്യമായ ഫലങ്ങൾ വേഗത്തിൽ ഉൽപ്പാദിപ്പിക്കുന്നതിനുമായി വലിയ ഡാറ്റ ക്രമീകരിച്ചിരിക്കുന്നു. ബിഗ് ഡാറ്റയുടെയും സ്റ്റോറേജ് സാങ്കേതികവിദ്യകളുടെയും ഈ സംയോജനം, അപൂർവ്വമായി ഉപയോഗിക്കുന്ന വിവരങ്ങൾ ഉപയോഗിച്ച് ഓർഗനൈസേഷനുകളെ അവരുടെ ജോലി ഒപ്റ്റിമൈസ് ചെയ്യാൻ സഹായിക്കുന്നു.