Чи знаєте ви, у чому хибність поняття "фізичний вакуум"?

Фізичний вакуум - поняття релятивістської квантової фізики, під ним там розуміють нижчу (основне) енергетичний станквантованого поля, що володіє нульовим імпульсом, моментом імпульсу та іншими квантовими числами. Фізичним вакуумом релятивістські теоретики називають повністю позбавлене речовини простір, заповнений невимірюваним, отже, лише уявним полем. Такий стан на думку релятивістів не є абсолютною порожнечею, але простір, заповнений деякими фантомними (віртуальними) частинками. Релятивістська квантова теоріяполя стверджує, що, згідно з принципом невизначеності Гейзенберга, у фізичному вакуумі постійно народжуються і зникають віртуальні, тобто частки, що здаються (кому здаються?): відбуваються так звані нульові коливання полів. Віртуальні частки фізичного вакууму, а отже, він сам, за визначенням не мають системи відліку, тому що в іншому випадку порушувався б принцип відносності Ейнштейна, на якому ґрунтується теорія відносності (тобто стала б можливою абсолютна система вимірювання з відліком від частинок фізичного вакууму, що у свою чергу однозначно спростувало б принцип відносності, на якому побудована СТО). Таким чином, фізичний вакуум і його частинки не є елементами фізичного світу, але лише елементи теорії відносності, які існують не в реальному світі, але лише в релятивістських формулах, порушуючи при цьому принцип причинності (виникають і зникають так), принцип об'єктивності (віртуальні частки можна вважати залежно від бажання теоретика або існуючими, або не існуючими), принцип фактичної вимірності (не спостерігаються, не мають своєї ISO).

Коли той чи інший фізик використовує поняття "фізичний вакуум", він або не розуміє абсурдності цього терміна, або лукавить, будучи прихованим або явним прихильником релятивістської ідеології.

Зрозуміти абсурдність цього поняття найлегше звернувшись до витоків його виникнення. Народжено воно було Полем Діраком у 1930-х, коли стало зрозуміло, що заперечення ефіру в чистому вигляді, як це робив великий математик, але посередній фізик вже не можна. Занадто багато фактів суперечить цьому.

Для захисту релятивізму Поль Дірак ввів афізичне та алогічне поняття негативної енергії, а потім і існування "моря" двох компенсуючих один одного енергій у вакуумі - позитивної і негативної, а також "моря" частинок, що компенсують одна одну, - віртуальних (тобто здаються) електронів і позитронів у вакуумі.

OLTP(Обробка транзакцій у режимі реального часу) бере участь у роботі конкретної системи. OLTP характеризується великою кількістюкоротких он-лайнових транзакцій (INSERT, UPDATE, DELETE). Основний упор для OLTP-систем полягає у дуже швидкій обробці запитів, забезпеченні цілісності даних у середовищах з множинним доступом та ефективності, що вимірюється кількістю транзакцій на секунду. У базі даних OLTP є докладні та поточні дані, а схема, що використовується для зберігання транзакційних баз даних, – це модель сутності (зазвичай 3NF). Він включає Запити, пов'язані з індивідуальним записом, наприклад "Оновлення електронної поштив базі даних компанії.

OLAP(он-лайн аналітична обробка) має справу з історичними даними чи архівними даними. OLAP характеризується відносно низьким обсягом транзакцій. Запити часто дуже складні та включають скупчення. Для систем OLAP час відгуку – це показник ефективності. OLAPшироко використовуються методами інтелектуального аналізу даних. У базі даних OLAP зберігаються агреговані історичні дані, що зберігаються в багатовимірних схемах (зазвичай зіркоподібна схема). Іноді запит повинен отримати доступ до великої кількості даних у записах управління, як те, що було прибутком вашої компанії минулого року.

Дуже коротка відповідь:

Різні бази даних мають різні видивикористання. Я не експерт з баз даних. Коли я сумніваюся, я просто використовую SQL.

Коротка відповідь:

Розглянемо два приклади сценаріїв:

Сценарій 1:

Ви будуєте інтернет-магазин/веб-сайт і хочете мати можливість:

• зберігати дані користувача, паролі, попередні транзакції...
• зберігати актуальні продукти, пов'язану із нею ціну.

Ви хочете знайти дані для конкретного користувача, змінити його ім'я... В основному виконувати операції INSERT, UPDATE, DELETE для даних користувача. Те саме з продуктами і т.д.

Ви хочете мати можливість здійснювати транзакції, можливо, за участю користувача, який купує продукт (це відношення). Тоді OLTP, ймовірно, добре підходить (подумайте про СУБД SQL).

Сценарій 2:

У вас є інтернет-магазин/веб-сайт, і ви хочете обчислити такі речі, як

• "загальні витрати на гроші для всіх користувачів"
• "який продукт, що найбільше продається"

Це стосується галузі аналітики/бізнес-аналітики, тому OLAP, ймовірно, більше підходить.

Якщо ви думаєте в термінах "Було б добре знати, як/що/скільки"... і включає весь "об'єкт" одного або декількох видів (наприклад, всіх користувачів та більшість продуктів щоб дізнатися, скільки всього витрачено), тоді OLAP, ймовірно краще підходить.

Довша відповідь:

Звісно, ​​все не так просто. Тому ми повинні спочатку помістити маленькі теги, такі як OLTP та OLAP. Кожна база даних має оцінюватись незалежно наприкінці.

Отже, якою може бути принципова різниця між OLAP та OLTP?

Бази даних у свердловинах повинні зберігати дані. Не дивно, що спосіб зберігання даних значною мірою відображає можливе використання зазначеної базиданих. Дані зазвичай зберігаються на жорсткому диску. Подумайте про жорсткий диск як про найбільший аркуш паперу, де ми можемо читати і писати. Існує два способи організувати наші читання та записи, щоб вони могли бути ефективними та швидкими.

Один із способів- зробити книгу, трохи схожу на телефонну книгу. На кожній сторінці книги ми зберігаємо інформацію про конкретного користувача. Тепер, коли це приємно, ми можемо легко знайти інформацію для конкретного користувача! Просто перейдіть на сторінку! У нас навіть може бути спеціальна сторінкана початку, щоб розповісти нам, на якій сторінці є користувачі, якщо ми хочемо. Але, з іншого боку, якщо ми хочемо знайти, скажімо, скільки грошей витратили всі наші користувачі, нам довелося читати кожну сторінку, тобто. вся книга! Це буде книга/база даних на основі рядків (OLTP). Необов'язковою сторінкою на початку буде індекс.

Інший спосібвикористовувати великий листпаперу – зробити бухгалтерську книгу. Я не бухгалтер, але уявіть собі, що ми матимемо сторінку для "витрат", "покупок"... Це добре, тому що тепер ми можемо дуже швидко запитати такі речі, як "дати мені загальний дохід" (просто прочитайте "покупки" Ми також можемо попросити більш цікаві речі, такі як "дати мені десятку продуктів, проданих" і все ще мати прийнятну продуктивність. Але тепер подумайте, наскільки болісно було б знайти витрати для конкретного користувача. Вам доведеться пройти весь список усіх витрат і відфільтрувати дані цього конкретного користувача, а потім підсумовувати їх, в основному це означає "прочитати всю книгу".Це буде база даних на основі стовпців (OLAP).

З цього виходить що:

• Бази даних

OLTP призначені для використання в багатьох невеликих транзакціях і зазвичай є "єдиним джерелом правди".

З іншого боку, бази даних

OLAP більше підходить для аналітики, інтелектуального аналізу даних, менше запитів, але зазвичай вони більше (вони працюють з великою кількістю даних).

Це трохи більш активну участь, ніж це, звичайно, і що 20 000 футів огляд того, як бази даних відрізняються, але це дозволяє мені не заблукати в морі акронімів.

Говорячи про абревіатури:

Різниця досить проста.

OLTP (обробка транзакцій у режимі on-line).

OLTP - це клас інформаційних систем, які полегшують та керують транзакційними додатками. OLTP також використовувався для звернення до обробки, де система негайно реагує на запити користувачів. Програми обробки транзакцій в Інтернеті є високою пропускною здатністю та інтенсивністю введення або оновлення в управлінні базами даних. Деякі приклади OLTP-систем включають введення замовлень, роздрібні продажі та системи фінансових транзакцій.

OLAP (он-лайн аналітична обробка)

OLAP є частиною ширшої категорії бізнес-аналітики, яка також включає реляційну базуданих, запис звітів та інтелектуальну обробку даних. Типові додатки OLAP включають бізнес-звітність для продажу, маркетингу, управлінської звітності, управління бізнес-процесами (BPM), бюджетування та прогнозування, фінансової звітності та аналогічних областей.

OLTP (O n- L ine T ransaction Pобробка) vs OLAP (O n- L ine A nalytical P) p >

Ми можемо поділити IT-системи на транзакційні ( OLTP) та аналітичні ( OLAP). У випадку можна припустити, що OLTPсистеми надають вихідні дані сховищам даних, тоді як системи OLAPдопомагають аналізувати його.

У наведеній нижче таблиці наведено основні відмінності між дизайном системи OLTP та OLAP.


сховища данихформуються на основі фіксованих протягом тривалого періоду часу миттєвих знімківбаз даних оперативної інформаційної системиі, можливо, різних зовнішніх джерел. У сховищах даних застосовуються технології баз даних, OLAP, глибинного аналізу даних, візуалізації даних.

Основні характеристики сховищ даних.

• містить історичні дані;
• зберігає докладні відомості, а також частково та повністю узагальнені дані;
• дані переважно є статичними;
• нерегламентований, неструктурований та евристичний спосіб обробки даних;
• середня та низька інтенсивність обробки транзакцій;
• непередбачуваний спосіб використання даних;
• призначено для проведення аналізу;
• орієнтовано на предметні області;
• підтримка ухвалення стратегічних рішень;
• обслуговує відносно невелику кількість працівників керівної ланки.

Термін OLAP (On-Line Analytical Processing) служить для опису моделі подання даних і відповідно технології їх обробки у сховищах даних. В OLAP застосовується багатовимірне подання агрегованих даних для забезпечення швидкого доступудо стратегічно важливої ​​інформаціїз метою поглибленого аналізу. Додатки OLAP повинні мати такі основні властивості:

• багатовимірне подання даних;
• підтримка складних розрахунків;
• правильний облік фактор часу.

Переваги OLAP:

• підвищення продуктивностівиробничого персоналу, розробників прикладних програм . Своєчасний доступ до стратегічної інформації.
• надання користувачам достатніх можливостей для внесення власних зміну схему.
• програми OLAP спираються на сховища данихта системи OLTP, отримуючи від них актуальні дані, що дає збереження контролю цілісностікорпоративних даних.
• зменшення навантаження на системи OLTP та сховища даних.

OLAP та OLTP. Характеристики та основні відмінності

OLAP	OLTP
Сховище данихмає включати як внутрішні корпоративні дані, так і зовнішні дані	основним джерелом інформації, що надходить в оперативну БД, є діяльність корпорації, а для аналізу даних потрібно залучення зовнішніх джерел інформації (наприклад, статистичних звітів)
Обсяг аналітичних БД як мінімум на порядок більший за обсяг оперативних. для проведення достовірних аналізу та прогнозування у сховище данихпотрібно мати інформацію про діяльність корпорації та стан ринку протягом кількох років	Для оперативної обробкипотрібні дані за кілька останніх місяців
Сховище данихмає містити однаково подану та узгоджену інформацію, що максимально відповідає змісту оперативних БД. Необхідна компонента для вилучення та "очищення" інформації з різних джерел. У багатьох великих корпораціях одночасно існують кілька оперативних ІС із власними БД (з історичних причин).	Оперативні БД можуть містити семантично еквівалентну інформацію, подану в різних форматах, з різним зазначенням часу її надходження, іноді навіть суперечливу
Набір запитів до аналітичної бази даних передбачити неможливо. сховища данихІснують, щоб відповідати на нерегламентовані запити аналітиків. Можна розраховувати лише на те, що запити надходитимуть не надто часто і торкатимуться великих обсягів інформації. Розміри аналітичної БД стимулюють використання запитів з агрегатами (сума, мінімальна, максимальна, середнє значенняі т.д.)	Системи обробки даних створюються для вирішення конкретних завдань. Інформація БД вибирається часто і невеликими порціями. Зазвичай, набір запитів до оперативної БД відомий вже при проектуванні.
При малій мінливості аналітичних БД (тільки при завантаженні даних) виявляються розумними впорядкованість масивів, більш швидкі методиіндексації при масовій вибірці, зберігання заздалегідь агрегованих даних	Системи обробки даних за своєю природою є дуже мінливими, що враховується в СУБД, що використовуються (нормалізована структура БД, рядки зберігаються невпорядковано, B- дерева для індексації, транзакційність)
Інформація аналітичних БД настільки критична для корпорації, що потрібна велика грануляція захисту (індивідуальні права доступу до певним рядкамта/або стовпцям таблиці)	Для систем обробки даних зазвичай вистачає захисту інформаціїна рівні таблиць

Правила Кодду для OLAP систем

У 1993 році Кодд опублікував працю під назвою "OLAP для користувачів-аналітиків: якою вона має бути". У ньому він виклав основні концепції оперативної аналітичної обробкита визначив 12 правил, яким мають задовольняти продукти, що надають можливість виконання оперативної аналітичної обробки.

1. Концептуальна багатовимірна вистава. OLAP -модель має бути багатовимірною у своїй основі. Багатовимірна концептуальна схема або уявлення користувача полегшують моделювання і аналіз так само, втім, як і обчислення .
2. Прозорість. Користувач здатний отримати всі необхідні дані з OLAP-машини, навіть не підозрюючи, звідки вони беруться. Незалежно від того, є OLAP-продукт частиною засобів користувача чи ні, цей факт має бути непомітним для користувача. Якщо OLAP надається клієнт-серверними обчисленнями, цей факт також, по можливості, повинен бути невидимий для користувача. OLAP має надаватися в контексті істинно відкритої архітектури, дозволяючи користувачеві, де б він не знаходився, зв'язуватися за допомогою аналітичного інструменту із сервером. На додаток до цього прозорість повинна досягатися і при взаємодії аналітичного інструменту з гомогенним та гетерогенним середовищами БД.
3. Доступність. OLAP повинен надавати свою власну логічну схему для доступу в гетерогенному середовищі БД та виконувати відповідні перетворення для надання даних користувачеві. Більше того, необхідно заздалегідь подбати про те, де і як і які типи фізичної організації даних дійсно будуть використовуватися. OLAP-система повинна виконувати доступ тільки до дійсно потрібних даних, а не застосовувати загальний принцип "кухонної вирви", який тягне за собою непотрібне введення.
4. Постійна продуктивністьпри розробці звітів. Продуктивністьформування звітів не має суттєво падати зі зростанням кількості вимірювань та розмірів бази даних.
5. Клієнт-серверна архітектура. Потрібно, щоб продукт був не тільки клієнт-серверним, але і щоб серверний компонент був би досить інтелектуальним для того, щоб різні клієнти могли підключатися з мінімумом зусиль та програмування.
6. Загальна багатовимірність. Усі виміри мають бути рівноправними, кожен вимір має бути еквівалентним і в структурі, і в операційних можливостях. Щоправда, допускаються додаткові операційні можливостідля окремих вимірів (мабуть, мається на увазі час), але такі додаткові функції мають бути надані будь-якому виміру. Не повинно бути так, щоб базові структури даних, обчислювальні чи звітні формати були властиві якомусь одному виміру.
7. Динамічне керування розрідженими матрицями. OLAP системи повинні автоматично налаштовувати свою фізичну схему залежно від типу моделі, обсягів даних та розрідженості бази даних.
8. Розрахована на багато користувачів підтримка . OLAP-інструмент повинен надавати можливості спільного доступу(запиту та доповнення), цілісності та безпеки.
9. Необмежені перехресні операції. Усі види операцій мають бути дозволені будь-яких вимірів.
10. Інтуїтивна маніпуляція даними. Маніпулювання даними здійснювалося за допомогою прямих дій над осередками в режимі перегляду без використання меню та множинних операцій.
11. Гнучкі можливості отримання звітів. Виміри мають бути розміщені у звіті так, як це потрібно користувачеві.
12. Необмежена

Зважаючи на все перераховане, порівняння між різними MDD продуктами можна проводити тільки за узагальненими категоріями. У дешевшому секторі ринку присутні лише однокористувацькі та призначені для невеликих локальних мережзасоби перегляду багатовимірних даних. Хоча вони мають досить високий рівень функціональних можливостей і зручні у використанні, ці системи обмежені за своїм масштабом. і їм бракує коштів, необхідні реалізації OLAPобработки у сенсі. У цю категоріюпотрапляють такі продукти, як PowerPlay корпорації Cognos, PaBlo фірми Andyne та Mercury компанії Business Objects. Дорогий сектор ринку представлений системами Acumate ES фірми Kenan Technologies, Express корпорації Oracle, Gentium компанії Planning Sciences і Holos фірми

Holistic Systems. Вони настільки відрізняються за своїми можливостями, що будь-яку з них можна сміливо виділяти в окрему категорію. І нарешті, MDD-системи у чистому вигляді: Essbase корпорації Arbor Software, LightShip Server фірми Pilot Software та TM/1 компанії Sinper.

Другий клас OLAP-засобів – реляційні OLAP-системи (ROLAP). Тут для зберігання даних використовуються старі реляційні СУБД, а між БД та клієнтським інтерфейсом організується обумовлений адміністратором системи шар метаданих. Через цей проміжний шар клієнтський компонент може взаємодіяти з реляційною БД як багатовимірною. Подібно до засобів першого класу, ROLAP-системи добре пристосовані для роботи з великими інформаційними сховищами, вимагають значних витрат обслуговування спеціалістами інформаційних підрозділів та передбачають роботу в розрахованому на багато користувачів режимі. Серед продуктів цього типу - IQ/Vision корпорації IQ Software, DSS/Server та DSS/Agent фірми MicroStrategy та DecisionSuite компанії Information Advantage.

ROLAP-засоби реалізують функції підтримки прийняття рішень надбудові над реляційним процесором БД.

Такі програмні продуктиповинні відповідати низці вимог,

зокрема:

- мати потужний оптимізований для OLAP генератор SQL виразів, що дозволяє застосовувати багатопрохідні SQL-оператори SELECT та/або кореловані підзапити;

- мати досить розвинені засоби для проведення нетривіальної обробки, що забезпечує ранжування, порівняльний аналізта обчислення процентних співвідношень у рамках класу;

Генерувати SQL-вирази, оптимізовані для цільової реляційної СУБД, включаючи підтримку доступних у ній розширень цієї мови;

- надавати механізми опису моделі даних за допомогою метаданих та давати можливість використовувати ці метадані для побудови запитів у реальному масштабі часу;

- включати механізм, що дозволяє оцінювати якість побудови зведених таблиць з точки зору швидкості обчислення, бажано з накопиченням статистики з їх використання.

Третій, порівняно новий тип OLAP-коштів - інструменти генерації запитів та звітів для настільних ПК, доповнені

OLAP-функціями або інтегровані із зовнішніми засобами, що виконують такі функції. Ці вельми розвинені системи здійснюють вибірку даних із вихідних джерел, перетворюють їх і поміщають у динамічну багатовимірну БД, що функціонує на ПК кінцевого користувача. Зазначений підхід, що дозволяє обійтися без дорогого сервера багатовимірної БД, так і без складного проміжного шару метаданих, необхідного для ROLAP засобів, забезпечує в той же час достатню ефективність аналізу. Ці засоби для настільних ПК найкраще підходять до роботи з невеликими, просто організованими БД. Потреба в кваліфікованому обслуговуванні їм нижче, ніж інших OLAP-систем, і приблизно відповідає рівню звичайних середовищ обробки запитів. Серед основних учасників цього сектору ринку -

компанія Brio Technology зі своєю системою Brio Query Enterprise, Business Objects з однойменним продуктом та Cognos з PowerPlay.

В даний час збільшується кількість Web-сумісних продуктів OLAP.

Важливим є питання пристосування OLAP до іншого програмного забезпечення. Хоча постачальники OLAP починають пропонувати деякі способи взаємодії з SQL-СУБД та іншими інструментами, проте користувачі та аналітики попереджають, що рівень інтеграції може бути різним і, ймовірно, потребує значного обсягу кодування, включаючи написання запитів на мові SQL. Більше того, для інтеграції OLAP з іншим програмним забезпеченням підприємства немає промислового стандарту.

Вирішення цієї проблеми може полягати в наступному. Наприклад, багато компаній позиціонують бази даних з OLAP як клієнтські частини сховищ даних. За такого підходу сховища живлять ядро багатовимірний OLAPвибірками даних, до яких надалі можуть отримати доступ користувачі

швидке виконання комплексних запитів. При цьому метою є створення середовища запитів, що приховує від користувача розташування даних. У цьому середовищі автоматично виконуватимуться комплексні запити до ядра багатовимірної обробки або пошук деталізованої інформації та простих запитівна реляційних серверів. Для компаній, які не можуть піти цим шляхом, важливу рольу налаштуванні зв'язків між інструментами OLAP та іншим програмним забезпеченням грають фірми-консультанти.

OLTP-системи, будучи високоефективним засобом реалізації оперативної обробки, виявилися мало придатними для завдань аналітичної обробки. Це викликано наступним:

1. засобами традиційних OLTP-систем можна побудувати аналітичний звіт і навіть прогноз будь-якої складності, але наперед регламентований. Будь-який крок убік, будь-яка нерегламентована вимога кінцевого користувача, як правило, вимагає знання структури даних і досить високої кваліфікації програміста;

2. багато необхідних для оперативних систем функціональні можливостіє надмірними для аналітичних завдань і в той же час можуть не відображати предметної галузі. Для вирішення більшості аналітичних завдань потрібне використання зовнішніх спеціалізованих інструментальних засобівдля аналізу, прогнозування та моделювання. Жорстка структура баз не дозволяє досягти прийнятної продуктивності у разі складних вибірок і сортувань і, отже, вимагає великих тимчасових витрат для організації шлюзів.

3. на відміну від транзакційних, аналітичних системахне потрібні і, відповідно, не передбачаються розвинені засоби забезпечення цілісності даних, їх резервування та відновлення. Це дозволяє не тільки спростити самі засоби реалізації, а й знизити внутрішні накладні витрати і, отже, підвищити продуктивність під час вибірки даних.

Коло завдань, що ефективно вирішуються кожною із систем, визначимо на основі порівняльних характеристик OLTP- та OLAP-систем (табл. 8).

Таблиця 8

Коло завдань розв'язуваних OLTP- та OLAP-системами

Характеристика
Частота оновлення	Висока частота,	Мала частота, великі "порції"
	невеликі "порції"
Джерела даних	В основному, внутрішні	Стосовно аналітичної
		системі, в основному,
Вік даних	Поточні (кілька	Історично (за роки) та
		прогнозовані
Рівень агрегації	Деталізовані дані	В основному
		агреговані дані
Можливості	Регламентовані	Послідовність
аналітичних		інтерактивних обліків,
операцій		динамічна зміна рівнів
		агрегацій та зрізів даних
Призначення	Фіксація, оперативний	Робота з історичними
	пошук та обробка даних,	даними, аналітична
	регламентована	обробка, прогнозування,
	аналітична обробка	моделювання

				Таблиця 9
	Порівняння OLTP та OLAP
характеристика
Переважаючі		Введення даних, пошук		Аналіз даних
операції
Характер запитів				Складні транзакції
		транзакцій
Збережені дані		Оперативні,		охоплюючі
		деталізовані
				агреговані
Вид діяльності		Оперативна,		Аналітична,
		тактична		стратегічна
Тип даних		Структуровані		Різнотипні

3.7. Підходи щодо вибору економічних інформаційних систем

Перш ніж відповісти на питання, який варіант автоматизації для підприємства найбільш вигідний і дасть найбільший ефект, слід розглянути ряд факторів, що впливають на цей вибір.

1. Наскільки технології бізнесу у фірмі від традиційних.

Якщо відмінності дуже серйозні і шляхи зміни цих технологій у напрямі стандартизації бачаться неприйнятними або надмірно затратними, купівля та адаптація готової ЕІС російського виробництваабо не застосовується зовсім, або може виявитися

неефективною - частина модулів системи буде незастосовна або непрацездатна в поставлених умовах.

2. Як часто потрібно вносити значні зміни до інформаційної системи, що впроваджується.

Якщо сфера діяльності фірми або сама фірма дуже динамічні в плані технологічних прийомів, то як купівля та адаптація готової ЕІС російського виробництва, так (переважно) і розробка ЕІС сторонньою організацією розробником неприйнятні. В систему потрібно вносити зміни, інтегрувати в неї нові компоненти і т.д., що для першого випадку може виявитися неможливо зовсім, а для третього або занадто дорого, або недостатньо реактивно.

3. Які суми готова вкласти компанія в автоматизацію.

Для дуже обмежених у ресурсах підприємств як купівля зарубіжного комплексу автоматизації, так і замовлення на розробку в сторонній фірмі зазвичай неприйнятні. Вибір між покупкою існуючого програмного забезпеченняабо розробкою свого силами невеликого відділу автоматизації вирішується зазвичай виходячи з відповіді вищенаведені питання.

Таким чином, купівлю та адаптацію готової ЕІС слід вибирати для фірм зі стабільними та більш менш традиційними методиками ведення справ і в тому випадку, коли на ринку програмного забезпечення є відповідні інформаційні системи.

При цьому для великих і розгалужених структур (особливо якщо фірма передбачає активну інтеграцію або просто взаємодії із закордонними партнерами) рекомендується вибирати потужну західну систему, для невеликої та середньої фірми - вітчизняну.

Розробка ЕІС своїми засобами та замовлення розробки ЕІС сторонньої організації-розробника найбільш привабливі для рідкісного або нетипового ведення "ділового господарства". При цьому конкретний вибір варто робити на підставі інформації про фінансовий стан фірми, наявність надійної фірмирозробника чи інтегратора та можливості встановити з нею тривалі партнерські відносини та інших факторів.

Більше докладний аналізпереваг та недоліків методів автоматизації представлений у таблиці.

Таблиця 10

Переваги та недоліки методів автоматизації

Переваги підходу

Недоліки підходу

Орієнтація

російські

Проблема

інвестицій

адаптація

закони, "особливості" бізнесу,

початкові

готової ЕІС

бухгалтерського обліку

абсолютні

величини

російської

опинитися

невеликі,

подальші

виробництва

Доступність

розробників

навчання,

підтримки

обслуговування

розвиток

супроводу, що у варіанті

інформаційної

із зарубіжним продуктом або

бути дуже значними). У

має куди менші масштаби,

умовах

нестабільності

обходиться

економіки

недосконалості

дорожче (можливо в десятки та

законодавства,

сотні разів). Робочий день одного

гарантії

стабільності

кваліфікованого

виробника

програмного

спеціаліста

на будівництві

забезпечення (ПЗ) протягом

адаптації систем такого класу

всього терміну експлуатації ПЗ.

західна фірма цілком може

оцінити дуже дорого.

1.2.Купівля та

Найбільшим

початкові

адаптація

подібного

є

готової ЕІС

величезна

потужність

Дуже значні

витрати на

зарубіжного

потенціал західних продуктів

використання

продукту,

навчання

виробництва

та комплексів автоматизації.

персоналу та пов'язані з цим

Зазвичай вони складаються з ряду

зміни

комплектуються

торкнутися

апаратного

залежності

забезпечення фірми.

споживача (хоча існує і

У зв'язку з багатьма чисто

цілий ряд систем, які по

російськими факторами (велика

причин

динамічність

модульними

є;

обстановки,

системам

властива

людського

велика закритість та велика

інше) величина подібного ризику

труднощі

експлуатації

роду вкладень дуже висока.

впровадженні).

Основний

проблемою

є

необхідність

переорієнтації

технічних

аспектів діяльності фірми під

те, як це уявляли собі

розробники продукту, що в

наших умовах можливо дуже

рідко навіть якщо ці технології

визнані

загальноприйнятими.

Відсутність

деяких

продуктах

типових

російської

користувача

компонент,

недостатня

локалізація

утруднити

значно

ефективність його застосування.

Стратегії

та критерії вибору

західний

інформаційної

достатньо

непрості,

головними із вимог, які

можуть бути пред'явлені системі

подібного

є:

функціональна

відкритість,

модульність,

масштабованість, здатність до

роботі у розподіленому середовищі,

настроюваність

постачання у вихідних текстах),

цінова політика виробника

продукту та його представників у

2.Розробка

Цей підхід у більшості

Велике (причому часом важко

випадків застосуємо лише у двох

прогнозований) час розробки

власним

варіантах: для достатньо

і, у багатьох випадках, велика

великої фірми, здатної

величина витрат.

кваліфікованих

розробників ПЗ і в тому

випадку, якщо комплекс

автоматизації не дуже великий і

може бути розроблений

досить обмеженими

ресурсами.

Зазвичай цей варіант

автоматизації використовується в

тому випадку, коли жоден з

існуючих комерційних

продуктів не задовольняє

керівництво підприємства, або

якщо бізнес настільки

динамічний, що перенастроювання

готового продукту виявиться

дорожче або менше

ефективнішою, ніж свого.

Переваги:

орієнтований

конкретну фірму

комплекс

автоматизації,

покриваючий

необхідний

якість,

ефективність та оперативність

"підтримки" (ніхто не знає

всіх особливостей бізнесу

фірмі краще

її власних

співробітників).

3.Розробка

Цей варіант перегукується з

Однак тут виникають проблеми,

попереднім, але відрізняється від

подібні першим варіантом

спільно з

його наступним: фірмі не

автоматизації, але зазвичай цими

проблемами легше керувати через

розробник

програмістів з однієї

більш тісних контактів

сторони, і вона отримує

споживача інформаційної

орієнтований на неї

системи та фірми-розробника

продукт – з іншого.

(Інтегратора).

У разі наявності у фірми-

розробника технологічного

"конструктора" (ядра

інформаційної системи,

досить легко розвивається

та адаптованого під

мінливі умови) такий

варіант автоматизації може

виявитися дешевше та

ефективніше другого підходу та

динамічніше та технологічніше

Вибір автоматизованої системидля підприємства повинен проводитися не за принципом, яка ЕІС краща, а яка гірша. Тут необхідно визначити, якою мірою певна ЕІС підходить для роботи в конкретному підприємстві за заданих умов. Розробка порівняльних критеріїв представлених на ринку ЕІС недоцільна без урахування конкретних умов, таких як: економічний стан підприємства, рівень підготовки службовців, раніше зроблені інвестиції у програмне та технічне забезпечення тощо. У зв'язку з цим виникає необхідність у визначенні раціональної з точки зору техніко-економічних показників структури ЕІС, що передбачає можливість гнучкої переналаштування техніки та програмного забезпечення у разі зміни структури підприємства при реінжинірингу бізнес-процесів.

Впровадження якісної ЕІС одна із найважливіших елементів ринкового успіху підприємства міста і умовою її динамічного розвитку.

3.8. Критерії вибору ЕІС

При виборі ЕІС необхідно враховувати такі критерії:

репутація фірми, репутація системи, стаж перебування фірми над ринком, число продажів.

скільки працюючих систем у Росії.Чи є впровадження на родинних підприємствах? Чи була потрібна допомога зовнішніх консультантів?

термінологія та якість русифікації західної системи.

якість локалізації західної системиЄ галузі виробництва, де діють стандарти – юридичні та фактичні. Наприклад - методи бухгалтерського обліку, бухгалтерська та податкова звітність. У конструкторській та технологічній підготовці виробництва у вітчизняних підприємств повсюдно прийнято стандарти ЕСКД та ЕСТД. На західних підприємствах прийнято предметно замкнуту організацію виробництва, а вітчизняних - звичніша технологічна спеціалізація. На заході безцехова структура управління, у Росії - цехова. Усі ці моменти мають бути відпрацьовані під час локалізації. Бажано, щоб система відпрацьовувала такі російські реалії як бартер, ланцюжки заліків, передоплату, оплата у негрошової формі, невідфактуровані постачання тощо.

яка російська командастоїть за західною системою.Хто її русифікував, хто впроваджує? Чи знають вони виробництво? Яка у них освіта? Який досвід? Яка за ними “історія успіхів”? Який їхній підхід до впровадження?

розумна ціна . Купуючи систему, необхідно пам'ятати, що на весь цикл – купівля, впровадження, супровід, розвиток – доведеться витратити у 3 – 10 разів більше грошей, ніж вартість програмних засобів. Чим складніше та дорожча система, Тим більше коефіцієнт. Якщо доведеться залучати західних консультантів, це буде коштувати щонайменше в 1000 $ на день, причому заздалегідь неясно, чи вони навчатимуть працювати з їхньою системою, чи співробітники підприємства за ці гроші їх знайомитимуть із хвилюючими особливостями російської економіки.

функціональна повнотаСистема має покривати основні потреби у управлінні. Практично всі західні системи сильно надмірні в цьому відношенні, але на рівні базових можливостей- вони всі близнюки,

модульність. Щоб не витрачати зайвих грошей, потрібно мати можливість купувати та впроваджувати систему частинами і тільки на потрібну кількість користувачів.

гнучкість. Система впроваджуватиметься півтора-три роки і працюватиме п'ять - десять років. За цей час підприємство зміниться. Зміниться продукція, оргструктура, організація управління, бізнес – процеси, ролі та повноваження управлінців. Система управління має змінюватися разом із виробництвом. Отже система повинна дозволяти легко змінювати АРМи та меню, формувати звіти та довідки, робити довільні вибірки інформації у зручному поданні, змінювати бізнес – процеси та алгоритми шляхом параметричного налаштування тощо. Звичайна проблема із західними системами – не зрозуміло, для якого користувача екрани для введення інформації. Начебто для технолога, але до чого тут нормативи планування? Начебто для комірника, але до чого тут ціни і тривалість циклу? Начебто для бухгалтера, але для якого розділу обліку? У цьому випадку доведеться розбивати екрани, прибирати зайві реквізити, додавати потрібні, змінювати назви полів, змінювати їхнє розташування на екрані, змінювати значущість, додавати поля до бази даних, змінювати HELP. Чи дозволить це робити система і якою ціною? Система повинна також легко інтегруватися з іншими модулями, наприклад, російськими програмамирозрахунку зарплати або управління персоналом (не очевидно, що вдасться використати відповідні західні аналоги) або з існуючими старими розробками, які не можна відключити (через специфіку, унікальність тощо). Системи європейського виробництва зазвичай гнучкіші, ніж американські, - вони спочатку орієнтовані на облік національних особливостей різних країнЄвропейського співтовариства,

архітектури. Бажана триланкова - сервер бази даних, сервер додатків, клієнт - клієнт-серверна архітектура з можливістю використання "тупих терміналів". Клієнт може бути "товстим" або "тонким",

Технічна платформа.За час життя системи зміниться не одне покоління технічних засобів. Прихильність до певної платформи є небезпечною. Система повинна вміти мігрувати з платформи на платформу,

Недоліки
OLTP системи оптимізовані для невеликих дискретних транзакцій. А ось запити на якусь комплексну інформацію (наприклад, поквартальна динаміка обсягів продажів за певною моделлю товару в певній філії), характерні для аналітичних додатків (OLAP), породять складні з'єднання таблиць і перегляд таблиць цілком. На один такий запит піде багато часу та комп'ютерних ресурсів, що загальмує обробку поточних транзакцій.

Транзакція (англ. transaction) - група послідовних операцій, що є логічну одиницю роботи з даними. Транзакція може бути виконана або цілком і успішно, дотримуючись цілісності даних і незалежно від інших транзакцій, що паралельно йдуть, або не виконана взагалі і тоді вона не повинна зробити ніякого ефекту. Транзакції обробляються транзакційними системами, у процесі яких створюється історія транзакцій.

Розрізняють послідовні (звичайні), паралельні та розподілені транзакції. Розподілені транзакції мають на увазі використання більше однієї транзакційної системи і вимагають набагато більше складної логіки(Наприклад, two-phase commit - двофазний протокол фіксації транзакції). Також, у деяких системах реалізовані автономні транзакції, або підтранзакції, які є автономною частиною батьківської транзакції.

Приклад: Необхідно перевести з банківського рахунку номер 5 на рахунок номер 7 суму 10 грошових одиниць. Цього можна досягти, наприклад, наведеною послідовністю процесів:
Розпочати транзакцію
прочитати баланс на рахунку номер 5
зменшити баланс на 10 грошових одиниць
зберегти новий баланс рахунку номер 5
прочитати баланс на рахунку номер 7
збільшити баланс на 10 грошових одиниць
зберегти новий баланс рахунку номер 7

Закінчити транзакцію
Ці дії є логічною одиницею роботи «переведення суми між рахунками», і таким чином є транзакцією. Якщо перервати цю транзакцію, наприклад, усередині, і не анулювати всі зміни, легко залишити власника рахунку номер 5 без 10 одиниць, тоді як власник рахунку номер 7 їх не отримає.

Режим оперативної обробки транзакцій OLTP

Режим оперативної обробки транзакцій OLTP (On-Line Transaction Processing) застосовується в інформаційних системах організаційного управління для відображення актуального стану предметної області будь-якої миті часу, а пакетна обробка займає дуже обмежену нішу.
OLTP

Зазвичай аналітичні можливості OLTP-систем сильно обмежені, вони використовуються для того, щоб сприяти повсякденній діяльності корпорації, і спираються на актуальні дані для поточного моменту. Інформаційні системи класу OLTP призначені для збору, реєстрації, введення вихідних даних, що належать до тієї чи іншої предметної області, первинної обробки даних, їх зберігання, адекватної візуалізації, пошуку, видачі довідок та звітних матеріалів. Первинна обробка включає перевірку коректності даних, що вводяться, та їх відповідності обмеженням цілісності, ідентифікацію описуваних даними об'єктів, кодування, передачу даних по горизонтальних і вертикальних зв'язках. Дані до інформаційної системи вводяться або з документа, що має певну правову силу, або безпосередньо з місця виникнення даних. У разі документ, що містить введені дані, друкується системою і йому надається правова сила.

В OLTP системах над цільовими БД виконуються цільові транзакції (наприклад, занесення до таблиці запису з параметрами виписаного рахунку, оприбуткованої фактури або будь-якого іншого факту), які змінюють стан БД та приводять їх у відповідність поточним станомтого фрагмента реального світу, що моделює БД. Отже, основним призначенням цільових БД є обробка транзакцій.

Подібні системи призначені для введення, структурованого зберігання та обробки інформації у режимі реального часу. OLTP-системи дозволяють сформулювати запити типу: скільки, де т.п. Надаючи дані із постійно синхронізованих (оновлюваних) БД, операційні системи не відстежують динаміку зміни процесів на великих часових проміжках, практично не роблять обробку даних (за винятком певних розрахунків) і, що найважливіше, не формують висновки за даними, залишаючи цю функцію особі , який приймає рішення.

OLTP-додатками охоплюється широкий спектр завдань у багатьох галузях - автоматизація бухгалтерського та складського облікута обліку документів тощо.

Основна функція подібних систем полягає в одночасному виконанні великої кількості коротких транзакцій від великої кількостікористувачів. Самі транзакції виглядають відносно просто, наприклад, "зняти суму грошей з рахунку А, додати цю суму з цього приводу".

Інформаційні системиКлас OLTP характеризуються такими особливостями.
Характеристики ІС - інформаційних систем - класу OLTP
-відносною алгоритмічною простотою,
-Підвищеною динамікою в частині номенклатури та структури оброблюваних документів, що пов'язано з безпосередньою близькістю цих систем до предметної області,
-масовістю та територіальною розподіленістю місць збору вихідних даних,
-високими вимогами до достовірності та актуальності даних, що вводяться,
-Масовістю, досить частою змінюваність і відносно невисокою комп'ютерною -кваліфікацією персоналу (користувачів).
-підтримкою великої кількості користувачів;
-малим часом відгуку на запит;
-відносно короткими запитами;
-Участь у запитах невеликого числа таблиць.

Історичнотакі системи виникли в першу чергу, оскільки реалізовували потреби в обліку, швидкості обслуговування, зборі даних та ін. Однак незабаром прийшло розуміння, що збір даних - не самоціль і накопичені дані можуть бути корисними: з даних можна отримати інформацію.
Стратегія розробки систем
Тривалий час як стратегію розробки подібних систем використовувалося таке:
побудова окремих АРМ, призначених для обробки груп функціонально пов'язаних документів, та тиражування готових АРМ на місця,
побудова повнофункціональних систем, що параметризуються, з тиражуванням і налаштуванням по місцях. Однак одержувані таким способом системи мали невисокі адаптаційні можливості щодо подолання динаміки предметних областей. Вони висували високі вимоги до експлуатаційного персоналу і вимагали великих накладних витрат на супровід.
Нещодавно почала застосовуватися нова, третя стратегія розробки інформаційних систем класу OLTP. Її суть полягає в наступному: тиражуються не готові системи, а деякі заготівлі та технологічний інструмент, що дозволяють безпосередньо на місці швидко побудувати/добудувати систему з необхідною функціональністю і далі за допомогою цього ж інструменту її модифікувати відповідно до динаміки предметної області.

Транзакції – це дії, які виконуються або повністю, або виконуються взагалі. Якщо під час виконання транзакції відбувається порушення роботи системи, то база даних повертається у вихідний стан, який був до транзакції (відкат). Усі виконані транзакції реєструються у журналі транзакцій. Транзакція вважається завершеною, коли у журналі з'являється відповідний запис про транзакцію.

OLTP-технології

У практиці спілкування з представниками інформаційних служб підприємств нерідко доводиться стикатися із серйозним непорозумінням відмінностей у можливостях, призначенні та ролі технологій, призначених для збору інформації, - OLTP-систем (On-Line Transaction Processing) та технологій аналізу інформації. Тим часом вони суттєво різні за функціональністю, і кожна з них відповідає за свою сферу в інформаційній системі.
Завдання OLTP-системи– це швидкий збір та найбільш оптимальне розміщення інформації у базі даних, а також забезпечення її повноти, актуальності та узгодженості. Однак такі системи не призначені для максимально ефективного, швидкого та багатоаспектного аналізу.
Зрозуміло, за зібраними даними можна будувати звіти, але це вимагає від бізнес-аналітика чи постійної взаємодії з IT-фахівцем, чи спеціальної підготовки у галузі програмування та обчислювальної техніки.
Який вигляд має традиційний процес прийняття рішень у російській компанії, яка використовує інформаційну систему, побудовану на OLTP-технології?
Менеджер дає завдання спеціалісту інформаційного відділу відповідно до свого розуміння питання. Спеціаліст інформаційного відділу, по-своєму усвідомивши завдання, будує запит оперативної системи, отримує електронний звіт і доводить його до керівника. Така схема прийняття критично важливих рішень має такі суттєві недоліками:
-використовується незначна кількість даних;
-процес займає тривалий час, оскільки складання запитів та інтерпретація електронного звіту – операції досить тягачі, тоді як керівнику, можливо, необхідно прийняти рішення негайно;
-Потрібно повторення циклу у разі необхідності уточнення даних або розгляду даних в іншому розрізі, а також при виникненні додаткових питань. Причому цей повільний цикл доводиться повторювати і, зазвичай, неодноразово, у своїй часу аналіз даних витрачається ще більше;
негативним чином позначається відмінність у професійній підготовці та галузях діяльності фахівця з інформаційних технологій та керівника. Найчастіше вони мислять різними категоріями і, як наслідок, не розуміти один одного;
несприятливу дію має такий чинник, як складність електронних звітів для сприйняття. У керівника немає часу вибирати цифри, що цікавлять, зі звіту, тим більше що їх може виявитися занадто багато. Зрозуміло, робота з підготовки даних найчастіше лягає на фахівців інформаційних відділів. В результаті грамотний фахівець відволікається на рутинну та малоефективну роботу зі складання таблиць, діаграм тощо, що, природно, не сприяє підвищенню його кваліфікації.
Вихід із цієї ситуації один, і сформульований він Біллом Гейтсом у вигляді виразу: "Інформація на кінчиках пальців". Вихідна інформація має бути доступна її безпосередньому споживачеві – аналітику. Саме безпосередньо доступна (!). А завданням співробітників інформаційного відділу є створення системи збирання, накопичення, зберігання, захисту інформації та забезпечення її доступності аналітикам.

Сфера застосування - це сфера платежів, обліку, резервування місць, банки та біржові операції.

OLTP - системи, будучи високоефективним засобом реалізації оперативної обробки, виявилися мало придатними для завдань аналітичної обробки. Це викликано наступним:
1. засобами традиційних OLTP-систем можна побудувати аналітичний звіт і навіть прогноз будь-якої складності, але заздалегідь регламентований. Будь-який крок убік, будь-яка нерегламентована вимога кінцевого користувача, як правило, вимагає знання структури даних і досить високої кваліфікації програміста;
2. багато необхідних оперативних систем функціональні можливості є надмірними для аналітичних завдань й те водночас можуть відбивати предметної області. Для вирішення більшості аналітичних завдань потрібне використання зовнішніх спеціалізованих інструментальних засобів для аналізу, прогнозування та моделювання. Жорстка структура баз не дозволяє досягти прийнятної продуктивності у разі складних вибірок і сортувань і, отже, вимагає великих тимчасових витрат для організації шлюзів.
3. на відміну від трансакційних, в аналітичних системах не потрібні і, відповідно, не передбачаються розвинені засоби забезпечення цілісності даних, їх резервування та відновлення. Це дозволяє не тільки спростити самі засоби реалізації, а й знизити внутрішні накладні витрати і, отже, підвищити продуктивність під час вибірки даних.

Коло завдань, що ефективно вирішуються кожною із систем, визначимо на основі порівняльних характеристик OLTP- та OLAP-систем

Дані в OLTP-системах організовані переважно для підтримки таких транзакцій, як:

реєстрація замовлення, запровадженого з касового терміналу або через Web-вузол;

розміщення замовлення на комплектуючі вироби, коли їх кількість на складі стає меншою за певну кількість;

відстеження компонентів під час збирання кінцевого продукту на виробництві;

реєстрація відомостей про працівників;

реєстрація ідентифікаційних даних власників ліцензій, наприклад, власників ресторанів або водіїв.

Окремі транзакції, звертаючись до відносно невеликого обсягу даних, завершуються швидко. Системи OLTP створені та оптимізовані для одночасної обробки сотень та тисяч транзакцій.

OLTP-системи чудово виконують реєстрацію даних, необхідні підтримки щоденних операцій. Однак дані в них організовані інакше, ніж це необхідно, якщо інформація призначена менеджерам для планування роботи їх організацій. Менеджерам часто потрібна підсумкова інформація - для аналізу трендів, які впливають на довірену їм організацію чи групу.

Сучасні завдання Сховищ даних
Поділ даних із конкретними цілями

Розвиток технології Сховищ даних почалося з необхідності розділити дані, що використовуються для операцій, та дані, що застосовуються з аналітичною метою. Сховище забезпечує можливості, найбільш пристосовані до звітності. Крім того, поділ користувачів, які виконують транзакції, та користувачів звітності, чиї нерегламентовані запити можуть негативно вплинути на ефективність оперативних систем, гарантують оптимальне використання ресурсів інфраструктури даних.
Тимчасова цінність даних

І хоча Сховища дають організації відмінну платформу звітності та аналізу, у реальному часі вони, як правило, не працюють, якщо судити за віком доступних даних. Через технологічні обмеження Сховища зазвичай поповнюються ночами за допомогою пакетної передачі даних. Для цього використовується пакетна програма, яка виконує вертикальне читання всієї бази у пошуках змін. Дані, що надходять до Сховища за допомогою такого ETL-підходу, завжди застарілі (як правило, на добу).

У міру зростання обсягу оброблюваних даних, а також кількості та різноманітності систем обробки даних, збільшується час та складність процесу наповнення Сховища. Разом з тим, глобалізація, тривалість експлуатації систем, що зростає, обмеженість договорів про сервісне обслуговуванняпризводять до необхідності скорочення пакетних операцій. Поєднання більшої кількості даних та конкурентного тиску створює серйозні проблеми для IT-організації.

Рішення, прийняті з урахуванням вчорашніх даних, перестають задовольняти більшість організацій. Прийняття рішень у реальному часі потребує даних реального часу, що це накладає особливі вимоги на інтеграцію даних для Сховища.

Крім того, аналітичні операції, які виконуються в Сховищі, необхідно знову передавати в OLTP-систему, звідки надійшли дані. Таким чином відбувається централізація аналітичної обробки та гарантується передача рішень, прийнятих на агрегованих даних у Сховищі, у відповідні OLTP-системи.

Ці тенденції реалізуються так:
Інтеграція даних у реальному часі для Сховища даних. Отримання та передача даних у реальному часі з операційних систем у Сховищі, що робить дані доступними для аналізу.
Активне сховище даних. ХД в реальному часі, що доповнюється інструментами Business Intelligence для обробки та виконання бізнес-рішень. Рішення автоматично передаються до OLTP-систем. Через війну формується замкнутий цикл обробки.

У прагненні домогтися функціонування Сховища в режимі реального часу успіх часто залежить від грамотного вибору інструменту інтеграції та підходу до отримання даних, що забезпечує можливість підвищення якості та своєчасності інформації.
Інтеграція даних для Сховища у реальному часі

Для підтримки інтеграції в реальному часі пакетний підхід до вилучення операційних даних повинен бути замінений на процеси, які постійно відслідковують стан вихідних систем, захоплюють та перетворюють зміни в даних у міру їх виникнення, потім завантажують їх у Сховище в режимі максимально наближеному до реального часу. Постійний збір даних дозволяє аналізувати прибуток та цінові елементи у будь-яких часових рамках. Тенденції можна аналізувати з будь-якою обраною періодичністю та без затримки.

ETL є ідеальним рішенням завдання подібного завантаження великих обсягів даних у Сховищі, а також дає широкі можливості для перетворення даних. Однак, ETL-операції зазвичай виконуються в момент припинення оновлення вихідної системи, щоб гарантувати, що в момент отримання даних джерело не змінюється. Це, у свою чергу, призводить до невідповідностей між OLTP-системами та Сховищем. У результаті дані та програми не завжди доступні бізнес-користувачам.

EAI-рішення, раніше призначені для інтеграції додатків, сьогодні часто конкурують або співіснують з ETL-технологіями, являючи собою засоби інтеграції та отримання даних у реальному часі. EAI-рішення передають інформацію між вихідною та цільовою системами, гарантують постачання даних, забезпечують розвинену підтримку потоку та спрощують основні елементи перетворення.

Однак EAI-технологія накладає обмеження на обсяги, оскільки вихідним посиланням цього методу була інтеграція саме додатків (а не даних), і суть його у запуску додатків та передачі інструкцій та повідомлень. Тим не менш, можливість переміщати інформацію в реальному часі та підтримувати її цілісність у процесі інтеграції у ряді випадків робить технологію EAI придатною для взаємообміну між операційними системами та активним сховищем.

Іншим підходом до інтеграції даних у реальному часі є технологія управління транзакційними даними (transactional data management - TDM), призначена для отримання, передачі, перетворення, постачання та верифікації транзакційних даних у гетерогенному середовищі в реальному часі. TDM функціонує на виконаних транзакціях: вибирає їх з OLTP-системи, застосовує основні методи перетворення та передає їх у Сховище. За своєю архітектурою технологія асинхронна, проте забезпечує синхронну поведінку, працює із затримкою в секунду, підтримуючи цілісність даних у транзакції.

EAI та TDM призначені для передачі змін та оновлень даних, а не цілісних вибірок даних. Ні те, ні інше вимагає призупинення вихідних систем, оскільки ці технології підтримують цілісність операцій мови маніпулювання даними (data manipulation language - DML). За рахунок цього суттєво скорочується обсяг необхідних переміщень даних. І якщо ETL-засоби в основному призначені для початкового завантаження та перетворення даних, то EAI та TDM більше підходять для постійного збору даних.

Все більше компаній використовують TDM-технологію з метою збору даних для Сховища. TDM-засоби захоплюють, направляють, доставляють і перевіряють операції з даними серед гетерогенних баз даних із затримкою в частки секунди.

Передача змінених даних на рівні транзакції дозволяє системі працювати в активному режимі та обробляти операції одночасно із наповненням Сховища. У цьому випадку повністю усувається залежність інтервалу пакетної обробки та зберігається цілісність кожної з транзакцій.

Інтеграція Сховища та OLTP-системи має на увазі отримання та передачу транзакційних даних у Сховищі одночасно з передачею даних про прийняті рішення на основі даних ХД в одну або декілька оперативних систем. Такий замкнутий цикл роботи також забезпечується засобами TDM.
Основні характеристики та можливості засобів інтеграції

Інструменти інтеграції TDM мають низку важливих функціональних особливостей.

Збір даних

Модулі збору даних встановлюються на вихідній базі і постійно відстежують всі транзакції, що знову надходять. Це досягається за рахунок читання великих обсягів даних з журналів операцій у той момент, коли транзакції ще виконуються і, як правило, знаходяться в пам'яті. Дані обробляються лише на рівні транзакції, і лише виконані операції надсилаються до Сховища.

Доставка даних

Усі нові дані передаються у проміжну область зберігання ХД, у своїй тимчасова затримка становить частки секунди. А значить, найбільш актуальні дані завжди доступні для передових методів Business Intelligence, а також для звітності та прийняття рішень. Оскільки протягом заданого проміжку часу передаються менші вибірки даних (ніж у разі пакетної передачі), додаткове навантаження на OLTP-систему виявляється дуже незначною.

Гетерогенність

Сховище даних необов'язково працює у межах тієї ж операційної системи чи бази даних, як і OLTP-система. Крім того, часто виникають ситуації, коли потрібно зібрати дані з кількох операційних системта баз. Отже, інструменти інтеграції повинні підтримувати широкий діапазон СУБД, а також платформ, що спрощує вимоги навіть для гетерогенних IT-інфраструктур. Так організація може робити вибір платформи, виходячи з корпоративних стандартів та переваг, а також розвиватися з мінімальним впливом на своє готове ХД-рішення.

Зібрані інструментом інтеграції дані перетворюються на платформо- та СУБД-незалежний формат. Таким чином, підтримується гетерогенність і усувається ризик втрати або пошкодження даних у разі перебою в роботі вихідної або цільової системи.

Вибірковість даних

Інструменти інтеграції передають лише ті дані, які потрібні в сховищі. У звичайній OLTP-системі існують поля, які стосуються лише додатку, який обслуговує база даних. Далеко не всі ці параметри потрібні у сховищі. Інструмент інтеграції повинен забезпечувати ідентифікацію стовпців, які потрібно витягти з баз та передати до Сховища.

Також, залежно від критеріїв користувача, можуть вибирати ті чи інші рядки з бази вихідної системи. Наприклад, для поділу даних за географічною ознакою або для вибору продуктів, що стосуються лише цільового Сховища.

Перетворення даних

Вибірковість передачі даних важлива, проте залишається завдання перетворення, нормалізації чи денормалізації даних, залежно від цільової системи. У зв'язку з різними моделями даних та структурами об'єктів між OLTP-базою та Сховищем, стовпці та вихідну систему можна перетворити так, щоб вони відповідали стовпцям у цільовій системі. У деяких випадках виникає необхідність злиття кількох стовпців з різних вихідних рядків в єдиний рядок і навпаки. Для складних перетворень даних пропонуються точки виходу до програми користувача, щоб запровадити будь-які специфічні для організації правила наповнення ХД.

Гнучкість

Можливість швидко та легко включати нові джерела БД, або цільові системи, включаючи процеси захоплення та доставки даних, відіграє важливу роль.

Динамічне визначення таблиць

Щоб не переривати роботу Сховища, воно проектується з можливістю швидкої адаптації до можливих змін у базі даних. Визначення вихідної та цільової таблиць змінюються або з появою нових версій, або зі зміною вимог до ємності Сховища. Динамічне завдання схем таблиць можливе за допомогою параметричних файлів. Таким чином можна вносити зміни до вихідних або цільових таблиць для швидкого внесення змін без модернізації або старіння систем.

Зворотній зв'язок

Активне Сховище передає дані, якщо виконано певні умови чи правила. Складна операція може включати оновлення записів в OLTP. Наприклад, система виявлення шахрайств може виділити підозрілі операції та змінити статус рахунку користувача у Сховищі. Така зміна статусу може відстежуватися інструментом інтеграції та передаватися до відповідної системи оперативної обробки транзакцій. Зворотна передача інформації до OLTP-системи дуже значна для будь-яких додатків замкнутого циклу, а також для одночасної посилки інформації в середу звітності, склади даних, резервні копіїчи інші цільові системи.
Комбінування технологій

У задачі інтеграції DW та OLTP можливе комбінування TDM та ETL-процесів. У тому числі для обробки даних у реальному часі, постійному захопленні та вилученні даних на транзакційному рівні. Засоби TDM можуть передавати дані в реальному часі в проміжний рівень зберігання цільової БД, де ETL-сервер перехоплюватиме дані і, застосувавши до них перетворення, завантажувати в Сховище. Такий підхід має недоліки (зокрема, додаткову затримку та необхідність підтримувати ETL-сервер), однак вони обґрунтовані, якщо вимоги до перетворення даних надто складні.

Переваги в тому, що нові транзакційні дані негайно захоплюються з дуже малим ефектом продуктивності на OLTP-систему (порівняно зі звичайним ETL-процесом).
і т.д.................