Інформаційні технології (ІТ) для оброблення даних, аналізу економічноі інформації та прийняття управлінських рішень

ТЕМА12. Технології оброблення інформації

Інформаційна технологія представляє собою поєднання процедур, які реалізують функції збирання, накопичення, зберігання, оброблення і передачі даних із застосуванням технічних засобів. Тому ІТ невід'ємно пов'язана з технічним і програмним середовищем, в якому її реалізовано.

Інформаційні технології залежать від таких компонентів: технічних засобів; персоналу, здатного використовувати їх; організації, яка об'єднує засоби і персонал в єдиному процесі; інформаційних засобів, що здійснюють формування й видачу інформації.

Основу технології оброблення даних складають процеси перетворення вхідної інформації на результатну. Кожна ІТ закінчується створенням інформаційного продукту.
Технологія розв'язання задачі на ЕОМ охоплює роботи, необхідні для збирання, реєстрації, передачі вхідних даних, їх збереження, оброблення на ЕОМ за відповідним алгоритмом, видачі результатів, передачі їх користувачам, а також послідовність виконання цих робіт.
Інформаційні технології впливають на підвищення якості та кількості послуг; розвиток ПЗ; створення умов для підвищення рівня життя населення; зміну умов дії соціально-економічного механізму внаслідок зміни умов праці й залучення інформації як предмету праці; значне скорочення інвестиційних та управлінських витрат; розширення доступу до інформації з боку більшої кількості користувачів й удосконалення можливостей одержання, збереження, поширення інформації при використанні різноманітних джерел; підвищення ефективності економічних контактів; створення нових можливостей зміцнення національної обороноздатності країни.

Найбільш відомі сучасні технологічні засоби оброблення інформації.

По перше – це технологія оперативного аналітичного оброблення даних у реальному часі OLAP (OnLine Analytical Processing). Вона полягає у підготовці сумарної (агрегірованої) інформації на основі більших масивів даних, структурованих по багатомірному принципу. Ця технологія виникла у зв’язку із необхідністю аналізу даних, накопичуваних в інформаційних системах у результаті розв’язу­вання облікових задач. Ця технологія орієнтована на побудову бізнес-звітів у різноманітних напрямах, із різним ступенем проникнення в деталі, на прогнозування і пошук закономірностей і є інструментом аналітика, менеджера або особи, відповідальної за прийняття рішень і формування фінансової політики компанії.

OLAP-Структура, створена з робочих даних, називається - OLAP-куб. Куб створюється із з'єднання таблиць із застосуванням схеми зірки або схеми снежинки. У центрі схеми зірки перебуває таблица фактов, яка містить ключові факти, по яких робляться запити. Множинні таблиці з вимірами приєднані до таблиці фактів. Ці таблиці показують, як можуть аналізуватися агрегированные реляційні дані. Кількість можливих агрегувань визначається кількістю способів, якими первісні дані можуть бути ієрархічно відображені. Наприклад, усі клієнти можуть бути згруповані по містах або по регіонах країни (Захід, Схід, Північ і т.д.), таким чином, 50 міст, 8 регіонів і 2 країни складуть 3 рівня ієрархії з 60 членами. Також клієнти можуть бути об'єднані стосовно продукції; якщо існують 250 продуктів по 20 категоріях, 3 групи продукції й 3 виробничих підрозділу, то кількість агрегатів складе 16560. При додаванні вимірів у схему кількість можливих варіантів швидко досягає десятків мільйонів і більш.

Olap-Куб містить у собі базові дані та інформацію про виміри (агрегати). Куб потенційно містить усю інформацію, яка може знадобитися для відповідей на будь-які запити. При величезній кількості агрегатів найчастіше повний розрахунки відбувається тільки для деяких вимірів, для інших же проводиться «на вимогу».

Існують три типи OLAP:

1. Багатомірна OLAP (Multidimensional OLAP — MOLAP);

2. Реляційна OLAP (Relational OLAP — ROLAP);

3. Гібридна OLAP (Hybrid OLAP — HOLAP).

MOLAP — це класична форма OLAP, так що її часто називають просто OLAP. Вона використовує підсумовуючу БД, спеціальний варіант процесора просторових БД і створює необхідну просторову схему даних зі збереженням як базових даних, так і агрегатів.
ROLAP працює прямо з реляційним сховищем, факти й таблиці з вимірами зберігаються в реляційних таблицях, і для зберігання агрегатів створюються додаткові реляційні таблиці.
HOLAP використовує реляційні таблиці для зберігання базових даних і багатомірні таблиці для агрегатів.
Особливим випадком ROLAP є ROLAP реального часу (Real-time ROLAP — R-ROLAP). На відміну від ROLAP в R-ROLAP для зберігання агрегатів не створюються додаткові реляційні таблиці, а агрегати розраховуються в момент запиту. При цьому багатомірний запит до Olap-Системі автоматично перетвориться в Sql-Запит до реляційних даних. Спочатку дані знаходяться в реляційній базі даних, куди вони потрапляють завдяки програмі, що займається обліком даних. Це може бути система складського обліку, реєстрації замовлень клієнтів, укладання ордерів і т. ін. Ця база даних у більшості випадків має OLTP (On-Line Transactional Processing) структуру, що називається так через те, що вона оптимізована для обслуговування коротких оновлювальних транзакцій, кожна з яких стосується порівняно невеликої кількості таблиць бази даних. Максимально нормалізована структура бази відповідає саме задачам обліку та реєстрації інформації.

У процесі аналізу облікова інформація подається та досліджується з різних позицій, у різних аспектах. При цьому формуються аналітичні запити, приміром такі:

1.У якому регіоні був досягнутий максимальний рівень збуту даної продукції торік?

2.У якої категорії покупців вона користувалася найвищим попитом?

3.Якою була динаміка продажів по цьому регіону в детальнішому часовому масштабі?

4.Який прогноз попиту дає тренд на ІІ квартал цього року?

5.А що, якщо рівень інфляції становитиме 2,5 % на місяць, а конкуренти піднімуть ціни на 10 %? і т. ін.

Структуру транзакційной бази не оптимізовано для таких запитів, оскільки вони задіюють усі або майже усі таблиці в базі (а відпрацьовування численних зв’язків між ними — витратна щодо часу та ресурсів операція) і, подовгу блокуючи дані на читання, перешкоджають оперативному проходженню OLTP-транзакцій у системі обліку. Отже, для опрацювання OLAP-запитів необхідний окремий формат збереження даних.

OLAP-програми можуть мати три архітектурні рівні:

1.Багатовимірне подання даних — засоби кінцевого користувача, що забезпечують багатовимірну візуалізацію і маніпулювання даними; прошарок багатовимірного подання абстрагований від фізичної структури даних і сприймає дані як багатовимірні.

2.Багатовимірна обробка — засіб (мова) формулювання багатовимірних запитів (традиційна реляційна мова SQL тут виявляється непридатною) і процесор, що може опрацювати і виконати такий запит.

3.Багатовимірне збереження — засоби фізичної організації даних, що забезпечують ефективне виконання багатовимірних запитів.

Конкретні OLAP-продукти здебільшого являють собою або засіб багатовимірного представлення даних, OLAP-клієнт (наприклад, Pivot Tables в Excel 2000 фірми Microsoft або ProClarity фірми Knosys), або багатовимірну серверну СУБД, OLAP-сервер (наприклад, Oracle Express Server або Microsoft OLAP Services). Прошарок багатовимірної обробки звичайно буває вбудований в OLAP-клієнт і/або в OLAP-сервер, але може бути виділений у чистому вигляді, як, наприклад, компонент Pivot Table Service фірми Microsoft.

У комплект Microsoft SQL Server 7.0 входить повнофункціональний OLAP-сервер — OLAP Services for SQL Server. Для обслуговування запитів клієнтів сервер використовує спеціальний протокол взаємодії і мову запитів. Наприклад, для взаємодії клієнта із серверною реляційною СУБД — SQL Server — використовуються протоколи ODBC або OLE DB і мова запитів SQL. Для доступу до OLAP-серверу компанією Microsoft були розроблені про­токол OLE DB for OLAP і мова запитів до багатовимірних даних — MDX (MultiDimensional eXpression). Аналогічно тому, як для спрощення і зручності над OLE DB було розроблено прошарок об’єктів ADO (Active Data Objects), над OLE DB for OLAP побудовано ADO MD (Multidimensional ADO). У ролі OLAP-клієнта може використовуватися Microsoft Excel 2000.

OLAP-сервер — OLAP Services — функціонує як сервіс Win­dows NT. Для його адміністрування використовується набір об’єк­тів Decision Support Objects (DSO) — аналог Distributed Manage­ment Objects (DMO) для SQL Server. Основний засіб адміністрування OLAP Services — OLAP Manager — побудовано на базі DSO. Він є модулем розширення (snap-in) для MMC (Microsoft Management Console).

За допомогою OLAP Manager адміністратор створює бази даних і будує куби. У цьому процесі йому може допомогти майстер Cube Wizard, що здійснює формування кубів із реляційних баз даних, побудованих за схемою «зірки» або «сніжинки». Ці схеми, традиційні для сховищ даних, складаються з центральної таблиці, називаної таблицею фактів, і декількох пов’язаних із нею таблиць атрибутів (вимірів). При створенні кубів таблиця фактів (fact table) перетвориться на набір мір (measures), а таблиці атрибутів — на виміри (dimensions). Адміністратор указує таблиці фактів та атрибутів, а також вибирає, які саме поля використовуватимуться як міри і виміри.

Вибір технології збереження здійснюється за допомогою майстра Storage Designe Wizard. Для кожного куба адміністратор може вибрати будь-яку з трьох технологій збереження — MOLAP, ROLAP або HOLAP. MOLAP рекомендується використовувати в тому разі, коли потрібний швидкий доступ до невеликого або середнього обсягу даних. Для роботи з великими обсягами даних, особливо у разі невисокої інтенсивності запитів до них (наприклад, при роботі з архівними даними), рекомендується використовувати ROLAP. HOLAP сполучає у собі переваги перших двох технологій. При використанні будь-якої з цих технологій Mic­rosoft SQL Server OLAP Services не зберігає порожніх значень, вирішуючи в такий спосіб проблему розріджених даних

Microsoft Excel 2010 містить нові засоби аналізу даних у вигляді нового механізм зведених таблиць — OLAP Pivot Tables, що замінив собою однойменний механізм попередніх версій. Поряд із попередніми можливостями аналізу реляційних даних механізм Pivot Tables тепер включає можливості аналізу OLAP-даних, тобто виступає як OLAP-клієнт. Як сервер може використовуватися Microsoft SQL Server 7.0, а також будь-який продукт, що підтримує інтерфейс OLE DB for OLAP. Механізм зведених таблиць Excel у повному обсязі підтримує можливості, що надаються описаним вище сервісом Pivot Table Services (PTS). Таким чином, аналізовані OLAP-дані можуть знаходитися як у локальних кубах, так і на OLAP-сервері.

Сучасні технології доступу до даних, такі як DAO (Data Access Objects — об’єкти доступу до даних), RDO (Remote Data Objects — об’єкти віддалених даних) та ADO (Active Data Objects — активні об’єкти даних) є потужними моделями програмування, які дають змогу звертатися до даних, організовувати та маніпулювати даними локальних або віддалених баз даних.

DAO і RDO відомі вже досить давно, і поява двох різних механізмів була пов’язана з необхідністю оптимізації рішення двох окремих задач: доступу до локальних і віддалених баз даних відповідно. В основі і DAO, і RDO лежить відкритий інтерфейс зв’язку з базами даних (Open Database Connectivity, ODBC), який являє собою незалежну від типу баз даних технологію, призначену для організації взаємодії з реляційними СУБД. Цей інтерфейс, який є буфером між програмою користувача і базою даних, має велике значення, оскільки він є стандартним засобом роботи з базами даних. Дозволяючи працювати з базами даних будь-якого типу, для яких в системі є драйвер, він дає можливість звертатися до широкого спектра даних, не вимагаючи від користувачів знань про формати та особливості конкретних баз даних. У цьому сенсі ODBC — загальний засіб доступу до значної кількості систем управління базами даних. Для побудови запитів до баз даних через джерела даних ODBC використовується мова SQL.

Дата добавления: 2017-02-01