BI-платформа с ассоциативным поиском в оперативной памяти со встроенными средствами ETL

Поможем в ✍️ написании учебной работы

Имя

Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой

Нажимая кнопку "Продолжить", я принимаю политику конфиденциальности

BI-платформа с ассоциативным поиском в оперативной памяти со встроенными средствами ETL.

QlikView — BI-платформа с ассоциативным поиском в оперативной памяти со встроенными средствами ETL. В 2017 году, уже седьмой год подряд, система включена в группу лидеров магического квадранта Gartner поставщиков платформ Business Intelligence

Business intelligence (сокращённо BI) — обозначение компьютерных методов и инструментов для организаций, обеспечивающих перевод транзакционной деловой информации в человекочитаемую форму, пригодную для бизнес-анализа, а также средства для массовой работы с такой обработанной информацией.

ETL (от англ. Extract, Transform, Load — дословно «извлечение, преобразование, загрузка») — один из основных процессов в управлении хранилищами данных, который включает в себя:

· извлечение данных из внешних источников;

· их трансформация и очистка, чтобы они соответствовали потребностям бизнес-модели;

· и загрузка их в хранилище данных.

BI-технологии.

Цель BI — интерпретировать большое количество данных, заостряя внимание лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия решений.

В состав BI входят:

1. Многомерная агрегация и размещение данных в хранилищах данных

2. Денормализация таблиц баз данных, маркировка и стандартизация данных (ETL)

3. Средства предоставления отчётности в режиме реального времени с аналитическими оповещениями (в случае существенных отклонений)

4. Средства взаимодействия с неструктурированными источниками данных

5. Групповая консолидация, бюджетирование и скользящие прогнозы

6. Статистические выводы и вероятностное моделирование

7. Оптимизация ключевых показателей эффективности

8. Контроль версий и управление процессами

9. Управления открытыми позициями

Ральф Кимбал выделил три самых важных аспекта для успешной реализации BI-проекта:

1. Уровень финансирования и поддержки со стороны руководства

2. Степень востребованности проекта для конкретного бизнеса

3. Объём и качество доступных бизнес-данных

QlikView

QlikView — это платформа Business Discovery для самостоятельного проведения бизнес-анализа, предназначенная для всех корпоративных бизнес-пользователей. С помощью программы QlikView можно анализировать данные и использовать полученные результаты для поддержки решений. Программа QlikView дает возможность задавать себе вопросы и отвечать на них, самостоятельно идти по пути познания. Программа QlikView позволяет вам с коллегами принимать решения в совместной работе.

Сердце программы QlikView — запатентованное ядро программного обеспечения, которое на лету генерирует новые виды информации. QlikView сжимает данные и сохраняет их в памяти, где к ним моментально может получить доступ множество пользователей. Если набор данных слишком велик для размещения в памяти, программа QlikView подключается напрямую к источнику данных. QlikView обеспечивает ассоциативную работу со всеми данными, необходимыми для анализа, независимо от их местоположения. Пользователь может выбрать любое место начала работы и какое угодно направление; в программе отсутствуют заранее настроенные пути детализации и информационные панели.

Аналитические CRM-системы

Аббревиатура CRM расшифровывается как Customer Relationship Management, что в переводе означает — «управление взаимосвязями с клиентами».

Операционный CRM — данный IT-продукт базируется на модели хранилища информации о клиентах компании. Его предназначение – организация качественных коммуникаций между компанией и покупателем. Этим занимаются Front-офисные и регистрационные подсистемы операционного CRM.

Аналитический — по сути, это вершина «пирамиды CRM». Здесь информация о покупательском спросе подвергается глубочайшему анализу. Главные задачи, стоящие перед ACRM — это:

· упорядочивание множества информационных массивов;

· обнаружение в них скрытых закономерностей;

· выработка эффективных стратегических решений в области маркетинга, сервиса, продаж.

Потребитель аналитической системы – директорат компании, отвечающий за стратегический менеджмент и намечающий векторы рентабельного развития предприятия.

Инструменты ACRM можно разделить на три больших блока:

· системы, синхронизирующие, интегрирующие и визуализирующие собранные данные;

· механизмы периодической очистки поступающих сведений с целью их актуализации;

· платформы статистического исследования информации с определенным набором алгоритмов решения типовых задач, на основе которых создаются правила и модели эффективных взаимосвязей с клиентами.

Комплекс аналитических задач включается в процесс под названием Data Mining. Он представляет собой поиск статистических закономерностей в массивах клиентской базы. С помощью этого функционала выстраивают 5 аналитических моделей, применимых в CRM-целях:

· регрессия – соотнесение получаемых на выходе показателей и исходных сведений;

· классификация – распределение клиентов по определенным категориям;

· кластеризация – рассредоточение клиентов по группам на основе общих параметров;

· ассоциация – выявление вероятности череды явлений;

· последовательность – обнаружение взаимосвязи между следующими друг за другом событиями.

Аналитические SCM-системы

SCM (Supply Chain Management) — управление цепочками поставок. Системы SCM предназначены для автоматизации и управления всеми этапами снабжения предприятия и для контроля всего товародвижения на предприятии.

Аналитические SCM-системы, не встроенные в ERP-системы, представляют собой информационные системы для решения задач анализа и оптимизации в управлении жизненным циклом продукции.

Сопутствующие проблемы

· При использовании SCM-решений возможен конфликт с другими решениями.

· Возникает ряд сложностей с обучением персонала.

· Сопротивление поставщиков и дистрибъютеров.

Конкурентные преимущества

· Снижение затрат (от 5 до 15%), потока сырья, планирования, исполнения и контроля прохождения.

· Повышение эффективности стратегии бизнеса в области управления финансовыми, материальными и информационными потоками

· Создание оптимальных циклов поставок.

· Оптимизация бизнес процессов на уровне работы с поставщиками.

· Сокращение времени поставок.

· Увеличение прибыли (от 5 до 15%)

Сопутствующие проблемы

· При использовании отдельных SRM-решений возможен конфликт с другими решениями.

· Возникает ряд сложностей с обучением персонала.

· Сопротивление поставщиков и дистрибъютеров.

Наиболее известное решение в области создания аналитических SRM-систем разработано компанией SAS Institute

Интернет-банкинг

Интернет-банкинг — это общее название технологий дистанционного банковского обслуживания, а также доступ к счетам и операциям (по ним), предоставляющийся в любое время и с любого устройства, имеющего доступ в Интернет. Для выполнения операций используется браузер, то есть отсутствует необходимость установки клиентской части программного обеспечения системы.

Интернет-банкинг часто доступен по системе банк-клиент, с использованием технологии тонкого клиента.

Как правило, услуги интернет-банкинга включают:

· выписки по счетам;

· предоставление информации по банковским продуктам (депозиты, кредиты, ПИФ и т. д.);

· заявки на открытие депозитов, получение кредитов, банковских карт и т. д.;

· внутренние переводы на карту банка;

· переводы на счета в других банках;

· конвертацию средств;

· личный кабинет для управления услугами;

Современные банки осваивают новое перспективное направление развития брокерских услуг, заключающееся в предоставлении физическим лицам доступа к международным валютным и фондовым рынкам (интернет-трейдинг).

Основные понятия в составе электронной библиотеки

В состав электронной библиотеки входят 6 основных понятий: содержимое (контент), пользователь, функциональность, качество, политики, архитектура

" Содержимое ( контент)" - данные и информация, которыми электронная библиотека управляет и которые она делает доступными для своих пользователей.

Понятие " пользователи" покрывает собой различных «актеров» (людей и машин), взаимодействующих с электронной библиотекой . Заметим, что сюда входят не только живые люди, но и внешнее (относительно вашей электронной библиотеки ) программно-аппаратное обеспечение.

Понятие " функциональность" включает в себя сервисы, которые электронная библиотека представляет своим пользователям, как группам, так и индивидуальным. Это, в первую очередь, средства взаимодействия пользователей и контента (все процедуры, преобразования, действия и взаимодействия), которые доставляют контент пользователю и наоборот.

Понятие " качество" включает в себя набор условий, правил, терминов и режимов, покрывающий взаимодействие между пользователями и электронной библиотекой. Например, поведение пользователей, права и политики доступа, конфиденциальность, платежи, варианты поставки.

" Архитектура" относится к понятию системы электронной библиотеки и представляет собой проекцию функциональности и контента на программное и аппаратное обеспечение. Другими словами, это технологическое исполнение, на котором основана электронная библиотека. Считается ключевым понятием.

Работа электронной библиотеки и активизация ее функциональности основана на политиках и стремится достигнуть определенного качества.

23. Информационные системы DRP (Distribution Resource Planing) — планирование потребностей распределения

DRP - информационная система, которая поддерживает координацию в пределах распределительной сети. Цель такой системы состоит в том, чтобы сделать запись товарных потоков, и для этого требуется информация о том, где хранится сырье, какие товары в пути и какие изменения в запасах. DRP позволяет скоординировать решения, принятые в различных точках распределительной сети.

Планирование распределения ресурсов (DRP) - это метод, используемый в бизнес-администрировании для планирования заказов в цепочке поставок. DRP позволяет пользователю устанавливать определенные параметры управления запасами (например, страховой запас) и рассчитывать поэтапные требования к запасам. Этот процесс также обычно называют планированием требований к распределению.

DRP использует несколько переменных:

· необходимое количество продукта, необходимого в начале периода

· ограниченное количество продукта, доступного в начале периода

· рекомендуемый объем заказа в начале периода

· недооцененный спрос на конец периода

· наличный запас на конец периода

DRP нужна следующая информация:

· спрос в будущем периоде

· запланированные поступления в начале периода

· наличный запас в начале периода

· требование страхового запаса на период

Ключевые принципы

· Единая транзакционная система для подавляющего большинства операций и бизнес-процессов организации

· Тиражируемость, то есть возможность применить один и тот же программный пакет для разных организаций

· Необходимость всеобъемлющего применения ERP-системы в территориально-распределённых организациях требует поддержки в единой системе множества валют и языков

· Применимость в различных отраслях накладывает на ERP-системы, с одной стороны, требования к универсальности, с другой стороны — поддержку расширяемости отраслевой спецификой.

Алгоритм работы

· Sales and Operation Planning (планирование продаж и операций).

· Demand Management (управление спросом).

· Master Production Scheduling (составление плана производства).

· Material Requirement Planning (планирование материальных потребностей).

· Bill of Materials (спецификации продуктов).

· Inventory Transaction Subsystem (управление складом).

· Scheduled Receipts Subsystem (плановые поставки).

· Shop Floor Control (управление на уровне производственного цеха).

· Capacity Requirement Planning (планирование производственных мощностей).

· Input/output control (контроль входа/выхода).

· Purchasing (материально-техническое снабжение).

· Distribution Resource Planning (планирование ресурсов распределения).

· Tooling Planning and Control (планирование и контроль производственных операций).

· Financial Planning (управление финансами).

· Simulation (моделирование).

· Performance Measurement (оценка результатов деятельности).

Киоски данных.

Архитектура представляет собой облегченный вариант ХД тематической направленности. Бывают киоски данных, связанные с интегрированным ХД или несвязанные (автономные).

Киоски данных содержат подмножество корпоративных данных и строятся для отделов или подразделений внутри организации. Киоски данных часто строятся силами самого отдела и охватывают конкретный аспект, интересующий сотрудников данного отдела. Киоск данных может получать данные из корпоративного хранилища (зависимый киоск), или, что более распространено, данные могут поступать непосредственно из оперативных источников (независимый киоск).

Киоски и хранилища данных строятся по сходным принципам и используют практически одни и те же технологии.

Основные компоненты.

Основными компонентами хранилища данных являются следующие:

- оперативные источники данных;

- средства проектирования/разработки;

- средства переноса и трансформации данных;

- СУБД;

- средства доступа и анализа данных;

- средства администрирования.

33. Компоненты преобразования данных (ETL-tools, Staging Area, Near-line Storage).

Компоненты преобразования данных (ETL-tools, Staging Area, Near-line Storage) cлужат для перегрузки данных из одних программных компонентов в другие (с промежуточной очисткой и согласованием данных, получаемых из различных источников)/

ETL — extraction, transformation, loading, то есть извлечение, преобразование и загрузка, скрываются три основных процесса, используемые при переносе данных из одного приложения или системы в другие.

Извлечение данных На этой стадии отбираются и описываются данные внешних источников (начинают формироваться метаданные ХД), которые должны храниться в ХД (релевантные данные).

Преобразование данных На этой стадии релевантные данные преобразуются в формат представления данных в ХД, правила преобразования сохраняются в метаданных ХД, формируются ключевые поля таблиц физической структуры ХД, выполняется очистка данных.

Загрузка данных На этой стадии данные загружаются в ХД, выполняется построение агрегатов.

ETL полезны при обновлении или изменении приложений, или при увеличении уровня интеллектуальной поддержки бизнеса с помощью хранилищ или витрин данных.

Процесс ETL реализуется путем либо разработки приложения ETL, либо создания комплекса встроенных программных процедур, либо использования ETL-инструментария.

Цель любого ETL-приложения состоит в том, чтобы своевременно доставить данные из внешних систем в систему, с которой работают пользователи. Как правило, ETL-приложения используются при переносе данных внешних источников в ХД систем бизнес-аналитики. Поэтому организация процесса ETL является составной частью проекта разработки практически любого ХД

Основные понятия информатизации бизнеса

Информатизация (англ. Informatization) — политика и процессы, направленные на построение и развитие телекоммуникационной инфраструктуры, объединяющей территориально распределенные информационные ресурсы.

Информатизация бизнеса – это комплексная дисциплина, которая занимается изучением методологических основ информационных систем и технологий, применение информационных систем и технологий для конкретных объектов управления, формирование у магистрантов современных системных знаний об особенностях применения информационных систем и технологий в управлении предприятием в условиях рыночной экономики.

Планирование информационных ресурсов

Для того чтобы иметь хорошую информационную систему необходимо планировать ее создание. Именно поэтому вопрос планирования информационных систем рассматривается здесь отдельно. Процесс планирования должен начинаться с оценки текущей ситуации, определения миссии информационной системы, интенсивности использования информации, пользователей, оценки среды организации, места на рынке, ее сильных и слабых сторон, выработки стратегии, которая должна лечь в основу бизнес-плана по созданию информационной системы.

Планирование позволяет:

· создавать планы информационных систем, поддерживающие бизнес-направление фирмы;

· ориентировать разработчиков на конечные бизнес-результаты, а не на окончание проектов информационных систем;

· эффективнее использовать ресурсы информационной системы;

· закладывать большую управляемость и лучшую интеграцию существующих и будущих систем;

· быть уверенным в том, что ИС будет соответствовать общему направлению развития организации;

· учесть мнение конечных пользователей;

· создавать условия для правильного реагирования на непредвиденные ситуации.

Требования

· Сильно нормализованные модели данных;

· При возникновении ошибки транзакция должна целиком откатиться и вернуть систему к состоянию, которое было до начала транзакции;

· Обработка данных в реальном времени.

Система интернет-торговли

Электронная коммерция — это сфера экономики, которая включает в себя все финансовые и торговые транзакции, осуществляемые при помощи компьютерных сетей, и бизнес-процессы, связанные с проведением таких транзакций

К электронной коммерции относят:

· электронный обмен информацией (Electroniс Data Interchange, EDI),

· электронное движение капитала (Electronic Funds Transfer, EFT),

· электронную торговлю (англ. e-trade),

· электронные деньги (e-cash),

· электронный маркетинг (e-marketing),

· электронный банкинг (e-banking),

· электронные страховые услуги (e-insurance).

Классификация

Коммерческие организации

B2B (Business-to-Business) — «взаимоотношения между коммерческими организациями».

B2C (Business-to-Consumer) — «взаимоотношения между коммерческой организацией и потребителями».

B2E (нем.)русск. (Business-to-Employee) — «взаимоотношения между коммерческими организациями и сотрудниками (наёмными рабочими)».

B2G (Business-to-Government) — «взаимоотношения между организацией и правительством».

B2O (Business-to-Operator) — «взаимоотношения между организацией и оператором связи».

Потребители

C2A (Consumer-to-Administration) — «взаимоотношения между потребителями и администраторами».

C2B (англ.)русск. (Consumer-to-business) — «взаимоотношения между потребителями и коммерческими организациями».

C2C (Consumer-to-Consumer) — «взаимоотношения между потребителями».

Администрация

A2A (Administration-to-Administration) — «взаимоотношения между администрациями».

A2B (Administration-to-Business) — «взаимоотношения между администрацией и коммерческими организациями».

A2C (нем.)русск. (Administration-to-Consumer) — «взаимоотношения между администрацией и потребителями».

Другие бизнес-модели

D2C (Decentralized-to-Consumer) — «децентрализованные взаимоотношения на основе Блокчейн-технологии (англ. Blockchain) между потребителями».

G2B (Government-to-Business) — «взаимоотношения между правительством и организацией».

P2P (Peer-to-Peer) — «взаимоотношения между лицами».

Известны три типа систем Интернет-торговли:

1. web-витрина - оформленный web-дизайнерскими средствами прайс-лист торговой компании с возможностью приема заказов. Данный тип системы наилучшим образом подходит для предприятий малого и среднего бизнеса. Web-витрины не имеют интерактивных интерфейсов управления и не связаны напрямую с бизнес-приложениями компании. Обмен данными с web-витриной проводится менеджерами вручную, посредством передачи файлов.

2. Интернет-магазин - полнофункциональная система ведения Интернет-торговли с индивидуальными бизнес-схемами взаимодействия с потребителями. Интернет-магазин содержит, кроме web-витрины, всю необходимую бизнес-логику для управления процессом Интернет-торговли (бэк-офис). Гибкость настроек бэк-офисов интернет-магазинов и возможность быстрой разработки индивидуального web-дизайна позволяют использовать Интернет-магазин для организации торговли широким спектром товаров и услуг компаниям среднего и крупного бизнеса.

3. Торговая Интернет-система (ТИС) - сложная и мощная система ведения торговых операций через Интернет, в которой полностью интегрированы торговые процессы offline и системы online бизнеса компании. Достигается это путем интеграции внешнего интернет-магазина в бизнес-приложения, имеющиеся в компании, с системами складского учета, торгово-учетными и бухгалтерскими системами, а для крупных корпораций - с ERP-системами, т.е. ТИС представляет собой Интернет-магазин, бэк-офис которого полностью (в режиме реального времени) интегрирован в торговый бизнес-процесс компании.

Состав КИС.

орпоративная ИС включает компьютерную инфраструктуру организации и базирующиеся на ней взаимосвязанные подсистемы, обеспечивающие решение задач организации.

В качестве таких подсистем могут быть :

информационно-справочные системы, в том числе гипертекстовые и геоинформационные;

система управления документооборотом;

система обработки транзакций (действия по изменению информации в базах данных);

система поддержки принятия решений.

По способу организации КИС делятся:

системы файл-сервер;

системы клиент-сервер;

трехзвенные системы;

системы на основе интернет/интранет технологий.

Под сервером понимается любая система (отдельный компьютер с соответствующим программным обеспечением или отдельная программная система в составе программного обеспечения), предназначенная для предоставления некоторых вычислительных ресурсов другим системам (компьютерам или программам), называемым клиентами.