Внешние источники данных. Часть 2. Работа с внешним источником данных OLAP
Внешние источники данных. Часть 2
2 . Работа с внешним источником данных OLAP
2.1. Общая информация
OLAP – это технология обработки данных, заключающаяся в подготовке агрегированной информации на основе больших массивов данных, структурированных по многомерному принципу. Данные в аналитических базах данных (OLAP-системах) формируются на основании данных систем транзакционной обработки данных (также называемых OLTP-системами). Информация в OLAP-системах представлена в виде пространства
(называемого кубом), оси которого представляют собой измерения, а в узлах этого пространства располагаются некоторые меры (measures).
Каждое измерение куба характеризуется определенными членами (members) измерения.
Ближайшим (но не точным!) аналогом хранения данных в OLAP-системах можно считать регистр накопления, где сам регистр подобен кубу, измерение типа СправочникСсылка подобно измерению куба, сам справочник содержит члены измерения, а ресурсы регистра подобны мерам куба.
В системе «1С:Предприятие» куб OLAP-системы представлен в виде модели, где:
● Куб представлен кубом в конфигурации;
● Измерения и члены измерений представлены в виде двух объектов:
● Измерения являются аналогом измерений,
● Таблицы измерений служат для описания коллекции членов измерений.
● Меры представлены ресурсами.
Таким образом, в состав внешнего источника, который подключается к OLAP-системе, входят кубы, каждый куб состоит из таблиц измерений, собственно измерений и ресурсов. Таблицы измерений, в свою очередь, состоят из полей. Ресурсы кубов могут быть числовыми или строковыми.
Объект, описывающий внешний источник данных, может быть использован следующим образом:
● в качестве источника данных для запросов;
● в качестве источника данных в системе компоновки данных;
● в качестве источника для динамических списков;
● входить в состав общих реквизитов (см. здесь);
● записи таблиц измерений и кубов могут отображаться в управляемых формах «1С:Предприятия» (не поддерживается использование обычных форм для объектов внешних источников данных);
● таблицы измерений внешнего источника данных могут выступать в качестве типов реквизитов информационной базы;
● к кубам, таблицам измерений, полям таблицы измерений, измерениям и ресурсам внешних источников данных можно применять права доступа;
● доступ к кубам, таблицам измерений, полям таблицы измерений, измерениям и ресурсам возможен из встроенного языка;
● кубы и таблицы измерений внешнего источника данных могут входить в состав подсистем ;
● кубы, таблицы измерений и измерения внешнего источника данных может входить в состав функциональных опций ;
● для кубов внешнего источника данных можно создавать характеристики (см. здесь).
Для работы с многомерными внешними источниками данных используется механизм XML для аналитики (XML for Analysis, XMLA). Платформа получает доступ к данным с помощью HTTP-запросов к веб-серверу, который может быть внешним (по отношению к OLAP-системе) или встроенным в OLAP-сервер. Вопросы настройки доступа к данным OLAP-сервера следует искать в документации к используемой системе.
Строка соединения с аналитическим внешним источником данных представляет собой комбинацию URL поставщика XMLA (для данной OLAP-системы) и параметров, которые используются «1С:Предприятием» для работы с источником. Данные внешних источников данных доступны только для чтения.
Возможности системы «1С:Предприятие» максимально учитываются при использовании в качестве внешнего источника данных следующих OLAP-систем (свойство Тип СУБД параметров соединения с источником данных):
● IBM Infosphere Warehouse,
● Microsoft SQL Server Analysis Services,
● Oracle Essbase.
Примечание. При работе с внешним источником данных могут возникать ошибки в том случае, если свойство Тип СУБД параметров соединения с внешним источником данных содержит значение, которое не соответствует реально используемой системе.
При использовании других СУБД возможности работы с внешними источниками данных зависят от самой СУБД. Для осуществления подключения к внешнему источнику данных следует сформировать строку подключения. Подробнее о строке подключения см. здесь.
Также следует помнить, что соединение с внешним источником данных следует указывать не только в конфигураторе (если используется механизм импорта структуры таблиц из внешнего источника данных), но и в режиме 1С:Предприятие для получения собственно данных.
Документация по OLAP-системам:
● IBM Infosphere Warehouse:
● http://publib.boulder.ibm.com/infocenter/db2luw/v9r5/topic/com.ibm.dwe.navigate.doc/welcome_db2warehouse.html (на английском языке).
● Microsoft SQL Server Analysis Services:
● Версия 2008: http://technet.microsoft.com/ru-ru/library/bb522607(v=sql.100).aspx;
● Версия 2008 R2: http://technet.microsoft.com/ru-ru/library/bb522607(v=sql.105).aspx;
● Версия 2012: http://technet.microsoft.com/ru-ru/library/bb522607(v=sql.110).aspx.
● Oracle Essbase:
● http://docs.oracle.com/cd/E17236_01/nav/portal_3.htm (на английском языке)..2.
2.2. Общая схема использования
Для того чтобы использовать информацию из внешних источников данных в системе на базе «1С:Предприятия», следует придерживаться следующей общей схемы:
● Изучить структуру внешнего источника данных и понять, какая информация (кубы, таблицы измерений, измерения и ресурсы) необходима для работы алгоритмов или отчетов в «1С:Предприятии».
● Создать объект Внешние источники данных в конфигураторе и для него создать требуемую структур. Это можно сделать с помощью специального помощника.
● Реализовать использование созданных объектов в прикладном решении.
● Выполнить настройку параметров подключения к внешнему источнику данных в той сети, где будет использоваться прикладное решение. Эти параметры могут отличаться от тех, которые использовались при загрузке структуры внешнего источника данных.
Примечание. Параметры доступа к внешнему источнику данных, которые были заданы в конфигураторе, не будут использованы системой в режиме 1С:Предприятие.
2.3. Редактирование структуры внешнего источника данных
2.3.1. Общая информация
Для работы с таблицами внешних источников данных предназначена ветвь с именем соответствующего внешнего источника данных ветви Внешние источники данных – <Имя внешнего источника данных> – Кубы дерева конфигурации. Определение внешнего источника данных состоит из нескольких шагов:
1. Определение собственно внешнего источника данных.
2. Определение кубов;
3. Определение таблиц измерений и полей для каждой таблицы измерений;
4. Определение измерений для куба;
5. Определение ресурсов для куба.
При этом в конфигурации может быть описано меньшее количество объектов, чем есть в реальной базе данных, но нельзя создать объект, которое отсутствует в реальной базе данных.
Создание структуры внешнего источника данных возможно как в ручном режиме, так и при загрузке этой структуры с помощью специального конструктора.
2.3.2. Внешний источник данных
При создании внешнего источника данных следует указать его имя. Этот объект предназначен для идентификации группы кубов при обращении к данным, которые в нем содержатся. Источник данных состоит из одного или нескольких кубов, которые, в свою очередь, состоят из других объектов (таблицы измерений, измерения, ресурсы).
2.3.3. Куб внешнего источника данных
При создании нового куба открывается окно редактирования объекта .
Свойство таблицы Имя служит для идентификации куба внутри прикладного решения. Для того чтобы система знала, какой физический куб внешнего источника данных соответствует объект конфигурации, следует заполнить свойство Имя в источнике данных. Значение в этом свойстве в точности должно соответствовать имени куба внешнего источника данных. Не поддерживается размещение в одном кубе прикладного решения
данных из нескольких кубов внешнего источника данных.
2.3.4. Таблица измерения
Таблица измерения описывает члены (members) измерения куба OLAP-системы. Свойство Имя в источнике данных содержит точное имя измерения или уровня иерархии в источнике данных. Свойство Поле представления содержит имя свойства измерения или уровня иерархии, которое система «1С:Предприятие» использует для формирования представления элемента таблицы измерения.
Если измерение является иерархическим, то для такого измерения может быть использована иерархическая таблица измерения. Иерархическая таблица измерения описывается с помощью следующих свойств:
● Иерархическая – содержит признак того, что таблица измерения описывает иерархию в источнике данных.
● Имя иерархии в источнике данных – указывает имя иерархии, к которой относится таблица измерения, описывающая данный уровень.
● Номер уровня – в том случае, если таблица описывает какой-либо уровень иерархии, данное свойство содержит номер этого уровня. Для собственно иерархической таблицы значение этого свойства равно 0, а свойство Имя иерархии в источнике данных совпадает со значением свойства Имя в источнике данных.
Свойства Признак незаполненного родителя и Значение незаполненного родителя позволяют указать системе «1С:Предприятие», каким образом идентифицировать значения самого верхнего уровня иерархии.
2.3.5. Поле таблицы измерений
Поля таблицы измерений описывают, какие свойства измерений будут доступны из прикладного решения. Свойство поля Имя служит для идентификации свойства (поля таблицы измерения) в прикладном решении. Для указания соответствия между полем прикладного решения и атрибутом измерения служит свойство Имя в источнике данных. Значение в этом свойстве должно в точности соответствовать имени атрибута
измерения, указанного в свойстве Имя в источнике данных родительского объекта данного поля. Не поддерживается объединение в одном поле таблицы измерений данных из нескольких атрибутов одного или нескольких измерений внешнего источника данных.
Поле Тип позволяет указать тип данного поля. Для выбора доступен ограниченный набор типов. Типами поля могут быть:
● Число;
● Строка;
● Дата;
● Булево;
● УникальныйИдентификатор;
● ДвоичныеДанные;
● типы, которые определяются таблицами измерений внешних источников данных.
Если необходимо указать для поля составной тип, то в таком составном типе могут участвовать только типы Число, Строка, Дата, Булево.
При получении данных из внешних источников система автоматически преобразует эти данные к тому типу, который указан у соответствующего поля в прикладном решении.
2.3.6. Измерения
Измерение внешнего источника данных описывает измерение куба OLAP-системы. Типом измерения может быть только ссылка на соответствующую таблицу измерения. Фактически, таблицы измерений и сами измерения, соотносятся один к одному: одно измерение описывается одной таблицей измерения.
Не поддерживается объединение в одном поле измерения данных из нескольких измерений внешнего источника данных
2.3.7. Ресурсы
Ресурс внешнего источника данных описывает факт куба OLAP-системы. Ресурс куба может быть числовым или строковым. Именно значения ресурсов рассчитываются по значениям измерений куба. Свойство Имя в источнике данных должно совпадать с именем факта (ресурса) куба внешнего источника данных.
Не поддерживается объединение в одном ресурсе данных из нескольких фактов (ресурсов) внешнего источника данных.
2.3.8. Загрузка структуры куба из внешнего источника данных
Существует возможность загрузки структуры куба из внешнего источника данных, который доступен для разработчика (например, копии реальной базы данных).
Для выполнения этой операции следует при создании куба указать пункт Выбрать из списка кубов внешнего источника данных в конструкторе кубов внешнего источника данных. Затем нужно указать строку соединения с внешней базой данных, воспользовавшись окном Подключение к источнику данных. При формировании строки подключения можно воспользоваться конструктором строки соединения с внешним источником данных. Для этого следует нажать кнопку «…» справа от поля Строка соединения.
После того как подключение к внешней базе успешно выполнено, будет открыт список с перечнем кубов, таблиц измерений, полей таблиц измерений и ресурсов подключенного источника данных. Затем следует выбрать требуемый куб, а также таблицы измерений, поля и ресурсы, которые будут использованы конфигуратором для создания структуры объектов, описывающих текущий источник данных.
При получении структуры внешнего источника данных система выполняет следующие действия:
● Выполняет попытку определить поля, формирующие представления для таблиц измерений. Если система ошиблась, поле представления можно указать вручную.
● Преобразует типы колонок источника данных в типы «1С:Предприятия», которые будут использоваться для указания типов реквизитов объектов. Все типы из внешнего источника данных преобразуются к следующим типам «1С:Предприятия»: число, строка, дата, булево,
уникальный идентификатор, двоичные данные и типы, связанные с таблицами измерений источника данных.
● Выполняет попытку определить типы для полей таблиц измерений. В этом случае система пытается определить, какого типа данные хранятся в колонке таблицы измерения, и в том случае, если это можно считать ссылкой на данные другой таблицы измерения, указывает в колонке соответствующий тип. Если система неправильно выбрала тип колонки таблицы, его можно изменить вручную.
Затем следует отметить флажками объекты, которые будут перенесены в метаданные прикладного решения.
Если флажок Удалять из конфигурации объекты, отсутствующие во внешнем источнике данных установлен, то при завершении работы конструктора кубов из конфигурации будут удалены те объекты (кубы, таблицы измерений, поля таблицы измерений, измерения, ресурсы),
которые отсутствуют во внешнем источнике (например, во внешнем источнике куб или ресурс были удалены) данных.
После нажатия кнопки Готово произойдет загрузка структуры внешнего источника данных.
2.4. Ограничения языка запросов при использовании аналитического внешнего источника данных
При работе с кубами и таблицами измерений в языке запросов, следует учитывать следующие ограничения:
Где,
– – указанное выражение не поддерживается при работе с соответствующей OLAP-системой;
Да – указанное выражение поддерживается при работе с соответствующей OLAP-системой.
2.5. Строка соединения с OLAP-сервером
Строка соединения с OLAP-сервером имеет вид:
httр://<Адрес хоста OLAP>:<порт>/<источник>?<параметры>
Где:
● адрес хоста OLAP, порт, источник – адрес доступа к OLAP-системе, сформированный по правилам, описанным в документации конкретной OLAP-системе.
● параметры – параметры, используемые «1С:Предприятием» для доступа к данным OLAP-системы. Параметры задаются в виде Параметр=Значение. Параметры разделяются символом &. Используются следующие параметры:
● ProviderName – имя сервиса XMLA OLAP-источника;
● DataSourceName – имя OLAP-источника;
● Catalog – имя каталога, или базы данных, OLAP-источника.
Примеры строк соединения приведены ниже:
Для Microsoft SQL Server Analysis Services:
http://localhost:80/msolap/msmdpump.dll?ProviderName=Microsoft Analysis Services& DataSourceName=host&Catalog=Adventure Works DW
Для Oracle Essbase:
http://localhost:13080/aps/XMLA?ProviderName=Essbase XML for Analysis&DataSourceName=host&Catalog=Sample