www.basegroup.ru

oпервый, не первый – для полей типа «Дата/время» - по данному полю отбираются первые (не первые) N периодов от выбранной даты. Периодом может быть день, неделя, месяц, квартал, год. Например, если выбрать условие «первые 3 дня от 29.11.2004», то будут отобраны записи, в которых значение данного поля равно

«29.11.2004», «30.11.2004», «01.12.2004» – 3 последующих дня.

oпоследний, не последний – для полей типа «Дата/время» отбираются последние (не последние) N периодов от выбранной даты. Периодом может быть день, неделя, месяц, квартал, год. Например, если выбрать условие «последние 3 дня от 29.11.2004», то будут отобраны записи, в которых значение данного поля равно

«29.11.2004», «28.11.2004», «27.11.2004» – 3 предыдущих дня.

§Значение – указывается значение(я), по которому будет производиться фильтрация записей в соответствии с заданным условием. Способ ввода значения будет различным в зависимости от типа данных и выбранного условия. Допустим, в качестве условия выбрана операция отношения «=», «<>», «>» и т.д. Если данные в поле являются непрерывными (т.е. числовыми), то достаточно дважды щелкнуть мышью в соответствующей ячейке, чтобы появился курсор, затем ввести значение (число). Если поле, по которому выполняется фильтрация, имеет тип «строка» (т.е. является дискретным), то в результате двойного щелчка в столбце «Значение» появится кнопка выбора, которая откроет окно «Список уникальных значений», где будут отображены все уникальные значения поля и их количество. Чтобы выбрать значение для условия отбора, достаточно выделить его и щелкнуть Ok, либо просто дважды щелкнуть мышкой на нужном значении. Если выбрано условие «между» или «не между», тогда после щелчка мышки откроется окно, в котором необходимо указать верхнюю и нижнюю границы интервала, и так далее…

Фильтрация может быть полезна для применения различных алгоритмов к группам данных, так как позволяет выделить из выборки только нужную часть. Тем не менее, если требуется провести анализ только известной части данных, желательно загружать в программу уже отфильтрованный набор. Такая возможность имеется, например, при загрузке данных из хранилища. В этом случае значительно экономится память, занимаемая данными, и увеличивается скорость обработки.

Например, имеется несколько групп товаров, и нужно провести определенный анализ для каждой группы отдельно. Тогда можно воспользоваться фильтрацией при импорте из хранилища данных, оставив в наборе данные только по одной группе, провести анализ. Затем к исходному набору снова применить фильтрацию, оставив другую группу товара, и провести анализ для нее. И так для каждой товарной группы.

Трансформация данных

Анализируемая информация, представленная в виде набора данных, имеет определенный формат. Под форматом данных подразумевается отнесение их к определенному типу (целочисленные, строковые, даты), задание вида (дискретные или непрерывные) и т. п. Для анализа различных аспектов информации может потребоваться преобразование ее формата или трансформация. Кроме преобразования форматов трансформация включает в себя изменение представления данных и другие операции, связанные с преобразованиями входного набора данных.

Настройка набора данных

Обработчик «Настройка набора данных» предназначена для изменения имени, метки, типа, вида и назначения полей текущей выборки данных и кэширования выходного набора.

У каждого поля можно изменить метку столбца, которая будет использоваться для дальнейшей работы в программе. Если в текущей выборке данных поле имеет имя Name, ему можно задать метку Наименование, что гораздо удобнее при дальнейшем отображении этого поля в таблицах или диаграммах.

Изменение имени поля удобно в тех случаях, когда имена столбцов могут измениться в источнике данных или при перенастройке узлов верхних уровней. В этом случае в узле

стр. 81 из 192

www.basegroup.ru

«Настройка набора данных» имя исходного столбца заменяется другим, на которое и настраиваются все дочерние узлы. После такой операции изменение имен полей на верхних уровнях не потребует перенастройки всех дочерних узлов в дереве сценариев.

Далее каждому полю можно изменить тип:

§ Логический – данные в поле могут принимать только два значения - 0 или 1 (ложь или истина);

§ Дата/время – поле содержит данные типа дата/время;

§ Вещественный – значения поля – числа с плавающей точкой;

§ Целый – данные в поле представляют собой целые числа;

§ Строковый – данные в столбце представляют собой строки символов.

Затем можно указать вид данных:

§ Непрерывный – значения в столбце могут принимать любое значение в рамках своего типа. Обычно непрерывными являются числовые данные;

§ Дискретный – данные в столбце могут принимать ограниченное число значений. Обычно дискретный характер носят строковые данные.

Взависимости от содержимого поля «Тип данных» на выбор вида данных накладываются ограничения, например, строковые данные не могут быть непрерывными. К выбору типа и вида данных нужно относится серьезно, так как это влияет на возможность дальнейшего использования этого поля.

Далее можно изменить назначение полей. В зависимости от дальнейшего использования выборки данных предлагается изменить текущие назначения полей на следующие:

§ Непригодное – данные в поле не пригодны для данного способа обработки (программа автоматически указывает полю это назначение). Например, для преобразования даты поле должно иметь тип «Дата/время». Если оно будет иметь, например, строковый тип, то программа автоматически укажет для него назначение «Непригодное».

§ Неиспользуемое – запрещает использование поля в обработке данных и исключает его из выходного набора. В отличие от непригодного поля такие поля в принципе могут использоваться, если будет в этом необходимость.

§ Ключ – поле будет использоваться в качестве первичного ключа.

§ Входное – поле таблицы, построенное на основе столбца, будет являться входным полем обработчика (нейронной сети, дерева решений и т.д.).

§ Выходное – поле таблицы, построенное на основе столбца, будет являться выходным полем обработчика (например, целевым полем для обучения нейронной сети).

§ Информационное – поле содержит вспомогательную информацию, которую часто полезно отображать, но не следует использовать при обработке.

§ Измерение – поле будет использоваться в качестве измерения в многомерной модели данных.

§ Факт – значения поля будут использованы в качестве фактов в многомерной модели данных.

§ Атрибут – поле содержит описание свойств или параметров некоторого объекта.

§ Транзакция – поле, содержащее идентификатор событий, происходящих совместно (одновременно). Например, номер чека, по которому приобретены товары. Тогда покупка товара – это событие, а их совместное приобретение по одному чеку – транзакция.

стр. 82 из 192

www.basegroup.ru

§ Элемент – поле, содержащее элемент транзакции (событие).

Для установки первоначальных параметров полей необходимо выделить поле или список полей и нажать на кнопку Сброс параметров.

Одно из важных применений обработчика «Настройка полей» состоит в кэшировании данных. Кэширование – это загрузка часто используемой информации в оперативную память для быстрого доступа к ней, минуя многократные считывания с жесткого диска. Кэширование может заметно повысить скорость работы сценария в следующих случаях:

§Перед настройкой полей находится узел, в котором проводится большое количество сложных и длительных вычислений. В узле эти вычисления производятся каждый раз по мере обращения к записям, поэтому обработка подобных данных может занимать много времени. В этом случае установка кэша позволяет однократно вычислить все выражения и сохранить результаты в памяти, в последствии используя уже рассчитанные значения;

§Из узла настройки полей выходит несколько ветвей сценария обработки. Deductor Studio спроектирован таким образом, что старается минимизировать расход оперативной памяти, поэтому если какое-то значение может быть рассчитано, то оно не сохраняется, а всегда рассчитывается «на лету». Если в каком-нибудь узле будут требоваться данные, то программа по цепочке сценариев дойдет до источника данных и считает информацию оттуда. В случае, если из одного узла отходят несколько ветвей сценария обработки, оптимальным по скорости будет вариант, при котором кэшируются данные, и последующие узлы сценария обработки используют информацию из оперативной памяти без необходимости доступа и извлечения их из источника данных. В этом случае использование кэша позволяет однократно загружаются сведения в память и в дальнейшем обращаться только к ОЗУ.

Если объем кэшируемых данных превышает доступные ресурсы оперативной памяти, то значительного прироста в быстродействии может не наблюдаться, т.к. частично они все равно окажутся выгруженными на диск.

Включить кэширование данных в узле «Настройка полей» можно с помощью установки флага Кэшировать данные столбца. Кэширование производится по каждому полю в отдельности.

Скользящее окно

При решении некоторых задач, например, при прогнозировании временных рядов при помощи нейросети, требуется подавать на вход модели значения нескольких смежных отсчетов из исходного набора данных. Такой метод отбора данных называется скользящим окном (окно – поскольку выделяется только некоторый непрерывный участок данных, скользящее – поскольку это окно «перемещается» по всему набору). При этом эффективность реализации заметно повышается, если не выбирать данные каждый раз из нескольких последовательных записей, а последовательно расположить данные, относящиеся к конкретной позиции окна, в одной записи.

Значения в одном из полей записи будут относиться к текущему отсчету, а в других – смещены от текущего отсчета «в будущее» или «в прошлое». Таким образом, преобразование скользящего окна имеет два параметра: «глубина погружения» - количество «прошлых» отсчетов, попадающих в окно, и «горизонт прогнозирования» – количество «будущих» отсчетов. Следует отметить, что для граничных (относительно начала и конца всей выборки) положений окна будут формироваться неполные записи, т.е. записи, содержащие пустые значения для отсутствующих прошлых или будущих отсчетов. Алгоритм преобразования позволяет исключить такие записи из выборки (тогда для нескольких граничных отсчетов записи формироваться не будут) либо включить их (тогда формируются записи для всех имеющихся отсчетов, но некоторые из них будут неполными). Отметим, что для правильного формирования скользящего окна данные должны быть соответствующим образом упорядочены.

Пример

Есть история продаж за половину года по месяцам, представленная таблицей:

стр. 83 из 192

www.basegroup.ru

Если задать глубину погружения 2 и горизонт прогнозирования 1, то получим следующую таблицу с неполными записями.

Или следующую таблицу с полными записями.

Такую таблицу можно использовать при построении моделей, например, для прогнозирования. При этом на вход модели для ее обучения будут подаваться поля с текущим и двумя предыдущими месяцами, а на выход – поле с объемом продаж на следующий месяц.

стр. 84 из 192