МОДЕЛИРОВАНИЕ СИСТЕМ

Лекция 6

Обеспечение моделей исходными данными. Требования к их полноте и точности

Лабораторная работа № 1

Инструкция по оформлению результатов лабораторной работы

Словарь модуля

Литература модуля

Оглавление лекции

6.1 Основные источники исходных данных для моделирования

6.2 Способы получения исходных данных для построения моделей

6.3 Требования к полноте и непротиворечивости исходных данных

6.4 Требования к точности исходных данных

6.5 Способы ввода исходных данных в модели

6.1 Основные источники исходных данных для моделирования

Для проведения моделирования реальных объектов или систем обычно нужны некоторые исходные данные (Это не относится к ряду гипотетических и теоретических моделей, для которых данные могут быть взяты исходя из предположений, принятых при построении моделей).

Основными источниками исходных данных для моделирования могут быть.

А) собственные экспериментальные данные, полученные в полевых условиях

Б)  собственные экспериментальные данные, полученные при лабораторном эксперименте, т.н. активный эксперимент;

В) данные собственных наблюдений над объектом моделирования (то, что иногда относят к пассивному эксперименту);

Г) собственные результаты анкетирований, опросов и пр.;

Д) данные полученные из внешних источников (т.е. не собственные данные лица, собирающегося выполнять моделирование).

К внешним источникам можно отнести (этот список не следует считать исчерпывающим):

- значения (таблицы значений) параметров, представленные в справочниках, энциклопедиях и т.д. (в бумажной и электронной форме);

- данные, из отчетов о полевых изысканиях (например, инженерно-геологических);

- данные, из отчетов о научно-исследовательских и опытно-конструкторских работах;

- данные, приведенные в составе публикаций в научных, научно-производственных и т.п. изданиях;

- с некоторыми оговорками – данные из публикаций в средствах массовой информации;

- внутренние данные организаций (не опубликованные, но возможно включенные в служебные базы данных, не предназначенные для дальнейшего распространения). Эти данные могут иметь статус "для служебного пользования";

- информация, размещенная в Интернет (однако к оценке достоверности такой информации следует подходить со значительной осторожностью);

- информационные архивы организаций в электронной форме;

- данные из тиражируемых электронных информационно-справочных и информационно-аналитических систем.

6.2 Способы получения исходных данных для построения моделей

         При обеспечении моделей исходными данными следует учитывать такие их характеристики, как:

- время получения;

- стоимость;

- достоверность и точность.

         Как правило данные из внешних источников (см пункт "Д" подраздела 6.1) являются менее дорогостоящими, чем данные собственных исследований (пункты А,Б,В,Г).

Исключениями могут быть случаи:

- необходимые данные труднодоступны в силу технических причин или требуют значительных усилий для их получения;

- нужные данные распространяются только на коммерческой основе в составе дорогостоящего "набора", большая часть информации из которого для исследователя бесполезна;

- имеющиеся во внешних источниках данные имеют недостаточно высокую точность или недостаточно полны и др.

Данные, представленные в открытых источниках информации, обычно могут использоваться свободно. Однако, по крайней мере этические соображения требуют, чтобы на источник, откуда взяты данные была сделана ссылка. Это относится и к информации, которая взята из сети Интернет.

В ряде случаев (как уже говорилось) необходимые данные  из внешних источников приходится получать на "платной основе" по рыночной стоимости. Для этой цели обычно применяется официальное "обращение" к организации-владельцу данных. Помимо прочего это обеспечивает "легальный характер" используемых при моделировании данных, возможность сослаться на источник их получения и пр.

Размер оплаты за получаемые данные обычно устанавливается ее владельцами (в т.ч. и бюджетными организациями), а сами данные в техническом отношении могут быть получены:

- в бумажной форме (при пересылке по обычной почте);

- в виде файла, отправленного по электронной почте;

- на пересылаемом обычной почтой лазерном диске (практикуется при объеме данных слишком большом для отправки через Интернет);

- путем предоставления пользователю пароля для доступа к источнику с данными, размещенному в Интернет.

Если исходных данных для проведения моделирования самостоятельно найти не удается, то для их получения возможны следующие подходы.

* Заказать поиск таких данных (включая и зарубежные источники) другим специалистам или внешней организации.

* Заказать внешней организации проведение полевых работ, натурных или лабораторных экспериментов для получения нужных данных. Например, для построения гидрогеологических моделей, не обеспеченных в достаточной мере исходными данными, можно заказать проведение инженерно-гидрогеологических и инженерно-геологических изысканий специализированной изыскательской организации.

В социально-экономических исследованиях для получения данных для моделирования иногда приходится заказывать опросы, выборочные обследования и пр.

* Передать выполнение работ, связанных с получением исходных данных, не внешней организации, а:

- другому подразделению собственной организации;

- временному творческому коллективу, формируемому для выполнения

   этих работ из сотрудников той же организации;

- другому специалисту

* Выполнить необходимые исследования (наблюдения) самостоятельно. Последнее целесообразно при:

- наличии достаточного времени;

- технических средств;

- наконец – соответствующего опыта.

При анализе того, какой из приведенных вариантов (или их комбинация) оптимален, следует учитывать не только их стоимости, но и вероятный ущерб при срыве плановых сроков проведения работ.

6.3 Требования к полноте и непротиворечивости исходных данных

         Уровень "полноты" исходных данных для моделирования объекта (системы) определяется характером требований к результатам, которые должны быть получены, использованной схематизацией задач, их пространственно-временной дискретизацией и пр.

В общем случае должны быть известны все необходимые для моделирования исходные данные. Недостающие данные (пропуски) должны быть восполнены. Для этой цели могут применяться.

* Дополнительные полевые наблюдения или эксперимент (в натуре или в лаборатории) – в т.ч. такой вариант может быть "дополнением" к данным, заимствованным из внешних источников.

* Математические методы восполнения (на основе анализа ансамбля фактически имеющихся данных). Например, недостающие данные в каких-то пространственных точках для модели могут быть восполнены по данным в совокупности близлежащих точек. Обычно эти процедуры сводятся к пространственной, временной или пространственно-временной интерполяции.

* Присваивание значений пропущенных данных временных рядов исходя из общих закономерностей изменения соответствующих параметров во времени.

* Заимствование данных из других источников, возможно с некоторым "приведением" их к структуре данных основного источника.

Избыточными обычно считаются данные, которые не являются необходимыми для проведения моделирования (в т.ч. и данные для одного и того же параметра в одной и той же пространственно-временной точке, которые получены из разных источников). Поскольку получение избыточных данных требует дополнительных усилий (и, обычно, дополнительных финансовых затрат), то они чаще всего не применяются.

Однако в некоторых случаях избыточность исходных данных может быть полезна с целью оценки:

* их взаимной непротиворечивости;

* корректности схематизации задачи;

* приемлемости уровня дискретизации задачи и пр.

Кроме того, избыточные данные могут быть использованы для целей верификации вводимой информации, если эта информация взаимозависима.

Отметим, что из более полных данных путем "прореживания" обычно можно получить менее полные данные, предназначенные для более "грубой" модели.

Такая более "грубая" (упрощенная) модель может быть в ряде случаев предпочтительна:

* как начальный этап проведения работы;

* по причине простоты и меньшей трудоемкости реализации;

* большего быстродействия и меньшей сложности использования.

Остановимся на методах проверки исходных данных для моделирования.

Противоречивость имеющихся в распоряжении исследователя данных может носить различный характер.

* Внутренняя противоречивость данных, полученных из одного источника, включая технические ошибки измерений, приводящие к каким-то несовместимым значениям (например, данные в очень близких пространственных точках резко различаются, что противоречит общетеоретическим соображениям о моделируемом объекте).

* Значительные несовпадения данных, полученных из различных источников для одних и тех же пространственно-временных точек, параметров процессов и пр. Примером могут служить прогнозы результатов парламентских выборов, полученные на основе исследований по заказам различных политических партий.

В первом случае обычно необходимо устранение ошибок.

Во втором случае для получения набора данных могут использоваться достаточно сложные процедуры "согласования", включая учет факторов, приведших к различиям в данных. В простейшем же случае можно просто взять данные, которые исследователем считаются более достоверными.

6.4 Требования к точности исходных данных

Точность исходных данных является важнейшим вопросом, который приходится решать в процессе планирования и осуществления работ по моделированию.

Недостаточная точность исходных данных может привести к:

Следствиями могут быть:

Точность результатов, получаемых на модели, в общем случае определяют следующие источники погрешностей:

- неточности исходных данных;

- погрешности вносимые при формализации и схематизации задач;

- погрешности, связанные с ограниченной точностью представления чисел в памяти ЭЦВМ;

- погрешности, предопределяемые используемыми при моделировании численными методами (например, из-за неполной сходимости итерационного метода или вычислительных ошибок при решении систем линейных уравнений большой размерности и пр.);

- накопление ошибок в процессе выполнения вычислений на ЭЦВМ (особенно для алгоритмов, требующих большого количества вычислительных операций).

Отдельно укажем необходимость адекватного представления числовых данных при форматируемом выводе результатов. Здесь возможны две ошибки:

- отображение результатов с недостаточной точностью (что может приводить к потере значащей информации);

- представление чисел с избыточным количеством значащих цифр (это не только затрудняет восприятие, сравнение результатов и пр., но и может являться "дезинформацией" в отношении младших разрядов чисел, где цифры оказываются просто случайными).

Сейчас ошибки моделирования, связанные со случайными (незакономерными) сбоями в работе ЭЦВМ, в т.ч. и персональных, очень редки. Однако в особо ответственных случаях все же могут организовываться "параллельные" просчеты одних и тех же задач на различных ЭЦВМ (в т.ч. и в разных организациях).

Исследование влияния на результаты основных источников погрешностей в процессе численного моделирования может осуществляться как на основе теоретических соображений, так и путем прямых вычислительных экспериментов. Такие оценки позволяют оптимизировать распределение усилий, направленных на повышение точности моделирования (включая более подробное представление пространственных исходных данных).

Точность получаемых результатов обычно лимитируют наименее точные значения (параметры) в составе исходных данных, которые можно считать "критическими". При этом сохранять точность "критических" данных и повышать точность "не критических" – нет смысла.

На практике различные виды исходных данных для моделируемой задачи обычно стараются брать "сбалансированными по точности".

Борьба с накоплением ошибок в процессе выполнения вычислений обычно включает в себя:

- выбор (или самостоятельную разработку) алгоритмов, которые не приводят к значительному накоплению вычислительных ошибок;

- выполнение промежуточных вычислений на ЭЦВМ с точностью, значительно превышающей точность исходных данных и др.

6.5 Способы ввода исходных данных в модели

         Задача ввода исходных данных в модель может быть не тривиальной – особенно при большом объеме таких данных. Поэтому рассмотрим этот вопрос подробнее.

         А) Исходные данные для моделирования могут непосредственно включаться в текст программы. Это было особенно характерно для научно-технических программ на Фортране и некоторых других языках программирования, причем блоки с данными выносились в отдельные "модули" – иногда достаточно большого размера.

         Проверка данных, используемых в такой форме, возможна как в "ручном" режиме, так и в "автоматизированном" – в т.ч. и с использованием различных приемов визуализации.

Б) Исходные данные представляются непосредственно на рабочем листе пакетов типа MathCad – до их использования в рамках описания модели.

В) При небольшом количестве исходных данных они могут вводиться лицом проводящим моделирование (по запросам программы) в диалоговом режиме – непосредственно с клавиатуры ЭЦВМ.

Если этот способ комбинируется с другими подходами, описанными в подразделе 6.5, то для диалогового ввода могут предназначаться:

* выбор пользователем конкретного алгоритма из числа предусмотренных в моделирующей программе;

* альтернативные количественные данные, которые могут потребоваться по ходу просчета по модели в зависимости от характера получающихся промежуточных результатов;

* выбираемые пользователем в интерактивном режиме варианты управленческих или технических решений (в зависимости от отображаемых промежуточных результатов расчетов и пр.).

Г) Ввод исходных данных осуществляется из внешнего для программы файла (файлов) с использованием специальных операторов ввода, включенных в программу моделирования. При этом если осуществляется "форматный" ввод, то форматы представления исходных данных обычно должны соответствовать тому, что заложено в программе.

Этот метод целесообразно применять при больших объемах вводимых данных. Кроме того, он обладает важным преимуществом – независимость программы от данных (в варианте (А) при изменении данных потребуется перекомпилировать программу или по крайней мере модули, содержащие данные для моделирования).

В варианте (Г) как правило предусматривается некоторый программный контроль данных при вводе в программу моделирования.

В случае, если программное средство предназначено для систематического использования, то необходимо обеспечить высокий уровень сервиса для пользователя – в том числе и в отношении подготовки данных.

Для таких программных средств:

(1) либо предусматривается специальные встроенные инструментальные средства формирования пользователем массивов исходных данных в интерактивном режиме (включая графическое представление введенных данных);

(2) либо создается отдельная (автономная) программа по формированию таких данных в диалоге с пользователем, в т.ч. с использованием встроенного контроля технических ошибок ввода и противоречий в исходных данных;

(3) либо данные готовятся в любом текстовом редакторе или электронной таблице с последующим сохранением (или экспортом) их в файл формата "*.txt" (при этом обязанность соблюдать предусмотренные форматы ввода ложится целиком на пользователя);

(4) либо используются предопределенные шаблоны (достаточно обширный набор), соответствующие возможным расчетным схемам для моделирования.

Второй и третий варианты могут быть предпочтительными если данные с общей структурой предполагается использовать для нескольких программ моделирования, а четвертый – когда количество расчетных схем достаточно ограничено.

Во втором и четвертом вариантах обычно предусматривается возможность "группового" задания повторяющихся исходных данных "по пространству" для части или даже для всей расчетной области. Аналогично возможно групповое задание данных "по времени".

В некоторых случаях ввод исходных данных может осуществляться путем выборки из базы типовых значений (например, электро- и радиоэлементов, насосов, конструкционных материалов и пр.), причем эти базы данных обычно могут пополняться пользователем.

Д) Для программ типа электронных таблиц исходные данные могут также располагаться на рабочих листах и вводиться непосредственно оттуда. Преимуществами описанного подхода могут быть:

- удобный обзор пользователем всей совокупности исходных данных;

- естественная структура расположения данных для больших прямоугольных таблиц, в т.ч. с "замораживанием" шапок таблиц и/или крайних левых колонок для "прокрутки" таблиц на экране монитора;

- - возможность применять для данных различного типа цветовые и шрифтовые выделения;

- возможность копирования данных из одной ячейки в группу ячеек;

- при необходимости – выдача диагностики о противоречиях в исходных данных уже в процессе их размещения на рабочем листе;

- расположение на рабочем листе кроме собственно данных и всех необходимых комментариев к ним;

- возможность "группировки данных" с использованием графических элементов типа линий, прямоугольников, рамок, заливки ячеек и пр.;

- возможность управления форматированием данных, представляемых на рабочем листе и пр.

Таким образом лист электронной таблицы используется как некоторый "контейнер" для данных. Обычно его можно использовать и как "контейнер" для вывода результатов, в т.ч. и с представлением их в графической форме (диаграммы, графики и пр.).

Особо отметим необходимость согласования форматов отображения чисел в ячейках электронной таблицы с точностью вводимых исходных данных.

В процессе работы прикладной программы, написанной на языке VBA, исходные данные считываются из ячеек таблицы и используются по своему предназначению.

         Е) Особым случаем может являться ввод исходных данных в моделирующую программу в реальном масштабе времени непосредственно с датчиков, установленных на "объекте в натуре", на его макете или на лабораторной установке, созданной для выполнения экспериментов. Такой ввод может осуществляться: по проводам, через радиоканалы и пр.

         Последний вариант по мере развития "цифровых" технологий становится все более распространенным, в т.ч. в рамках технологии BlueTooth.

         Альтернативой непосредственному вводу в реальном масштабе времени может служить накопление данных (за период времени) в некоторой вспомогательной базе данных и последующее их использование в качестве исходных данных для проведения расчетов и моделирования.

         При этом "считывание" данных в обоих случаях может быть либо через равные промежутки времени, либо через неравные (например, управляемое изменениями каких-то параметров системы или процесса). Частота такого считывания и период, за который оно производится,  определяют объем накапливаемой (передаваемой) информации для программ моделирования.

         Иногда такие накопленные массивы информации используются не сразу (непосредственно), а после соответствующей статистической обработки (например: со сглаживанием "экспериментального шума" с помощью скользящих средних, с определением усредненных зависимостей по экспериментальным данным и пр.).

         Последнее замечание (в отношении предварительной обработки) может быть справедливо и для пунктов "Г" и "Д".