eng
Выпуск #6/2023
И. В. Дюмаева, А. В. Курочкин
Применение метода анализа иерархий при выборе лабораторных информационных менеджмент-систем
Применение метода анализа иерархий при выборе лабораторных информационных менеджмент-систем
Просмотры: 915
doi.org/10.22184/2227-572X.2023.13.6.462.466
Статья посвящена применению модифицированного метода анализа иерархий для принятия решения при выборе лабораторных информационных менеджмент-систем. Обсуждается универсальный пакет критериев выбора, подходящий для большинства лабораторий, и рассматриваются вопросы относительной значимости критериев. Для количественной оценки достоверности принимаемого решения в разработанной методике использовано компьютерное статистическое моделирование.
Статья посвящена применению модифицированного метода анализа иерархий для принятия решения при выборе лабораторных информационных менеджмент-систем. Обсуждается универсальный пакет критериев выбора, подходящий для большинства лабораторий, и рассматриваются вопросы относительной значимости критериев. Для количественной оценки достоверности принимаемого решения в разработанной методике использовано компьютерное статистическое моделирование.
Теги: computer statistical modeling decision-making hierarchy analysis method laboratory information management systems / lims компьютерное статистическое моделирование лабораторные информационные менеджмент-системы / лимс метод анализа иерархий принятие решений
Применение метода анализа иерархий при выборе лабораторных информационных менеджмент-систем
И. В. Дюмаева, д. х. н., А. В. Курочкин, к. ф.- м.н.
Статья посвящена применению модифицированного метода анализа иерархий для принятия решения при выборе лабораторных информационных менеджмент-систем. Обсуждается универсальный пакет критериев выбора, подходящий для большинства лабораторий, и рассматриваются вопросы относительной значимости критериев. Для количественной оценки достоверности принимаемого решения в разработанной методике использовано компьютерное статистическое моделирование.
Ключевые слова: лабораторные информационные менеджмент-системы / ЛИМС, принятие решений, метод анализа иерархий, компьютерное статистическое моделирование
Современная лаборатория, внедряющая лабораторные информационные менеджмент-системы (ЛИМС) [1], неизменно встает перед проблемой поиска оптимального решения для выбора конкретной системы среди предлагаемых альтернатив, то есть оптимального сочетания целого набора критериев, определяющих это решение.
Определим, прежде всего, набор критериев для выбора, которые в той или иной степени являются универсальными для большинства лабораторий. Полагаем, что многие на первое место поставят критерий «стоимость решения в целом». Однако, это совсем не очевидно, так как выбор только на основе стоимости может привести к тому, что решение, которое лаборатория приобретет, «не приживется» и не будет использовано персоналом, что, в конечном итоге, не оправдает даже те инвестиции, которые были минимизированы за счет выбора. Безусловно, стоимость является важным, а иногда и лимитирующим критерием. Но первым и главным критерием должно быть функциональное соответствие, то есть наличие тех возможностей /функций / операций, которые наиболее полным образом позволят лаборатории смоделировать ключевые бизнес-процессы и реализовать стоящие перед ней задачи. Если проигнорировать важность этого критерия, то лаборатория может получить инструмент, который не только не будет помогать решать актуальные вопросы, но и, возможно, приведет к тому, что придется дублировать некоторые процедуры, выполнение которых ЛИМС могла бы взять исключительно на себя.
Вторым по важности критерием является соответствие требованиям регуляторов, то есть структур и организаций, определяющих различного рода требования к программному обеспечению. Здесь важно учитывать, что среди компаний, поставляющих программное обеспечение, следует выбирать те, которые поставляют коммерческое ПО (то есть в уставных документах компании должна присутствовать информация о таком роде деятельности как «разработка программного обеспечения», или же компания должна иметь очевидное подтверждение того, что является представителем / официальным дистрибьютором компании-разработчика программного обеспечения). Необходимо убедиться, что программное обеспечение внесено в Единый реестр российских программ для электронных вычислительных машин и баз данных, о чем информация может быть получена на сайте Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации. Поскольку системы класса ЛИМС предназначены для лабораторий, то важно, чтобы у разработчика / вендора был сертификат соответствия ПО требованиям ГОСТ ISO / IEC 17025. Здесь надо уточнить, что наличие такого сертификата вовсе не означает, что, внедрив данное ПО, лаборатория автоматически станет соответствовать требованиям этого ГОСТ. Наличие данного сертификата показывает, что ПО обладает достаточными функциональными возможностями, чтобы обеспечить такое соответствие при условии грамотно сформированных (и реализованных) требований к эксплуатируемой в будущем ЛИМС. Аналогично обстоит дело с требованиями рекомендаций по межгосударственной стандартизации (РМГ) 76-2014 и другими документами, содержащими алгоритмы и процедуры очень важного для качества результатов лаборатории процесса – внутрилабораторного контроля. Если есть документ о соответствии ЛИМС (сертификат соответствия, экспертное заключение), то это значит, что в ЛИМС реализованы соответствующие контрольные процедуры и присутствуют работоспособные алгоритмы. Если лаборатория является частью государственной структуры или оказывает услуги по испытаниям государственной структуре, то, возможно, поставщику ЛИМС понадобится сертификат соответствия требованиям безопасности информации, выданный Федеральной службой по техническому и экспортному контролю (ФСТЭК) о наличии в ПО встроенных средств защиты от несанкционированного доступа, реализующих функции идентификации и аутентификации, управления доступом и регистрации событий безопасности. Возможно, лаборатории понадобятся какие-либо иные документы, подтверждающие соответствие ПО каким-либо специфическим отраслевым требованиям. На текущий момент актуальным критерием можно назвать санкционную независимость, то есть отсутствие потенциальных рисков, связанных с возможным запретом использования иностранного ПО, которые влияют и на возможность обновления ПО на более новые версии, и на получение своевременной консультации и/или технической поддержки. С учетом того, что отечественное происхождение ПО полностью эту проблему решает, можно предложить учитывать вклад этого критерия при оценке веса критерия «соответствие требованиям регуляторов».
Третьим важным критерием становится стоимость решения в целом, то есть величина, включающая не только программное обеспечение, но и стоимость работ по проектированию и внедрению ЛИМС, обучению пользователей ПО и технической поддержке.
Не менее существенным критерием является и опыт компании-поставщика по внедрению ЛИМС. Здесь нужно учитывать как длительность пребывания компании (ПО) на рынке РФ, так и наличие человеческих ресурсов для полноценной реализации внедрения, а в дальнейшем – для надлежащей и оперативной технической поддержки. Необходимо запросить у компании-поставщика референс выполненных внедрений, уделив особое внимание схожему отраслевому опыту. Полезно также запросить возможность посещения лабораторий, где внедрен и уже какое-то время эксплуатируется рассматриваемый программный продукт.
Также важным критерием является возможность системы по интеграции с оборудованием и с внешними информационными системами. Этот критерий особенно важен для тех лабораторий, которые являются частью производства или даже компании в целом, которые заинтересованы не только в сборе результатов с испытательного оборудования и средств измерения, но и в передаче / получении данных в иные информационные системы.
Еще один существенный критерий – гибкость решения по отношению к изменениям (например, бизнес-процессов), развитию (например, появлению новой функциональности), масштабированию (например, расширению на новые подразделения). Совершенно очевидно, что условия, в которых работает лаборатория, могут меняться очень стремительно, появляются новые цели и задачи, меняется законодательство, иные внешние условия. Внедренная система должна иметь возможность оперативно отзываться на все изменения, конечно не в ущерб стабильности функционирования.
Относительная значимость (вес) критерия может задаваться по некоторой шкале (например, по стобалльной, о выборе шкалы см. далее). Для демонстрации работы предлагаемого далее алгоритма поиска решения можно предложить следующий вариант распределения весов критериев (безусловно, каждый эксперт имеет собственный взгляд на значимость критериев выбора):
функциональное соответствие – 95;
соответствие требованиям регуляторов – 80;
опыт компании-поставщика – 75;
стоимость решения в целом – 35;
возможности интеграции – 60;
гибкость к изменениям – 45.
Разработанная нами компьютерная программа для поиска решения, как будет показано далее, позволяет многократно варьировать в задаваемых диапазонах значимость критериев для оценки достоверности принимаемого решения.
В литературе описано достаточно много методов принятия решений (обзор методов см., например, [2]). Одним из известных является метод анализа иерархий [3], применяемый в самых различных предметных областях для принятия решений на основании экспертных оценок в многокритериальных задачах, в том числе управленческих и экономических, в задачах научно-технической экспертизы [4–8]. Метод анализа иерархий (МАИ) позволяет учитывать как качественные данные, основанные на экспертных оценках, так и абсолютные количественные данные. Важно, чтобы оценки показателей альтернатив для каждого критерия были приведены в одних и тех же единицах (абсолютных – цена, количество и т. д., или оценочных – в баллах). Для компьютерной реализации так называемого классического метода анализа иерархий уже достаточно давно разработан ряд программ, в частности [9–10]. Алгоритм применения классического МАИ заключается в следующем:
Определение цели принятия решения и критериев для принятия решения.
Формирование группы экспертов.
Определение приоритетов всех элементов иерархии (значимость критериев и приоритеты отдельных альтернатив).
Проверка согласованности экспертных оценок по матрицам парных сравнений.
Вычисление итогового приоритета альтернатив.
Значимость критериев и приоритеты отдельных альтернатив в классическом методе анализа иерархий определяются с использованием матрицы парных сравнений оценок, сделанных каждым экспертом. Например, для случая пяти критериев, выбирается важнейший критерий, пусть это будет К1. Далее формируется матрица парных сравнений, в которой указывается, во сколько раз критерий К2 менее важен по отношению к К1, далее К3 менее важен по отношению к К1 и т. д. В «классическом» МАИ для оценок применяется дискретная шкала от 1 до 9 (и это имеет некоторое «психологическое» обоснование в случае субъективных оценок), хотя, в принципе, ничто не мешает использовать дробные значения или любую другую шкалу оценок, так как в дальнейших вычислениях будет производиться усреднение и нормирование данных на единицу. Затем по определенному алгоритму определяется индекс согласованности матрицы (о деталях вычислений см., например, [3]).
В принципе, можно использовать и другой подход, когда эксперт (или лицо, принимающее решение) делает относительные оценки значимости, исходя из большого личного опыта и (или) каких-либо объективных показателей и, что важно, эти оценки уже им ранжированы. В этом случае отпадает необходимость построения и обработки матрицы парных сравнений (хотя разработанная нами программа имеет блок определения согласованности по матрице парных сравнений). Далее производится усреднение и нормирование на единицу отдельных показателей, после чего вычисляются итоговые значения приоритетов альтернатив по формуле (1):
G(i) = ΣNi = 1 c(i) a(i, j), j = 1, 2, ... P, (1)
где G(j) – искомый коэффициент приоритета j-го решения;
c(i) – нормированные коэффициенты оценки значимости i-го критерия;
a(i, j) – нормированные коэффициенты оценок приоритетов альтернативы с номером j по i-му критерию;
N – число критериев;
P – число альтернативных решений.
Альтернатива, для которой значение G(j) максимально является предпочтительным.
Однако, после всех вычислений и выбора наилучшего решения возникает вопрос (независимо от числа экспертов), связанный с уровнем достоверности полученного решения, так как, кроме количественных характеристик альтернатив (в которых также может быть неопределенность), присутствуют и качественные оценки, как весов критериев, так и показателей альтернатив, основанные на личном мнении экспертов. Это особенно существенно при малом числе экспертов и, тем более, если оценки сделаны только одним экспертом. Например, если в результате применения МАИ получен результат оценок предпочтительности по пяти предлагаемым для выбора альтернативным вариантам, обозначенным условно А1-А5 (табл. 1), совсем не очевидно, насколько обоснованным является принятие решения по выбору альтернативы А3 (при ожидаемом здесь среднем значении 20%).
Известные программы, реализующие классический МАИ, например, [9, 10], не дают ответа на вопрос о достоверности решения. В [4] для оценки достоверности принимаемого решения было предложено использовать компьютерное статистическое моделирование (метод статистических испытаний или метод Монте-Карло [11]), реализованное затем в [5]. Отметим, что метод Монте-Карло уже давно успешно используется во многих научных областях, в частности в экономике [12].
С помощью статистического моделирования можно учесть влияние неопределенности оценок критериев и показателей альтернатив на достоверность выбора итогового решения, варьируя в заданных пределах эти оценки относительно экспертной оценки по определенному закону распределения случайной величины.
В данной работе для выбора решения и оценки его достоверности разработана компьютерная программа, существенно усовершенствованная по сравнению с предложенной ранее в [5]. В частности, добавлен блок обработки матрицы парных сравнений при наличии оценок несколькими экспертами, изменен вид представления результатов, использованы некоторые дополнительные параметры, позволяющие независимо фиксировать отдельные показатели оценок, которые имеют абсолютное значение и не подлежат статистическим вариациям. Программа реализована на языке программирования VBA в среде MS Excel (также работает и в Open Office Calc), запускается из листа кликом по кнопке «Выбор ЛИМС». На рис. 1 показан пользовательский интерфейс программы для тестового варианта с результатами без статистического моделирования, результаты которого приведены на рис. 2. В отдельных ячейках задаются относительные вариации критериев и показателей альтернатив (для равномерного распределения) или стандартные отклонения для нормального распределения (проверяли использование как равномерного, так и нормального распределений). Также задается объем выборки для моделирования (число испытаний), обычно достаточно 5–10 тысяч, время работы программы на стандартном ПК при этом около 1–2 с. Для каждого критерия можно задать дополнительные параметры, определяющие, например, минимизацию (если предпочтительна, например, минимальная цена или требуется не подвергать значения альтернатив вариациям). В колонке «Доп. парам.» для критерия «Стоимость решения в целом» введен параметр – символ «звездочка», который исключает вариации, то есть стоимость решения для всех конкурирующих альтернатив в этом тестовом примере зафиксирована (добавление букв min означало бы, что более выгодно не максимальное, а минимальное значение стоимости). Количество альтернатив возможно до пяти (для варианта программы, показанного на рис. 1), при числе альтернатив менее пяти, таблица автоматически модифицируется. Далее задаются исходные значения весов критериев и показатели альтернатив по каждому критерию (полученные в результате обработки матрицы парных сравнений или по значениям, изначально определенным экспертом). Критерии на рис. 1 заданы в порядке убывания веса только для наглядности – как видно из формулы (1), где производится суммирование, можно задавать их в любом порядке. После многократных проверок было установлено, что, как и следовало ожидать, статистические распределения разыгрываемых значений альтернативных решений достаточно хорошо описываются нормальным законом распределения, по крайней мере, в пределах до трех-четырех стандартных отклонений. Поэтому достоверность результата можно оценить по количеству стандартных отклонений (σ) величины G(k) относительно среднего значения 1 / P, где P – число альтернатив. Результаты статистического моделирования выводятся в отдельную таблицу, выводится также и соответствующая гистограмма (рис. 2).
Уровень превышения в два стандартных отклонения (2σ), как известно, для нормального распределения соответствует достаточно высокой достоверности (95,4%). При превышении этого значения соответствующая ячейка с результатом выделяется определенным цветом для облегчения визуализации. В программе изменение порогового уровня достоверности на более значимое, например 3σ (что соответствует вероятности 99,7%), легко может быть изменено. Из приведенного выше тестового примера видно, что выбор альтернативы А3 является достаточно достоверным, превышая 2σ (в отличие от альтернативы А2), хотя абсолютные процентные значения результатов по классическому МАИ, на первый взгляд, мало отличаются (22,1% по сравнению с 21,0% для А2, см. рис. 1). Из общедоступных статистических таблиц легко найти, что уровень достоверности для альтернативы А2 всего около 70%, а у альтернативы А3 достоверность превышает 96%.
Таким образом, в работе предложен комплекс критериев для выбора ЛИМС и алгоритм поиска оптимального выбора с использованием метода анализа иерархий. Для оценки достоверности принимаемого решения использовано статистическое моделирование (метод Монте-Карло). Предлагаемый алгоритм реализован в виде компьютерной программы, работающей в среде MS Excel или Open Office Calc. Программа максимально автоматизирована и не требует специальных знаний в области теории принятия решений.
Литература
Бурдейный А. А., Дюмаева И. В. Какой должна быть современная лабораторная информационная менеджмент-система? «АНАЛИТИКА». 2022;12(6):432–438.
Системы поддержки принятия решений: учебник и практикум для вузов / В. Г. Халин [и др.]; под редакцией В. Г. Халина, Г. В. Черновой. М.: Издательство Юрайт, 2023. 494 с.
Саати Т. Л. Принятие решений. Метод анализа иерархий. М.: Радио и связь,1993. 320 с.
Гвоздкова И. А., Курочкин А. В., Марцваладзе Г. В. Компьютерно-математическое моделирование социально-ориентированных кадровых решений. Труд и социальные отношения. 2018; 6:28–44.
Гвоздкова И. А., Курочкин А. В. Оценка надежности компьютерно-математических моделей оптимизации кадровых решений статистическими методами. Труд и социальные отношения. 2019;2:93–109.
Темникова Д. С. Разработка прогноза экономических результатов деятельности предприятия с помощью метода анализа иерархий. Российское предпринимательство. 2014;17:83–85.
Выскуб В. Г. К вопросу автоматизации научно-технической экспертизы методом аналитической иерархии. Инноватика и экспертиза. 2022; 2:55–63.
Волков В. И. Методика экспертной оценки проектов инновационной направленности. Вестник МГТУ им. Н. Э. Баумана. Сер. Машиностроение. 2004; 3:100–113.
Абакаров А. Ш., Сушков Ю. А. Программная система поддержки принятия решений MPRIORITY 1.0. URL: https://cyberleninka.ru/article/n/programmnaya-sistema-podderzhki-prinyatiya-resheniy-mpriority‑1–0/viewer (дата обращения 1.11.2023)
Система поддержки принятия решений «Выбор» – Текст: электронный // ЦИРИТАС: [сайт]. http://ciritas.ru/product.php?id=10 (дата обращения 1.11.2023)
Соболь И. М. Численные методы Монте-Карло. М.: Наука, 1973. 312 с.
Janeková J. Monte Carlo simulation – risk analysis tool of investment projects. Transfer inovácií. 2015; 32:261–263. URL: https://www.sjf.tuke.sk/transferinovacii/pages/archiv/transfer/32–2015/pdf/261–263.pdf (дата обращения: 1.11.2023).
References
Burdeinyi A. A., Dyumaeva I. V. What Should be a Modern Laboratory Information Management System? Analytics. 2022;12(6):432–438.
Khalin V. G. et al. Decision support systems: textbook and workshop for universities / edited by V. G. Khalin, G. V. Chernova. M.: Yurayt Publishing House, 2023. 494 p.
Saati T. L. Making decisions. Hierarchy analysis method. M.: Radio and communication publ., 1993. 320 p.
Gvozdkova I. A., Kurochkin A. V., Martsvaladze G. V. Computer-mathematical modeling of socially oriented personnel solutions. Labour and Social Relations Journal. 2018; 6:28–44.
Gvozdkova I. A., Kurochkin A. V. The reliability evaluation of computer-mathematical models of optimization of personnel solutions by statistical methods. Labour and Social Relations Journal. 2019; 2: 93–109.
Temnikova D. S. Development of a forecast of economic results of an enterprise’s activity using the hierarchy analysis method. Russian Entrepreneurship. 2014; 7: 83–85.
Vyskub V. G. On the issue of automation of scientific and technical expertise method of analytical hierarchy. Innovation and expertise. 2022; 2: 55–63.
Volkov V. I. Methodology of expert evaluation of innovative projects. Bulletin of the Bauman Moscow State Technical University. Ser. Mechanical engineering. 2004;3: 100–113.
Abakarov A. Sh., Sushkov Yu. A. MPRIORITY 1.0 decision support software system. URL: https://cyberleninka.ru/article/n/programmnaya-sistema-podderzhki-prinyatiya-resheniy-mpriority‑1–0/viewer (date of access: 1.11.2023)
Decision support system Choice – Text: electronic // CIRITAS: [website]. http://ciritas.ru/product.php?id=10 (date of access: 1.11.2023)
Sobol I. M. Numerical Monte Carlo methods. M.: Nauka. 1973. 312 p.
Janeková J. Monte Carlo simulation – risk analysis tool of investment projects. Transfer inovácií. 2015;32:261–263. URL: https://www.sjf.tuke.sk/transferinovacii/pages/archiv/transfer/32–2015/pdf/261–263.pdf (date of access: 1.11.2023)
Статья поступила в редакцию 1.11.2023
Принята к публикации 10.11.2023
И. В. Дюмаева, д. х. н., А. В. Курочкин, к. ф.- м.н.
Статья посвящена применению модифицированного метода анализа иерархий для принятия решения при выборе лабораторных информационных менеджмент-систем. Обсуждается универсальный пакет критериев выбора, подходящий для большинства лабораторий, и рассматриваются вопросы относительной значимости критериев. Для количественной оценки достоверности принимаемого решения в разработанной методике использовано компьютерное статистическое моделирование.
Ключевые слова: лабораторные информационные менеджмент-системы / ЛИМС, принятие решений, метод анализа иерархий, компьютерное статистическое моделирование
Современная лаборатория, внедряющая лабораторные информационные менеджмент-системы (ЛИМС) [1], неизменно встает перед проблемой поиска оптимального решения для выбора конкретной системы среди предлагаемых альтернатив, то есть оптимального сочетания целого набора критериев, определяющих это решение.
Определим, прежде всего, набор критериев для выбора, которые в той или иной степени являются универсальными для большинства лабораторий. Полагаем, что многие на первое место поставят критерий «стоимость решения в целом». Однако, это совсем не очевидно, так как выбор только на основе стоимости может привести к тому, что решение, которое лаборатория приобретет, «не приживется» и не будет использовано персоналом, что, в конечном итоге, не оправдает даже те инвестиции, которые были минимизированы за счет выбора. Безусловно, стоимость является важным, а иногда и лимитирующим критерием. Но первым и главным критерием должно быть функциональное соответствие, то есть наличие тех возможностей /функций / операций, которые наиболее полным образом позволят лаборатории смоделировать ключевые бизнес-процессы и реализовать стоящие перед ней задачи. Если проигнорировать важность этого критерия, то лаборатория может получить инструмент, который не только не будет помогать решать актуальные вопросы, но и, возможно, приведет к тому, что придется дублировать некоторые процедуры, выполнение которых ЛИМС могла бы взять исключительно на себя.
Вторым по важности критерием является соответствие требованиям регуляторов, то есть структур и организаций, определяющих различного рода требования к программному обеспечению. Здесь важно учитывать, что среди компаний, поставляющих программное обеспечение, следует выбирать те, которые поставляют коммерческое ПО (то есть в уставных документах компании должна присутствовать информация о таком роде деятельности как «разработка программного обеспечения», или же компания должна иметь очевидное подтверждение того, что является представителем / официальным дистрибьютором компании-разработчика программного обеспечения). Необходимо убедиться, что программное обеспечение внесено в Единый реестр российских программ для электронных вычислительных машин и баз данных, о чем информация может быть получена на сайте Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации. Поскольку системы класса ЛИМС предназначены для лабораторий, то важно, чтобы у разработчика / вендора был сертификат соответствия ПО требованиям ГОСТ ISO / IEC 17025. Здесь надо уточнить, что наличие такого сертификата вовсе не означает, что, внедрив данное ПО, лаборатория автоматически станет соответствовать требованиям этого ГОСТ. Наличие данного сертификата показывает, что ПО обладает достаточными функциональными возможностями, чтобы обеспечить такое соответствие при условии грамотно сформированных (и реализованных) требований к эксплуатируемой в будущем ЛИМС. Аналогично обстоит дело с требованиями рекомендаций по межгосударственной стандартизации (РМГ) 76-2014 и другими документами, содержащими алгоритмы и процедуры очень важного для качества результатов лаборатории процесса – внутрилабораторного контроля. Если есть документ о соответствии ЛИМС (сертификат соответствия, экспертное заключение), то это значит, что в ЛИМС реализованы соответствующие контрольные процедуры и присутствуют работоспособные алгоритмы. Если лаборатория является частью государственной структуры или оказывает услуги по испытаниям государственной структуре, то, возможно, поставщику ЛИМС понадобится сертификат соответствия требованиям безопасности информации, выданный Федеральной службой по техническому и экспортному контролю (ФСТЭК) о наличии в ПО встроенных средств защиты от несанкционированного доступа, реализующих функции идентификации и аутентификации, управления доступом и регистрации событий безопасности. Возможно, лаборатории понадобятся какие-либо иные документы, подтверждающие соответствие ПО каким-либо специфическим отраслевым требованиям. На текущий момент актуальным критерием можно назвать санкционную независимость, то есть отсутствие потенциальных рисков, связанных с возможным запретом использования иностранного ПО, которые влияют и на возможность обновления ПО на более новые версии, и на получение своевременной консультации и/или технической поддержки. С учетом того, что отечественное происхождение ПО полностью эту проблему решает, можно предложить учитывать вклад этого критерия при оценке веса критерия «соответствие требованиям регуляторов».
Третьим важным критерием становится стоимость решения в целом, то есть величина, включающая не только программное обеспечение, но и стоимость работ по проектированию и внедрению ЛИМС, обучению пользователей ПО и технической поддержке.
Не менее существенным критерием является и опыт компании-поставщика по внедрению ЛИМС. Здесь нужно учитывать как длительность пребывания компании (ПО) на рынке РФ, так и наличие человеческих ресурсов для полноценной реализации внедрения, а в дальнейшем – для надлежащей и оперативной технической поддержки. Необходимо запросить у компании-поставщика референс выполненных внедрений, уделив особое внимание схожему отраслевому опыту. Полезно также запросить возможность посещения лабораторий, где внедрен и уже какое-то время эксплуатируется рассматриваемый программный продукт.
Также важным критерием является возможность системы по интеграции с оборудованием и с внешними информационными системами. Этот критерий особенно важен для тех лабораторий, которые являются частью производства или даже компании в целом, которые заинтересованы не только в сборе результатов с испытательного оборудования и средств измерения, но и в передаче / получении данных в иные информационные системы.
Еще один существенный критерий – гибкость решения по отношению к изменениям (например, бизнес-процессов), развитию (например, появлению новой функциональности), масштабированию (например, расширению на новые подразделения). Совершенно очевидно, что условия, в которых работает лаборатория, могут меняться очень стремительно, появляются новые цели и задачи, меняется законодательство, иные внешние условия. Внедренная система должна иметь возможность оперативно отзываться на все изменения, конечно не в ущерб стабильности функционирования.
Относительная значимость (вес) критерия может задаваться по некоторой шкале (например, по стобалльной, о выборе шкалы см. далее). Для демонстрации работы предлагаемого далее алгоритма поиска решения можно предложить следующий вариант распределения весов критериев (безусловно, каждый эксперт имеет собственный взгляд на значимость критериев выбора):
функциональное соответствие – 95;
соответствие требованиям регуляторов – 80;
опыт компании-поставщика – 75;
стоимость решения в целом – 35;
возможности интеграции – 60;
гибкость к изменениям – 45.
Разработанная нами компьютерная программа для поиска решения, как будет показано далее, позволяет многократно варьировать в задаваемых диапазонах значимость критериев для оценки достоверности принимаемого решения.
В литературе описано достаточно много методов принятия решений (обзор методов см., например, [2]). Одним из известных является метод анализа иерархий [3], применяемый в самых различных предметных областях для принятия решений на основании экспертных оценок в многокритериальных задачах, в том числе управленческих и экономических, в задачах научно-технической экспертизы [4–8]. Метод анализа иерархий (МАИ) позволяет учитывать как качественные данные, основанные на экспертных оценках, так и абсолютные количественные данные. Важно, чтобы оценки показателей альтернатив для каждого критерия были приведены в одних и тех же единицах (абсолютных – цена, количество и т. д., или оценочных – в баллах). Для компьютерной реализации так называемого классического метода анализа иерархий уже достаточно давно разработан ряд программ, в частности [9–10]. Алгоритм применения классического МАИ заключается в следующем:
Определение цели принятия решения и критериев для принятия решения.
Формирование группы экспертов.
Определение приоритетов всех элементов иерархии (значимость критериев и приоритеты отдельных альтернатив).
Проверка согласованности экспертных оценок по матрицам парных сравнений.
Вычисление итогового приоритета альтернатив.
Значимость критериев и приоритеты отдельных альтернатив в классическом методе анализа иерархий определяются с использованием матрицы парных сравнений оценок, сделанных каждым экспертом. Например, для случая пяти критериев, выбирается важнейший критерий, пусть это будет К1. Далее формируется матрица парных сравнений, в которой указывается, во сколько раз критерий К2 менее важен по отношению к К1, далее К3 менее важен по отношению к К1 и т. д. В «классическом» МАИ для оценок применяется дискретная шкала от 1 до 9 (и это имеет некоторое «психологическое» обоснование в случае субъективных оценок), хотя, в принципе, ничто не мешает использовать дробные значения или любую другую шкалу оценок, так как в дальнейших вычислениях будет производиться усреднение и нормирование данных на единицу. Затем по определенному алгоритму определяется индекс согласованности матрицы (о деталях вычислений см., например, [3]).
В принципе, можно использовать и другой подход, когда эксперт (или лицо, принимающее решение) делает относительные оценки значимости, исходя из большого личного опыта и (или) каких-либо объективных показателей и, что важно, эти оценки уже им ранжированы. В этом случае отпадает необходимость построения и обработки матрицы парных сравнений (хотя разработанная нами программа имеет блок определения согласованности по матрице парных сравнений). Далее производится усреднение и нормирование на единицу отдельных показателей, после чего вычисляются итоговые значения приоритетов альтернатив по формуле (1):
G(i) = ΣNi = 1 c(i) a(i, j), j = 1, 2, ... P, (1)
где G(j) – искомый коэффициент приоритета j-го решения;
c(i) – нормированные коэффициенты оценки значимости i-го критерия;
a(i, j) – нормированные коэффициенты оценок приоритетов альтернативы с номером j по i-му критерию;
N – число критериев;
P – число альтернативных решений.
Альтернатива, для которой значение G(j) максимально является предпочтительным.
Однако, после всех вычислений и выбора наилучшего решения возникает вопрос (независимо от числа экспертов), связанный с уровнем достоверности полученного решения, так как, кроме количественных характеристик альтернатив (в которых также может быть неопределенность), присутствуют и качественные оценки, как весов критериев, так и показателей альтернатив, основанные на личном мнении экспертов. Это особенно существенно при малом числе экспертов и, тем более, если оценки сделаны только одним экспертом. Например, если в результате применения МАИ получен результат оценок предпочтительности по пяти предлагаемым для выбора альтернативным вариантам, обозначенным условно А1-А5 (табл. 1), совсем не очевидно, насколько обоснованным является принятие решения по выбору альтернативы А3 (при ожидаемом здесь среднем значении 20%).
Известные программы, реализующие классический МАИ, например, [9, 10], не дают ответа на вопрос о достоверности решения. В [4] для оценки достоверности принимаемого решения было предложено использовать компьютерное статистическое моделирование (метод статистических испытаний или метод Монте-Карло [11]), реализованное затем в [5]. Отметим, что метод Монте-Карло уже давно успешно используется во многих научных областях, в частности в экономике [12].
С помощью статистического моделирования можно учесть влияние неопределенности оценок критериев и показателей альтернатив на достоверность выбора итогового решения, варьируя в заданных пределах эти оценки относительно экспертной оценки по определенному закону распределения случайной величины.
В данной работе для выбора решения и оценки его достоверности разработана компьютерная программа, существенно усовершенствованная по сравнению с предложенной ранее в [5]. В частности, добавлен блок обработки матрицы парных сравнений при наличии оценок несколькими экспертами, изменен вид представления результатов, использованы некоторые дополнительные параметры, позволяющие независимо фиксировать отдельные показатели оценок, которые имеют абсолютное значение и не подлежат статистическим вариациям. Программа реализована на языке программирования VBA в среде MS Excel (также работает и в Open Office Calc), запускается из листа кликом по кнопке «Выбор ЛИМС». На рис. 1 показан пользовательский интерфейс программы для тестового варианта с результатами без статистического моделирования, результаты которого приведены на рис. 2. В отдельных ячейках задаются относительные вариации критериев и показателей альтернатив (для равномерного распределения) или стандартные отклонения для нормального распределения (проверяли использование как равномерного, так и нормального распределений). Также задается объем выборки для моделирования (число испытаний), обычно достаточно 5–10 тысяч, время работы программы на стандартном ПК при этом около 1–2 с. Для каждого критерия можно задать дополнительные параметры, определяющие, например, минимизацию (если предпочтительна, например, минимальная цена или требуется не подвергать значения альтернатив вариациям). В колонке «Доп. парам.» для критерия «Стоимость решения в целом» введен параметр – символ «звездочка», который исключает вариации, то есть стоимость решения для всех конкурирующих альтернатив в этом тестовом примере зафиксирована (добавление букв min означало бы, что более выгодно не максимальное, а минимальное значение стоимости). Количество альтернатив возможно до пяти (для варианта программы, показанного на рис. 1), при числе альтернатив менее пяти, таблица автоматически модифицируется. Далее задаются исходные значения весов критериев и показатели альтернатив по каждому критерию (полученные в результате обработки матрицы парных сравнений или по значениям, изначально определенным экспертом). Критерии на рис. 1 заданы в порядке убывания веса только для наглядности – как видно из формулы (1), где производится суммирование, можно задавать их в любом порядке. После многократных проверок было установлено, что, как и следовало ожидать, статистические распределения разыгрываемых значений альтернативных решений достаточно хорошо описываются нормальным законом распределения, по крайней мере, в пределах до трех-четырех стандартных отклонений. Поэтому достоверность результата можно оценить по количеству стандартных отклонений (σ) величины G(k) относительно среднего значения 1 / P, где P – число альтернатив. Результаты статистического моделирования выводятся в отдельную таблицу, выводится также и соответствующая гистограмма (рис. 2).
Уровень превышения в два стандартных отклонения (2σ), как известно, для нормального распределения соответствует достаточно высокой достоверности (95,4%). При превышении этого значения соответствующая ячейка с результатом выделяется определенным цветом для облегчения визуализации. В программе изменение порогового уровня достоверности на более значимое, например 3σ (что соответствует вероятности 99,7%), легко может быть изменено. Из приведенного выше тестового примера видно, что выбор альтернативы А3 является достаточно достоверным, превышая 2σ (в отличие от альтернативы А2), хотя абсолютные процентные значения результатов по классическому МАИ, на первый взгляд, мало отличаются (22,1% по сравнению с 21,0% для А2, см. рис. 1). Из общедоступных статистических таблиц легко найти, что уровень достоверности для альтернативы А2 всего около 70%, а у альтернативы А3 достоверность превышает 96%.
Таким образом, в работе предложен комплекс критериев для выбора ЛИМС и алгоритм поиска оптимального выбора с использованием метода анализа иерархий. Для оценки достоверности принимаемого решения использовано статистическое моделирование (метод Монте-Карло). Предлагаемый алгоритм реализован в виде компьютерной программы, работающей в среде MS Excel или Open Office Calc. Программа максимально автоматизирована и не требует специальных знаний в области теории принятия решений.
Литература
Бурдейный А. А., Дюмаева И. В. Какой должна быть современная лабораторная информационная менеджмент-система? «АНАЛИТИКА». 2022;12(6):432–438.
Системы поддержки принятия решений: учебник и практикум для вузов / В. Г. Халин [и др.]; под редакцией В. Г. Халина, Г. В. Черновой. М.: Издательство Юрайт, 2023. 494 с.
Саати Т. Л. Принятие решений. Метод анализа иерархий. М.: Радио и связь,1993. 320 с.
Гвоздкова И. А., Курочкин А. В., Марцваладзе Г. В. Компьютерно-математическое моделирование социально-ориентированных кадровых решений. Труд и социальные отношения. 2018; 6:28–44.
Гвоздкова И. А., Курочкин А. В. Оценка надежности компьютерно-математических моделей оптимизации кадровых решений статистическими методами. Труд и социальные отношения. 2019;2:93–109.
Темникова Д. С. Разработка прогноза экономических результатов деятельности предприятия с помощью метода анализа иерархий. Российское предпринимательство. 2014;17:83–85.
Выскуб В. Г. К вопросу автоматизации научно-технической экспертизы методом аналитической иерархии. Инноватика и экспертиза. 2022; 2:55–63.
Волков В. И. Методика экспертной оценки проектов инновационной направленности. Вестник МГТУ им. Н. Э. Баумана. Сер. Машиностроение. 2004; 3:100–113.
Абакаров А. Ш., Сушков Ю. А. Программная система поддержки принятия решений MPRIORITY 1.0. URL: https://cyberleninka.ru/article/n/programmnaya-sistema-podderzhki-prinyatiya-resheniy-mpriority‑1–0/viewer (дата обращения 1.11.2023)
Система поддержки принятия решений «Выбор» – Текст: электронный // ЦИРИТАС: [сайт]. http://ciritas.ru/product.php?id=10 (дата обращения 1.11.2023)
Соболь И. М. Численные методы Монте-Карло. М.: Наука, 1973. 312 с.
Janeková J. Monte Carlo simulation – risk analysis tool of investment projects. Transfer inovácií. 2015; 32:261–263. URL: https://www.sjf.tuke.sk/transferinovacii/pages/archiv/transfer/32–2015/pdf/261–263.pdf (дата обращения: 1.11.2023).
References
Burdeinyi A. A., Dyumaeva I. V. What Should be a Modern Laboratory Information Management System? Analytics. 2022;12(6):432–438.
Khalin V. G. et al. Decision support systems: textbook and workshop for universities / edited by V. G. Khalin, G. V. Chernova. M.: Yurayt Publishing House, 2023. 494 p.
Saati T. L. Making decisions. Hierarchy analysis method. M.: Radio and communication publ., 1993. 320 p.
Gvozdkova I. A., Kurochkin A. V., Martsvaladze G. V. Computer-mathematical modeling of socially oriented personnel solutions. Labour and Social Relations Journal. 2018; 6:28–44.
Gvozdkova I. A., Kurochkin A. V. The reliability evaluation of computer-mathematical models of optimization of personnel solutions by statistical methods. Labour and Social Relations Journal. 2019; 2: 93–109.
Temnikova D. S. Development of a forecast of economic results of an enterprise’s activity using the hierarchy analysis method. Russian Entrepreneurship. 2014; 7: 83–85.
Vyskub V. G. On the issue of automation of scientific and technical expertise method of analytical hierarchy. Innovation and expertise. 2022; 2: 55–63.
Volkov V. I. Methodology of expert evaluation of innovative projects. Bulletin of the Bauman Moscow State Technical University. Ser. Mechanical engineering. 2004;3: 100–113.
Abakarov A. Sh., Sushkov Yu. A. MPRIORITY 1.0 decision support software system. URL: https://cyberleninka.ru/article/n/programmnaya-sistema-podderzhki-prinyatiya-resheniy-mpriority‑1–0/viewer (date of access: 1.11.2023)
Decision support system Choice – Text: electronic // CIRITAS: [website]. http://ciritas.ru/product.php?id=10 (date of access: 1.11.2023)
Sobol I. M. Numerical Monte Carlo methods. M.: Nauka. 1973. 312 p.
Janeková J. Monte Carlo simulation – risk analysis tool of investment projects. Transfer inovácií. 2015;32:261–263. URL: https://www.sjf.tuke.sk/transferinovacii/pages/archiv/transfer/32–2015/pdf/261–263.pdf (date of access: 1.11.2023)
Статья поступила в редакцию 1.11.2023
Принята к публикации 10.11.2023
Отзывы читателей
