• 5

3.1. Механизмы комплексного оценивания

Для выработки эффективных управляющих воздействий, начиная с

этапа целеполагания и заканчивая этапом оперативного управления,

управляющему органу необходимо обладать достаточной информацией о

поведении управляемых субъектов, в частности - относительно результа-

тов их деятельности. В сложных (многоэлементных, многоуровневых,

деятельность которых описывается многими критериями) системах в силу

ограниченности возможностей управляющего органа по переработке

информации или в силу отсутствия детальной информации целесообразно

использование механизмов комплексного оценивания, которые позволяют

осуществлять свертку показателей, то есть агрегировать информацию о

результатах деятельности отдельных элементов системы. Рассмотрим этот

класс механизмов (подробность его описания в сравнении с другими

механизмами обусловлена широкой распространенностью на практике).

Большие системы, включающие значительное число элементов, име-

ют, как правило, сложную иерархическую структуру (например, РСТС

ОУ - см. выше). Результат деятельности РОС в целом сложным образом

зависит от действий и результатов деятельности всех ее элементов. Одна

из основных задач, стоящих перед руководством, заключается в распреде-

лении материальных и финансовых средств между элементами (участни-

ками) системы с целью обеспечения успешного ее функционирования

(при этом подразумевается, что состав участников системы выбран и

фиксирован, а также определены технологические и временные правила

их взаимодействия). Что понимать под успешным функционирование

системы, по каким критериям ее оценивать?

Для успешного функционирования системы в целом, как правило,

необходимо решить ряд задач (обеспечить успешное функционирование

подсистем) более низкого уровня. Решение этих задач требует решения

еще более частных задач и т.д. Последовательно детализируя структуру

задач системы, получим дерево, которое называют деревом целей. Корне-

вой его вершиной будет агрегированный показатель качества функциони-

рования РОС в целом, висячими вершинами - показатели деятельности

отдельных ТС, ОУ и т.д. Степень достижения каждой из целей (вершины

построенного дерева) будем оценивать в некоторой дискретной шкале.

Рассмотрим элементарный качественный пример, последовательная

детализация которого в ходе изложения материала настоящего раздела

позволит иллюстрировать предлагаемую модель. Пусть проект заключает-

ся в развитии РОС. В качестве комплексного показателя выберем «уро-

вень развития РОС», который определяется «качеством образования» и

«экономическим состоянием элементов РС». Предположим, что качество

образования определяется критериями «качеством общего образования» и

 «качеством профессионального образования». Соответствующее данному

примеру1 дерево изображено на рисунке 6.

Рис. 6. Дерево целей РОС (пример)

Уровень развития РОС

Качество образования Экономическое

состояние элементов

РС

Качество общего

образования

Качество

профессионального

образования

Таким образом, мы описали функционирование РОС в виде дерева

целей, степень достижения которых оценивается в некоторой шкале (см.

ниже). Для определения оценки на некотором уровне необходимо знать

правила ее получения из оценок более низкого уровня; оценки самого

нижнего уровня определяются экспертно или в соответствии с некоторой

заранее установленной процедурой «перевода» имеющейся количествен-

ной или качественной информации в дискретную шкалу. Таким образом,

первая задача - определение правила агрегирования оценок.

Для достижения определенных значений оценок элементами системы

ее руководство должно выделить им соответствующее финансовые и

другие ресурсы. Следовательно, возникает задача - определить, как затра-

ты на реорганизацию РОС в целом зависят от затрат элементов РОС в

смысле соответствующих оценок.

Система комплексного оценивания. Введем для каждого из крите-

риев (для каждой из вершин дерева целей) дискретную шкалу. Каждому

из значений этой порядковой шкалы поставим в соответствие числа 1, 2, ...

. Емкость шкалы ничем не ограничена и число различных оценок-

градаций может выбираться, во-первых, с учетом специфики РОС и

показателя, а, во-вторых, с учетом того, что с ростом емкости шкалы

растет вычислительная сложность оптимизационных задач. Для выбран-

ного нами примера возьмем традиционную школьнуютак называемую

1 Отметим, что все используемые в данном примере численные значения выбраны

произвольно и сам пример носит модельный характер, не претендуя на полное

описание какой либо реальной РОС.

38

«пятибалльную» шкалу, состоящую из четырех возможных значений

оценокплохо (2), удовлетворительно (3), хорошо (4) и отлично (5).

Теперь определим процедуру агрегирования оценок. Пусть оценка по

некоторому обобщенному (агрегированному) критерию зависит от оценок

по двум (агрегируемым) критериям нижнего уровня. Введем матрицу

A = ||a(i, j)||, где a(i, j) – оценка по агрегированному критерию при оценках

i и j по агрегируемым критериям. Размерность матрицы и число ее попар-

но различных элементов определяются соответствующими шкалами. Если

для рассматриваемого примера взять матрицы свертки, приведенные на

рисунке 7, то, например, при получении оценки "хорошо" (4) по критерию

К1 - "качество общего образования" и оценки "удовлетворительно" (3) по

критерию К2 - "качество профессионального образования" мы получаем

агрегированную оценку "удовлетворительно" (3) по критерию К4 - "каче-

ство образования". Если по критерию К3 - "экономическое состояние

элементов РС" была достигнута оценка "отлично" (5), то итоговая оценка

по критерию К - "уровень развития РОС" будет - "хорошо" (4).

5| 4 4 4 5

Качество общего 4| 3 3 4 5

образования (К1) 3| 3 3 4 4 Качество образования (К4)

2| 2 2 3 3

2 3 4 5

Качество профессионального образования (К2)

5| 3 4 5 5

Экономическое 4| 3 4 4 4

состояние элементов 3| 2 3 3 4 Уровень развития РОС (К)

РС (К3) 2| 2 2 3 3

2 3 4 5

Качество образования (К4)

Рис. 7. Матрицы свертки

Возникает естественный вопрос - кто должен выбирать структуру де-

рева целей, шкалы оценок и формировать матрицы свертки? Предполага-

ется, что указанные параметры выбираются лицами, принимающими

решения (ЛПРруководитель или руководители соответствующего

элемента РС или органа управления образованием) и/или коллективом

экспертов. С одной стороны, система матриц может быть легко модифи-

цирована с учетом изменения приоритетов, а с другой стороны, приходит-

ся признать, что такая процедура принципиально не может быть избавлена

от субъективизма.

При формировании системы матриц свертки предлагается следовать

правилу монотонности: агрегированная оценка, получаемая при увеличе-

нии хотя бы одной агрегируемой оценки, должна быть не меньше перво-

начальной. То есть при движении из левого нижнего угла матрицы вправо

или вверх оценки не должны убывать.

Мы описали использование двумерных матриц (бинарных сверток),

то есть определяющих процедуру агрегирования оценок двух критериев в

одну. Понятно, что, введя трехмерные матрицы или матрицы любой

другой конечной размерности, также можно агрегировать любое конечное

число оценок, и все излагаемые методы справедливы и для этих случаев.

Тем не менее использование именно бинарных сверток позволяет наибо-

лее наглядно отразить структуру предпочтений и приоритетов ЛПР. Так

как между двумерным и многомерным случаем нет принципиальных

различий, то для простоты целесообразно использовать именно двумер-

ный случай.

Анализ затрат. Следующим этапом будет формирование дерева оце-

нок. Имея дерево целей и набор логических матриц, для каждой из воз-

можных итоговых оценок определим приводящие к ним наборы оценок

для элементов нижнего уровня. Для этого, спускаясь по дереву целей

сверху вниз, определяем на каждом уровне, какими комбинациями оценок

нижнего уровня может быть получена данная оценка. Для рассматривае-

мого примера значение К = 5 может быть получено следующими комби-

нациями оценок по критериям (К1, К2, К3): (5;5;5); (4;5;5); (5;2;5); (5;3;5);

(5;4;5); (4;4;5); (3;4;5); (3;5;5). Такие же деревья строятся и для всех дру-

гих значений оценок по агрегированному критерию К (итоговых оценок).

Набор оценок нижнего уровня, приводящих к достижению требуемой

итоговой комплексной оценки, называют вариантом развития или просто

вариантом.

Понятно, что, имея деревья оценок и затраты на достижение каждой

из оценок нижнего уровня, можно решить задачу минимизации затрат на

реализацию той или иной итоговой оценки (или изменения ее значения от

имеющегося до требуемого). Для этого, начиная с самого нижнего уровня

дерева оценок, считая заданными затраты на достижение этой фиксиро-

ванной оценки, двигаясь вверх, определяем вариант минимальной стоимо-

сти. Затраты на получение каждой агрегированной оценки считаются как

сумма затрат на достижение агрегируемых оценок. Затраты в точке ветв-

ления (когда есть несколько альтернатив) определяются как минимум

среди затрат альтернатив, дающих требуемое значение оценки. Вариант

минимальной стоимости определяется методом обратного хода (сверху

вниз).

Итак, мы описали как построить систему комплексного оценивания,

дерево оценок и определить затраты варианта. Теперь необходимо связать

между собой эти величины и исследовать характер их взаимозависимости

для того, чтобы получить возможность проводить выбор наилучшего с той

или иной точки зрения варианта. Так как мы допустили, что элементы

нижнего уровня оцениваемой РОС или ее части независимы, то рассмот-

рим одного из них.

Так как каждый вариант оценивается по критериям качества и затрат,

то понятие "оптимальный вариант" неоднозначно и в рамках предложен-

ной модели возникает целый класс оптимизационных задач. Опишем

алгоритм поиска допустимых значений качества и затрат.

1. Для каждого возможного изменения оценки элемента нижнего

уровня дерева целей определим минимальные затраты (см. выше).

2. Если фонд финансирования ограничен, то среди полученных ком-

бинаций оставляем те, для которых выполнено бюджетное ограничение.

3. Для каждой из допустимых комбинаций финансирования опреде-

ляем значения суммарных затрат на финансирование и комплексной

оценки. В результате получаем множество точек в пространстве «качест-

во затраты», то есть допустимую область. Каждой из таких точек соот-

ветствует допустимый вариант финансирования.

4. Внутри допустимого множества выбираем точку или множество

точек, оптимальных с точки зрения, например, максимума оценки качест-

ва и т.д. (в зависимости от решаемой задачи).

В больших системах вычислительная сложность описанного алго-

ритма может быть достаточно велика, однако при этом мы охватываем все

возможные варианты (то есть производится глобальная оптимизация). На

практике целесообразно использовать модификации этого алгоритма,

учитывающие специфику конкретной задачи. В качестве иллюстрации

рассмотрим метод построения так называемых напряженных вариантов.

Напряженным назовем такой вариант развития, что недостижение

оценки хотя бы по одному критерию приводит к недостижению требуемо-

го значения комплексной оценки. Для оценки К = 5 напряженным являет-

ся вариант (К3 = 5; К4 = 4). Соответственно для получения значения

оценки К4 = 4 напряженными являются варианты (К1 = 5; К2 = 2) и

(К1 = 3; К2 = 4). Напряженные варианты обладают рядом достоинств. Во-

первых, число возможных комбинаций сразу резко ограничивается (для

рассматриваемого примера необходимо анализировать уже два варианта, а

не восемь). Во-вторых, так как при использовании напряженных вариан-

тов в системе отсутствует "избыточность", в том смысле, что сбой в одном

из элементов приводит к срыву всего их комплекса, есть веские основания

считать, что напряженные варианты являются вариантами минимальной

стоимости (и максимального рискасм. методы учета риска в моделях

комплексного оценивания в [1]). Использование напряженных вариантов

особенно удобно для решения задачи минимизации величины финансиро-

вания, необходимого для достижения требуемого значения комплексной

оценки.

Авторы: 1379 А Б В Г Д Е З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Э Ю Я

Книги: 1908 А Б В Г Д Е З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Э Ю Я