13. ЭКСПЕРТНЫЙ МЕТОД

13.3. Метод Дельфы

Одним из наиболее перспективных методов формирования групповой оценки экспертов является метод Дельфы, получивший название от греческого города Дельфы и мудрецов, славившихся в древности предсказаниями будущего. Метод представляет собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по проблемам, по которым ощущается недостаток информации.

Процедуры, используемые в методе Дельфы, характеризуются тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом. Анонимность достигается применением специальных вопросников или другими способами индивидуального опроса, например контактом экспертов с ЭВМ. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам. С помощью статистических методов определения группового ответа можно уменьшить статистический разброс индивидуальных оценок и получить групповой ответ, в котором правильно отражено мнение каждого эксперта.

Если анонимность опроса является способом ослабления влияния отдельных "доминирующих" экспертов, то регулируемая обратная связь позволяет снизить "шумы", под которыми понимается влияние индивидуальных и групповых интересов, не связанных с решаемыми проблемами. Кроме того, введение обратной связи вносит элемент объективности и делает оценки более надежными.

Проведение опроса в несколько туров, в течение которых осуществляется ряд последовательных итераций (экспертов информируют о результатах предыдущих этапов опроса и предлагают в ряде случаев обосновать свое мнение), позволяет уменьшить колебания в индивидуальных ответах, ограничивает внутригрупповые колебания и имеет несомненные преимущества по сравнению с "простым" статистическим объединением индивидуальных мнений с помощью средних.

В основу метода Дельфы положены следующие предпосылки:

1) поставленные вопросы должны допускать возможность выражения ответа в виде числа;

2) эксперты должны располагать достаточной информацией для того, чтобы дать оценку;

3) ответ на каждый вопрос (оценка) должен быть обоснован экспертом.

Выявление преобладающих суждений с помощью метода Дельфы позволяет сблизить точки зрения экспертов. Вместе с тем учитывается, что, несмотря на сближение оценок, различие будет существовать и в конце опроса.

Рассмотрим, как используется метод Дельфы при подготовке научно - технических прогнозов. Каждый тур опроса требует в некоторой степени различных видов деятельности от экспертов, либо организаторов экспертизы, либо от тех и других.

Первый тур опроса. Первая анкета может быть полностью бесструктурной и допускать любые ответы. Целью такой анкеты является составление перечня событий для прогноза в определенной области науки и техники. У этого подхода есть некоторые недостатки, которые рассматриваются ниже. Однако он обладает и значительными преимуществами, хотя и возлагает большую ответственность на экспертов. Ведь предполагается, что специалисты гораздо лучше, чем организаторы экспертизы, знают соответствующую область науки и техники.

Если анкета для первого тура опроса составлена так, что она ограничивает участников экспертизы в постановке проблем, то это может привести к тому, что группа не учтет или опустит некоторые события, которые, вполне возможно, имеют более важное значение для организатора, чем события, которые он представляет на рассмотрение группы.

После того как прогнозы группы возвратились к организатору, он должен объединить их. Некоторые эксперты дают свои прогнозы в словесной форме или в виде сценария. Такой прогноз должен быть расчленен на ряд отдельных событий. Другие члены группы могут дать перечень событий, расположенных в хронологическом порядке. И в том и в другом случае события должны быть идентифицированы: одинаковые события объединены, второстепенные (с точки зрения организатора) - исключены, а окончательный перечень событий должен быть составлен в точных терминах. Полученный перечень событий становится основой второй анкеты.

Второй тур опроса. Экспертам направляют сводный перечень событий и просят оценить даты, когда может произойти реализация этих событий. Их просят также привести соображения, по которым они считают свои оценки правильными, то есть указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты. Данная ими оценка даты наступления события может включать слово "никогда" или просто "позже", если для оценки был установлен какой - либо временной горизонт.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статистическую сводку мнений экспертов, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже "средней" оценки.

После второго тура опроса аналитики производят обработку полученных оценок: уточняют перечень событий и анализируют характеристики ряда, то есть рассчитывают медианы и квартили.

Предположим, что от экспертов получено какое - либо число оценок, например 11. эти оценки упорядочиваются, например, в порядке убывания. За медиану принимается средний член ряда, по отношению к которому число оценок с начала и с конца ряда будет одинаковым. В нашем примере с 11 оценками медиана будет совпадать с оценкой N₆ (рис.1). затем определяются верхний и нижний квартили, то есть интервалы N₁Q₁ и N₁₁Q₃. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25 % от начала и 25 % от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних Q₁Me и Q₃Me считаются наиболее предпочтительными.

Рис. 1. Медиана и квартили в методе Дельфы

Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, то есть обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возражения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки. С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми они пренебрегли во время первого и второго туров опроса.

Третий тур опроса. Третья анкета состоит из перечня событий, групповой медианы дат наступления событий и верхнего и нижнего квартилей для каждого события, а также сводных данных (аргументов) о причинах более ранних или поздних оценок. Участников экспертизы просят рассмотреть аргументы и сформулировать новые оценки предполагаемой даты наступления каждого события. Если их новая оценка не попала в интервалы между квартилями (ИМК), полученными во втором туре опроса, то их просят обосновать свою точку зрения и прокомментировать точку зрения тех, кто придерживается противоположных взглядов. Иначе говоря, если их оценка даты отличается от оценки 3/4 участников экспертизы, их просят подтвердить эту оценку и показать, почему они считают аргументы большинства неправильными или неполными. Их аргументы могут включать ссылку на внешние факторы, которыми могли пренебречь другие члены группы, перечисление факторов, которые оказались не учтенными другими экспертами, и т.д. Участники экспертизы могут выдвигать аргументы и возражения точно так же, как это делали бы при личном обращении, но при этом их аргументы остаются анонимными.

После того как пересмотренные оценки и новые аргументы возвратились к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представленные с обеих сторон, и подготовить на этой основе новый прогноз.

Четвертый тур опроса. Участникам экспертизы вновь передают перечень событий, статистическое описание оценок группы и аргументы обеих сторон. Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз. При необходимости организатор может потребовать от них новые аргументы. Получив прогнозы экспертов, снова рассчитывают медианы и квартили дат для каждого события. Поскольку этот тур опроса является последним, возможно, нет нужды анализировать аргументы и, следовательно, просить их представить. Если же группа не может прийти к согласованному (единому) мнению, и организатор экспертизы заинтересуется аргументами обеих сторон, он собирает их и анализирует. Сам прогноз состоит из перечня событий с соответствующими медианами и квартилями дат.

Практика показывает, что необязательно проводить все четыре тура опроса. Если эксперты пришли к соглашению Вов тором туре, то опрос можно прекратить. Это особенно справедливо в отношении тех событий, которые по общему мнению никогда не произойдут. В некоторых случаях обнаруживается, что первоначально сформулированное событие следует переформулировать или разделить на ряд отдельных событий. В других случаях может оказаться желательным объединить события, которые в первоначальном перечне событий рассматривались раздельно.

Основные результаты использования метода Дельфы заключаются в следующем. Типичным для первого тура опроса является широкий разброс индивидуальных ответов. По мере применения итерации и обратной связи сходимость индивидуальных ответов увеличивается. В большинстве случаев групповой ответ (определяемый как медиана окончательных индивидуальных ответов) становится точнее.

Для исследования фактической эффективности метода Дельфы был проведен ряд экспериментов. Один из таких экспериментов заключался в ответе на вопросы общего характера. Требовалось, например, произвести экспертную оценку данных, содержащихся в календарях и статистических справочниках. При этом эксперты не знали истинного ответа, но имели другую, косвенную информацию, которая позволяла им размещать свои оценки в диапазоне, близком к истинному ответу. Предполагалось, что процесс этот во многом схож с процессом прогнозирования.

Сравнение полученных результатов с экспертизой по этим же вопросникам, осуществляемой "лицом к лицу", показало, что согласование мнений с помощью метода Дельфы дало в 13 из 15 случаев более точные результаты.