Мониторинг и оценка социальных программ

Алексей Кузьмин, Компания "Процесс Консалтинг", Москва, Россия

pccmos@online.ru  www.processconsulting.ru

Об авторе: Алексей Кузьмин - специалист по организационному развитию и оценке программ.

С 1987 года Алексей работает с российскими и зарубежными организациями в качестве консультанта и тренера, занимаясь вопросами стратегического планирования, формирования организационных структур, построения и оптимизации управленческих систем и технологий, управления персоналом. Алексей прошел обучение и стажировки в США и Великобритании.

В 1999 году принят в члены Американской Ассоциации по Оценке Программ (American Evaluation Association).С 2000 года – член Координационного Совета Международной Сети "Оценка Программ" (СНГ). С 2002 года заочно работает над диссертацией в области оценки программ в Union Institute and University (Цинциннати, США).

Программа – это деятельность, направленная на достижение конкретной цели (изменение определенной ситуации) в ограниченное время и с использованием заранее определенных ресурсов.

Любая социальная программа направлена на решение той или социальной проблемы. Собственно говоря, разработка программы начинается с анализа проблемы и выяснения, что именно необходимо изменить. Конечным результатом выполнения программы должно стать желаемое изменение ситуации (решение проблемы): снижение уровня бедности, уменьшение количества бездомных, повышение качества образования, улучшение здоровья людей и т.д.

При разработке программы тщательно планируется процесс ее выполнения –последовательность шагов, которые приведут к желаемому изменению ситуации. Для осуществления этих шагов необходимы ресурсы: люди, материалы, оборудование, среда, технологии. Нормальное выполнение программы невозможно без отслеживания хода работ и анализа полученных результатов. Эти функции называются мониторингом (monitoring)и оценкой (evaluation).

Главное, на что мы хотели бы обратить внимание с самого начала – это основное предназначение мониторинга и оценки: давать информацию для принятия управленческих решений. Информация должна быть достаточной, своевременной, надежной, достоверной.

Сущность мониторинга и оценки одна и та же – отслеживание хода и результатов программы и выдача информации для лиц, принимающих решения. Отличия между мониторингом и оценкой упрощенно можно сформулировать так:

Мониторинг отвечает на вопрос "Как идут дела?". Это рутинное, повседневное отслеживание ситуации, сравнение текущего положения дел с планом.

Оценка отвечает на вопросы "Ну и что?» и "Почему?". Оценка предполагает более глубокий по сравнению с мониторингом анализ происходящего. Оценка проводится время от времени.

Например, результаты мониторинга программы по снижению безработицы могут свидетельствовать о том, что профессиональную переподготовку прошли Х тысяч человек, что на это потрачено Y тысяч долларов (в местной валюте) и что из обученных трудоустроились Z человек.

Оценка той же программы поможет понять, что изменилось в жизни этих людей в результате обучения ("ну и что?") и в чем причины того, что % трудоустроившихся ниже запланированного в два раза ("почему?").

При проведении мониторинга программы необходимо отслеживать

1)использование ресурсов (соответствие потраченных ресурсов плану);

2)процесс выполнения программы (соответствие содержания и сроков мероприятий

графику выполнения работ; соблюдение технологий, методов, процедур);

3)результаты (в какой мере удается достигать поставленных целей);

4)влияние (как влияет программа на ситуацию, в чем заключается это влияние).

Для того, чтобы проводить мониторинг программы, необходимо заранее определить ее характеристики и в процессе проведения мониторинга проводить соответствующие измерения и сравнивать фактические характеристики программы с плановыми показателями.

Предположим, что в результате выполнения программы мы должны построить дом. Для того, чтобы по окончании программы ответить на вопрос о том, достигнут ли результат, мы должны заранее определить параметры этого дома и элементы, из которых он должен состоять. В противном случае определить, достигнут ли желаемый результат, будет невозможно.

Применительно к социальным программам чаще говорят о показателях или индикаторах, по которым можно судить о достижении результатов или влиянии программы. В зависимости от того, какие элементы программы необходимо контролировать, различают индикаторы процесса, результатов, влияния.

Как строится система мониторинга программы?

Рассмотрим создание системы мониторинга на примере технического объекта – автомобиля. Предположим, что мы сконструировали автомобиль. Теперь мы задумались о том, какая информация будет нужна водителю (в социальной программе – руководителю) для эффективного и безопасного управления. Можно почти не задумываясь назвать несколько параметров состояния автомобиля, которые важно было бы знать водителю.

Почему водителю нужно знать скорость движения автомобиля? Потому что:

-превышение допустимой скорости может привести к аварии,

-скорость постоянно меняется.

Почему водителю нужно знать температуру охлаждающей жидкости? Потому что:

-от нее зависит работа и исправность одного из самых дорогих узлов автомобиля – дви-

гателя,

-температура постоянно меняется,

-при температуре ниже определенной величины и выше определенной величины дви-

гаться нельзя.

Аналогичным образом можно было бы объяснить, зачем водителю нужно иметь информацию о других параметрах. Отметим существенный для нас момент:

прежде чем начать строить систему мониторинга, мы определяем не только то, что нужно знать о системе (программе), но и почему эта информация важна.

Следующий вопрос: как часто может потребоваться водителю информация о скорости движения? Можно ли получать ее, скажем, один раз в день? Один раз в час? Очевидно, нет!

Знать скорость нужно постоянно. Причина: этот параметр очень значимый и очень динамичный (быстро и постоянно меняется). А вот знать количество жидкости, которая используется для омывания стекол, водителю все время не обязательно. Причина: этот параметр не очень значимый, меняется плавно, предсказуемо. Можно проверять время от времени.

Впрочем, кто-то может с последним утверждением не согласиться: все зависит от условий, в которых мы находимся. При вождении на сильном морозе или в слякоть лучше проверять этот последний параметр почаще.

Таким образом, следующим шагом в построении системы мониторинга является определение периодичности получения информации о системе (программе). Здесь также нужна тщательная аргументация. От периодичности получения информации будет зависеть, в конечном итоге, стоимость системы мониторинга.

Как узнать значение отдельных параметров состояния автомобиля? Для этого используются датчики. Например, мы можем поставить датчик, который будет постоянно измерять температуру масла. Естественно, датчик должен находиться там, где находится масло. Аналогичным образом в социальной программе определяются индикаторы, значение которых можно определить там, где выполняется программа.

Однако, для того, чтобы у водителя была нужная ему информация, одних датчиков

недостаточно. Нужны каналы передачи информации с датчиков к водителю. Аналогично, в социальной программе мало определить значение индикаторов, нужно продумать каналы передачи этой информации к лицам, принимающим решения.

Аналогия с автомобилем позволяет рассмотреть еще один важный аспект системы мониторинга - форму предоставления информации. Представим себе, что для определения скорости движения мы дадим водителю сведения о том, сколько оборотов делает колесо в единицу времени (это то, что считает датчик). Сколько водителей смогут оперативно в уме перевести такую информацию в километры в час? То есть, нам нужно позаботиться еще и том, чтобы информация, поступающая к лицам, принимающим решения, была  преобразована в удобный для восприятия формат.

Подведем итоги.

Для построения системы мониторинга программы необходимо сделать следующее:

-Определить измеряемые показатели (индикаторы), по которым можно будет отслежи-

вать ход программы.

-Установить источники информации для проведения мониторинга (организации, отделы,

отдельные люди или группы людей, документы и т.д.).

-Выбрать методы сбора информации.

-Определить частоту и график сбора информации.

-Назначить ответственных за получение необходимой информации и договориться с те-

ми, кто эту информацию будет предоставлять.

-Определить технологию обработки и анализа получаемой информации.

-Спланировать, как и кому будут переданы данные мониторинга, а также кто и как будет

их использовать.

-Учесть в бюджете программы расходы, необходимые для проведения мониторинга.

Мы хотели обратить особое внимание на последний пункт. Работа любой подсистемы в программе требует ресурсов. Ресурсы стоят денег. Если не учесть расходы на мониторинг и оценку программы на стадии проектирования, то осуществить их не удастся. К сожалению, именно такую ошибку зачастую совершают авторы проектов и программ: подробно рассчитываются все статьи бюджета, связанные с реализацией программы, но не учитываются расходы на мониторинг и оценку. По данным международных организаций, расходы на мониторинг и оценку могут составлять от 2-3% до 6-10% от общего бюджета программы.

Встраивать же систему мониторинга в программу на стадии ее реализации – дело неблагодарное. И хорошо не получится. Также как и встраивание соответствующих датчиков, проводов и приборов в уже готовый автомобиль. Разрабатывать систему мониторинга и оценки нужно на стадии создания программы.

Разработка индикаторов для социальных программ требует (а) ясного понимания целей программы и (б) глубокого знания проблемы. Естественно, что индикаторы для мониторинга сходных по целям программ, например, программ снижения бедности, могут существенно отличаться. 

Не может быть одного «правильного» для всех случаев жизни списка индикаторов. Что правильно, а что – нет, решают разработчики программ, привлекая по необходимости экспертов в соответствующих предметных областях.

В программах государственного масштаба возможно наличие дополнительных индикаторов по регионам: где-то есть проблема обучения в 3-ей смене, а где-то основной проблемой является доступ к питьевой воде.

Теперь рассмотрим, как проводится оценка программ.

Все начинается с возникновения потребности в информации для принятия решения. Если

такой потребности нет, то и нет необходимости в проведении оценки. А если оценку все-таки провести, то ее результаты вряд ли будут востребованы.

После того, как определено, кому и зачем нужна информация, формируется Задание на проведение оценки. Главной частью Задания на проведение оценки является перечень вопросов, на которые надлежит ответить. Эти вопросы должны быть логически связаны с целью проведения оценки. Вопросы Задания (evaluation questions) обычно бывают общими и не слишком многочисленными:

-Каковы фактические результаты Программы в какой мере они соответствуют целям Про-

граммы?

-Что можно считать основными достижениями Проекта? Чего по сравнению с планом

сделать не удалось и почему?

-Каковы перспективы продолжения работы по окончании Проекта?

На этапе планирования определяется, какие методы предполагается использовать для сбора информации. В самом общем виде все существующие методы можно разделить на четыре группы: наблюдение, изучение документации, анкетирование и интервьюирование. Для того, чтобы собрать нужную информацию, необходимо не только выбрать метод, но и подготовить соответствующие инструменты: разработать и апробировать анкету; сформулировать вопросы для проведения интервью; определить, на что обращать внимание при наблюдении и как регистрировать результаты наблюдения и т.д. На этом этапе также определяется график проведения работ и необходимые ресурсы.

На этапе сбора информации самое главное - беспристрастно фиксировать факты, не пытаясь их интерпретировать. Главная идея разделения этапов сбора информации и последующего анализа заключается в том, что выводы должны базироваться не на отдельных фактах, а на их совокупности. При сборе информации могут использоваться данные мониторинга.

На этапе анализа информации совершается главное таинство: из мозаики разрозненных фактов составляется целостная картина. На основании полученных данных делаются выводы и формируются рекомендации относительно принятия того самого управленческого решения, с которого все начиналось. Выводы – это ответы на вопросы Задания.

Полученные в результате оценки ответы передаются тем, кто принимает решения.

Оценка программы – это систематический СБОР ИНФОРМАЦИИ о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы ВЫНЕСТИ СУЖДЕНИЕ о программе, ПОВЫСИТЬ ЭФФЕКТИВНОСТЬ программы и/или РАЗРАБОТАТЬ ПЛАНЫ на будущее. Оценка, ориентированная на практическое использование (в отличие от оценки вообще), проводится для ЗАРАНЕЕ ОПРЕДЕЛЕННЫХ ПОЛЬЗОВАТЕЛЕЙ, с ясным пониманием того, КАКИМ ОБРАЗОМ ОНИ БУДУТ ИСПОЛЬЗОВАТЬ результаты оценки (Patton,1997).

Приведенное здесь определение оценки программ дано американским исследователем Майклом Паттоном. Особенность этого определения в том, что оценка рассматривается как процесс, ориентированный на практическое использование его результатов. Именно так называется концепция, которую развивает М.Паттон (Michael Patton, Utilization Focused Evaluation,1997).

Важно иметь в виду, что, в зависимости от цели, оценка может быть формирующей (по ее результатам можно повлиять на ход программы) или итоговой, суммирующей (по ее результатам можно извлечь уроки на будущее, но изменить что-либо в программе уже нельзя). Понятия формирующей и суммирующей оценки ввел другой американский ученый Майкл Скривен (Michael Scriven).В своей книге он приводит следующий образ: формирующая оценка происходит, когда повар пробует суп. Итоговая или суммирующая – когда суп пробуют гости.

Во многих странах оценка программ давно стала отдельной профессией. В США, например, даже существуют стандарты проведения оценки программ, разработанные Американской Ассоциацией по Оценке Программ (American Evaluation Association).

Кто может проводить оценку

(мониторинг) программы?

1)Независимые специалисты, которые не имеют отношения к программе.

Такая оценка называется внешней.

2)Сотрудники организации, не принимающие участия в программе. Это – внутренняя оценка.

3)Участники программы. В этом случае процесс точнее будет назвать самооцениванием.

Методология, принципы и инструменты оценки государственных программ определяются не столько тем, что программы реализуются государственными структурами, сколько особенностями программ как таковых.

Как правило, государственные программы

-направлены на решение комплексных проблем,

-являются долгосрочными и масштабными,

-предполагают значительные объемы финансирования,

-разрабатываются и выполняются с учетом национальных и культурных особенностей

страны или региона,

-имеют политическое значение.

Комплексный характер проблем, которые решаются в государственных программах, приводит к тому, что программы имеют сложную структуру, а системы мониторинга и оценки строятся в соответствии с этой структурой. Например, в проблеме бедности можно выделить три компонента: экономический, социальный и экологический  (естественно могут быть и другие варианты). В этом случае в программе по снижению бедности будут три направления – экономическое, социальное и экологическое.

Так же будут структурированы и индикаторы, по которым можно судить об успешности ре-

шения задач в рамках каждого из направлений.

Долгосрочность программы приводит к необходимости предусматривать определенную гибкость и, например, пересматривать некоторые индикаторы или способы сбора информации в соответствии с изменяющейся ситуацией.

Особенности мониторинга масштабных программ заключаются в том, что общей (усредненной) картины может оказаться недостаточно для эффективного принятия решений. Нужно иметь информацию по отдельным элементам, например, по регионам. Кроме того, наборы индикаторов по регионам могут отличаться из-за специфики местных проблем.

Цена ошибки в программах со значительными объемами финансирования очень высока.

Именно поэтому в таких случаях вначале проводят небольшие экспериментальные проекты,

тщательно отслеживают их ход и анализируют результаты. Только потом, с учетом данных мониторинга и оценки экспериментальных проектов, корректируют программу и принимают окончательное решение о масштабном финансировании.

Естественно, что государственные программы разрабатываются с учетом местных национальных и культурных особенностей. Оценку таких программ целесообразно проводить с участием местных специалистов. Знание языка, истории, местных традиций, норм поведения и особенностей текущей ситуации позволяет местным специалистам получать данные, которые во многих случаях окажутся недоступными для зарубежных профессионалов. Нам кажется, что оптимальным является использование смешанных команд. Зарубежные консультанты привносят международный опыт, методологию и инструменты, профессиональные стандарты.

Местные специалисты – собственный опыт и культурный контекст. В таких смешанных коллективах происходит повышение квалификации местных кадров.

Политическое значение программ приводит к тому, что отчеты по оценке становятся в определенном смысле политическими документами. Это повышает требования, как к качеству самих отчетов, так и к квалификации людей, проводящих оценку. "Политизированность "программ зачастую создает проблемы с вынесением независимых объективных суждений.

В последнее время в мире наметились следующие тенденции в развитии

 оценки программ:

-оценке уделяется все возрастающее внимание во всем мире, в том числе ведущими

международными организациями и агентствами (особенно в последние 5-6 лет),

-увеличение количества специалистов, занимающихся оценкой; активный процесс

создания национальных и региональных профессиональных объединений (более 30

за последние 5 лет),в СНГ в 2000 году создана Международная Сеть "Оценка Про-

грамм",

-развитие международного сотрудничества, создание международных организаций в

сфере оценки,

-разработка и использование стандартов и принципов проведения оценки (в том чис-

ле, с учетом национальных и культурных особенностей),

-встраивание систем мониторинга и оценки в программы и проекты на стадии разра-

ботки,

-дифференциация различных подходов к оценке ("школ") и разработка соответствую-

щих методов и инструментов,

-активное развитие методологии "оценки с участием" и ее широкое использование,

в частности, при оценке программ в сельской местности и программ по развитию мест-

ных сообществ,

-ориентация оценки на практическое использование.