Как отмечено в документе, оценку эффективности принимаемых мер по противодействию коррупции затрудняют такие факторы, как:

• невозможность точного измерения уровня коррупции и изменений, к которым приводит внедрение антикоррупционных мер, в частности, из-за нежелания заинтересованных сторон честно и открыто обсуждать эту тему;
• сложность поиска и доказывания наличия причинно-следственных связей между имевшими место позитивными изменениями и ранее принятыми мерами;
• вероятность возникновения непрогнозируемых последствий и негативных эффектов и т.д.

Для минимизации их влияния на проведение оценки эксперты U4 рекомендуют:

1. Учитывать передовую международную практику

В частности, оценка должна проводиться в соответствии со следующими принципами:

• своевременность, полезность и применимость в будущем;
• четкость, целенаправленность и конкретность;
• обеспечение реального участия (genuinely participatory);
• принятие во внимание таких вопросов, как гендерное равенство, соблюдение прав человека, достижение устойчивости изменений, соответствие стандартам качества, нормам этики и принципам эффективности внешней помощи.

2. Анализировать целесообразность проведения комплексной оценки

Для определения реальных возможностей проведения комплексной оценки в определенных условиях авторы документа рекомендуют ответить на ряд вопросов, связанных со сложностью оценки, включая:

1. характер антикоррупционных мер: количество и четкость формулировок при определении целей внедрения таких мер; однозначность перечня действий, которые предполагается принять в рамках реализации соответствующих мер; число составляющих принимаемых мер и т.д.;
2. социальные институты и заинтересованные стороны: порядок финансирования реализуемых мероприятий по противодействию коррупции; число участников реализации мер; перечень заинтересованных сторон;
3. причинно-следственные связи и достижимость изменений: число вариантов развития событий в случае принятия антикоррупционных мер; степень уверенности относительно результатов их внедрения; ясность и однозначность путей решения проблем;
4. интегрированность и характер среды: возможность спрогнозировать влияние факторов внешней среды на результаты принимаемых мер; наличие механизмов, позволяющих достичь комплексных поведенческих изменений.

3. Тщательно собирать и использовать данные

Как отмечено в документе, лицам, проводящим оценку эффективности антикоррупционных мер, зачастую бывает сложно:

• получить точные данные и/или данные по конкретным антикоррупционным мерам;
• получить достаточные данные;
• обеспечить сохранность данных.

Для решения указанных проблем авторы предлагают:

• определить возможности для проведения последующей оценки эффективности антикоррупционных мер еще до начала их реализации;
• включить в состав команды для сбора данных экспертов из различных областей, в том числе специалистов по проведению оценки, проведению экспертизы на местном уровне, политической экономике, тематике проводимой оценки, а также обеспечить доступ к иным заинтересованным лицам;
• учитывать любые предубеждения, внешнее давление или возможные последствия, с которыми они могут столкнуться, и т.д.

4. Честно оценивать эффективность антикоррупционных мер

В ходе оценки необходимо учитывать, что:

• некоторые антикоррупционные мероприятия могут зависеть от факторов, находящихся вне сферы влияния участников; в связи с этим крайне важным является контекст: например, в условиях, когда антикоррупционные усилия активно подрываются извне, предотвращение роста коррупции или удержание прошлых достижений само по себе может считаться успехом;
• даже небольшие изменения уровня коррупции трудно достичь и поддерживать: чаще всего влияние принимаемых мер оказывается незначительным, а проектный цикл – слишком коротким для достижения значительных и длительных изменений.

5. Акцентировать внимание на изменениях в случае, если невозможно определить их источник

Как отмечено в рекомендациях, доказать причинно-следственную связь между определенными мерами по противодействию коррупции и конкретными изменениями может быть весьма сложно по ряду причин, в частности:

• воздействие на одну и ту же целевую единицу (например, на судебную систему) может происходить вследствие реализации нескольких мер и со стороны различных субъектов: так, успешное выявление коррупционного правонарушения и привлечение его участников к ответственности может быть результатом одновременно проведенного журналистами расследования, принятия закона о прозрачности информации, наращивания потенциала правоохранительных органов и судов, избрания нового премьер-министра и т.п.;
• существуют ограничения в данных (например, их непригодность для проведения сравнительного анализа, зависимость от мнения респондентов в случае сбора данных исключительно с помощью опросов, недостаточный охват данных) и т.д.

По этой причине специалистам по оценке предлагается акцентировать внимание на самих результатах, а не на том, за счет внедрения каких именно мер они были достигнуты.

6. Оценивать степень соответствия между решаемой проблемой и принимаемыми мерами

В ходе реализации антикоррупционных мер могут применяться «неправильные» методы достижения результатов, в связи с чем лицам, проводящим оценку, рекомендуется анализировать соотношение решаемых проблем и принимаемых для этого мер с тем, чтобы определить вероятность достижения ожидаемых устойчивых изменений и реализации непредвиденных последствий.

Для этого следует ответить как минимум на следующие вопросы:

• С учетом контекста, было ли принятие соответствующих мер целесообразным?
• Достаточно ли принятых мер, отдельно или в комплексе с иными мерами, для решения проблемы?

7. Определять степень соответствия антикоррупционных мер представлениям о коррупции и методах борьбы с ней

Авторы документа обращают внимание на то, что в процессе оценки эффективности антикоррупционных мер следует учитывать существующие в международной практике передовые методы борьбы с коррупцией, а также успешные региональные антикоррупционные инициативы.

8. Изучать возможные непрогнозируемые последствия

Как отмечено в документе, в ходе оценки антикоррупционных мероприятий важно обращать внимание на проявившиеся непредвиденные последствия и обратные эффекты, которые могут быть положительными или отрицательными, краткосрочными или долгосрочными. С этой целью авторы документа рекомендуют:

• оценивать степень соответствия между решаемой проблемой и предпринимаемыми для ее решения мерами;
• обращаться к сторонним экспертам с глубоким пониманием регионального контекста, например, к лидерам местных общин, антропологам и т.д.;
• выбирать инструменты оценки, предназначенные для выявления непредвиденных результатов, например, использовать подход наиболее значительных изменений (MSC) или трассирующих исследований;
• анализировать политический контекст, включая наличие политической воли для проведения реформ, и т.д.

9. Оценивать устойчивость изменений

Как отмечают авторы, лицам, проводящим оценку, необходимо также анализировать устойчивость изменений, достигнутых в ходе реализации антикоррупционных мер. Для этого, в частности, могут рассматриваться следующие вопросы:

• Имеются ли средства для поддержания достигнутых результатов?
• Заинтересованы ли участники в работе по противодействию коррупции на постоянной основе (например, будут ли поддерживать достигнутые результаты после окончания финансирования)?
• Удалось ли в процессе реализации антикоррупционных мер устранить основные причины коррупции?
• Поддерживают ли влиятельные заинтересованные стороны такие мероприятия? и т.д.

10. Использовать подходящие методы и инструменты оценки

Авторы документа подчеркивают, что при оценке эффективности мер противодействия коррупции важно ориентироваться в первую очередь на решаемые проблемы, а не на способы оценки. Подход, методология и методы оценки должны определяться исходя из:

• общей цели и масштабов оценки;
• вопросов, на которые необходимо ответить;
• характеристик оцениваемых антикоррупционных мероприятий;
• контекста;
• наличия данных;
• имеющихся ресурсов (финансовых, временных, человеческих).

Кроме того, они должны соотноситься с оцениваемыми мерами с точки зрения:

• уточнения причин принятия мер (attribution);
• объяснения результатов их воздействия (explanation);
• возможности изучения множественных причинно-следственных связей (multiple causal pathways), в том числе определения их характера (nature of causal change);
• реализации непредвиденных ситуаций (emergence);
• масштабов воздействия (scope of effects).

Одновременно эксперты U4 предлагают лицам, проводящим оценку, обращаться к разработанному Международной сетью развития Bond (Bond: The International Development Network) общедоступному инструменту по поиску подходящих методов оценки. Перечень таких методов включает, в том числе:

• отслеживание процесса (process tracing): может использоваться для анализа причин принятия нового антикоррупционного законодательства и того, какую роль в достижении этого могли сыграть конкретные антикоррупционные меры;
• качественный сравнительный анализ (qualitative comparative analysis): применяется для изучения того, какие факторы позволяют антикоррупционным органам успешно бороться с коррупцией;
• выборочное контрольное исследование (randomised control trial): позволяет проводить оценку воздействия конкретного инструмента, который поэтапно внедряется в большом количестве субъектов.

11. Оценивать антикоррупционные меры по определенным заранее критериям

Лицам, проводящим оценку, необходимо определить, по каким именно показателям будут оцениваться достигнутые результаты. Достаточно ли будет выявить изменение отношения к коррупции граждан? Или оценка должна быть направлена на анализ статистики правоприменения, например, количество поданных антикоррупционных деклараций и выявленных в них нарушений или число обвинительных приговоров по коррупционным преступлениям? Или же оценка должна определить, снизился ли уровень коррупции и насколько и оказало ли это значительное влияние на заинтересованные стороны?

Кроме того, оценка может быть направлена на измерение трансформационных и системных изменений, то есть на то, в какой степени были устранены фундаментальные причины коррупции, например, поменялись стимулы и социальные нормы.

---

Как отмечают авторы документа, их рекомендации охватывают не все вопросы, связанные с оценкой эффективности мер по противодействию коррупции. В этой связи в дополнение к своей публикации эксперты U4 предлагают ознакомиться с Руководством по оценке, подготовленным Агентством международного сотрудничества в области развития Швеции (Sida’s Evaluation Handbook: Guidelines and Manual for Conducting Evaluations at Sida), и Руководством по подготовке, проведению и использованию результатов независимой оценки, разработанным УНП ООН (Evaluation Handbook: Guidance for designing, conducting and using independent evaluation at UNODC).