Как отмечено в документе, оценку эффективности принимаемых мер по противодействию коррупции затрудняют такие факторы, как:
- невозможность точного измерения уровня коррупции и изменений, к которым приводит внедрение антикоррупционных мер, в частности, из-за нежелания заинтересованных сторон честно и открыто обсуждать эту тему;
- сложность поиска и доказывания наличия причинно-следственных связей между имевшими место позитивными изменениями и ранее принятыми мерами;
- вероятность возникновения непрогнозируемых последствий и негативных эффектов и т.д.
Для минимизации их влияния на проведение оценки эксперты U4 рекомендуют:
1. Учитывать передовую международную практику
В частности, оценка должна проводиться в соответствии со следующими принципами:
- своевременность, полезность и применимость в будущем;
- четкость, целенаправленность и конкретность;
- обеспечение реального участия (genuinely participatory);
- принятие во внимание таких вопросов, как гендерное равенство, соблюдение прав человека, достижение устойчивости изменений, соответствие стандартам качества, нормам этики и принципам эффективности внешней помощи.
2. Анализировать целесообразность проведения комплексной оценки
Для определения реальных возможностей проведения комплексной оценки в определенных условиях авторы документа рекомендуют ответить на ряд вопросов, связанных со сложностью оценки, включая:
- характер антикоррупционных мер: количество и четкость формулировок при определении целей внедрения таких мер; однозначность перечня действий, которые предполагается принять в рамках реализации соответствующих мер; число составляющих принимаемых мер и т.д.;
- социальные институты и заинтересованные стороны: порядок финансирования реализуемых мероприятий по противодействию коррупции; число участников реализации мер; перечень заинтересованных сторон;
- причинно-следственные связи и достижимость изменений: число вариантов развития событий в случае принятия антикоррупционных мер; степень уверенности относительно результатов их внедрения; ясность и однозначность путей решения проблем;
- интегрированность и характер среды: возможность спрогнозировать влияние факторов внешней среды на результаты принимаемых мер; наличие механизмов, позволяющих достичь комплексных поведенческих изменений.
3. Тщательно собирать и использовать данные
Как отмечено в документе, лицам, проводящим оценку эффективности антикоррупционных мер, зачастую бывает сложно:
- получить точные данные и/или данные по конкретным антикоррупционным мерам;
- получить достаточные данные;
- обеспечить сохранность данных.
Для решения указанных проблем авторы предлагают:
- определить возможности для проведения последующей оценки эффективности антикоррупционных мер еще до начала их реализации;
- включить в состав команды для сбора данных экспертов из различных областей, в том числе специалистов по проведению оценки, проведению экспертизы на местном уровне, политической экономике, тематике проводимой оценки, а также обеспечить доступ к иным заинтересованным лицам;
- учитывать любые предубеждения, внешнее давление или возможные последствия, с которыми они могут столкнуться, и т.д.
4. Честно оценивать эффективность антикоррупционных мер
В ходе оценки необходимо учитывать, что:
- некоторые антикоррупционные мероприятия могут зависеть от факторов, находящихся вне сферы влияния участников; в связи с этим крайне важным является контекст: например, в условиях, когда антикоррупционные усилия активно подрываются извне, предотвращение роста коррупции или удержание прошлых достижений само по себе может считаться успехом;
- даже небольшие изменения уровня коррупции трудно достичь и поддерживать: чаще всего влияние принимаемых мер оказывается незначительным, а проектный цикл – слишком коротким для достижения значительных и длительных изменений.
5. Акцентировать внимание на изменениях в случае, если невозможно определить их источник
Как отмечено в рекомендациях, доказать причинно-следственную связь между определенными мерами по противодействию коррупции и конкретными изменениями может быть весьма сложно по ряду причин, в частности:
- воздействие на одну и ту же целевую единицу (например, на судебную систему) может происходить вследствие реализации нескольких мер и со стороны различных субъектов: так, успешное выявление коррупционного правонарушения и привлечение его участников к ответственности может быть результатом одновременно проведенного журналистами расследования, принятия закона о прозрачности информации, наращивания потенциала правоохранительных органов и судов, избрания нового премьер-министра и т.п.;
- существуют ограничения в данных (например, их непригодность для проведения сравнительного анализа, зависимость от мнения респондентов в случае сбора данных исключительно с помощью опросов, недостаточный охват данных) и т.д.
По этой причине специалистам по оценке предлагается акцентировать внимание на самих результатах, а не на том, за счет внедрения каких именно мер они были достигнуты.
6. Оценивать степень соответствия между решаемой проблемой и принимаемыми мерами
В ходе реализации антикоррупционных мер могут применяться «неправильные» методы достижения результатов, в связи с чем лицам, проводящим оценку, рекомендуется анализировать соотношение решаемых проблем и принимаемых для этого мер с тем, чтобы определить вероятность достижения ожидаемых устойчивых изменений и реализации непредвиденных последствий.
Для этого следует ответить как минимум на следующие вопросы:
- С учетом контекста, было ли принятие соответствующих мер целесообразным?
- Достаточно ли принятых мер, отдельно или в комплексе с иными мерами, для решения проблемы?
7. Определять степень соответствия антикоррупционных мер представлениям о коррупции и методах борьбы с ней
Авторы документа обращают внимание на то, что в процессе оценки эффективности антикоррупционных мер следует учитывать существующие в международной практике передовые методы борьбы с коррупцией, а также успешные региональные антикоррупционные инициативы.
8. Изучать возможные непрогнозируемые последствия
Как отмечено в документе, в ходе оценки антикоррупционных мероприятий важно обращать внимание на проявившиеся непредвиденные последствия и обратные эффекты, которые могут быть положительными или отрицательными, краткосрочными или долгосрочными. С этой целью авторы документа рекомендуют:
- оценивать степень соответствия между решаемой проблемой и предпринимаемыми для ее решения мерами;
- обращаться к сторонним экспертам с глубоким пониманием регионального контекста, например, к лидерам местных общин, антропологам и т.д.;
- выбирать инструменты оценки, предназначенные для выявления непредвиденных результатов, например, использовать подход наиболее значительных изменений (MSC) или трассирующих исследований;
- анализировать политический контекст, включая наличие политической воли для проведения реформ, и т.д.
9. Оценивать устойчивость изменений
Как отмечают авторы, лицам, проводящим оценку, необходимо также анализировать устойчивость изменений, достигнутых в ходе реализации антикоррупционных мер. Для этого, в частности, могут рассматриваться следующие вопросы:
- Имеются ли средства для поддержания достигнутых результатов?
- Заинтересованы ли участники в работе по противодействию коррупции на постоянной основе (например, будут ли поддерживать достигнутые результаты после окончания финансирования)?
- Удалось ли в процессе реализации антикоррупционных мер устранить основные причины коррупции?
- Поддерживают ли влиятельные заинтересованные стороны такие мероприятия? и т.д.
10. Использовать подходящие методы и инструменты оценки
Авторы документа подчеркивают, что при оценке эффективности мер противодействия коррупции важно ориентироваться в первую очередь на решаемые проблемы, а не на способы оценки. Подход, методология и методы оценки должны определяться исходя из:
- общей цели и масштабов оценки;
- вопросов, на которые необходимо ответить;
- характеристик оцениваемых антикоррупционных мероприятий;
- контекста;
- наличия данных;
- имеющихся ресурсов (финансовых, временных, человеческих).
Кроме того, они должны соотноситься с оцениваемыми мерами с точки зрения:
- уточнения причин принятия мер (attribution);
- объяснения результатов их воздействия (explanation);
- возможности изучения множественных причинно-следственных связей (multiple causal pathways), в том числе определения их характера (nature of causal change);
- реализации непредвиденных ситуаций (emergence);
- масштабов воздействия (scope of effects).
Одновременно эксперты U4 предлагают лицам, проводящим оценку, обращаться к разработанному Международной сетью развития Bond (Bond: The International Development Network) общедоступному инструменту по поиску подходящих методов оценки. Перечень таких методов включает, в том числе:
- отслеживание процесса (process tracing): может использоваться для анализа причин принятия нового антикоррупционного законодательства и того, какую роль в достижении этого могли сыграть конкретные антикоррупционные меры;
- качественный сравнительный анализ (qualitative comparative analysis): применяется для изучения того, какие факторы позволяют антикоррупционным органам успешно бороться с коррупцией;
- выборочное контрольное исследование (randomised control trial): позволяет проводить оценку воздействия конкретного инструмента, который поэтапно внедряется в большом количестве субъектов.
11. Оценивать антикоррупционные меры по определенным заранее критериям
Лицам, проводящим оценку, необходимо определить, по каким именно показателям будут оцениваться достигнутые результаты. Достаточно ли будет выявить изменение отношения к коррупции граждан? Или оценка должна быть направлена на анализ статистики правоприменения, например, количество поданных антикоррупционных деклараций и выявленных в них нарушений или число обвинительных приговоров по коррупционным преступлениям? Или же оценка должна определить, снизился ли уровень коррупции и насколько и оказало ли это значительное влияние на заинтересованные стороны?
Кроме того, оценка может быть направлена на измерение трансформационных и системных изменений, то есть на то, в какой степени были устранены фундаментальные причины коррупции, например, поменялись стимулы и социальные нормы.
Как отмечают авторы документа, их рекомендации охватывают не все вопросы, связанные с оценкой эффективности мер по противодействию коррупции. В этой связи в дополнение к своей публикации эксперты U4 предлагают ознакомиться с Руководством по оценке, подготовленным Агентством международного сотрудничества в области развития Швеции (Sida’s Evaluation Handbook: Guidelines and Manual for Conducting Evaluations at Sida), и Руководством по подготовке, проведению и использованию результатов независимой оценки, разработанным УНП ООН (Evaluation Handbook: Guidance for designing, conducting and using independent evaluation at UNODC).