Как отмечено в документе, оценка эффективности принимаемых антикоррупционных мер является важным элементом деятельности по борьбе с коррупцией, позволяющим проанализировать адекватность прилагаемых усилий.

Однако проведение такой оценки, а также дальнейшее использование ее результатов для коррекции действий может быть затруднено, в том числе в случае, если:

• антикоррупционные меры изначально были разработаны таким образом, что оценка их эффективности является крайне трудоемким процессом;
• в рамках реализации антикоррупционных мер не учитывалась или некорректно учитывалась теория изменений (Theory of Change – ToC)*;
• в центре внимания изначально был сам факт принятия антикоррупционных меры, а не их воздействие;
• оценка проводится только на заключительных этапах реализации антикоррупционных мер;
• не учитывалось воздействие на антикоррупционные меры гендерной специфики и интерсекциональности;
• использовался ограниченный набор методов оценки, в частности, применялись только количественные показатели, не отражающие результаты реализации принятых антикоррупционных мер;
• при оценке не использовались данные мониторингов.

Кроме прочего, проведение оценки всегда осложняется тем, что ответственным лицам необходимо ориентироваться в различных концептуальных представлениях о коррупции, а также учитывать важность политических, экономических и социокультурных факторов.

При этом до сих пор глубокий анализ качества используемых оценок эффективности реализуемых антикоррупционных мер не проводился.

Для восполнения соответствующего пробела авторы документа изучили 91 набор данных об оценке эффективности антикоррупционных мер, опубликованных в открытом доступе с января 2010 года по октябрь 2023 года**, от таких органов и организаций, как:

• Европейская комиссия (European Commission);
• ООН (The United Nations);
• Всемирный банк (World Bank Group);
• Содружество наций (Commonwealth of Nations);
• Министерство иностранных дел, Содружества наций и развития Великобритании (Foreign, Commonwealth & Development Office);
• Норвежское агентство по сотрудничеству в целях развития (Norwegian Agency for Development Cooperation);
• Агентство международного сотрудничества в области развития Швеции (Swedish International Development Cooperation Agency);
• Агентство США по международному развитию (United States Agency for International Development) и иных.

Анализ проходил в 2 этапа.

1 этап. На данном этапе эксперты U4 анализировали саму возможность проведения эффективной оценки антикоррупционных мер, учитывая, в частности, следующие аспекты:

• Есть ли концептуальное понимание проблемы, для решения которой используются оцениваемые антикоррупционные меры?
• Применяется ли при реализации оцениваемых антикоррупционных мер теория изменений / сформулировано ли то, как оцениваемые антикоррупционные меры должны привести к ожидаемым результатам?
• Осуществляется ли сбор данных, связанных с реализацией оцениваемых антикоррупционных мер, для отслеживания изменений, происходящих с течением времени?

По результатам данного этапа было выявлено, что:

• концептуальная ясность решаемой проблемы была свойственна лишь 12% рассмотренных систем оценок;
• только в 20% случаев принималась во внимание теория изменений; при этом лишь в одном случае были четко отражены контекстуальный анализ, основные предположения и риски;
• гибкость в использовании теории изменений также отмечена только в одном случае; в остальных случаях ожидаемые результаты были фиксированными, а возможность их пересмотра в случае непредвиденных обстоятельств не предусматривалась;
• сбор необходимых для осуществления оценки данных в 88% случаев начинался только на завершающих этапах реализации антикоррупционных мер.

2 этап. На данном этапе эксперты U4 анализировали качество оценок антикоррупционных мер, в том числе следующие факты:

• Учитывает ли оценка такие принципы, как актуальность, согласованность, эффективность, результативность, наличие воздействия и устойчивость?
• Основана ли оценка на структурированном дизайне исследования?
• Дается ли критическая оценка используемой теории изменений?
• Являются ли результаты оценки достоверными и представляют ли они подлинную оценку воздействия?
• Помогает ли оценка понять результаты воздействия?
• Учитывает ли оценка гендерную специфику и интерсекциональность?
• Проводилась ли оценка таким образом, чтобы повысить вероятность того, что ее результаты будут использованы в дальнейшем?

По итогам данного этапа авторы приходят к следующим выводам:

• средняя продолжительность оценки составила 3 месяца – по мнению экспертов U4, за такой срок вряд ли возможно провести качественный анализ;
• в 76% случаев отсутствовал структурированный дизайн проведения оценки;
• 69% оценок стандартизированы и не специфичны для конкретных антикоррупционных мер;
• в 80% случаев оценка была направлена только на анализ принятых мер в рамках определенной программы по борьбе с коррупцией, что не дает возможности понять более широкую динамику;
• контекстный анализ проводился лишь в 1/3 рассмотренных оценок; при этом такой анализ, как правило, был поверхностных и не всегда оказывался связан с результатами оценки;
• в 92% случаев были опубликованы сведения об используемых методах исследования, что указывает на высокий уровень прозрачности;
• в 14 случаях (15%)  несмотря на то, что изначально теория изменений не применялась, были предприняты попытки подготовить собственные интерпретации произошедших преобразований;
• в 62% оценок либо не использовались какие-либо формы количественных измерений коррупции, либо используемые методы имели существенные недостатки для понимания изменений;
• в 61% случаев в проведении оценки принимал участие хотя бы один представитель оцениваемого государства; при этом лишь в 1/3 всех оценок было предусмотрено заключение контракта на проведение оценки – либо с национальной организацией, либо с группой лиц, в которую входит представитель соответствующей юрисдикции;
• только в ходе 7 рассмотренных оценок (8%) на всех этапах учитывалась гендерная специфика и интерсекциональность;
• 66% оценок представлены и организованы таким образом, что читатель может легко усвоить основные идеи.

Для повышения эффективности оценки антикоррупционных мер эксперты U4 предлагают следующие рекомендации:

• разрабатывать антикоррупционные меры так, чтобы в дальнейшем можно было проводить их оценку, в частности, использовать теорию изменений на основе контекстуального анализа, опираться на релевантные показатели;
• пересмотреть существующие организационные модели, которые ориентированы на проведение оценок на завершающих этапах реализации антикоррупционных мер в сжатые сроки, в частности, увеличить количество выделяемых на проведение оценки ресурсов, начинать соответствующий процесс уже в начале реализации антикоррупционных мер, увеличить сроки проведения оценки;
• обеспечить проведение обучающих и просветительских мероприятий для лиц, ответственных за проведение оценки, с целью формирования у них более глубокого понимания теории изменений при разработке и реализации антикоррупционных мер;
• активно использовать в ходе оценки методы, позволяющие установить причинно-следственные связи;
• учитывать гендерную специфику и интерсекциональность в процессе проведения оценки;
• по необходимости использовать все доступные на данный момент способы измерения коррупции и связанных с ней правонарушений;
• стимулировать лиц, ответственных за проведение оценки, учитывать полученные результаты в иных сферах, например, в государственных закупках;
• публиковать в открытом доступе все материалы проводимых оценок.

*Теория изменений (ToC) – это подход к разработке и оценке документов стратегического планирования, мер государственной политики или отдельных проектов и программ (например, для организации антикоррупционного просвещения), направленный на получение и визуализацию наиболее полного и последовательного перечня действий, необходимых для достижения конечного результата (эффекта).

Согласно теории изменений, каждый инструмент воздействия должен быть сфокусирован на достижении конкретного изменения – без обоснованного предположения о том, как желаемые изменения будут достигаться, эффективное использование инструмента маловероятно. ToC позволяет описать причинно-следственные связи, возникающие в ходе решения какой-либо проблемы, а также возникающие допущения и риски, и связать непосредственные действия при реализации политики с запланированным конечным результатом.

Теория изменений включает следующие ключевые элементы:

• определение желаемого результата: четкое определение того, чего вы хотите достичь в результате изменений;
• анализ текущего состояния: понимание текущей ситуации и выявление проблем, которые необходимо решить;
• определение целей и задач: постановка конкретных, измеримых и достижимых целей и задач, которые необходимо выполнить для достижения желаемого результата;
• идентификация необходимых ресурсов: определение необходимых ресурсов (финансовых, человеческих, технологических и т.д.) для реализации изменений;
• разработка стратегии реализации: создание плана действий, который описывает, как и когда будут выполнены задачи и достигнуты цели;
• мониторинг и оценка: регулярный мониторинг прогресса и оценка эффективности изменений для внесения коррективов и улучшения процесса;
• учет обратной связи: сбор и анализ обратной связи от заинтересованных сторон для улучшения процесса изменений.

**Эксперты U4 отмечают, что проведенное исследование имело ряд ограничений, в том числе:

1. в исследовании не учитывались следующие оценки:

• не касающиеся непосредственно антикоррупционных мер, а затрагивающие смежные сферы, например, государственное управление, верховенство права;
• подготовленные организациями гражданского общества отдельных стран;
• не предполагающие публикации регулярных отчетов;

2. оценки, рассматриваемые в исследовании, могли быть опубликованы не в полном объеме;

3. в отношении некоторых рассматриваемых оценок отсутствовали полные данные о том, как они осуществлялись;

4. сведения о контексте, в котором осуществлялись оценки, отсутствовали.