7.1. Эволюция оценки проектов.

Основные изменения в определении термина «оценка» произошли в течение последних 30-40 лет. Именно в это время в мире значительно увеличилось число социально ориентированных проектов и программ в области здравоохранения, образования, защиты окружающей среды и пр.

Для определения понятия «оценка» можно обратиться к словарю, в котором термин «оценивать» трактуется как:

1. Устанавливать стоимость или значимость чего-либо или придавать такую стоимость или значимость;

2. Выносить взвешенное суждение, мнение о ценности или значении чего-либо[23].

Некоторые специалисты в области оценки проектов и программ употребляют термин «оценка» в приведенных выше значениях.

М. Скривен придерживается следующего подхода: «Оценка есть только то, что она есть, и не более — а именно, определение достоинства или ценности. А то, для чего она используется, — это уже совсем другое дело. Плохое — это плохое. Хорошее — это хорошее. Задача же эксперта по оценке в том и состоит, чтобы определить — что есть что»[24].

Как понятно, по мнению М. Скривена, первичной инстанцией для вынесения суждений о ценности проекта может быть эксперт, однако существуют другие точки зрения. Э.А. Сухман подходит к определению оценки с несколько иной точки зрения, он соглашается, что оценка включает процесс вынесения суждений о ценности. Однако, считает Э.А. Сухман, все люди каждый день выносят суждения о ценности чего-либо, когда покупают товары или выбирают, какую читать книгу и пр. Э.А. Сухман ввел термин «исследование для оценки», чтобы подчеркнуть разницу между повседневными суждениями о ценности чего-либо и профессиональной оценкой. Исследование для оценки, включает использование научно-исследовательских методов и приемов для целей проведения оценки[25].

Для Э.А. Сухмана оценка — это вопрос того, как это делается. Он способствовал изменению статуса и понимания оценки: от «субъективного суждения» — к использованию более формальных методов измерения качества работы, или к «объективным суждениям».

Другие эксперты расширили значение термина «оценка», привнеся такой аспект как цель оценки. К. Вайс определяет оценку так: «Цель оценки — измерение результатов программы и сопоставление их с задачами, которые эта программа должна решить... это одно из средств содействия последующему принятию решения относительно программы <...>, а также улучшения процесса разработки программ в будущем. Систематический анализ результатов каждого проекта позволит определить следующее: какие программы работали хорошо и должны быть расширены, какие программы не удались и должны быть прекращены, какие программы являются маргинальными и требуют модификации»[26].

Понимание оценки К. Вайс отличается представлением о том, должна ли быть у оценки четкая цель. Для К. Вайс обратная связь — поступление информации к управленцам (менеджерам), которые должны принимать решения о будущем финансировании, изменении программы — чрезвычайно важна. Именно наличие четкой цели может характеризовать оценку.

Р. Стейк согласен с К. Вайс, что цель является составной частью оценки, однако он не столь категоричен относительно того, что именно может быть такой целью. Некоторые ожидают, что оценка ответит на вопросы о достигнутых успехах, о результатах или следствиях проекта, об эффективности проекта по сравнению с затратами на него. В свою очередь Р. Стейк указывает: «Вопросы отражают различные цели и информационные потребности аудитории. К сожалению, при официально проводимой оценке лишь нескольким вопросам может быть уделено первоочередное внимание»[27].

Исторически сложилось так, что основными потребителями результатов оценки и основной группой лиц, формулирующих вопросы для ее проведения, стали те, кто эту оценку финансировал. Однако люди начали осознавать, что существуют различные группы, которые имеют законное право знать, какую «продукцию» производит проект или программа. К числу групп могут принадлежать: спонсоры программы, лица, занятые в оперативном управлении проектом, непосредственные «благополучатели» (клиенты) проекта, жители других регионов страны, которые, возможно, захотят повторить выполняемую по проекту работу, если проект оказался успешным.

П. Росси и Г. Фримен указывают, что эксперты по оценке должны уметь понимать точки зрения всех групп и учитывать их при планировании и проведении оценки, поскольку все точки зрения являются одинаково правомерными. «Точка зрения клиента или «целевой аудитории» не могут претендовать на большую «правомерность», чем точка зрения руководителей программы или финансирующего ее государственного органа. Ответственность эксперта по оценке заключается не в том, чтобы принимать одну из многих точек зрения в качестве единственно законной, а в том, чтобы ясно сформулировать, с какой именно точки зрения проводится данная конкретная оценка, а также признать существование и других точек зрения»[28].

П. Росси и Г. Фримен считают вопросы, используемые при проведении оценки, исключительно важными. Однако, по их мнению, вопросы оценки должны быть «сшиты по мерке» конкретного проекта и конкретной ситуации. Не существует единого набора вопросов, который годится для каждого случая. Применение исследовательских приемов и формулирование вопросов для проведения оценки зависят от того, «является ли подвергаемая оценке программа: инновационной, измененным или расширенным вариантом уже существующей программы; устоявшейся, стабильной деятельностью по оказанию услуг людям»[29].

Таким образом, понимание оценки претерпело изменение, и в современной науке представляется, что оценка программ, проектов происходит с учетом ряда условий и факторов, что не может не повышать качество оценки, которое является главным результатом процесса оценивания.

7.2. Мониторинг и оценка в ходе выполнения и по окончании проекта.

В силу сложности определения эффективности проекта оценка проектов (project evaluation) выделилась в качестве самостоятельной области знания и профессиональной деятельности. В Европейских развитых странах и США внедрение оценки политик, проектов, программ происходило вслед за реализацией реформ государственного управления, в России же такие практики до недавнего времени вообще не рассматривались как необходимые.

Мониторинг проектов (project monitoring) — процесс, который имеет много общего с оценкой, но существенным образом от нее отличается. Мониторинг – это постоянное отслеживание хода работ (в рамках проекта, программы) для сравнения текущего состояния дел с планом. Систематический сбор информации о ходе работ (в рамках мониторинга) производится, главным образом, для того, чтобы вовремя обнаруживать отклонения от намеченных планов. Хорошо работающая система мониторинга помогает руководителю организации (проекта, программы) своевременно реагировать на упомянутые выше отклонения.

Оценка (evaluation) же предполагает более глубокое проникновение в сущность происходящего. Она направлена на анализ результатов деятельности и/или произведенного эффекта и соотнесение этих результатов с определенными критериями. По итогам оценки выносится суждение об эффективности программы, проекта и формулируются рекомендации на будущее. В ходе оценки в числе других используются данные мониторинга[30].

Рассмотрим проведение оценки проекта по этапам[31]:

1. Постановка цели.

Оценка проектов помогает получить информацию для принятия управленческих решений. Запрос на проведение оценки всегда исходит от лица, принимающего решения. А суть запроса связана с тем, какие именно решения требуется принять. В действительности заинтересованные группы могут иметь противоположные мнения о цели оценки проекта или программы.

2. Определение задания на проведение оценки.

Главную часть задания на проведение оценки составляют вопросы, на которые надлежит ответить. Эти вопросы должны быть логически связаны с целью проведения оценки. Вопросы задания (evaluation questions) обычно бывают общими и не слишком многочисленными:

— Каковы фактические результаты проекта и как они соотносятся с его целями?

— Что можно считать основными достижениями проекта?

—Чего по сравнению с планом сделать не удалось и почему?

— Каковы перспективы продолжения работы по окончании проекта?

Вопросы задания формулируются, исходя из того, что необходимо узнать в результате оценки.

3. Планирование оценки. Определение методов и инструментов для сбора информации.

На этом этапе определяются методы для сбора информации, которые можно разделить на четыре основные группы: наблюдение, изучение документации, анкетирование и интервьюирование. Для сбора нужной информации необходимо подготовить соответствующие инструменты: разработать и апробировать анкету; сформулировать вопросы для проведения интервью; определить, на что обращать внимание при наблюдении и как регистрировать результаты наблюдения и т.д. На этом этапе также определяется график проведения работ по сбору информации.

4. Сбор информации.

На этом этапе необходимо беспристрастно фиксировать факты, не пытаясь их интерпретировать. Идея разделения этапов сбора информации и анализа заключается в том, что выводы должны базироваться не на отдельных фактах, а на их совокупности. Время для обобщений и выводов наступит позже, когда будут собраны все необходимые данные. При сборе информации могут использоваться данные мониторинга, например, сведения о количестве клиентов, их запросах, повторных обращениях, жалобах и т.д.

5. Анализ информации.

На этом этапе на основании полученных данных формулируются выводы и формируются рекомендации относительно принятия того самого управленческого решения, с которого все начиналось. Принципиальный момент заключается в том, чтобы не просто собрать статистические данные, а дать ответы на вопросы задания.

6. Подготовка отчета.

Отчет создается по структуре и содержанию, определенным во время этапа определения задания оценки. Структура отчета часто соответствует вопросам задания.

7. Сообщение о результатах оценки.

Последняя фаза проведения оценки важна для всех сторон. Для заказчика это своего рода заключение об успешности работы, которой он руководил или которую финансировал. Для тех, кто проводил оценку, это проверка на профессионализм и качество выполнения задания. Особые сложности возникают, когда организация производит оценку проекта своими силами. В этом случае не надо забывать об «обратной связи» с коллегами, с которыми проработал длительное время над проектом, программой.

Главным результатом проведения оценки является получение объективного заключения, которое может содержать и положительные, и отрицательные моменты работы над проектом, его реализации и т.д.

Возвращаясь к мониторингу проекта, следует определить систему мониторинга и «встроить» ее в проект с самого начала. Для этого необходимо:

— определить измеряемые показатели (индикаторы), по которым можно будет отслеживать ход проекта;

— установить источники информации для проведения мониторинга (организации, отделы, отдельные сотрудники или их группы, документы и т.д.);

— выбрать методы сбора информации;

— определить частоту и график сбора информации с учетом интенсивности оцениваемой деятельности;

— назначить ответственных за получение необходимой информации и договориться с теми, кто её будет предоставлять;

— определить технологию обработки и анализа получаемой информации;

— спланировать, как и кому будут переданы данные мониторинга, а также, кто и как будет их использовать;

— учесть в бюджете проекта расходы на проведение мониторинга.

Таким образом, существуют различные способы получения информации о ходе и результатах проектов, программ, мониторинг позволяет получать информацию для оперативного управления, а оценка происходит после реализации и получения эффекта от проекта или его этапа.

7.3. Оценка инвестиционных социальных проектов.

В силу того, что основной целью социальных проектов является не извлечение прибыли, а достижение общественно полезного эффекта, их оценка носит ярко выраженную специфику.

Процедура оценки инвестиционных социальных проектов имеет две составляющие: экономическую и социальную. Экономическая составляющая основывается на анализе финансовых выгод от реализации проекта, а социальная составляющая на оценке социальных результатов от выполнения проекта.

Если социальный проект предполагает анализ экономических результатов, то оценка базируется на тех же показателях, что и для коммерческих проектов. Это коэффициенты простой нормы прибыли, чистой приведенной стоимости, индекс доходности, период окупаемости вложенных средств, показатель внутренней нормы прибыли.

К показателям оценки социальных результатов инвестиционных проектов относятся коэффициент социальной рентабельности, показатель чистой приведенной социальной стоимости, индекс социальной доходности, коэффициент внутренней нормы социальной доходности.

Коэффициент социальной рентабельности (SR) рассчитывается по аналогии с показателем экономической рентабельности как отношение денежной оценки социального эффекта к затратам на производство данного социального эффекта.

SR = Социальный эффект/ Затраты

В качестве примера может быть рассмотрена выбо­рочная вакцинация населения в одном из регионов. В данном случае социальный эффект будет проявляться в снижении уровня заболеваний населения региона, при этом выгоды получат те лица, которые не прошли вакцинацию, но остались здоровыми из-за сокращения масштабов распространения вируса. Таким образом, денежная оценка социального эффекта будет измеряться разницей стоимости затраченных медицинских услуг региона, где не проводилась вакцинация, и региона, где вакцинация имела место, при условии, что регионы равноценны по своим характеристикам. Затраты на производство социального эффекта измеряются расходами на проведение вакцинации в регионе[32].

Однако коэффициент социальной рентабельности не всегда поддается исчислению, в большинстве случаев это является крайне сложной задачей. Проявление социального эффекта от потребления культурных, образовательных и других некоммерческих услуг продлено во времени и находит свое отражение в различных отраслях экономики. Повышение образовательного, культурного уровня приводит к росту потребления в социально-культурной сфере, повышению производительности труда в сфере материального производства и т.д. Показатель социальной рентабельности наиболее применим для программ социально-экономического развития региона и страны в целом. Их результативность может быть оценена отношением изменения душевых (семейных) денежных доходов населения региона после ее внедрения к затратам на ее разработку и реализацию. Однако показатель социальной рентабельности может активно использоваться и в сфере здравоохранения, где результаты оказания медицинских услуг поддаются количественной оценке.

При оценке инвестиционных проектов некоммерческой направленности наиболее привлекательными являются проекты с наибольшими значениями социальной рентабельности. В большинстве случаев проекты с высокими значениями социальной рентабельности являются экономически убыточными проектами. При этом важно, чтобы социальная рентабельность проекта компенсировала финансовую нерентабельность проекта, т.е. сумма экономической и социальной рентабельности была выше нуля. Однако это условие не всегда является обязательным для проектов и программ государственных и муниципальных органов власти. Но оценка рентабельности должна осуществляться для того, чтобы расходование средств государственного бюджета происходило эффективно.

Для подобной оценки можно использовать показатель общей рентабельности проекта (TR) (или общей нормы доходности). Показатель общей рентабельности есть сумма экономической и социальной рентабельности, т.е. чистая прибыль от реализации проекта суммируется с денежной оценкой социального эффекта от проекта и относится к затратам, связанным с его выполнением[33].

Организациям (кроме государственных и муниципальных органов власти), реализующим социальные проекты, в целях финансовой стабильности необходимо принимать к реализации проекты с показателем общей рентабельности выше нуля. Возможны ситуации, когда некоммерческая организация может реализовывать проекты с отрицательной или нулевой общей рентабельностью, когда финансовые убытки от проекта будут превышать социальные выгоды. В этом случае финансовая стабильность некоммерческой организации может обеспечиваться за счет государства, благотворительных организаций, фондов и т.д.

Коэффициенты рентабельности являются наглядными показателями и удобными для анализа проектов, но не учитывают временной продолжительности проекта, что имеет большое значение, если доходы от проекта сильно растянуты во времени. В этом случае важную роль играет показатель чистой приведенной социальной стоимости (NPSV — net present social value)[34]. Он определяется по формуле:

Показатели социальной ценности проекта (программы) в году t , выраженные в денежной оценке, дисконтируются к нулевому году, потом суммируются и уменьшаются на сумму первоначальных инвестиций, связанных с реализацией проекта.

Определение социальной ценности проекта по годам сталкивается с теми же проблемами, что и измерение социального эффекта. На практике используют упрощенный метод. Например, в случае оказания медицинских, образовательных услуг на бесплатной или льготной основе социальная ценность измеряется полной ценой оказываемых услуг или разницей между полной и льготной ценой.

Ставка дисконта (Ks), с точки прения некоммерческой организации, отражает альтернативные направления вложения средств и принимается на уровне доходной ставки по краткосрочным казначейским обязательствам. С точки зрения благотворителей, коэффициент дисконтирования отражает альтернативную доходность благотворительных взносов. Благотворители имеют возможность вложить средства в портфель ценных бумаг, затем использовать доходы для прямого приобретения некоммерческих услуг. Таким образом, с точки зрения благотворителей, ставка дисконтирования равна доходности от вложений в акции коммерческой фирмы, предоставляющей подобные услуги.

При анализе социальных проектов невозможно однозначно требовать положительных значений коэффициента чистой приведенной стоимости, так как все затраты, связанные с реализацией проекта, могут превышать приведенную социальную стоимость проекта. В этом случае необходимо проанализировать также финансовые поступления от проекта, т.е. рассчитать показатель чистой приведенной денежной стоимости проекта. Для общей оценки социальных проектов можно использовать коэффициент общей чистой приведенной стоимости TNPV (total net present value)[35]:

Проект считается приемлемым, если TNPV>0. Однако, это не означает, что каждая составляющая формулы (NPV — чистая приведенная денежная стоимость и NPSV — чистая приведенная социальная стоимость) также должна быть положительной. В силу наличия высокой социальной ценности проекта могут реализовываться экономически убыточные проекты, в которых NPV<0. Кроме того, возможен вариант, когда проект имеет положительную приведенную денежную стоимость, но отрицательную социальную стоимость. Так, установление высоких цен на медицинские, образовательные, культурные услуги позволит получать высокие доходы от такой деятельности, но в то же время ограничит потребление услуг малообеспеченными слоями населения.

Конечно, невозможно стремиться к максимизации TNPV, так как, финансовая ценность социальных проектов может быть вытеснена социальной ценностью, и наоборот. Нехватка средств на социальные проекты должна покрываться либо за счет прибыли от реализации других проектов, либо за счет привлеченных средств от населения, коммерческого сектора и т.п.

Таким образом, оценка социальных проектов включает анализ финансовых и социальных результатов от реализации проекта, что делает такую оценку крайне сложной. Экономические и социальные результаты таких проектов могут быть противоречивыми, что не позволяет сделать однозначный выбор в пользу того или иного проекта. Кроме того, выбор проекта в большинстве случаев не осуществляется только оценкой социального или экономического эффекта, а диктуется необходимостью разрешения сложных социальных проблем.