|
Nie obrażaj więc mojej inteligencji poprzez czynione na pokaz zaniżanie własnej.
Ewaluacja projektów publicznych
Pierwsza ewaluacja
In the beginning God created the heaven and the earth.
And God saw everything that He made. “Behold,” God said, “it is very good.” And the evening and the morning were the sixth day.
And on the seventh day God rested from all His work. His archangel came then unto Him asking, “God, how do you know that you have created is ‘very good’? What are your criteria? On what data do you base your judgment? Aren’t you a little close to the situation to make a fair and unbiased evaluation?”
God thought about these questions all that day and His rest was greatly disturbed.
On the eight day God said, “Lucifer, go to hell.”
Z wprowadzenia do podręcznika:
Co to jest ewaluacja?
Ewaluacja przeprowadzana jest w przypadku programów i projektów finansowanych ze środków publicznych, których wartość nie jest bezpośrednio weryfikowana przez rynek (jak w sektorze prywatnym).
Definicja: systematyczne zastosowanie procedur badań społecznych do oszacowania wartości albo cech programu publicznego (planu, działania bądź obiektu) z punktu widzenia przyjętych kryteriów w oparciu o odpowiednie informacje, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia.
Albo krócej: „proces formowania sądu na temat wartości programu”
W Polsce ewaluacja nazywana bywa również „oceną”.
Czym jest ewaluacja, jaka powinna ona być? 1. analityczna (zastosowanie metod naukowych) 2. systematyczna 3. wiarygodna (ocena danego ewaluatora powinna być taka sama co innego, mającego dostęp do tych samych danych, używającego tych samych metod analizy danych) 4. zorientowana zadaniowo (powinna odnosić się do ważnych cech danego programu jak efektywność, wydajność) 5. skierowana na użytkownika (dająca wnioski dla decydentów w danych warunkach politycznych, ograniczeniach programu i dostępnych zasobach)
Czym nie jest ewaluacja? § opracowaniem naukowym: ewaluacje mają charakter bardziej praktyczny § audytem: audyt jest skoncentrowany na zagadnieniach prawnych i księgowych, aczkolwiek jego odmiana zwana audytem wykonawczym (performance audit), zajmująca się zagadnieniami wydajności i efektywności zarządzania jest podobna do ewaluacji, choć ona sama idzie „dalej” – dotyczy długookresowych konsekwencji programu, jego trwałości itd. § monitoringiem: choć ma on kluczową wagę dla poprawy wydajności i udanej ewaluacji (zbiera dane, używane później w ewaluacji)
Po co są ewaluacje? § dla poprawy zarządzania projektem publicznym § z powodu wiarygodności (są ważne dla zwolenników i przeciwników programu oraz obywateli; koncentrują się na wpływie programu (stopień w jakim daje oczekiwane wyniki) oraz efektywności kosztowej, są by poprawić transparentność) § dla poprawy alokacji zasobów budżetowych
Główne pojęcia i definicje
Co może być ewaluowane? § projekty, np. poprawa systemu nawadniania, szkolenie danej grupy pracowników § programy, np. program Phare, SPO RZL, SPO WKP § polityki, np. Wspólna Polityka Rolna
Jakie zagadnienia poruszane są przez ewaluacje? 1. Program i logika interwencji § ewaluator musi opisać ewaluowany program, co zawiera: a) potrzeby (problemy społeczno-gospodarcze), b) cele: § produkty (outputs) – rzeczy produkowane przez program § wpływy (impacts) – zmiany społeczno-gospodarcze wywołane programem, w tym: rezultat (result) – początkowy wpływ, wynik (outcome) – długookresowy wpływ § cele operacyjne – wyrażane jako output (np. przeszkolenie bezrobotnych) § cele specyficzne – wyrażane jako rezultat (np. zwiększenie zatrudnialności bezrobotnych poprzez podniesienie ich umiejętności) § cele ogólne – wyrażane jako outcome (zmniejszenie bezrobocia wśród osób uprzednio bezrobotnych) c) wskaźniki (ilościowe, jakościowe) § logika interwencji – wyjaśnienie, co i jak program ma osiągnąć?
Evaluating EU Activities. A practical guide for the Commission services, July 2004, Komisja Europejska, s. 11. 2. Główne kryteria ewaluacyjne § trafność (relevance) – na ile cele programu odpowiadają potrzebom i priorytetom (na poziomie kraju i UE)? § wydajność (efficiency) – jak oszczędnie nakłady zostały zamienione w produkty i rezultaty? § efektywność (effectiveness) – na ile wpływy programu przyczyniły się do osiągnięcia celów specyficznych i ogólnych? (nawet jeśli program jest wydajny, mógł być słabo zaprojektowany – stąd efektywność) § użyteczność (utility) – jak wpływy programu porównują się do potrzeb docelowej populacji, sektora, regionu? § trwałość (sustainability) – w jakim zakresie oczekuje się trwałości pozytywnych zmian po zakończeniu programu?
Główne zagadnienia ewaluacji Evaluating EU Activities. A practical guide for the Commission services, July 2004, Komisja Europejska, s. 72.
Jakie są rodzaje ewaluacji?
Z punktu widzenia terminu ewaluacji, wyróżnia się: § ewaluację ex-ante – w trakcie programowania, § ewaluację śródokresową (interim)– w trakcie wdrażania, w tym: v mid-term v final §
Evaluating EU Activities. A practical guide for the Commission services, July 2004, Komisja Europejska, s. 39. 1
Z punktu widzenia podmiotu realizującego ewaluację, wyróżnia się: § ewaluację wewnętrzną – dokonywaną przez jednostkę wdrażającą lub nadzorującą program § ewaluację zewnętrzną – przez niezależnych ekspertów, w tym przez: v konsultantów zarządzania: § zalety: szybkość, doskonała prezentacja wyników § wady: cena, ryzyko dostarczenia audytu (nie: ewaluacji) v instytucje akademickie § zalety: doświadczenie metodologiczne, duża wiedza, stosunkowo większa niezależność, niższa cena § wady: mniejsza chęć dostosowania się, ryzyko dostarczenia opracowania naukowego
Zalety i wady ewaluacji wewnętrznej i zewnętrznej
Duże programy:
Etapy ewaluacji: 1. Przygotowanie 2. Realizacja 3. Przekazanie raportu 4. Wykorzystanie wynikówPrzygotowanie ewaluacji „Nawet improwizację należy zaplanować” – J.D. Antoszkiewicz
1. Stworzenie struktury zarządzania ewaluacją (jednostka odpowiedzialna, grupa robocza (komitet ewaluacyjny), grupa sterująca – ale nie za duża!) 2. Opracowanie projektu ewaluacyjnego, w tym: v cele, v zakres (kwestie zamówień publicznych, pytania ewaluacyjne), v ustalenie porównań (benchmarking), v zakres dostępnych informacji, v plan roboczy, v wybór ewaluatora (zewnętrzny: kryteria oceny ofert) 3. Naszkicowanie zakresu kompetencji (zleceniodawcy i zleceniobiorcy)
Przeprowadzenie ewaluacji Uwaga: komitet ewaluacyjny nadzoruje i monitoruje prace ewaluatora.
„Praktyka pokazuje, że zaangażowanie zamawiającego na każdym etapie procesu ewaluacji prowadzi do zwiększenia jakości badania, pełniejszego zaspokojenia potrzeb i oczekiwań instytucji zlecającej, Ewaluacja w PARP. Wytyczne do systematycznej oceny programów realizowanych
Złota reguła przeprowadzania ewaluacji: nie ma złotych reguł
Dlaczego: każda ewaluacja jest inna (por. metoda wyróżniona). Etapy przeprowadzania ewaluacji: § strukturyzacja – określenie struktury programu § obserwacja – zebranie danych i informacji: v informacje pierwotne – pochodzące z badań przeprowadzonych na potrzeby ewaluacji; v informacje wtórne – dane dostępne w momencie rozpoczynania badania, np. dane ze statystyki publicznej lub z systemu monitoringowego § analiza – interpretacja danych, ale uwaga: v efekty brutto (wszystkie efekty programu) pomniejsza się o: o deadweight – efekty, które by zaszły bez interwencji publicznej o substytucję – osiąganie korzyści kosztem innych w ramach jednostki otrzymującej wsparcie (np. zatrudnienie na dotowanym stanowisku, zwalniając pracownika nie subsydiowanego) o przemieszczenie – odnoszenie korzyści kosztem jednostek nie otrzymujących wsparcie (stworzenie miejsc pracy w subsydiowanej firmie kosztem miejsc pracy w innej, nie dotowanej firmie) v i otrzymuje się efekty netto; ... |
Menu
|