Przystępując do monitorowania sposobu wydatkowania unijnych pieniędzy przez Centralną Komisję Egzaminacyjną musiałyśmy wybrać do bardziej szczegółowego badania kilka spośród dziesięciu projektów, realizowanych przez tę instytucję w latach 2007-2013 w ramach działania 3.2. Programu Operacyjnego Kapitał Ludzki. Wybrałyśmy jeden projekt, którego realizacja była zakończona i dwa projekty będące w trakcie realizacji. Projekt zakończony dotyczył przygotowania zmiany sposobu oceniania egzaminów i testów przeprowadzanych w szkołach poprzez wprowadzenie systemu e-oceniania (ocenianie z wykorzystaniem komputera i Internetu). Pełny tytuł projektu brzmiał: „Badania dotyczące podnoszenia jakości narzędzi systemu egzaminów zewnętrznych”. Projekt realizowany był w latach 2007-2009 a jego wartość wyceniono na 3 mln 346 tys. zł.
Wydawało nam się, że jeżeli instytucje zajmujące się bezpośrednią realizacją (CKE) i nadzorem merytorycznym nad projektem (MEN) zaliczają ten projekt do grupy projektów zakończonych, można oczekiwać jego konkretnych i wymiernych efektów. Nasza opinia wynikała także z tego, że w dokumentach dotyczących dalszych planowanych działań CKE nie przewidywano innych projektów dotyczących e-oceniania. Jednak w trakcie pozyskiwania materiałów (których większość nie jest publikowana na powszechnie dostępnych stronach internetowych instytucji, odpowiedzialnych za projekty dotyczące oświaty) nie bez trudu wyczytałyśmy, że „nasz” projekt nie został zakończony i że będzie kontynuowany.
Informacje dotyczące kontynuacji projektu trochę nas zaskoczyły, tym bardziej, że są one związane z wydatkowaniem dużych pieniędzy, nadal unijnych, które nie wiadomo skąd pochodzą. Nie są to pieniądze dodatkowe w budżecie na lata 2007-2013 a więc muszą pochodzić z przesunięć z innych projektów. Szkoda tylko, że wszystkie zmiany dokonywane są bez informowania o nich.
A nowe projekty? W czerwcu 2010 roku uruchomiony został projekt „Przygotowanie systemu informatycznego do e-oceniania”. Całkowity budżet tego projektu to 7 mln 259 tys. zł, projekt miał być realizowany od stycznia 2010 do grudnia 2011 roku. Na stronie internetowej e-ocenianie można było przeczytać, że „Projekt stanowi kontynuację realizowanego w latach 2007-2009 projektu „Badania dotyczące podnoszenia jakości narzędzi systemu egzaminów zewnętrznych”, w którym przeprowadzono pilotaż e-oceniania i przeszkolono 337 egzaminatorów do nowej technologii oceniania. Przeszkoleni egzaminatorzy dzięki zdobytym umiejętnościom i wiedzy wezmą udział w przeprowadzeniu testowego oceniania oprogramowania. Celem projektu jest przygotowanie oprogramowania do modernizacji polskiego systemu egzaminów zewnętrznych poprzez wdrożenie oceniania z wykorzystaniem narzędzi informatycznych (electronic marking)".patrz
W następnych latach pojawił się kolejny projekt. W „Planie działania na rok 2012” (dla przypomnienia – jest to jeden z najważniejszych dokumentów planistycznych dotyczących wydatkowania środków unijnych) znajdujemy informację , że w roku 2012 rozpocznie się realizacja projektu „Wdrożenie systemu elektronicznego do e-oceniania”. Projekt ma być realizowany od 01.2012 – 12.2013 r. a jego wartość wyniesie 22 mln 741 tys. zł.
Decyzja o uruchomieniu tego projektu podpisana została przez minister Joannę Berdzik 15 maja 2012 roku. Na stronie internetowej e-ocenianie.pl podana jest informacja o celach projektu, ale nie o jego kosztach. Aktualna edycja projektu zakłada m.in. „Przeprowadzenie sesji e-oceniania prac egzaminacyjnych z egzaminu maturalnego z matematyki (sesja poprawkowa 2012) i z egzaminu gimnazjalnego z zakresu matematyki (sesja główna 2013)”.
Koszt realizacji pierwszego projektu (zakończonego i nie-zakończonego zarazem) określony był na 3 mln 346 tys. zł, co wydawało się nam sumą ogromną. Z rozliczenia projektu wynika, że wartość wydatkowana i rozliczona projektu wyniosła 2,320 mln zł. Nie jest to jednak wynik oszczędności – nie udało nam się stwierdzić z czego wynika ta obniżka kosztów. Wiadomo, że wstępnie projekt miał się składać z trzech podprojektów, ale dwa z nich nie zostały wykonane. W roku 2008, w związku ze zmianami w prawie (wydanie nowej podstawy programowej) zaniechano działań w podprojekcie 2 ponieważ cele, działania i rezultaty dotyczące standardów wymagań egzaminacyjnych straciły uzasadnienie merytoryczne (informacja ze strony CKE). W tym samym roku realizacja działań w podprojekcie 3 została przesunięta do innego projektu, również prowadzonego przez CKE, a zatytułowanego „Badania uwarunkowań zróżnicowania wyników egzaminów zewnętrznych”. Tak więc za mniejszą kwotę wykonano mniej – ale dokładniejszego uzasadnienia zmian kosztów brak.
A teraz trochę o rezultatach projektów, przy czym będzie to próba wykazania tych rezultatów, które mają bezpośredni wpływ na osiągnięcie efektu końcowego. Nie będziemy przytaczać informacji o odbytych spotkaniach zespołu projektowego, pracach organizacyjnych i raportach, które chyba nie mają chyba większego znaczenia dla projektu ponieważ nie zostały nigdzie opublikowane. A konkrety: za 2 mln 300 tys. zł przeszkolono 340 ekspertów do oceniania prac w nowej technologii i do prowadzenia dalszych szkoleń egzaminatorów, zaadaptowano oprogramowanie do oceniania oraz do administrowania e-ocenianiem i przygotowano raport rekomendujący CKE sposób wdrożenia e-oceniania. Ten ostatni dokument zatytułowany „Studium wykonalności dla projektu wdrożenie e-oceniania z wykorzystaniem technologii informatycznej w polskim systemie egzaminów zewnętrznych” wykonany został na zlecenie CKE przez firmę WYG International za kwotę 127 tys. zł co nie jest sumą dużą. Studium wykonane jest, moim zdaniem bardzo rzetelnie a nakłady na implementację projektu zostały wycenione na 9 mln 454 tys. 400 zł plus koszty operacyjne 1mln 683 tys. zł i jest to kwota znacznie niższa niż środki, wydawane w kolejnych latach na kolejne projekty, o których wspomniałam wyżej.
Na podstawie dostępnych nam materiałów nie możemy stwierdzić na ile analizy i rekomendacje zawarte w Studium Wykonalności zostały przyjęte i są realizowane. Wydaje się, że raczej w niewielkim stopniu, bo w ramach wspomnianego wcześniej kolejnego projektu, „Przygotowanie systemu informatycznego do e-oceniania”, na który wydano ponad 7 mln zł, wykonano oprogramowanie do zarządzania e -ocenianiem i prowadzenia oceniania z wykorzystaniem narzędzi elektronicznych – wersja alfa, beta oraz wersja finalna, przeszkolono 300 egzaminatorów i 18 informatyków.
Głównymi rezultatami trzeciego, trwającego projektu (czyli wspomnianego już projektu „Wdrożenie systemu elektronicznego do e-oceniania”), o wartości ponad 22 mln zł, ma być wdrożenie e-oceniania na jednym próbnym i jednym „właściwym” egzaminie dla jednego egzaminu na całej populacji, zapewnienie (co to znaczy?) modernizacji rozwiązań technologicznych (oprogramowania, sprzętu), stworzenie centrum skanowania prac do e-oceniania, przeszkolenie egzaminatorów i weryfikatorów.
Z ostatniej chwili. W projekcie Planu Działania na rok 2013 pojawia się nowa wartość projektu „Wdrożenie systemu elektronicznego do e-oceniania” – 27 mln 275 tys. zł, z tego w latach 2007-2012 (???) poniesiony został koszt 10 mln 451 tys. zł, a w roku 2013 planuje się wydatkować niemal 17 mln zł. Ponieważ brak innych informacji o tym projekcie, nie możemy powiedzieć czy to już będzie koniec wydatków na wprowadzenie systemu elektronicznego oceniania egzaminów w Polsce.
Wydawało nam się, że jeżeli instytucje zajmujące się bezpośrednią realizacją (CKE) i nadzorem merytorycznym nad projektem (MEN) zaliczają ten projekt do grupy projektów zakończonych, można oczekiwać jego konkretnych i wymiernych efektów. Nasza opinia wynikała także z tego, że w dokumentach dotyczących dalszych planowanych działań CKE nie przewidywano innych projektów dotyczących e-oceniania. Jednak w trakcie pozyskiwania materiałów (których większość nie jest publikowana na powszechnie dostępnych stronach internetowych instytucji, odpowiedzialnych za projekty dotyczące oświaty) nie bez trudu wyczytałyśmy, że „nasz” projekt nie został zakończony i że będzie kontynuowany.
Informacje dotyczące kontynuacji projektu trochę nas zaskoczyły, tym bardziej, że są one związane z wydatkowaniem dużych pieniędzy, nadal unijnych, które nie wiadomo skąd pochodzą. Nie są to pieniądze dodatkowe w budżecie na lata 2007-2013 a więc muszą pochodzić z przesunięć z innych projektów. Szkoda tylko, że wszystkie zmiany dokonywane są bez informowania o nich.
A nowe projekty? W czerwcu 2010 roku uruchomiony został projekt „Przygotowanie systemu informatycznego do e-oceniania”. Całkowity budżet tego projektu to 7 mln 259 tys. zł, projekt miał być realizowany od stycznia 2010 do grudnia 2011 roku. Na stronie internetowej e-ocenianie można było przeczytać, że „Projekt stanowi kontynuację realizowanego w latach 2007-2009 projektu „Badania dotyczące podnoszenia jakości narzędzi systemu egzaminów zewnętrznych”, w którym przeprowadzono pilotaż e-oceniania i przeszkolono 337 egzaminatorów do nowej technologii oceniania. Przeszkoleni egzaminatorzy dzięki zdobytym umiejętnościom i wiedzy wezmą udział w przeprowadzeniu testowego oceniania oprogramowania. Celem projektu jest przygotowanie oprogramowania do modernizacji polskiego systemu egzaminów zewnętrznych poprzez wdrożenie oceniania z wykorzystaniem narzędzi informatycznych (electronic marking)".patrz
W następnych latach pojawił się kolejny projekt. W „Planie działania na rok 2012” (dla przypomnienia – jest to jeden z najważniejszych dokumentów planistycznych dotyczących wydatkowania środków unijnych) znajdujemy informację , że w roku 2012 rozpocznie się realizacja projektu „Wdrożenie systemu elektronicznego do e-oceniania”. Projekt ma być realizowany od 01.2012 – 12.2013 r. a jego wartość wyniesie 22 mln 741 tys. zł.
Decyzja o uruchomieniu tego projektu podpisana została przez minister Joannę Berdzik 15 maja 2012 roku. Na stronie internetowej e-ocenianie.pl podana jest informacja o celach projektu, ale nie o jego kosztach. Aktualna edycja projektu zakłada m.in. „Przeprowadzenie sesji e-oceniania prac egzaminacyjnych z egzaminu maturalnego z matematyki (sesja poprawkowa 2012) i z egzaminu gimnazjalnego z zakresu matematyki (sesja główna 2013)”.
Koszt realizacji pierwszego projektu (zakończonego i nie-zakończonego zarazem) określony był na 3 mln 346 tys. zł, co wydawało się nam sumą ogromną. Z rozliczenia projektu wynika, że wartość wydatkowana i rozliczona projektu wyniosła 2,320 mln zł. Nie jest to jednak wynik oszczędności – nie udało nam się stwierdzić z czego wynika ta obniżka kosztów. Wiadomo, że wstępnie projekt miał się składać z trzech podprojektów, ale dwa z nich nie zostały wykonane. W roku 2008, w związku ze zmianami w prawie (wydanie nowej podstawy programowej) zaniechano działań w podprojekcie 2 ponieważ cele, działania i rezultaty dotyczące standardów wymagań egzaminacyjnych straciły uzasadnienie merytoryczne (informacja ze strony CKE). W tym samym roku realizacja działań w podprojekcie 3 została przesunięta do innego projektu, również prowadzonego przez CKE, a zatytułowanego „Badania uwarunkowań zróżnicowania wyników egzaminów zewnętrznych”. Tak więc za mniejszą kwotę wykonano mniej – ale dokładniejszego uzasadnienia zmian kosztów brak.
A teraz trochę o rezultatach projektów, przy czym będzie to próba wykazania tych rezultatów, które mają bezpośredni wpływ na osiągnięcie efektu końcowego. Nie będziemy przytaczać informacji o odbytych spotkaniach zespołu projektowego, pracach organizacyjnych i raportach, które chyba nie mają chyba większego znaczenia dla projektu ponieważ nie zostały nigdzie opublikowane. A konkrety: za 2 mln 300 tys. zł przeszkolono 340 ekspertów do oceniania prac w nowej technologii i do prowadzenia dalszych szkoleń egzaminatorów, zaadaptowano oprogramowanie do oceniania oraz do administrowania e-ocenianiem i przygotowano raport rekomendujący CKE sposób wdrożenia e-oceniania. Ten ostatni dokument zatytułowany „Studium wykonalności dla projektu wdrożenie e-oceniania z wykorzystaniem technologii informatycznej w polskim systemie egzaminów zewnętrznych” wykonany został na zlecenie CKE przez firmę WYG International za kwotę 127 tys. zł co nie jest sumą dużą. Studium wykonane jest, moim zdaniem bardzo rzetelnie a nakłady na implementację projektu zostały wycenione na 9 mln 454 tys. 400 zł plus koszty operacyjne 1mln 683 tys. zł i jest to kwota znacznie niższa niż środki, wydawane w kolejnych latach na kolejne projekty, o których wspomniałam wyżej.
Na podstawie dostępnych nam materiałów nie możemy stwierdzić na ile analizy i rekomendacje zawarte w Studium Wykonalności zostały przyjęte i są realizowane. Wydaje się, że raczej w niewielkim stopniu, bo w ramach wspomnianego wcześniej kolejnego projektu, „Przygotowanie systemu informatycznego do e-oceniania”, na który wydano ponad 7 mln zł, wykonano oprogramowanie do zarządzania e -ocenianiem i prowadzenia oceniania z wykorzystaniem narzędzi elektronicznych – wersja alfa, beta oraz wersja finalna, przeszkolono 300 egzaminatorów i 18 informatyków.
Głównymi rezultatami trzeciego, trwającego projektu (czyli wspomnianego już projektu „Wdrożenie systemu elektronicznego do e-oceniania”), o wartości ponad 22 mln zł, ma być wdrożenie e-oceniania na jednym próbnym i jednym „właściwym” egzaminie dla jednego egzaminu na całej populacji, zapewnienie (co to znaczy?) modernizacji rozwiązań technologicznych (oprogramowania, sprzętu), stworzenie centrum skanowania prac do e-oceniania, przeszkolenie egzaminatorów i weryfikatorów.
Z ostatniej chwili. W projekcie Planu Działania na rok 2013 pojawia się nowa wartość projektu „Wdrożenie systemu elektronicznego do e-oceniania” – 27 mln 275 tys. zł, z tego w latach 2007-2012 (???) poniesiony został koszt 10 mln 451 tys. zł, a w roku 2013 planuje się wydatkować niemal 17 mln zł. Ponieważ brak innych informacji o tym projekcie, nie możemy powiedzieć czy to już będzie koniec wydatków na wprowadzenie systemu elektronicznego oceniania egzaminów w Polsce.
Alicja Bukowska-Maciejczuk, 31 października 2012