Streszczenie raportów ewaluacyjnych z projektów CKE
W ramach prowadzonego przez nas monitoringu zadeklarowałyśmy między innymi, że będziemy gromadzić opisy monitorowanych projektów, sprawozdań z realizacji projektów i informacji pokontrolnych, a także, że będziemy opracowywać streszczenia tych materiałów. W przypadku trzech monitorowanych przez nas projektów uzyskałyśmy informację, że decyzją Ministerstwa Rozwoju, sprawozdania roczne nie będą publikowane. Dostałyśmy natomiast raporty ewaluacyjne (z których tylko jeden zamieszczony jest na stronach CKE) - i te, zgodnie z zapowiedzią, niniejszym streszczamy.
Każdy z raportów ewaluacyjnych przygotowany został przez inną firmę, w różnym czasie. Wszystkie trzy opierają się na analizie danych zastanych, a także na ankietach i wywiadach z osobami, uczestniczącymi w projektach. Raport dotyczący projektu e-ocenianie jako jedyny omawia krótko pozostałe projekty realizowane w CKE i podkreśla ich wzajemną spójność. Raport z projektu dotyczącego Budowy banku zadań podkreśla nie do końca dobry podział zadań i działań między tym projektem, a projektem Pilotaż nowych egzaminów maturalnych. Niewiele jest w raportach danych na temat wydanych w ramach projektów pieniędzy. W zasadzie tylko w raporcie na temat e-oceniania wskazuje na poważne niedoszacowanie części kosztów. Wszystkie trzy raporty są generalnie pozytywne.
Projekt: Budowa banku zadań
Idea: wyszkolenie ekspertek i ekspertów, które i którzy będą potrafili tworzyć zadania egzaminacyjne, stworzenie materiałów dla nauczycielek i nauczycieli oraz uczennic i uczniów, z dobrymi przykładowymi zadaniami oraz banku zadań, z którego CKE będzie mogła korzystać przy tworzeniu arkuszy egzaminacyjnych
Ewaluacja: „Raport końcowy: Przeprowadzenie badania ewaluacyjnego projektu pt. Budowa banku zadań. Badanie realizowane na zlecenie Centralnej Komisji Egzaminacyjnej”, Fundacja IDEA Rozwoju, Warszawa 2015
Streszczenie raportu ewaluacyjnego:
Według stanu na 9 maja 2014 r., opracowanych zostało łącznie 32.737 zadań egzaminacyjnych. Powstało 7 zespołów tworzących zadania egzaminacyjne na wszystkich poziomach i dla wszystkich przedmiotów egzaminacyjnych. Opracowana została technologia umożliwiająca funkcjonowanie banków zadań w aspekcie techniczno-informatycznym.
Z opracowanych zadań kompletną recenzję miało 18.858 zadań, dalszych 5.002 było w recenzjach, 8.570 bez jakiejkolwiek recenzji. 15.880 zadań egzaminacyjnych zostało zamieszczonych w zeszytach do próbnego zastosowania. Liczby te dotyczą wyłącznie 5 zespołów, których zadania zostały poddane próbnemu zastosowaniu. Jednocześnie, według Ewidencji liczby zadań przekazanych do banku zadań z dnia 15 sierpnia 2014 r. wynika, że do banku zadań przekazano 20024 zadania, a kolejny dokument Ewidencja liczby zadań przekazanych do CKE, których nie wprowadzono do banku pokazuje, że do CKE wpłynęło dodatkowo ponad 10 tysięcy zadań, które nie zostały wprowadzone do banku zadań.
Wśród rezultatów twardych projektu Budowa banków zadań wymienionych we wniosku o dofinansowanie znajdowały się:
- 7 zespołów autorów zadań egzaminacyjnych dodatkowo wspomaganych przez ekspertów i grafików, zespół centralny, zespół statystyczny, zespół administratorów banków zadań i zespół standaryzacyjny,
- 29 osób w zespole humanistycznym,
- 22 osoby w zespole społecznym,
- 23 osoby w zespole matematyczno-informatycznym,
- 31 osób w zespole przyrodniczym,
- 65 osób w zespole języków obcych,
- 32 osoby w zespole opracowującym zadania dla uczniów ze specjalnym potrzebami edukacyjnymi,
- 38 osób w zespole egzaminów eksternistycznych,
- 20 osób w zespole centralnym CKE,
- 2 osoby w zespole statystycznym,
- 3 osoby i 1 grafik w zespole administratorów banków zadań,
- 5 osób w zespole standaryzacyjnym oraz osoby wspomagające (ankieterzy),
- Zbiór 28.400 sparametryzowanych zadań egzaminacyjnych w formie elektronicznej,
- Procedury tworzenia zadań egzaminacyjnych,
- Procedura przechowywania zadań w elektronicznym banku zadań,
- Platforma internetowa umożliwiająca współpracę CKE i OKE w Poznaniu oraz zespołów przedmiotowych w zakresie organizacji i funkcjonowania banków zadań,
- Podniesienie kwalifikacji autorów zadań egzaminacyjnych,
- Przygotowanie w formie elektronicznej 24 zbiorów zadań do sprawdzianu i egzaminu maturalnego,
- Aplikacja mobilna – multiplatformowa zbiorów zadań.
Ewaluatorzy zwracają jednak uwagę, że choć we wniosku o dofinansowanie powyższe wyniki zostały zapisane, jako rezultaty, zgodnie z metodologią tworzenia wskaźników w projektach współfinansowanych z funduszy unijnych, w części przypadków należy je rozpatrywać jako produkty projektu.
Należy również zauważyć spore oszczędności finansowe w projekcie, uzyskane na etapie udzielania zamówień publicznych. Zdaniem ewaluatorów przyczyna takiego stanu rzeczy leży w stosowaniu zdecydowanie zbyt często ceny jako jedynego kryterium wyboru najlepszej oferty.
Nie budzi zastrzeżeń ewaluatorów trafność i adekwatność działań realizowanych w ramach projektu, zarówno z punktu widzenia realizacji jego celów i rezultatów, celów Priorytetu III PO KL oraz pożądanych kierunków rozwoju systemu oceniania zewnętrznego, jako narzędzia budowania jakości systemu oświaty. Na podstawie badania można uznać, że przyjętą strategię realizacji projektu można uznać za spójną i kompleksową. Projekt stanowi również co do zasady dobrą odpowiedź na zdiagnozowane problemy, potrzeby i wyzwania, które stoją przed systemem egzaminów zewnętrznych.
Banki wydają się być skuteczną metodą na uproszczenie sposobu układania zadań egzaminacyjnych oraz zmniejszenie koszty tego procesu. Jako dodatkowy pozytywny aspekt projektu należy wskazać podnoszenie kompetencji autorów, w zakresie umiejętności tworzenia zadań, a co a tym idzie, poprawę ich jakości.
Zastrzeżeń nie budzi również trwałość rozwiązań wprowadzonych przez projekt. Banki zadań są narzędziem uniwersalnym, które łatwo będzie dostosować do potrzeb bieżących.
Dobór działań informacyjno-promocyjnych w ramach projektu został dostosowany do uwarunkowań wynikających ze specyfiki projektu, tj. wymogu daleko idącej anonimowości, i jako taki nie budzi zastrzeżeń. Również zasoby zaangażowane w tym zakresie wydają się adekwatne do potrzeb. Działania informacyjno-promocyjne docierały do odbiorców, którzy o projekcie powinni być poinformowani. Również pozytywnie można ocenić ich zakres.
Istotnym elementem ewaluacji było badanie opinii uczestników i uczestniczek ocenianego projektu. Badani podkreślają, że sukcesem projektu – oprócz wytworzonych zadań – jest to, że powstała duża grupa ekspertek i ekspertów, umiejących tworzyć zadania.
Projekt: Wdrażanie systemu informatycznego do e-oceniania
(kontynuacja projektu Przygotowanie systemu elektronicznego do e-oceniania)
Idea: prace z matematyki są skanowane, egzaminator/egzaminatorka ocenia je we własnym domu przed własnym komputerem (korzystając z wdrożonego w ramach projektu oprogramowania), z możliwością skonsultowania się z innym egzaminatorem-ekspertem/ekspertką.
Słowo-klucz tego projektu: „modernizacja”
Strona projektu: http://e-ocenianie.pl/
8-13 maja 2015: egzaminatorzy i egzaminatorki oceniali na ekranach swoich komputerów rozwiązania trzech zadań z matematyki, które były na egzaminie w gimnazjum. Zadania oceniało 750 egzaminatorów z czterech okręgowych komisji egzaminacyjnych: w Jaworznie, Krakowie, Łodzi i we Wrocławiu.
W 2016 roku egzaminatorzy ze wszystkich komisji będą oceniać rozwiązania zadań z matematyki w gimnazjum na ekranach swoich komputerów.
Liczby:
- przeszkolono 9 062 egzaminatorów i ekspertów
- Przeprowadzono sesje e-oceniania prac z egzaminu maturalnego z matematyki w sesji poprawkowej w sierpniu 2012 (powstało zespoły 369 egzaminatorów, sprawdzono 38 368 prac (mniej niż zakładane 50 000 bo mniej było prac),
- Przeprowadzono sesję e-oceniania prac z egzaminu gimnazjalnego z matematyki w sesji głównej w kwietniu 2013 (sprawdzono 379 567 prac, powstały zespoły 1784 egzaminatorów)
Ostateczny rozliczony koszt tego projektu to 11 mln 740 tys zł.
Ewaluacja: „Raport końcowy Wdrożenie systemu informatycznego do e-oceniania”, PSDB, Warszawa 2013
Streszczenie raportu ewaluacyjnego:
Celem głównym projektu jest wdrożenie e-oceniania do systemu egzaminów zewnętrznych. Aby było to możliwe, niezbędne było przygotowanie kadr, zapewnienie określonych warunków technicznych, przeprowadzenie testów działania systemu w warunkach maksymalnie zbliżonych do rzeczywistych, dokonanie ewentualnych zmian w systemie w wyniku oceny zrealizowanych działań oraz przygotowanie i przeprowadzenie zmian prawnych, umożliwiających stosowanie e-oceniania w praktyce egzaminacyjnej. Oceniany projekt nie przewiduje ostatniego elementu. W jego miejsce zakłada przygotowanie studium wykonalności odnoszące się do przyszłego wdrożenia.
Nie został osiągnięty jeden rezultat – utworzenie 8 centrów skanowania prac. Nie zagroziło to jednak, zdaniem ewaluatorów, osiągnięciu celu, do którego był przypisany, bowiem dostarczone zostały wszystkie pozostałe zaplanowane produkty, a usługi, jakie miały być realizowane w centrach, zostały zakupione na zewnątrz.
Wszystkie cele szczegółowe (poza w/w centrami) oraz założone w projekcie rezultaty i produkty zostały osiągnięte.:
- przeszkolono 9 062 egzaminatorów i ekspertów
- Przeprowadzono sesje e-oceniania prac z egzaminu maturalnego z matematyki w sesji poprawkowej w sierpniu 2012 (powstało zespoły 369 egzaminatorów, sprawdzono 38 368 prac (mniej niż zakładane 50 000 bo mniej było prac),
- Przeprowadzono sesję e-oceniania prac z egzaminu gimnazjalnego z matematyki w sesji głównej w kwietniu 2013 (sprawdzono 379 567 prac, powstały zespoły 1784 egzaminatorów – uwaga j.w.
Ostatni cel szczegółowy „Wdrożenie systemu zapewniania jakości oceniania”, którego produktem miały być sprawozdania z realizacji projektu, raport z ewaluacji sumującej oraz projekt rekomendujący harmonogram i model wprowadzania zmiany oceniania w całym systemie egzaminacyjnym, został zrealizowany lub był w trakcie realizacji w momencie dokonywania ewaluacji.
Celem głównym projektu jest wdrożenie e-oceniania do systemu egzaminów zewnętrznych.
Zdaniem ewaluatorów projekty wdrożeniowy, odnoszący się do całego systemu egzaminów zewnętrznych, nie byłby możliwy do zrealizowania w niespełna dwa lata i prawdopodobnie musiałby kosztować więcej niż zakładane 27 mln zł.
Powstaje więc pytanie, czy obrana strategia jest niekompletna, czy może źle określono cel projektu. Wiele wskazuje na to, że strategia jest właściwa, natomiast wadliwie zdefiniowano cel postawiony przez projektem. Na przyjęcie takiej wersji wskazuje przebieg dotychczasowych prac w obszarze e-oceniania, gdzie w pierwszym projekcie przeprowadzono badania dotyczące możliwych rozwiązań, w drugim dokonano zakupu, instalacji i wstępnego testowania systemu. Oznacza to, że rolą trzeciego, zaplanowanego zaledwie na dwa lata, może być jedynie przygotowanie do powszechnego wdrożenia do systemu egzaminów, a przez przygotowanie rozumiano dokonanie weryfikacji wszelkich parametrów wiążących się z przyszłym potencjalnym wdrożeniem.
Jednocześnie należy podkreślić, że zrealizowane dotychczas projekty, w tym zwłaszcza projekt drugi, „Przygotowanie systemu informatycznego do e-oceniania”, realizowany w latach 2010-2011, w zdecydowany sposób ograniczyły pole manewru, jeśli chodzi o dobór działań. Jeśli w ramach poprzedniego projektu m.in. wyprodukowano konkretne oprogramowanie do e-oceniania, aplikację Scoris Assessor, to trudno było w kolejnym projekcie kontestować ten fakt i poszukiwać innych rozwiązań. Jedyną możliwością było dalsze pogłębione testowanie, już w warunkach identycznych z rzeczywistymi, co z kolei wymagało przeszkolenia kolejnych grup uczestników systemu. Ta okoliczność też sprawia, że obecny projekt samodzielnie nie ma wpływu na usuwanie istniejących w systemie egzaminów zewnętrznych problemów, a jedynie stanowi w tym względzie kontynuację działań związanych z usuwaniem tych problemów, rozpoczętą tak naprawdę w 2007 r.
O tym, że e-ocenianie jest właściwym kierunkiem zmian w systemie egzaminów zewnętrznych i że stanowić będzie modernizację systemu, przekonani byli wszyscy badani w ramach ewaluacji w badaniach jakościowych.
O ile spodziewany jest pozytywny wpływ e-oceniania na zmodernizowane systemu egzaminów zewnętrznych, o tyle jego pozytywny wpływ na poprawę jakości funkcjonowania systemu oświaty nie jest już tak oczywisty bowiem decyduje o tym także wiele innych czynników.
Podczas przeprowadzenia sesji e-oceniania egzaminu gimnazjalnego z matematyki (z 11 października 2013), zawiódł system Scoris. Okazał się on bowiem nieprzygotowany do jednoczesnego działania tak dużej liczby użytkowników. Zespół doraźnie zaradził problemowi, ustalając indywidualne zasady łącznie się poszczególnych egzaminatorów z systemem i ostatecznie sesja trwała jeden dzień dłużej w stosunku do założonego planu. System Scoris- zakupiony w poprzednim projekcie – jest jeszcze na gwarancji.
Co drugi egzaminator (50%) postawiony w sytuacji wyboru: tradycyjne ocenianie arkuszy w formie papierowej czy zdalne ocenianie arkuszy elektronicznych, preferowałby drugie rozwiązanie, czyli e-ocenianie. Ale jednocześnie tylko ok. 25% wybiera ocenianie tradycyjne, a pozostali jeszcze nie potrafi dokonać wyboru. Najbardziej przychylni e-ocenianiu są egzaminatorzy, którzy uczestniczyli dotychczas w przynajmniej jednej sesji sprawdzana prac z pomocą systemu informatycznego co daje dobre świadectwo przeprowadzonym pilotażom – udział w realnym e-ocenianiu podwyższa jego ocenę.
Jednocześnie jednak ewaluatorzy, generalnie pozytywnie oceniający projekt, napisali w rekomendacjach: „Podejmowanie kolejnych projektów powinno być poprzedzone staranną analizą zasadności i adekwatności projektów tak, by nie było wątpliwości, komu i po co potrzebne jest realizowane działanie” (s. 7 i 79 „Raportu”)
Projekt: Pilotaż nowych egzaminów maturalnych
W praktyce: nie tyle pilotaż, ile opracowanie nowej koncepcji egzaminów, związane z wprowadzeniem matematyki na maturze, z dostosowywaniem egzaminów do nowej podstawy programowej oraz radykalną przebudową egzaminu ustnego z języka polskiego
Projekt: pięć komponentów
1. opracowanie nowej koncepcji pracy nad arkuszami egzaminacyjnymi (IV.1).
2. przeprowadzenie pilotażu egzaminów z matematyki (IV.2.1) i filozofii (IV.2.2).
3. modernizacja egzaminu maturalnego z przedmiotów innych niż obowiązkowe na poziomie rozszerzonym (IV.3).
4. modernizacja egzaminu maturalnego z języka polskiego (IV.4).
5. przeprowadzenie szkoleń egzaminatorów egzaminu maturalnego z języka polskiego, matematyki, biologii, chemii, fizyki, geografii, historii i wiedzy o społeczeństwie (IV.5).
słowa-klucze: „modernizacja”, „ocenianie holistyczne”
Ewaluacja: „Raport końcowy, dot. badania ewaluacyjnego p.n. Pilotaż nowych egzaminów maturalnych”, Fundacja im. Królowej Polski św. Jadwigi, Puszczykowo, sierpień 2015
Streszczenie raportu ewaluacyjnego:
Komponent dotyczący matematyki - podsumowanie
Skuteczność realizowanych w ramach komponentu pn. „Przeprowadzenie pilotażu egzaminów z matematyki” oceniono wysoko. Wszystkie założenia projektu zostały osiągnięte – wypracowano wszystkie konieczne do przygotowania egzaminu maturalnego materiały: arkusze egzaminacyjne, zadania, materiały skierowane do społeczeństwa oraz przeprowadzono pilotaż i próbne egzaminy maturalne.
W II fazie (od r.2012) projektu opracowano koncepcję realizacji egzaminu maturalnego z matematyki na poziomie rozszerzonym, wypracowano arkusze egzaminacyjne do egzaminu, opracowano informator o egzaminie maturalnym, zbiór zadań oraz broszurę z wybranymi wzorami matematycznymi. Ponadto w ramach realizacji projektu wytworzono sieć instytucji i osób wspomagających realizację projektu.
Jakość wypracowanych rozwiązań i materiałów oceniana jest wysoko. Jako szczególnie istotne wskazywana jest wprowadzona zmiana w postrzeganiu matury z matematyki jako egzaminu sprawdzającego umiejętności rachunkowe na egzamin sprawdzający myślenie matematyczne.
Jako zaistniałe na etapie realizacji komponentu bariery i problemy wskazano:
- W odniesieniu do materiałów dla egzaminatorów – brak wyczerpalnej puli rozwiązań alternatywnych i schematów ich oceniania. Wypracowane przez zespół komplety rozwiązań i schematów oceniania okazały się niewystarczające w obliczu inwencji uczniów, co powoduje utrzymanie problemu z ocenianiem rozwiązań niestandardowych, szczególnie w sytuacji, w której uczeń popełnia w nim błąd.
- Brak wykorzystania wypracowanego przez zespół arkusza maturalnego podczas rzeczywistego egzaminu maturalnego w maju 2015 r.
Ograniczenie możliwości oddziaływania projektu do systemu egzaminacyjnego, brak znaczącego wpływu na system nauczania wymagający dostosowania do nowej filozofii nauczania i egzaminowania z matematyki.
- Ograniczenia projektowe związane z konieczności precyzyjnego planowania niedostosowaną do projektów o specyfice stricte koncepcyjnej.
- Długi czas realizacji projektu wymuszający swoiste zmiany w strukturze personelu projektu związane ze zdarzeniami losowymi i życiowymi.
Komponent: przedmioty nieobowiązkowe poziom rozszerzony biologia, chemia, fizyka, geografia, historia i wiedza o społeczeństwie
Zmiany:
- Sprzęgnięcie założeń egzaminu maturalnego z nową podstawą programową.
- Wprowadzenie obowiązku zdawania egzaminu pisemnego z jednego przedmiotu dodatkowego
- Wprowadzenie egzaminów z przedmiotów dodatkowych wyłącznie na poziomie rozszerzonym w formie pisemnej (wynik ten nie ma wpływu na zdanie egzaminu)
Opracowane materiały:
„Metodologia tworzenia arkuszy egzaminacyjnych i ich standaryzacji”- część wspólna i części przedmiotowe
„Metodyka i procedury oceniania arkuszy egzaminacyjnych” - część wspólna i części przedmiotowe
6 propozycji informatorów przedmiotowych
24 przykładowe arkusze maturalne (po 4 do każdego przedmiotu)
6 programów szkoleń egzaminatorów
Przygotowanie i przeprowadzenie pilotażu z 6 przedmiotów na odpowiednio dobranych próbach uczniów
Przygotowanie i przeprowadzenie egzaminu próbnego z przedmiotów
Z podsumowania (str.81): Dokonano kompleksowej modyfikacji założeń egzaminów maturalnych z przedmiotów dodatkowych.
W przypadku przedmiotów (biologia, fizyka, historia) wprowadzone zmiany miały charakter fundamentalny, w przypadku innych (chemia, geografia, wiedza o społeczeństwie) zmiany były mniej rewolucyjne i opierały się przede wszystkim na zmianie sposobu oceniania na holistyczny.
Działania zrealizowane w ramach komponentu należy ocenić jako skuteczne – w odniesieniu do wszystkich przedmiotów zostały zrealizowane wszystkie założenia projektu.
Problemy i bariery:
Wykorzystanie opracowanych przez zespoły przedmiotowe arkuszy do realizacji rzeczywistego egzaminu maturalnego nie było założeniem projektu wyrażonym implicite, tym niemniej takiego rozwiązania spodziewali się przedstawiciele zespołów przedmiotowych. Ze strony CKE nie było to możliwe ze względu na konieczność zachowania tajności egzaminu.
Brak wykorzystania i udostępnienia „nadprogramowych” zadań wypracowanych przez zespoły przedmiotowe do szerszego wykorzystania przez uczniów i nauczycieli
Opór ze strony środowiska nauczycielskiego i egzaminatorów w stosunku do wypracowywanych rozwiązań, w szczególności w stosunku do holistycznego oceniania.
Materiały a szczególnie informator uważany jest za „hermetyczność języka oraz techniczna formuła, która sprawia, iż uczniowie niechętnie korzystają z materiałów”.
Problemy z testowaniem
Komponent: modernizacja egzaminu maturalnego z języka polskiego
Celem głównym komponentu było opracowanie koncepcji modernizacji egzaminu maturalnego na poziomie podstawowym i rozszerzonym, przeprowadzenie jego pilotaży oraz próbnego egzaminu maturalnego na poziomie podstawowym i rozszerzonym, a także przygotowanie zadań, które będą wykorzystane w arkuszach maturalnych z języka polskiego.
Zmiany:
Zmiana formuły egzaminu ustnego
Zmiana sposobu oceniania wypracowania na poziomie podstawowym i rozszerzonym z analitycznego na holistyczny.
Wprowadzono zagadnienia związane z wymogiem kształcenia świadomości językowej
W ramach komponentu osiągnięto cel główny i wypracowano wszystkie zakładane elementy.
Wypracowana koncepcja została wykorzystana podczas realnego egzaminu maturalnego z języka polskiego przeprowadzonego w 2015 roku, głównie podczas przygotowania do egzaminu maturalnego oraz, w przypadku zadań na egzamin ustny podczas samego egzaminu.
Problemy i bariery:
Wypracowany schemat oceniania przedstawiony w informatorze oraz materiałach dla egzaminatorów oceniany jest jako za mało elastyczny ze względu na sztywne przypisanie wartości punktowych i brak możliwości elastycznego przyznawania punktów w przedziałach między poszczególnymi progami;
Informator jest trudny w odbiorze dla uczniów, dokument ma charakter bardzo techniczny i niejasny dla młodzieży.
Komponent dotyczący szkolenia egzaminatorów
Podsumowanie (str.240):
Skuteczność działań prowadzonych w ramach analizowanego komponentu oceniono wysoko. W krótkim czasie udało się przeprowadzić szkolenia dla ponad 21 tys. egzaminatorów egzaminu maturalnego z 8 przedmiotów najczęściej wybieranych przez maturzystów.
Wyniki badań ilościowych uczestników szkoleń pokazują, że wszystkie założone efekty szkoleń zostały osiągnięte.
Jakość wszystkich materiałów wypracowanych na potrzeby realizacji komponentu szkoleniowego sami uczestnicy szkoleń oceniają wysoko.
Każdy z raportów ewaluacyjnych przygotowany został przez inną firmę, w różnym czasie. Wszystkie trzy opierają się na analizie danych zastanych, a także na ankietach i wywiadach z osobami, uczestniczącymi w projektach. Raport dotyczący projektu e-ocenianie jako jedyny omawia krótko pozostałe projekty realizowane w CKE i podkreśla ich wzajemną spójność. Raport z projektu dotyczącego Budowy banku zadań podkreśla nie do końca dobry podział zadań i działań między tym projektem, a projektem Pilotaż nowych egzaminów maturalnych. Niewiele jest w raportach danych na temat wydanych w ramach projektów pieniędzy. W zasadzie tylko w raporcie na temat e-oceniania wskazuje na poważne niedoszacowanie części kosztów. Wszystkie trzy raporty są generalnie pozytywne.
Projekt: Budowa banku zadań
Idea: wyszkolenie ekspertek i ekspertów, które i którzy będą potrafili tworzyć zadania egzaminacyjne, stworzenie materiałów dla nauczycielek i nauczycieli oraz uczennic i uczniów, z dobrymi przykładowymi zadaniami oraz banku zadań, z którego CKE będzie mogła korzystać przy tworzeniu arkuszy egzaminacyjnych
Ewaluacja: „Raport końcowy: Przeprowadzenie badania ewaluacyjnego projektu pt. Budowa banku zadań. Badanie realizowane na zlecenie Centralnej Komisji Egzaminacyjnej”, Fundacja IDEA Rozwoju, Warszawa 2015
Streszczenie raportu ewaluacyjnego:
Według stanu na 9 maja 2014 r., opracowanych zostało łącznie 32.737 zadań egzaminacyjnych. Powstało 7 zespołów tworzących zadania egzaminacyjne na wszystkich poziomach i dla wszystkich przedmiotów egzaminacyjnych. Opracowana została technologia umożliwiająca funkcjonowanie banków zadań w aspekcie techniczno-informatycznym.
Z opracowanych zadań kompletną recenzję miało 18.858 zadań, dalszych 5.002 było w recenzjach, 8.570 bez jakiejkolwiek recenzji. 15.880 zadań egzaminacyjnych zostało zamieszczonych w zeszytach do próbnego zastosowania. Liczby te dotyczą wyłącznie 5 zespołów, których zadania zostały poddane próbnemu zastosowaniu. Jednocześnie, według Ewidencji liczby zadań przekazanych do banku zadań z dnia 15 sierpnia 2014 r. wynika, że do banku zadań przekazano 20024 zadania, a kolejny dokument Ewidencja liczby zadań przekazanych do CKE, których nie wprowadzono do banku pokazuje, że do CKE wpłynęło dodatkowo ponad 10 tysięcy zadań, które nie zostały wprowadzone do banku zadań.
Wśród rezultatów twardych projektu Budowa banków zadań wymienionych we wniosku o dofinansowanie znajdowały się:
- 7 zespołów autorów zadań egzaminacyjnych dodatkowo wspomaganych przez ekspertów i grafików, zespół centralny, zespół statystyczny, zespół administratorów banków zadań i zespół standaryzacyjny,
- 29 osób w zespole humanistycznym,
- 22 osoby w zespole społecznym,
- 23 osoby w zespole matematyczno-informatycznym,
- 31 osób w zespole przyrodniczym,
- 65 osób w zespole języków obcych,
- 32 osoby w zespole opracowującym zadania dla uczniów ze specjalnym potrzebami edukacyjnymi,
- 38 osób w zespole egzaminów eksternistycznych,
- 20 osób w zespole centralnym CKE,
- 2 osoby w zespole statystycznym,
- 3 osoby i 1 grafik w zespole administratorów banków zadań,
- 5 osób w zespole standaryzacyjnym oraz osoby wspomagające (ankieterzy),
- Zbiór 28.400 sparametryzowanych zadań egzaminacyjnych w formie elektronicznej,
- Procedury tworzenia zadań egzaminacyjnych,
- Procedura przechowywania zadań w elektronicznym banku zadań,
- Platforma internetowa umożliwiająca współpracę CKE i OKE w Poznaniu oraz zespołów przedmiotowych w zakresie organizacji i funkcjonowania banków zadań,
- Podniesienie kwalifikacji autorów zadań egzaminacyjnych,
- Przygotowanie w formie elektronicznej 24 zbiorów zadań do sprawdzianu i egzaminu maturalnego,
- Aplikacja mobilna – multiplatformowa zbiorów zadań.
Ewaluatorzy zwracają jednak uwagę, że choć we wniosku o dofinansowanie powyższe wyniki zostały zapisane, jako rezultaty, zgodnie z metodologią tworzenia wskaźników w projektach współfinansowanych z funduszy unijnych, w części przypadków należy je rozpatrywać jako produkty projektu.
Należy również zauważyć spore oszczędności finansowe w projekcie, uzyskane na etapie udzielania zamówień publicznych. Zdaniem ewaluatorów przyczyna takiego stanu rzeczy leży w stosowaniu zdecydowanie zbyt często ceny jako jedynego kryterium wyboru najlepszej oferty.
Nie budzi zastrzeżeń ewaluatorów trafność i adekwatność działań realizowanych w ramach projektu, zarówno z punktu widzenia realizacji jego celów i rezultatów, celów Priorytetu III PO KL oraz pożądanych kierunków rozwoju systemu oceniania zewnętrznego, jako narzędzia budowania jakości systemu oświaty. Na podstawie badania można uznać, że przyjętą strategię realizacji projektu można uznać za spójną i kompleksową. Projekt stanowi również co do zasady dobrą odpowiedź na zdiagnozowane problemy, potrzeby i wyzwania, które stoją przed systemem egzaminów zewnętrznych.
Banki wydają się być skuteczną metodą na uproszczenie sposobu układania zadań egzaminacyjnych oraz zmniejszenie koszty tego procesu. Jako dodatkowy pozytywny aspekt projektu należy wskazać podnoszenie kompetencji autorów, w zakresie umiejętności tworzenia zadań, a co a tym idzie, poprawę ich jakości.
Zastrzeżeń nie budzi również trwałość rozwiązań wprowadzonych przez projekt. Banki zadań są narzędziem uniwersalnym, które łatwo będzie dostosować do potrzeb bieżących.
Dobór działań informacyjno-promocyjnych w ramach projektu został dostosowany do uwarunkowań wynikających ze specyfiki projektu, tj. wymogu daleko idącej anonimowości, i jako taki nie budzi zastrzeżeń. Również zasoby zaangażowane w tym zakresie wydają się adekwatne do potrzeb. Działania informacyjno-promocyjne docierały do odbiorców, którzy o projekcie powinni być poinformowani. Również pozytywnie można ocenić ich zakres.
Istotnym elementem ewaluacji było badanie opinii uczestników i uczestniczek ocenianego projektu. Badani podkreślają, że sukcesem projektu – oprócz wytworzonych zadań – jest to, że powstała duża grupa ekspertek i ekspertów, umiejących tworzyć zadania.
Projekt: Wdrażanie systemu informatycznego do e-oceniania
(kontynuacja projektu Przygotowanie systemu elektronicznego do e-oceniania)
Idea: prace z matematyki są skanowane, egzaminator/egzaminatorka ocenia je we własnym domu przed własnym komputerem (korzystając z wdrożonego w ramach projektu oprogramowania), z możliwością skonsultowania się z innym egzaminatorem-ekspertem/ekspertką.
Słowo-klucz tego projektu: „modernizacja”
Strona projektu: http://e-ocenianie.pl/
8-13 maja 2015: egzaminatorzy i egzaminatorki oceniali na ekranach swoich komputerów rozwiązania trzech zadań z matematyki, które były na egzaminie w gimnazjum. Zadania oceniało 750 egzaminatorów z czterech okręgowych komisji egzaminacyjnych: w Jaworznie, Krakowie, Łodzi i we Wrocławiu.
W 2016 roku egzaminatorzy ze wszystkich komisji będą oceniać rozwiązania zadań z matematyki w gimnazjum na ekranach swoich komputerów.
Liczby:
- przeszkolono 9 062 egzaminatorów i ekspertów
- Przeprowadzono sesje e-oceniania prac z egzaminu maturalnego z matematyki w sesji poprawkowej w sierpniu 2012 (powstało zespoły 369 egzaminatorów, sprawdzono 38 368 prac (mniej niż zakładane 50 000 bo mniej było prac),
- Przeprowadzono sesję e-oceniania prac z egzaminu gimnazjalnego z matematyki w sesji głównej w kwietniu 2013 (sprawdzono 379 567 prac, powstały zespoły 1784 egzaminatorów)
Ostateczny rozliczony koszt tego projektu to 11 mln 740 tys zł.
Ewaluacja: „Raport końcowy Wdrożenie systemu informatycznego do e-oceniania”, PSDB, Warszawa 2013
Streszczenie raportu ewaluacyjnego:
Celem głównym projektu jest wdrożenie e-oceniania do systemu egzaminów zewnętrznych. Aby było to możliwe, niezbędne było przygotowanie kadr, zapewnienie określonych warunków technicznych, przeprowadzenie testów działania systemu w warunkach maksymalnie zbliżonych do rzeczywistych, dokonanie ewentualnych zmian w systemie w wyniku oceny zrealizowanych działań oraz przygotowanie i przeprowadzenie zmian prawnych, umożliwiających stosowanie e-oceniania w praktyce egzaminacyjnej. Oceniany projekt nie przewiduje ostatniego elementu. W jego miejsce zakłada przygotowanie studium wykonalności odnoszące się do przyszłego wdrożenia.
Nie został osiągnięty jeden rezultat – utworzenie 8 centrów skanowania prac. Nie zagroziło to jednak, zdaniem ewaluatorów, osiągnięciu celu, do którego był przypisany, bowiem dostarczone zostały wszystkie pozostałe zaplanowane produkty, a usługi, jakie miały być realizowane w centrach, zostały zakupione na zewnątrz.
Wszystkie cele szczegółowe (poza w/w centrami) oraz założone w projekcie rezultaty i produkty zostały osiągnięte.:
- przeszkolono 9 062 egzaminatorów i ekspertów
- Przeprowadzono sesje e-oceniania prac z egzaminu maturalnego z matematyki w sesji poprawkowej w sierpniu 2012 (powstało zespoły 369 egzaminatorów, sprawdzono 38 368 prac (mniej niż zakładane 50 000 bo mniej było prac),
- Przeprowadzono sesję e-oceniania prac z egzaminu gimnazjalnego z matematyki w sesji głównej w kwietniu 2013 (sprawdzono 379 567 prac, powstały zespoły 1784 egzaminatorów – uwaga j.w.
Ostatni cel szczegółowy „Wdrożenie systemu zapewniania jakości oceniania”, którego produktem miały być sprawozdania z realizacji projektu, raport z ewaluacji sumującej oraz projekt rekomendujący harmonogram i model wprowadzania zmiany oceniania w całym systemie egzaminacyjnym, został zrealizowany lub był w trakcie realizacji w momencie dokonywania ewaluacji.
Celem głównym projektu jest wdrożenie e-oceniania do systemu egzaminów zewnętrznych.
Zdaniem ewaluatorów projekty wdrożeniowy, odnoszący się do całego systemu egzaminów zewnętrznych, nie byłby możliwy do zrealizowania w niespełna dwa lata i prawdopodobnie musiałby kosztować więcej niż zakładane 27 mln zł.
Powstaje więc pytanie, czy obrana strategia jest niekompletna, czy może źle określono cel projektu. Wiele wskazuje na to, że strategia jest właściwa, natomiast wadliwie zdefiniowano cel postawiony przez projektem. Na przyjęcie takiej wersji wskazuje przebieg dotychczasowych prac w obszarze e-oceniania, gdzie w pierwszym projekcie przeprowadzono badania dotyczące możliwych rozwiązań, w drugim dokonano zakupu, instalacji i wstępnego testowania systemu. Oznacza to, że rolą trzeciego, zaplanowanego zaledwie na dwa lata, może być jedynie przygotowanie do powszechnego wdrożenia do systemu egzaminów, a przez przygotowanie rozumiano dokonanie weryfikacji wszelkich parametrów wiążących się z przyszłym potencjalnym wdrożeniem.
Jednocześnie należy podkreślić, że zrealizowane dotychczas projekty, w tym zwłaszcza projekt drugi, „Przygotowanie systemu informatycznego do e-oceniania”, realizowany w latach 2010-2011, w zdecydowany sposób ograniczyły pole manewru, jeśli chodzi o dobór działań. Jeśli w ramach poprzedniego projektu m.in. wyprodukowano konkretne oprogramowanie do e-oceniania, aplikację Scoris Assessor, to trudno było w kolejnym projekcie kontestować ten fakt i poszukiwać innych rozwiązań. Jedyną możliwością było dalsze pogłębione testowanie, już w warunkach identycznych z rzeczywistymi, co z kolei wymagało przeszkolenia kolejnych grup uczestników systemu. Ta okoliczność też sprawia, że obecny projekt samodzielnie nie ma wpływu na usuwanie istniejących w systemie egzaminów zewnętrznych problemów, a jedynie stanowi w tym względzie kontynuację działań związanych z usuwaniem tych problemów, rozpoczętą tak naprawdę w 2007 r.
O tym, że e-ocenianie jest właściwym kierunkiem zmian w systemie egzaminów zewnętrznych i że stanowić będzie modernizację systemu, przekonani byli wszyscy badani w ramach ewaluacji w badaniach jakościowych.
O ile spodziewany jest pozytywny wpływ e-oceniania na zmodernizowane systemu egzaminów zewnętrznych, o tyle jego pozytywny wpływ na poprawę jakości funkcjonowania systemu oświaty nie jest już tak oczywisty bowiem decyduje o tym także wiele innych czynników.
Podczas przeprowadzenia sesji e-oceniania egzaminu gimnazjalnego z matematyki (z 11 października 2013), zawiódł system Scoris. Okazał się on bowiem nieprzygotowany do jednoczesnego działania tak dużej liczby użytkowników. Zespół doraźnie zaradził problemowi, ustalając indywidualne zasady łącznie się poszczególnych egzaminatorów z systemem i ostatecznie sesja trwała jeden dzień dłużej w stosunku do założonego planu. System Scoris- zakupiony w poprzednim projekcie – jest jeszcze na gwarancji.
Co drugi egzaminator (50%) postawiony w sytuacji wyboru: tradycyjne ocenianie arkuszy w formie papierowej czy zdalne ocenianie arkuszy elektronicznych, preferowałby drugie rozwiązanie, czyli e-ocenianie. Ale jednocześnie tylko ok. 25% wybiera ocenianie tradycyjne, a pozostali jeszcze nie potrafi dokonać wyboru. Najbardziej przychylni e-ocenianiu są egzaminatorzy, którzy uczestniczyli dotychczas w przynajmniej jednej sesji sprawdzana prac z pomocą systemu informatycznego co daje dobre świadectwo przeprowadzonym pilotażom – udział w realnym e-ocenianiu podwyższa jego ocenę.
Jednocześnie jednak ewaluatorzy, generalnie pozytywnie oceniający projekt, napisali w rekomendacjach: „Podejmowanie kolejnych projektów powinno być poprzedzone staranną analizą zasadności i adekwatności projektów tak, by nie było wątpliwości, komu i po co potrzebne jest realizowane działanie” (s. 7 i 79 „Raportu”)
Projekt: Pilotaż nowych egzaminów maturalnych
W praktyce: nie tyle pilotaż, ile opracowanie nowej koncepcji egzaminów, związane z wprowadzeniem matematyki na maturze, z dostosowywaniem egzaminów do nowej podstawy programowej oraz radykalną przebudową egzaminu ustnego z języka polskiego
Projekt: pięć komponentów
1. opracowanie nowej koncepcji pracy nad arkuszami egzaminacyjnymi (IV.1).
2. przeprowadzenie pilotażu egzaminów z matematyki (IV.2.1) i filozofii (IV.2.2).
3. modernizacja egzaminu maturalnego z przedmiotów innych niż obowiązkowe na poziomie rozszerzonym (IV.3).
4. modernizacja egzaminu maturalnego z języka polskiego (IV.4).
5. przeprowadzenie szkoleń egzaminatorów egzaminu maturalnego z języka polskiego, matematyki, biologii, chemii, fizyki, geografii, historii i wiedzy o społeczeństwie (IV.5).
słowa-klucze: „modernizacja”, „ocenianie holistyczne”
Ewaluacja: „Raport końcowy, dot. badania ewaluacyjnego p.n. Pilotaż nowych egzaminów maturalnych”, Fundacja im. Królowej Polski św. Jadwigi, Puszczykowo, sierpień 2015
Streszczenie raportu ewaluacyjnego:
Komponent dotyczący matematyki - podsumowanie
Skuteczność realizowanych w ramach komponentu pn. „Przeprowadzenie pilotażu egzaminów z matematyki” oceniono wysoko. Wszystkie założenia projektu zostały osiągnięte – wypracowano wszystkie konieczne do przygotowania egzaminu maturalnego materiały: arkusze egzaminacyjne, zadania, materiały skierowane do społeczeństwa oraz przeprowadzono pilotaż i próbne egzaminy maturalne.
W II fazie (od r.2012) projektu opracowano koncepcję realizacji egzaminu maturalnego z matematyki na poziomie rozszerzonym, wypracowano arkusze egzaminacyjne do egzaminu, opracowano informator o egzaminie maturalnym, zbiór zadań oraz broszurę z wybranymi wzorami matematycznymi. Ponadto w ramach realizacji projektu wytworzono sieć instytucji i osób wspomagających realizację projektu.
Jakość wypracowanych rozwiązań i materiałów oceniana jest wysoko. Jako szczególnie istotne wskazywana jest wprowadzona zmiana w postrzeganiu matury z matematyki jako egzaminu sprawdzającego umiejętności rachunkowe na egzamin sprawdzający myślenie matematyczne.
Jako zaistniałe na etapie realizacji komponentu bariery i problemy wskazano:
- W odniesieniu do materiałów dla egzaminatorów – brak wyczerpalnej puli rozwiązań alternatywnych i schematów ich oceniania. Wypracowane przez zespół komplety rozwiązań i schematów oceniania okazały się niewystarczające w obliczu inwencji uczniów, co powoduje utrzymanie problemu z ocenianiem rozwiązań niestandardowych, szczególnie w sytuacji, w której uczeń popełnia w nim błąd.
- Brak wykorzystania wypracowanego przez zespół arkusza maturalnego podczas rzeczywistego egzaminu maturalnego w maju 2015 r.
Ograniczenie możliwości oddziaływania projektu do systemu egzaminacyjnego, brak znaczącego wpływu na system nauczania wymagający dostosowania do nowej filozofii nauczania i egzaminowania z matematyki.
- Ograniczenia projektowe związane z konieczności precyzyjnego planowania niedostosowaną do projektów o specyfice stricte koncepcyjnej.
- Długi czas realizacji projektu wymuszający swoiste zmiany w strukturze personelu projektu związane ze zdarzeniami losowymi i życiowymi.
Komponent: przedmioty nieobowiązkowe poziom rozszerzony biologia, chemia, fizyka, geografia, historia i wiedza o społeczeństwie
Zmiany:
- Sprzęgnięcie założeń egzaminu maturalnego z nową podstawą programową.
- Wprowadzenie obowiązku zdawania egzaminu pisemnego z jednego przedmiotu dodatkowego
- Wprowadzenie egzaminów z przedmiotów dodatkowych wyłącznie na poziomie rozszerzonym w formie pisemnej (wynik ten nie ma wpływu na zdanie egzaminu)
Opracowane materiały:
„Metodologia tworzenia arkuszy egzaminacyjnych i ich standaryzacji”- część wspólna i części przedmiotowe
„Metodyka i procedury oceniania arkuszy egzaminacyjnych” - część wspólna i części przedmiotowe
6 propozycji informatorów przedmiotowych
24 przykładowe arkusze maturalne (po 4 do każdego przedmiotu)
6 programów szkoleń egzaminatorów
Przygotowanie i przeprowadzenie pilotażu z 6 przedmiotów na odpowiednio dobranych próbach uczniów
Przygotowanie i przeprowadzenie egzaminu próbnego z przedmiotów
Z podsumowania (str.81): Dokonano kompleksowej modyfikacji założeń egzaminów maturalnych z przedmiotów dodatkowych.
W przypadku przedmiotów (biologia, fizyka, historia) wprowadzone zmiany miały charakter fundamentalny, w przypadku innych (chemia, geografia, wiedza o społeczeństwie) zmiany były mniej rewolucyjne i opierały się przede wszystkim na zmianie sposobu oceniania na holistyczny.
Działania zrealizowane w ramach komponentu należy ocenić jako skuteczne – w odniesieniu do wszystkich przedmiotów zostały zrealizowane wszystkie założenia projektu.
Problemy i bariery:
Wykorzystanie opracowanych przez zespoły przedmiotowe arkuszy do realizacji rzeczywistego egzaminu maturalnego nie było założeniem projektu wyrażonym implicite, tym niemniej takiego rozwiązania spodziewali się przedstawiciele zespołów przedmiotowych. Ze strony CKE nie było to możliwe ze względu na konieczność zachowania tajności egzaminu.
Brak wykorzystania i udostępnienia „nadprogramowych” zadań wypracowanych przez zespoły przedmiotowe do szerszego wykorzystania przez uczniów i nauczycieli
Opór ze strony środowiska nauczycielskiego i egzaminatorów w stosunku do wypracowywanych rozwiązań, w szczególności w stosunku do holistycznego oceniania.
Materiały a szczególnie informator uważany jest za „hermetyczność języka oraz techniczna formuła, która sprawia, iż uczniowie niechętnie korzystają z materiałów”.
Problemy z testowaniem
Komponent: modernizacja egzaminu maturalnego z języka polskiego
Celem głównym komponentu było opracowanie koncepcji modernizacji egzaminu maturalnego na poziomie podstawowym i rozszerzonym, przeprowadzenie jego pilotaży oraz próbnego egzaminu maturalnego na poziomie podstawowym i rozszerzonym, a także przygotowanie zadań, które będą wykorzystane w arkuszach maturalnych z języka polskiego.
Zmiany:
Zmiana formuły egzaminu ustnego
Zmiana sposobu oceniania wypracowania na poziomie podstawowym i rozszerzonym z analitycznego na holistyczny.
Wprowadzono zagadnienia związane z wymogiem kształcenia świadomości językowej
W ramach komponentu osiągnięto cel główny i wypracowano wszystkie zakładane elementy.
Wypracowana koncepcja została wykorzystana podczas realnego egzaminu maturalnego z języka polskiego przeprowadzonego w 2015 roku, głównie podczas przygotowania do egzaminu maturalnego oraz, w przypadku zadań na egzamin ustny podczas samego egzaminu.
Problemy i bariery:
Wypracowany schemat oceniania przedstawiony w informatorze oraz materiałach dla egzaminatorów oceniany jest jako za mało elastyczny ze względu na sztywne przypisanie wartości punktowych i brak możliwości elastycznego przyznawania punktów w przedziałach między poszczególnymi progami;
Informator jest trudny w odbiorze dla uczniów, dokument ma charakter bardzo techniczny i niejasny dla młodzieży.
Komponent dotyczący szkolenia egzaminatorów
Podsumowanie (str.240):
Skuteczność działań prowadzonych w ramach analizowanego komponentu oceniono wysoko. W krótkim czasie udało się przeprowadzić szkolenia dla ponad 21 tys. egzaminatorów egzaminu maturalnego z 8 przedmiotów najczęściej wybieranych przez maturzystów.
Wyniki badań ilościowych uczestników szkoleń pokazują, że wszystkie założone efekty szkoleń zostały osiągnięte.
Jakość wszystkich materiałów wypracowanych na potrzeby realizacji komponentu szkoleniowego sami uczestnicy szkoleń oceniają wysoko.
A.B., A.D. , 29 kwietnia 2016
Zobacz też:
dr Tomasz Wrzosek: Wizja reform edukacji – perspektywa osób realizujących projekty CKE. Raport z badania
Raport końcowy z ewaluacji projektu "Wdrożenie systemu informatycznego do e-oceniania"
Raport końcowy dot. badania ewaluacyjnego projektu pn. Pilotaż nowych egzaminów maturalnych
Raport końcowy. Przeprowadzenie badania ewaluacyjnego projektu pn. Budowa banku zadań
