Ze stron CKE
Decyzja Ministra Edukacji Narodowej: POKL.03.02.00-00-003/07 z dnia 7.02.2008
Koordynator dr Henryk Szaleniec,
menedżer Elżbieta Michalska - [email protected]; tel. (0-22) 53 66 627
• podjęcie próby adaptacji dla polskiego systemu egzaminów zewnętrznych rozwiązań stosowanych w Anglii wykorzystujących Internet do oceniania obrazów prac egzaminacyjnych (e-ocenianie);
• przygotowanie kaskady szkoleń dla 400 egzaminatorów w dziedzinie e-oceniania;
• przeprowadzenie pilotażu e-oceniania dla sprawdzianu, obu części egzaminu gimnazjalnego oraz egzaminu maturalnego z matematyki;
• zbadanie, czy efekt egzaminatora (surowość-łagodność) jest istotnym czynnikiem różnicującym wyniki egzaminacyjne uzyskiwane przy zastosowaniu tradycyjnego i zmodernizowanego systemu oceniania prac;
• rozwój kadry badaczy w zakresie posługiwania się analitycznymi narzędziami z wykorzystaniem probabilistycznej teorii zadania testowego (Item Response Theory).
• zapoznanie się z e-ocenianiem w Anglii, adaptacja oprogramowania oraz przygotowanie materiałów szkoleniowych dla przyszłych e-egzaminatorów;
• przygotowanie i przeprowadzenie szkolenia egzaminatorów w nowej technologii oceniania;
• pilotaż nowej technologii oceniania i analizy z wykorzystaniem IRT;
• monitorowanie efektu egzaminatora w nowej i stosowanej dotychczas technologii oceniania egzaminów zewnętrznych.
Według sprawozdania MEN za I półrocze 2010 r.
Projekt: Badania dotyczące podnoszenia jakości narzędzi systemu egzaminów zewnętrznych
Wartość: 3 346 081,78 zł.
Okres realizacji: 01.10.2007–31.12.2009
Realizacja projektu została zakończona.
Do końca I półrocza 2010 r. IP zatwierdziła wnioski o płatność za okres rozliczeniowy do 31.10.2009 r., na kwotę
1 902 836,92 zł. (procent rozliczenia: 56,87%). W I półroczu 2010 r. został złoŜony wniosek o płatność końcową
na kwotę 1 057 904,62 zł (weryfikacja wniosku została wstrzymana do czasu zakończenia czynności kontrolnych,tj. wykonania zaleceń pokontrolnych z przeprowadzonej przez IP kontroli na miejscu u Beneficjenta).
Głównym celem projektu było przeprowadzenie badań, analiz i pilotaŜy narzędzi słuŜących pomiarowi
efektywności kształcenia poprzez wyniki egzaminów zewnętrznych.
Projekt składał się z trzech części:
· Monitorowanie efektu egzaminatora oraz przygotowanie wprowadzenia oceniania z wykorzystaniem
narzędzi elektronicznych (Electronic Marking);
· Standardy wymagań egzaminacyjnych;
· Absolwenci na rynku pracy – trafność prognostyczna egzaminów zewnętrznych w kontekście
umiejętności koniecznych na rynku pracy.
W ramach realizacji projektu:
W wyniku realizacji projektu osiągnięto następujące zakładane rezultaty:
• Przeszkolono 340 z planowanych 400 (85%) ekspertów do oceniania prac w technologii e-oceniania i do prowadzenia powszechnego szkolenia egzaminatorów e-oceniania w egzaminach poddanych pilotażowi (pomimo przeprowadzenia dodatkowej rekrutacji, część uczestników zrezygnowała w trakcie szkolenia);
• Przygotowano projekt wprowadzenia i organizacji e-oceniania w Polsce;
• Zaadaptowano oprogramowanie do oceniania oraz do administrowania e-ocenianiem do wykorzystania w polskim systemie egzaminów zewnętrznych;
• Opracowano raport z wynikami porównania efektu egzaminatora dla oceniania tradycyjnego i e-oceniania dla egzaminów poddanych pilotażowi;
• Opracowano raport rekomendujący CKE sposób wdrożenia e-oceniania w systemie egzaminacyjnym w latach 2010-2013, zawierający propozycje merytoryczne, technologiczne oraz oszacowanie kosztów na etapie wdrażania e-oceniania w polskim systemie egzaminów zewnętrznych.
Całkowity budżet projektu 7 258 957, 92 zł Strona internetowa : www.e-ocenianie.pl
Decyzja Ministra Edukacji Narodowej: UDA-POKL.03.02.00-00-003/10-00 z dnia 18.06.2010 r. Koordynator dr Henryk Szaleniec Marta de Zuniga - [email protected]; tel. (0-22) 53 66 606
Projekt stanowi pierwszy etap „Wdrożenia oceniania z wykorzystaniem technologii informatycznej (e-marking) w polskim systemie egzaminów zewnętrznych”, ujętego w planie działania dla Priorytetu III PO KL na rok 2010, przewidzianego do realizacji w latach 2010-2013.
CKE planuje realizację kolejnego projektu, który będzie kontynuacją i wdrożeniem e-oceniania w polskim systemie egzaminów zewnętrznych i docelowo obniży koszty organizacji oceniania, zmniejszy presję czasową, zapewni wprowadzenie nowoczesnej, kompatybilnej z aktualnymi systemami operacyjnymi wersji oprogramowania stosowanego w OKE i CKE do oceniania prac egzaminacyjnych (praca z oprogramowaniem do e-oceniania).
Na stronie internetowej e-ocenianie w archiwum projektu można znaleźć taką informację: „Z przyjemnością informujemy, że 18 czerwca 2010 roku Pani Katarzyna Hall, Minister Edukacji Narodowej, popisała decyzję o uruchomieniu projektu Przygotowanie systemu informatycznego do e-oceniania. Projekt jest realizowany przez CKE i współfinansowany z Europejskiego Funduszu Społecznego w ramach III Priorytetu Programu Operacyjnego Kapitał Ludzki 2007-2013, Działanie 3.2 Rozwój systemu egzaminów zewnętrznych. Projekt stanowi kontynuację realizowanego w latach 2007-2009 projektu Badania dotyczące podnoszenia jakości narzędzi systemu egzaminów zewnętrznych, w którym przeprowadzono pilotaż e-oceniania i przeszkolono 337 egzaminatorów do nowej technologii oceniania. Przeszkoleni egzaminatorzy dzięki zdobytym umiejętnościom i wiedzy wezmą udział w przeprowadzeniu testowego oceniania oprogramowania. Celem projektu jest przygotowanie oprogramowania do modernizacji polskiego systemu egzaminów zewnętrznych poprzez wdrożenie oceniania z wykorzystaniem narzędzi informatycznych (electronic marking.
Celami szczegółowymi są:
1. Przygotowanie oprogramowania, które zapewni: m.in.:
- skanowanie rozwiązań zadań otwartych,
- tworzenie elektronicznych obrazów rozwiązań zadań,
- rozdzielanie zadań między egzaminatorów i rejestrowanie przydzielonych punktów,
- pracę egzaminatora zarówno przy własnym komputerze w domu, jak i w pracowni komputerowej w ośrodku oceniania,
- kontrolę jakości i zgodności punktowania rozwiązań,
- ustalanie wyników egzaminów.
2. Przygotowanie proceduralno-prawnych rozwiązań, umożliwiających wprowadzenie zmiany technologii oceniania.
Projekt realizuje Zespół Wdrożeniowy w składzie: 1. Jadwiga Brzdąk 2. Andrzej Folwaczny 3. Wojciech Małecki 4. Jerzy Matwijko 5. Łukasz Sanocki 6. Henryk Szaleniec 7. Grzegorz Terenowicz”
Według Planu Działania na lata 2007-2008
Krótki opis działań planowanych w ramach projektu:
W ramach projektu w latach 2007 - 2008 zaplanowana jest realizacja następujących działań:
1. Testowanie narzędzi elektronicznych (electronic marketing) wykorzystanych w ocenie zadań otwartych w pracach egzaminacyjnych.
2. Przeprowadzenie szkoleń dla nauczycieli – egzaminatorów z zakresu obsługi narzędzi elektronicznych wykorzystanych w nowym sposobie oceniania na każdym poziomie egzaminacyjnym (w przypadku egzaminów maturalnych – z uwzględnieniem każdego przedmiotu egzaminacyjnego).
3. Monitorowanie efektów pracy nauczycieli – egzaminatorów w ocenianiu tradycyjnym i w ocenianiu z wykorzystaniem narzędzi (electronic marketing).
Efektem realizacji projektu w latach 2007-2008 będzie:
1. Udostępnione narzędzia elektroniczne typu baza danych, opracowane procedury oceniania
z użyciem narzędzi elektronicznych, ulepszone arkusze egzaminacyjne - dostosowane do
wykorzystania w sieci ujęte w sprawozdaniu.
2. Przeszkolonych ogółem 100 nauczycieli – egzaminatorów w zakresie nowego sposobu
oceniania z wykorzystaniem sieci (electronic marketing). Sprawozdanie.
3. Przygotowanych 100 wyszkolonych nauczycieli – trenerów na każdym poziomie
egzaminacyjnym, a w maturze – dla kaŜdego przedmiotu. Sprawozdanie.
4. Przygotowany nowy model oceniania zaadoptowany w ocenianiu na odległość.
5. Przygotowane 3 analizy standardów wymagań egzaminacyjnych pod kątem ich spójności
i trafności ujęte w raporcie.
Opracowany został szczegółowy opis projektu
Odbyło sie 7 spotkan zespołu.
Zorganizowano wizytę studyjnaąw Wielkiej Brytanii w Data & Research Services Limited, w której uczestniczyło 6 osób.
Wykonano tłumaczenia z języka angielskiego materiałów o tematyce zwiazanej z projektem.
Stworzono strone internetowa (www.e-ocenianie.pl), która służy zdalnej komunikacji zespołu oraz jest przygotowywana do prowadzenia szkoleń metodą kaskady.
Przygotowano wstepne projekty kursów w metodologii blended learning, materiały do szkoleń, w tym scenariusz filmu, a także koncepcję rozbudowy portalu.
Przygotowano projekty szkoleń kaskadowych egzaminatorów, opracowano kryteria wyłonienia do pilotażu przedstawicieli z ośmiu OKE.
Wybrano próbę prac do skanowania
Przygotowano wstepny opis wymagan technicznych koniecznych do wdrażania e-oceniania.
Dokonano analizy wyników uzyskanych podczas monitorowania oceniania w sesj i egzaminacyjnej 2007.
Sprawozdanie za 2008 r.
http://www.cke-efs.pl/file.php/5/sprawozdanie_za_2008_projekt_I_1.pdf
Współpraca z DRS polegała na wymianie korespondencji, cotygodniowych telekonferencjach (w 4
kwartale) oraz kontaktach bezpośrednich wspólnego zespołu polsko-angielskiego podczas trzech krótkich wizyt studyjnych w DRS oraz spotkań zespołów w Polsce.
Prowadzone były badania na populacji egzaminatorów uczestniczących w szkoleniu i pilotaŜu e-oceniania. Zakończone zostały badania postaw egzaminatorów wobec zmian za pomocą „Kwestionariusza gotowości do zmiany”, Zespół prowadził również badania porównywalności punktowania zadań w pilotażowym e-ocenianiu. Monitorowany był efekt egzaminatora zarówno podczas
e-oceniania, jak i trakcie oceny próby prac w tradycy
jnej technologii.
Oprogramowanie e-Marker(®) CMI+ dla egzaminatora oraz e-Marker(®) CMI+ dla administratora e-oceniania zostało wyposaŜone w polskie menu. Zostały takŜe przygotowane polskie wersje
podręczników do obydwu aplikacji.
1. Przeszkolono 337 osób z 4 egzaminów (sprawdzian, egzamin gimnazjalny w obydwu częściach i egzamin maturalny z matematyki) do oceniania w sieci.
2. Przeszkolono 24 osoby do prowadzenia zajęć z egzaminatorami w zakresie eoceniania i do pełnienia roli przewodniczącego e-oceniania.
3. Przeszkolono 11 osób do administrowania procesem e-oceniania.
Opracowane raporty:
1. Monitorowanie oceniania sesji egzaminacyjnej 2007 - Dorota Węziak - Białowolska.
2. Analiza surowości oceniania tradycyjnego w zależności od techniki oceniania – Dorota Węziak - Białowolska.
3. Raport z badań postaw egzaminatorów wobec zmian za pomocą „Kwestionariusza gotowości do zmiany” – ocena przydatności narzędzia badawczego – Przemysław Majkut, Filip Kulon.
4. Raport opisowy z badań opinii egzaminatorów po pilotażu e-oceniania w listopadzie 2008 roku - Przemysław Majkut, Filip Kulon.
5. 323 indywidualne raporty uczestników pilotażu zatytułowane Impresje z oceniania tradycyjnego i e-oceniania na podstawie własnych doświadczeń.
6. Raporty wygenerowane w DRS po pilotażu e-oceniania:
a. wyniki surowe zdających, których prace zostały włączone do pilotażu,
b. wykonana praca przez każdego z egzaminatorów (dane do listy płac po
ocenianiu - liczba zadań ocenionych z podziałem na kategorie zadań),
c. jakość oceniania poszczególnych egzaminatorów,
d. jakość oceniania poszczególnych zadań,
e. funkcjonowanie zadań weryfikujących (ziarenek).
W dniach od 26 do 28 września członkowie zespołu badawczego Henryk Szaleniec i Dorota Węziak - Białowolska przedstawili na XIV Krajowej Konferencji Diagnostyki Edukacyjnej w polu referat zatytułowany Czy e-ocenianie może zapewnić wyższą rzetelność punktowania?
18 grudnia na konferencji szkoleniowej pracowników OKE w Krakowie Henryk Szaleniec w godzinnym wystąpieniu przedstawił założenia e-oceniania i rezultaty pilotażu 2008.
Zostały przygotowane do upowszechnienia (redakcja i korekta) opracowania dotyczące rezultatów pilotaŜu e-oceniania w 2008 roku (materiały zostały przedstawione na konferencji 27.01.2009r., płytka CD i prezentacje z wystąpieniami):
Rezultaty pilotażu oceniania sprawdzianu, egzaminu gimnazjalnego w części humanistycznej oraz egzaminu gimnazjalnego w części matematyczno-przyrodniczej oraz egzaminu maturalnego z matematyki z wykorzystaniem narzędzi elektronicznych (electronic marking):
1. Wieloaspektowe przygotowanie kadry egzaminatorów do wprowadzenia oceniania z wykorzystaniem narzędzi elektronicznych (electronic marking).
2. Wybrane aspekty oceniania tradycyjnego i e-oceniania w kontekście monitorowania efektu egzaminatora.
3. Administrowanie procesu oceniania zadań otwartych w sprawdzianie z wykorzystaniem narzędzi elektronicznych (electronic marking).
BADANIE EFEKTU EGZAMINATORA - Analiza surowości oceniania – oceniania w zaciszu domowym a e-oceniania.
BADANIA POSTAW EGZAMINATORÓW WOBEC ZMIANY
1. Badania postaw egzaminatorów wobec zmiany z pomocą „Kwestionariusza gotowości do zmiany” - ocena przydatności narzędzia badawczego.
2. Raport opisowy z badań opinii egzaminatorów po pilotaŜu e-oceniania w listopadzie 2008 r.
Opracowano 9 filmów (łącznie 45 minut) do szkolenia w zakresie administrowania e-oceniania:
1. Otwieranie programu e-Marker®
2. Monitorowanie pracy egzaminatorów
3. Przegląd raportów oceniania
4. Przydział zadań w egzaminie
5. Zadania danego egzaminu
6. Tryb pracy egzaminatorów
7. Kontrola jakości oceniania
8. Wgląd do arkuszy
9. Kwalifikacja do ponownego skanowania
27 stycznia zorganizowano II Konferencję "Od oceniania tradycyjnego do e-oceniania -
podsumowanie pilotaŜu 2008 dla pracowników CKE i okręgowych komisji egzaminacyjnych
(około 150 osób). W konferencji, obok członków zespołu z 2008 roku wzięli udział
z wystąpieniami plenarnymi takŜe przedstawiciele DRS.
Opracowzno także Raport z analizy statystycznej monitorowania efektu egzaminatora z wykorzystaniem IRT wyników pilotażu 2008 r.
Opracowano założenia do do studium wykonalności i projektu „Wdrożenie oceniania z wykorzystaniem technologii informatycznej w polskim systemie egzaminów zewnętrznych w latach 2010-2013” oraz przygotowano dane do przetargu na w/w studium.
Przygotowano dwa opracowania:
- Dlaczego można i warto wdrożyć w Polsce system e-oceniania
- Analiza danych dotyczących kosztów tradycyjnego oceniania oraz danych do symulacji kosztów e-oceniania w zależności od przyjętych wariantów wdrażania projektu
http://www.cke-efs.pl/file.php/5/Sprawozdanie_III_kwartal_2009_proj_I_1.pdf
Została opracowana koncepcja badań oraz dwie ankiety: jedna kierowana do dyrektorów OKE, druga do dyrektorów szkół podstawowych i ponadgimnazjalnych.
Przeprowadzono próbne zastosowanie ankiet i zostały one zaimplementowane na platformie
MOOLE na stronie projektu e.ocenianie.pl
Trwały przygotowania do konferencji wewnętrznej dla pracowników okręgowych komisji egzaminacyjnych i Centralnej Komisji Egzaminacyjnej.
Sprawozdanie za IV kw. 2009 r.
http://cke.home.pl/dokumenty/projekt_I/Sprawozdanie_I_IV_2009.pdf
Przeprowadzono analizę raportu studium wykonalności firmy WYG International.
Perzygotowano założenia internetowej (on-line) prekonferencji adresowanej do pracowników OKE
Została zatwierdzona ankieta i umieszczona na platformie z terminem otwarcia od 7 do 31października.
Przygotowanie na platformie MOODLE kursów on-line do dyskusji na forach prekonferencji „Od oceniania tradycyjnego do e-oceniania”
Prezentacja opracowania: „Wstępny projekt wprowadzenia i organizacji eoceniania w Polsce, z uwzględnieniem wniosków wynikających ze studium wykonalności projektu”.
Opracowano rekomendację dla CKE w postaci projektu wprowadzenia i organizacji e-oceniania w Polsce, z uwzględnieniem wniosków wynikających ze studium wykonalności projektu.
Przygotowano Raport - Zgodność organizacyjna i prawna (akty prawne oraz procedury CKE i OKE) oceniania tradycyjnego i oceniania z wykorzystaniem technologii informatycznej. ( Andrzej Folwaczny)
Opis wymagań stawianych systemowi oceniania z wykorzystaniem technologii informatycznej w polskim systemie egzaminów zewnętrznych
Opracowano Dokumentację w zakresie zasobów kadrowych (egzaminatorzy) z uwzględnieniem logistyki organizacji sesji egzaminacyjnych do oceniania z wykorzystaniem technologii informatycznej. (Jadwiga Brzdąk)
Raport końcowy „Monitorowanie efektu egzaminatora podczas oceniania z wykorzystaniem narzędzi elektronicznych” (na podstawie doświadczeń zgromadzonych podczas pilotażu e-oceniania)
Raport na temat technicznej gotowości szkół (SP, Gimnazjum, szkoły ponadgimnazjalne) do pełnienia roli ośrodków e-oceniania (Wojciech Małecki)
Przygotowanie wystąpień i udział w XV Konferencji Diagnostyki Edukacyjnej
E-ocenianie to nie tylko zmiana technologii - Henryk Szaleniec
Analiza skal punktowania zadań – matura z matematyki 2007 – Dorota Weziak-Białowolska
Analiza wybranych zadań egzaminacyjnych i schematów ich oceniania. Egzamin maturalny z matematyki 2007 - Jadwiga Brzdąk
E-ocenianie w świetle doświadczeń po pilotażu – spostrzeżenia na podstawie własnych doświadczeń oraz indywidualnych raportów przewodniczących zespołów i egzaminatorów – Bogumiła Frąszczak
Przygoda z e-ocenianiem Maria Michlowicz, Małgorzata Boba
Zorganizowano konferencję dla pracowników systemu egzaminów zewnętrznych 15.12.2009 r.
Przewidywane zmiany w systemie egzaminów zewnętrznych, które będą towarzyszyć wprowadzeniu oceniania z wykorzystaniem technologii informatycznej - Jadwiga Brzdąk
Monitorowanie efektu egzaminatora podczas oceniania tradycyjnego i oceniania z wykorzystaniem technologii informatycznej – Dorota Węziak-Białowolska
Zgodność organizacyjna i prawna oceniania tradycyjnego i oceniania z wykorzystaniem
technologii – Andrzej Folwaczny
Techniczna gotowość szkół do roli ośrodków eoceniania - Wojciech Małecki
Nowy projekt “Wdrożenie oceniania z wykorzystaniem technologii informatycznej
w polskim systemie egzaminów zewnętrznych w latach 2010-2013” w kontekście celów strategicznych rozwoju systemu egzaminów zewnętrznych – Henryk Szaleniec.