Pentru că tocmai a fost lansat Studiul OECD* privind evaluarea și examinarea în domeniul educației în România, vă propunem și noi un punct de vedere al cercetătorilor din SUA privind criteriile de evaluare a profesorilor. Iată mai jos un articol recomandat de revista online Transforming Education. Acest articol, publicat inițial de organizația Education Next este un extras din studiul apărut în Journal of Political Economy, 2018, Vol. 126, No. 5., coordonat de Kirabo C. Jackson, profesor în domeniul dezvoltării umane și științelor sociale la Northwestern University.
Pentru noi este încă una din multiplele ilustrări a interesului cercetătorilor din diverse domenii pentru îmbunătățirea unor aspecte ale modului în care se face formarea tinerei generații și a unei noi viziuni privind educația de astăzi, unde rolul profesorului s-a schimbat aproape radical, de la acela de simplu transmițător de informație la un rol mai complex, care vizează în primul rând dezvoltarea abilităților de gândire, al celor emoționale, descoperirii și punerii în valoare a potențialului fiecărui copil.
Utilizând valori adăugate pentru a evalua efectele asupra comportamentului elevului
Când elevii privesc înapoi la dascălii care au avut cel mai important rol în viața lor, aspectele sociale ale educației lor sunt cel mai adesea lucrurile pe care și le amintesc. Pe lângă stăpânirea calculelor de bază, faptul că au devenit cititori cu un ochi critic sau că-și amintesc care este capitala Turkmenistanului, baza pentru mulțumirile bazate pe dragoste o constituie faptul că au învățat să-și stabilească obiective, să-și asume riscuri și responsabilități sau pur și simplu să aibă încredere în forțele proprii.
Este un amestec dinamic, unul care surprinde lărgimea sarcinii unui profesor: Să-i învețe pe elevi abilitățile de care au nevoie pentru a deveni adulți productivi. Dar care sunt, mai exact aceste abilități? Și cum putem noi determina care anume profesori sunt mai eficienți în dezvoltarea lor?
Notele la teste sunt deseori considerate cea mai bună măsură pentru progresul elevilor, dar ele nu captează fiecare abilitate necesară în viața adultă. O bază în creștere de cercetări arată că abilitățile non-cognitive (sau socio-emoționale) cum sunt adaptabilitatea, motivația și autocontrolul sunt determinanți cheie ai rezultatelor unui adult. De aceea, dacă vrem să identificăm profesorii buni, ar trebui să ne uităm la modul în care profesorii afectează dezvoltarea elevilor lor într-o largă arie de abilități – atât academice cât și non-cognitive.
Un set de date colectat de la un mare număr de elevi de clasa a 9-a din North Carolina mi-a permis să fac exact acest lucru. Întâi, am creat o măsurătoare a abilităților non-cognitive, bazată pe comportamentele elevilor în liceu, cum sunt suspendările de la curs și progresul la ajungerea la timp la ore. Apoi am calculat eficiența măsurătorilor bazate pe impactul profesorilor asupra atât al notelor la teste cât și al abilităților non-cognitive și m-am uitat la conexiunile dintre acestea două. În final, am explorat în ce măsură măsurarea impactului profesorilor asupra comportamentelor ne permite să-i identificăm mai bine pe acei educatori cu adevărat excelenți care au un efect de lungă durată asupra elevilor lor.
Am descoperit că, în timp ce profesorii au efecte notabile atât asupra notelor la teste cât și asupra abilităților non-cognitive, impactul lor asupra acestora din urmă prezice de 10 ori mai mult succesul pe termen lung în liceu decât impactul lor asupra notelor la teste. Nu putem identifica profesorii care contează mai mult doar utilizând impactul asupra notelor la teste, deoarece mulți profesori care ridică notele la teste nu îmbunătățesc abilitățile non-cognitive ale elevilor și vice-versa.
Aceste rezultate furnizează o puternică dovadă că, măsurarea impactului profesorilor prin intermediul rezultatelor la teste al elevilor lor surprinde doar o fracțiune din efectul total asupra succesului elevilor. Pentru a putea evalua pe deplin performanțele profesorilor, creatorii de politici din domeniu ar trebui să ia în considerație o largă categorie de abilități ale elevilor, observațiile în clase și receptivitatea la feedback, pe lângă evaluarea eficienței bazată pe rezultatele la teste.
O noțiune mai largă a eficienței profesorului
Eficacitatea individuală a profesorului a devenit un obiectiv major al îmbunătățirii școlilor de-a lungul ultimilor zece ani, parțial condusă de rezultatele cercetărilor care arătau că profesorii care cresc notele la teste ale elevilor afectează de asemenea și succesul lor ca adulți, incluzând că este mai probabil să meargă la facultate, să aibă un job și să facă economii pentru bătrânețe (vezi cercetarea din vara anului 2012 – “Great Teaching,”)**
** https://www.educationnext.org/great-teaching/
Economiștii și creatorii de politici (policymakers) au utilizat testele standardizate ale elevilor pentru a dezvolta măsurarea performanțelor profesorilor, în principal printr-o formulă denumită valoare-adăugată. Modelele de valoare-adăugată calculează impactul individual al profesorilor asupra învățării elevilor prin maparea progresului elevilor în raport cu ce este de așteptat în mod normal să achiziționeze, controlând o mulțime de factori. Profesorii ai căror elevi depășesc constant acești indicatori sunt considerați ca având o mare valoare-adăugată, în timp ce aceia ai căror elevi nu au constant rezultate atât de bune pe cât de așteaptă, se consideră că au o valoare-adăugată scăzută.
În același timp, creatorii de politici și educatorii sunt concentrați pe importanța abilităților elevilor care nu sunt surprinse de testele standardizate, cum sunt perseverența și colaborarea unii cu alții, care sunt importante pentru realizările pe termen lung ale adulților. Actul federal din 2015 – Every Student Succeeds Act permite statelor să ia în considerare cât de bine ajută școlile elevii să-și creeze ”mentalitatea de învățare” sau abilitățile non-cognitive și obiceiurile care sunt asociate cu rezultatele pozitive la vârsta de adult. Într-un mare experiment din California, de exemplu, un grup mare de districte (județe la noi, n.n.) urmărește progresul elevilor în abilitățile non-cognitive ca parte a eforturilor lor de reformă.
Este oare posibil să combinăm aceste două idei, determinând ce profesori, individual, sunt mai eficienți în a-i ajuta pe elevi să-și dezvolte abilitățile non-cognitive?
Pentru a examina această întrebare, m-am uitat la statul Carolina de Nord, care colectează datele despre rezultatele la teste și date despre o serie de comportamente ale elevilor. Am utilizat date despre toți elevii de clasa a 9-a din școlile publice, între 2009 și 2012, incluzând date demografice, rezultatele cercetărilor calitative (filmări video, interviuri) rezultatele la testele din clasele 7-9 și codurile care leagă rezultatele testelor de profesorul care a administrat testul. Datele acoperă un număr de 574,000 de elevi din 872 de licee. M-am concentrat pe procentul de 93% de elevi de clasa a noua care au făcut parte din clase în care profesorii aveau tradiționalele evaluări de valoare-adăugată bazate pe notele la teste: la limba engleză (echivalentul limbii materne la americani, n.n.) și la una din materiile de matematică (algebră elementară, geometrie sau algebra avansată).
Am utilizat aceste date pentru a explora trei întrebări principale. Prima, cât de predictiv este comportamentul elevului în clasa a 9-a pentru succesul ulterior în liceu, comparat cu notele la teste ale elevului? A doua, profesorii care sunt mai buni la ridicarea notelor la teste sunt de asemenea mai buni la îmbunătățirea comportamentului elevilor? Și în fine, ce măsură a performanței profesorului prezice mai bine succesul pe termen lung al elevului: impactul asupra notelor la teste sau impactul asupra abilităților non-cognitive?
Puterea predictivă a comportamentului elevului
Pentru a explora prima întrebare, am creat o măsurătoare a abilităților non-cognitive ale elevilor, utilizând informația despre comportamentul elevilor disponibilă pentru clasa a 9-a, incluzând numărul absențelor și suspendărilor (#1), media notelor și progresul în timp către clasa a zecea. Mă refer la media ponderată ca la un ”indicator de comportament”. Logica de bază a acestei abordări este următoarea: În același mod în care cineva deduce că elevul care are note mai bune la teste este probabil să aibă și abilități cognitive mai bune decât elevul care nu ia note bune, cineva poate deduce că elevul care acționează pentru a fi dat afară din clasă, sare peste ore și nu își predă tema pentru acasă este probabil să aibă abilități non-cognitive mai slabe decât cel care nu face așa. Am creat de asemenea un index al rezultatelor la teste care este media la testele de la limba maternă și matematică în clasa a 9-a.
#1 – suspendare – când elevii tulbură ora sunt dați afară din clasă pentru o oră, o zi, trei zile, o săptămână.. și, în multe școli stau/ sunt duși într-o clasă separată (clasa de pedeapsă), unde sunt supravegheați de un pedagog care le dă teme de făcut. În Anglia, există și clase de recuperare comportamentală, unde copiii cu probleme comportamentale pot petrece între o săptămână și trei luni, după care se reîntorc în clasa normală – ele sunt conduse de psihopedagogi specializați, care lucrează și cu copilul și cu familia.
Apoi am examinat cum ambele, notele la teste și indexul de comportament sunt legate de variate măsuri ale succesului în liceu, utilizând datele administrative care urmăresc traiectoria elevilor de-a lungul timpului. Rezultatele pe care le iau în considerare includ absolvirea liceului la timp, media notelor de la absolvire, trecerea SAT (Bacalaureatul la americani) și intențiile raportate de a se înscrie la o facultate (cursuri de 4 ani). În medie 82% dintre elevi au absolvit, 4% au renunțat la liceu iar restul fie s-au mutat din stat sau au rămas repetenți. Deoarece mă interesa felul în care măsurarea schimbărilor în aceste abilități prezicea rezultatele pe termen lung, am controlat notele la teste și comportamentul lor în clasa a 8-a. În plus, analiza mea a fost ajustată în funcție de diferențele de educație ale părinților, gen și rasă/ apartenență la anumite etnii.
Primul meu set de rezultate a arătat că indexul de comportament al elevilor este un predictiv mult mai puternic al succesului viitor decât notele la teste. Figura 1 ilustrează extensia cu care notele la teste și indexul de comportament față de o deviație de la standard, echivalentul unei mișcări a notelor elevilor de la mediu la 85% în fiecare măsură, prezice îmbunătățiri în rezultate variate. Un elev al cărui index de comportament în clasa a 9-a este la un procent de 85% este cu un procent de 15,8 mai probabil să absolve liceul la timp decât un elev cu un index de comportament mediu. Am descoperit o mai slabă corelație cu notele la teste: un elev cu procentul de 85% este cu doar 1,9% mai probabil să absolve liceul față de un elev ale cărui note sunt medii. Indexul de comportament este un predictor mai bun decât notele la testele din clasa a 9-a și pentru probabilitatea ca un elev să rămână repetent, și pentru probabilitatea ca el să treacă Bacalaureatul și să intre la facultate.
În timp ce aceste modele dezvăluie că indexul de comportament este un bun predictor al rezultatelor educaționale, ele sunt descriptive. Ele nu arată că profesorii au impact asupra acestor comportamente și ele nu arată că impactul profesorilor asupra acestor măsurători se va transforma într-un succes mai bun pe termen lung.
În continuare examinez aceste întrebări, cauzale.
Fig.1.
Aplicând valoarea-adăugată la abilitățile non-cognitive
Puterea predictivă a indexului de comportament sugerează că, îmbunătățirea comportamentului poate produce largi beneficii, dar lasă deschisă întrebarea dacă profesorii care îmbunătățesc comportamentul elevului sunt diferiți de profesorii care le îmbunătățesc notele la teste. Asta este important, deoarece dacă profesorii care sunt mai eficienți la ridicarea notelor la teste sunt de asemenea eficienți în îmbunătățirea comportamentului, atunci noi nu vom îmbunătăți rezultatele pe termen lung ale elevilor doar estimând impactul profesorului asupra comportamentului. Prin contrast, dacă grupul de profesori care sunt eficienți la îmbunătățirea notelor la teste includ unii dintre profesorii care sunt deasupra mediei, la nivelul mediei sau chiar puțin sub medie la îmbunătățirea comportamentului, atunci având această rată de eficiență pentru abilitățile non-cognitive ne va permite să identificăm profesorii cu adevărat excelenți care ar putea avea cel mai mare impact asupra rezultatelor pe termen lung, îmbunătățind atât notele cât și comportamentul.
Pentru a evalua asta, folosesc modele separate de valoare-adăugată pentru a evalua contribuția unică a profesorilor individual, la notele la teste și la indexul de comportament. Grupez profesorii după abilitatea lor de a îmbunătăți comportamentul și aplic distribuția valorii-adăugate a notelor la teste în fiecare grup. Dacă profesorii care îmbunătățesc una din abilități sunt de asemenea aceia care o îmbunătățesc și pe cealaltă, atunci valoarea-adăugată a notelor la teste ar trebuie să fie mult mai mare în grupurile cu valoarea-adăugată a comportamentului mare, și ar trebuie să existe o suprapunere în distribuția valorii-adăugate a notelor vis-a-vis de grupurile cu valoarea-adăugată a comportamentului.
Dar nu asta arătă datele. Deși profesorii cu valoare-adăugată a comportamentului tind să aibă ceva mai multă valoare-adăugată la notele la teste, există o suprapunere considerabilă între grupuri (vezi Figure 2). Asta este, deși profesorii care sunt mai buni la ridicarea notelor la teste tind să fie mai buni la ridicarea indexului de comportament, în medie, eficiența într-una din dimensiuni este un predictor slab pentru cealaltă. De exemplu, printre treimea inferioară a profesorilor cu cea mai slabă valoare-adăugată la comportament, aproape 40% sunt peste medie în ce privește valoarea-adăugată a notelor la teste. Similar, printre cei din treimea superioară în ce privește valoarea-adăugat a celui mai bun comportament, doar 58% dintre profesori sunt peste medie în valoarea adăugată a notelor la teste. Asta dezvăluie nu numai că mulți profesori care sunt excelenți la îmbunătățirea unei abilități sunt slabi la îmbunătățirea celorlalte, dar și că, cunoașterea impactului profesorului asupra unei abilități furnizează puțină informație despre impactul lui asupra celeilalte.
Fig.2.
Impactul asupra succesului la liceu
Modelele pe care le-am documentat până acum sugerează că ar putea exista câștiguri considerabile pentru utilizarea măsurării impactului profesorului atât la notele la teste cât și la comportament pentru a identifica profesorii care ar putea îmbunătăți rezultatele pe termen lung. Pentru a evalua asta direct, examinez măsura în care valoarea-adăugată estimată a profesorului asupra elevului de clasa a 9-a i-a influențat rezultatele acestuia la terminarea liceului, rezultate cum sunt absolvirea la timp, trecerea Bacalaureatului și planificarea de a merge la facultate. Pentru a evita erorile, utilizez valoarea-adăugată a lui în alți ani ca măsură a eficienței profesorului. Apoi estimez două tipuri de impact asupra rezultatelor elevului pe termen lung: impactul de a fi avut un profesor a cărui valoare-adăugată la notele la teste este mai mare decât media și impactul de a avea un profesor a cărui valoare-adăugată la comportament este mai mare decât media.
Un profesor de clasa a 9-a cu valoare-adăugată la comportament este un predictor mai puternic al impactului lui asupra realizărilor educaționale decât impactul asupra notelor la teste în clasa a 9-a (vezi Figura 3). De exemplu, având un profesor care este la 85% a valorii adăugate la notele la teste va crește șansele elevului de a absolvi la timp liceul cu 0,12 puncte în comparație cu un profesor cu punctaj mediu. Prin contrast, având un profesor cu 85% valoare-adăugată la comportament, ar crește probabilitatea absolvirii la timp a liceului cu 1,46% prin comparația cu un profesor cu punctaj mediu.
Fig.3.
Cu alte cuvinte, impactul profesorilor asupra comportamentului este de aproximativ 10 ori un mai bun factor predictiv în ce privește creșterea ratei elevilor care completează studiile liceale decât este impactul profesorilor asupra notelor la teste. Acest model de bază rămâne adevărat și în ce privește rezultatele pe termen lung examinate, inclusiv admiterea la facultate. Remarcabil, cauzalitățile examinate în Fig. 3 sunt aproape exact ca cele pe care le-am aștepta de la modelele descriptive din Figura 1.
Aceste rezultate confirmă o idee pe care mulți o cred adevărată și care nu a fost documentată până acum – aceea că efectul profesorului asupra notelor la teste surprinde doar o fracțiune din impactul lor asupra elevilor lor. Faptul că impactul profesorului asupra comportamentului este un predictor mai puternic pentru rezultatele pe termen lung decât impactul asupra notelor la teste înseamnă că ”partea leului” a profesorilor cu adevărat excelenți – aceia care îmbunătățesc rezultatele pe termen lung – nu va fi identificată utilizând doar valoarea-adăugată a rezultatelor la teste.
Pentru a concretiza și mai mult acest punct, m-am uitat la alt grup de profesori: aceia din procentul superior de 10% al impactului privind absolvirea liceului. Apo m-am uitat dacă acești profesori sunt printre primii 10% în ce privește valoarea-adăugată a notelor la teste și primii 10% la comportament. Valoarea-adăugată a comportamentului face o treabă mai bună în identificarea primilor 10% din profesori în ce privește absolvirea – ei sunt de asemenea primii 10% în ce privește valoarea-adăugată a comportamentului. Doar 20% dintre acești profesori cu un mare impact sunt printre cei care au avut scoruri mari la valoarea-adăugată a notelor la teste.
La celălalt capăt al spectrului performanțelor, valoarea-adăugată a comportamentului este de asemenea mai bună în identificare profesorilor care sunt cei mai slabi la îmbunătățirea șanselor elevilor de a absolvi liceul, 89% dintre ei sunt printre cei 10% cu cel mai slab punctaj la comportament și 32% sunt în acel 10% dintre cei mai slabi la valoarea-adăugată a notelor la teste.
Implicațiile
Profesorii sunt mai mult decât niște mașini-educaționale bazate pe rezultate – ei sunt lideri care pot ghida elevii spre o vârstă adultă plină de semnificație. Această analiză furnizează prima dovadă puternică că astfel de contribuții la progresul elevilor sunt atât măsurabile cât și subsecvente. Asta nu înseamnă să spunem că notele la teste nu ar trebui utilizate în evaluarea eficienței profesorilor. Impacturile notelor la teste sunt o calibrare importantă a eficienței profesorilor pentru aproximativ unul din cinci profesori care predau la nivelul de clase și la subiectele unde este posibil să se creeze evaluări ale valorii-adăugate pe baza testelor. Impactul asupra comportamentelor este o altă măsură critică pentru acei profesori și pentru toată lumea și poate servi ca o sursă adițională de informație într-un sistem de evaluare cu măsuri multiple, care ar putea include de asemenea observațiile directe, interviurile cu elevii și dovada receptivității la feedback.
Utilizarea modelării valorii-adăugate în acest mod poate rezulta în informații critice, noi, despre performața profesorilor. Deși caracteristicile profesorului disponibile în datele din Carolina de Nord – anii de experiență, certificările, notele la examene, licențierea regulată (examenele de grad la noi) și selectivitatea pentru facultate (măsurată la 75% dintre notele de la bacalaureat la universitatea pentru profesori) – prezic efectele asupra notelor la teste, nici una nu este semnificativ corelată cu efectele asupra comportamentului. Cu toate acestea, asta nu exclude utilizarea mai multor informații detaliate despre profesori, pentru a prezice mai bine efectul asupra unei varietăți de abilități; Cu mai multă cercetare, școlile și districtele ar putea afla la ce caracteristici să se uite pentru a angaja profesori care educă/ dezvoltă elevii și care vor fi mai capabili să îmbunătățească abilitățile non-cognitive ale elevilor.
O altă aplicație potențială a acestei abordări a măsurării eficacității profesorului este că ea poate furniza date pe care districtele (inspectoratele la noi) le pot oferi profesorilor pentru a îmbunătăți comportamentul elevilor. Cu toate acestea, deoarece unele comportamente pot fi ”îmbunătățite” prin schimbări ale ”practicilor” profesorului care nu îmbunătățesc abilitățile elevului, cum sunt umflarea notelor și raportările incorecte, atașarea unor mize exterioare pentru măsurarea abilităților non-cognitive ale elevilor ar putea să nu fie benefice – cel puțin nu fără o adresare a acestei probleme de corectitudine și etică profesională.
Una dintre posibilități este de a găsi măsurări ale abilităților non-cognitive care sunt dificil de ajustat în mod ne-etic. De exemplu, observațiile în clase și chestionarele completate de elev și părinte ar putea furniza informație valoroasă despre abilitățile elevului care nu sunt măsurate de notele la teste și sunt mai puțin ușor de manipulat de către profesori. Creatorii de politici ar putea atașa stimulente pentru ambele măsurători ale abilităților non-cognitive și notelor la teste pentru a promova mai bine rezultatele pe termen lung. O altă abordare este să dai profesorilor stimulente pentru a îmbunătăți comportamentul elevilor din clasele lor, măsurat în anul viitor, atunci când influența profesorului este încă prezentă dar profesorul nu mai poate manipula măsurătoarea comportamentului elevului. Sau creatorii de politici ar putea identifica acele practici care îmbunătățesc comportamentul și pot acorda stimulente profesorilor pentru a se angaja în aceste practici. Asemenea abordări au fot utilizate cu succes pentru a crește rezultatele la teste (vezi “Can Teacher Evaluation Improve Teaching?”** cercetarea din toamna anului 2012).
** https://www.educationnext.org/can-teacher-evaluation-improve-teaching/
Profesorii influențează tocmai acele abilități non-cognitive pe care cercetarea le arată ca fiind cele care cresc succesul elevului pe termen lung, în liceu și mai departe. Și prin modelarea valorii-adăugate noi putem estima impactul individual și scoate la lumină o altă piesă importantă a performanței profesorului. Deși calea viitoarelor politici nu este încă imediat clară, este important faptul că profesorii au impact asupra unui set de abilități care prezic succesul pe termen lung dar nu sunt surprinse de metodele de evaluare curente. Descoperirile sugerează că orice politică de identificare a eficienței profesorului – fie pentru evaluare, pentru dezvoltarea profesională țintită sau pentru de-selectare – ar trebui să caute să utilizeze datele despre impactul profesorului asupra unui set mai larg de rezultate decât cel al rezultatelor la teste, singur.
Centrul de Resurse pentru Eco-bio Educație, Reziliență și Sustenabilitate 