Evidence-informed werken is het combineren van praktijkkennis met kennis uit onderzoek om het handelen in de praktijk te verbeteren1. Binnen het onderwijs kenmerkt zich dat door 3 pijlers: best evidence uit robuust onderzoek, professionele ervaring, en de expertise en het oordeel van de (ervaren) leerkracht en verschillende contextfactoren binnen het onderwijssysteem2.
Teach for Belgium heeft de afgelopen tien jaar aanzienlijke expertise opgebouwd inzake effectief lesgeven, specifiek binnen de grootstedelijke context, en de praktijken en inzichten die we verspreiden binnen ons kernprogramma en olievlektrajecten zijn dan ook gestoeld op een evidence-informed aanpak.
In 2021 ontwikkelden we een nieuwe Theory of Change en zetten we heel bewust in op deze onderzoekscomponent en het meten van onze impact met de hulp van ons onderzoeks- en evaluatieteam (R&E).
Hoe zag dit er dan concreet uit? Hoe vertaalt zich dit in de huidige werking van Teach for Belgium?
We gingen in gesprek met Dr. Els de Geest, voormalig hoofd van onze R&E-afdeling.
In de tijd dat je het R&E-team leidde, wat hebben jullie kunnen verwezenlijken?
Toen ik startte bij Teach for Belgium was er weliswaar wel een Theory of Change3, maar die vertelde eigenlijk niet echt het verhaal van Teach for Belgium. En dat is nu eigenlijk juist de bedoeling: vertellen wat je organisatie wil bereiken en hoe de organisatie dit wil doen, en vanuit daar kijken naar welke data je nodig hebt om aan te tonen dat dit daadwerkelijk gebeurt en wat daarvan dan weer de draagwijdte is. Kortom, het is een krachtig middel dat je helpt articuleren hoe jouw organisatie voor sociale impact zorgt.
Er waren wel heel wat cijfers voorhanden, maar weinig concrete getuigenissen en zinvolle evaluaties. Eigenlijk hadden we data zonder inhoud. We zijn in maart 2021 met een kleine werkgroep hierrond gestart en hebben geleidelijk aan het hele team erbij betrokken en samen een vernieuwde Theory of Change opgesteld. Enkel wanneer je alle teamleden bij zoiets betrekt kan je het laten leven binnen je organisatie. Uiteindelijk moet iedereen het ‘verhaal’ van de organisatie kunnen vertellen.
Het resultaat mocht gezien worden, we focussen nu veel meer op wat onze stakeholders ervaren en waar we dat aan zien (bvb. leerlingen zijn betere leerders voelen zich ook beter als leerling, en we zien dat op basis van …). Ook maakt het principe van storytelling onze werking en onze impact veel concreter en tastbaarder.
"Waarom was het belangrijk voor Teach for Belgium om meer in te zetten op Research and Evaluation en hoe ondersteunt dit de Theory of Change van Teach for Belgium?"
De voordelen van een Theory of Change zijn niet te onderschatten. Het geeft je organisatie de kans om meer gestructureerd na te denken over waar je mee bezig bent en welke richting je op wilt gaan. Je kunt zo betere prioriteiten stellen. Teach for Belgium heeft het geholpen de tweepijlerstrategie (kernprogramma aan de ene kant, de olievlek aan de andere kant) scherp te krijgen.
Ook kan je als organisatie zo meer data-driven en evidence-informed beslissingen nemen en bijsturen waar nodig. Zo wilden we bijvoorbeeld kijken of de activiteiten die we in onze trainingen aanbieden ook echt wel het beoogde effect hebben. En wat viel op? Ondanks het feit dat onze alumni supergemotiveerd zijn hebben ze vaak het gevoel dat hun impact op schoolniveau miniem is. Vanuit deze constatering is het Teach+-programma4 ontstaan. Uit andere data bleek dat onze deelnemers vaak onderschatten wat ons programma en de realiteit van het onderwijs inhield. We hebben bijgevolg onze zogenaamde ‘matriculatiestrategie’5 aangepast en een reflectiefase ingelast.
Onze modules rond student agency (eigenaarschap bij leerlingen stimuleren om hun eigen leerproces in handen te nemen) zijn ook ontstaan vanuit onze ‘vernieuwde’ Theory of Change: we merkten dat ons programma zoals het was niet voldoende inzette om het meten en observeren van onze acties op leerlingen. Helpt dat wat we doen bij het realiseren van onze missie? Ontwikkelen we met ons programma daadwerkelijk meer veerkracht bij leerlingen? Nemen zij meer initiatief voor hun eigen leren? PISA had een interessante analyse over sleutelpraktijken (signature pedagogies) om ‘student agency’ te stimuleren. Hier hebben wij ons toen op gebaseerd en we integreren deze inzichten nu actief in ons trainingsprogramma zodat onze leerkrachten hier bekwamer in worden6.
Kan je nog een aantal voorbeelden geven van het evidence-informed werken binnen Teach for Belgium?
Data moet eigenlijk aan 3 voorwaarden voldoen:
- de data is verkregen via een rigoureuze researchmethologie
- de data is transparant: iedereen moet kunnen zien hoe je eraan gekomen bent
- de data is robuust: je moet er zeker van zijn dat de info de waarheid weerspiegelt
Als we kijken naar bijvoorbeeld onze ‘Headmaster Survey’ (enquête voor directies van partnerscholen) zien we dat we daar in eerste instantie geen kwalitatieve data verzamelden. Binnen onze vernieuwde Theory of Change willen we namelijk niet alleen dat partnerscholen onze missie steunen, we willen ook de olievlek verspreiden en efficiënt met het onderwijsveld samenwerken. De survey zoals hij was toonde eigenlijk aan dat schooldirecties niet alleen niet altijd goed wisten waar Teach for Belgium zich specifiek voor inzet (gelijke onderwijskansen), maar ook niet hoe leerkrachten het concreet deden in de klas en wat het effect was op de leerlingen.
We hebben deze bevraging, maar ook die die we bij onze leerkrachten uitvoeren daarom anders opgesteld en aangepast.
In het verlengde daarvan hebben we een leerlingenbevraging ontwikkeld die in 2023 in de pilootfase is gegaan. Dit jaar (vanaf april 2024) wordt deze survey dan grootschalig uitgerold in de Teach for Belgium-partnerscholen.
Zo krijgen we een genuanceerder beeld van hoe onze leerkrachten de school al dan niet veranderen van binnenin.
Voor ons zijn de algemene PISA-resultaten echt wel onze benchmark. De vragen in onze surveys zijn ook veelal gebaseerd op PISA-vragen (voor leerlingen) en TALIS-vragen (voor leerkrachten). Zo kunnen we vergelijken met de algemene groep van leerkrachten en leerlingen in België.
Ook internationale onderzoeksprojecten zoals bijvoorbeeld het NEST-project waarbij we samen met 6 andere landen een trainingsprogramma voor mentoren van startende leerkrachten ontwikkelden dragen bij aan het evidence-informed werken. Het project heeft de olievlektrajecten die we aanbieden aan het brede onderwijsveld een flinke push kunnen geven.
Uiteindelijk komt het allemaal hierop neer: enkel wanneer we de juiste data hebben, deze grondig analyseren en er acties aan koppelen, kunnen we leerlingen écht helpen beter te worden in hun leren, en dit ongeacht hun achtergrond. Met de juiste pedagogiek en de juiste strategieën kunnen we leerkrachten stimuleren en begeleiden om, ook in meest uitdagende contexten, op eenvoudige manier toch groot effect te hebben.
Wat zijn volgens jou de beperkingen van een research-based approach binnen de onderwijswetenschappen? Hoe kijk jij naar het concept onderwijs/ leren als wetenschap. Kunnen we onderzoek in deze branche altijd zien als een exacte wetenschap of moeten we ook kritisch blijven? Is er één waarheid of zijn er meerdere?
Is dit dan altijd automatisch de enige juiste waarheid? Nee, alles hangt af van de lens waardoor je kijkt. Je gebruikt als onderzoeker immers altijd een andere lens, en zo is er niet maar één waarheid.
Het is ook belangrijk om het verschil te onderlijnen van pragmatisch onderzoek en kwantitatief onderzoek.
Pragmatisch onderzoek gaat echt op zoek naar oplossingen en doelt op concrete pistes en uitkomsten. Dat betekent dat je alleen antwoorden krijgt op de vragen die je stelt, stel je andere vragen, dan krijg je andere antwoorden/ uitkomsten.
Alles hangt af van de lens waardoor je kijkt."
Het is dus essentieel om onderzoeksverslagen goed te lezen en de nuances goed te herkennen, en te weten wat de doelgroep(en) is/zijn.
Wat wil je Teach for Belgium meegeven voor de toekomst/wat zou jij willen voor ons onderwijs in de toekomst?
Wat ik Teach for Belgium en alle organisaties en instanties binnen het onderwijsveld wil meegeven is vooral dat het investeren in R&E enorm veel positief effect heeft.
Start hierbij met een krachtige Theory of Change. Het geeft je de richting om de impact te meten die je wilt veroorzaken. Door een evidence-informed aanpak structureel te integreren in haar werking, en altijd terug te gaan naar haar ToC, kan Teach for Belgium echt focussen op haar missie en zo echt een verschil maken voor die leerlingen die het meest nodig hebben.
Meer informatie over onze olievlektrajecten ? Klik hier.
Geïnspireerd om aan de slag te gaan als leerkracht via Teach for Belgium en bij te dragen aan meer onderwijsgelijkheid ? Hier vind je meer informatie.
Footnotes
1 Wubbels en van Tartwijk 2017
2 Tim Surma
3 Een Theory of Change, ook wel verandertheorie of impactverhaal, is een model dat weergeeft hoe de interventie van een organisaie leidt tot de verandering die de organisatie voor ogen heeft. Van daaruit wordt bepaald wat de organisatie moet meten om erachter te komen wat de impact is.
4 Via het Teach+-programma willen we onze alumni (en hun collega’s) de nodige handvaten bieden om zo sereen en verankerd mogelijk met het snel veranderende onderwijslandschap om te gaan. Het programma verdiept zich voornamelijk in het menselijke aspect van verandering. Lees er hier meer over.
5 De matriculatie- of reflectiefase geeft de geselecteerde kandidaten ruim de tijd om na te denken over het engagement dat ze zullen aangaan. Ze nemen deel aan bijkomende infosessies over wat hen te wachten staat en waar ze rekening mee moeten houden, ze krijgen een buddy om uit te wisselen en gaan op schoolbezoek in een partnerschool. Zo willen we vermijden dat deelnemers een niet voldoende overwogen en misschien te idealistische keuze maken. In de loop der jaren hebben we gezien dat deze fase essentieel is voor het voltooien van het programma en het aan boord houden van onze leerkrachten.
6 3 manieren om student agency te stimuleren lees je hier
