Hattie’s Visible Learning: heilige graal of pseudowetenschap?

Tegen het eind van mijn zomervakantie werd het artikel “How to engage in pseudoscience with real data: A criticism of John Hattie’s arguments in Visible Learning from the perspective of a statistician” van Pierre Jérôme Bergeron met mij gedeeld. Bergeron is ‘private statistical consultant’ en ‘adjunct professor’ bij de afdeling ‘Mathematics and Statistics’ van de Universiteit van Ottawa. Ik ben meer van de woorden dan van de cijfers. Maar dit artikel over de manier waarop de zeer bekende Nieuw-Zeelandse prof. John Hattie in zijn magnum opus, de meta-meta-analyse “Visible Learning – A Synthesis of Over 800 Meta-Analyses Relating to Achievement” (2008) (VL), pseudowetenschap zou bedrijven, boeide mij weer buitengewoon.

Weer? Ja, want al eerder, een jaar of drie geleden, was ik in de ban geraakt van kennelijk fundamentele fouten in VL via de posts dd. 2014 van ollieorange2, een Britse wiskundige. Deze verwees ter bekrachtiging van zijn bevindingen naar de Noorse wiskundige en statisticus prof. Arne Kare Topphol. Topphol had een paar jaar eerder in een artikel “Kan vi stole på statistikkbruken i utdanningsforskinga?/Can we trust the use of statistics in educational research?”, Norsk Pedagogisk Tidsskrift, no. 6/2011 (via de door mij gevonden hyperlinks niet meer te lokaliseren) vastgesteld dat Hattie een van de twee (sic) in VL toegepaste statische maten, de zogenaamde Common Language Effect Size (CLE), niet goed zou hebben begrepen en in elk geval verkeerd zou hebben geïnterpreteerd. In een ietwat tegenstribbelende reactie begin 2012 bevestigde Hattie een en ander, maar leek hij Topphols kritiek meteen te willen bagatelliseren:

“Yes, I did use a slightly different notion [of the CLEs] to McGraw and Wong. […] – but … I read another updated article that was a transformation of their method – but see I did NOT say this in the text. […] – the good news is that no one has ever used the CLE part of the book (that I know of); […] and if in an doubt the effect sizes are the focus of the book.” (Cursivering van mij).

Hattie beloofde Topphol een referentie voor dat ‚updated article’ te sturen én de fouten in een nieuwe druk van VL te verbeteren. Of Topphol die referentie ooit heeft ontvangen, denk ik niet; Topphol suggereerde nl. al meteen dat die update niet bestond. De CLE-fouten in VL werden echter per maart 2015 hersteld, maar alleen in de vertaalde versie(s?) van VL (zie commentaar ollieorange2, d.d. 9 maart 2015). Van groter belang dan de CLE-fouten leek mij het punt dat Topphol eigenlijk wilde maken:

“My main concern in this article is thus to call for care and thoroughness when using statistics. The credibility of educational research relies heavily on the fact that we can trust its use of statistics. In my opinion, Hattie’s book is an example that shows that we unfortunately cannot always have this trust.”

Parallel aan de posts van ollieorange2 en de reacties daarop ontstond er een soortgelijke discussie over het belang van correcte toepassing van statische maten in sociaal-wetenschappelijk onderzoek na de recensie van VL van Neil Brown, een ‘computing education researcher’ aan het King’s College in London. De recensie dateert van augustus 2013; de discussie die daarop volgde, duurde voort tot in maart 2017 en ging vooral over de onjuiste interpretatie van de tweede door Hattie gebruikte statistische maat, Effect Size (ES) Cohen’s d.

Een van de discussianten was George Lilley, o.m. wiskundige, Australië (saillant detail: Hattie werkt nu in Australië). Die besloot eind 2015 een m.i. reuze nuttige site te openen om alle tot dan toe gepubliceerde kritiek en reacties te bundelen en om verder onderzoek naar de toepassing en interpretatie van de twee in VL gebruikte statistische maten aan te moedigen en te stroomlijnen.

Op 1 december 2014 was er intussen een boze post verschenen van de Nieuw-Zeelander (sic) Kelvin Smythe, voormalig onderwijzer, schooldirecteur, lector en inspecteur, maar vanaf midden jaren negentig actief als publicist. De post draagt als titel “Hattie’s research: egregious errors” en was de opmaat naar een reeks berichten onder de kop “Hattie’s research: Is wrong Part 1” tot en met 5. Smythe gaat daarin steeds harder schreeuwen tegen Hattie en sluit zijn reeks af met de getergde en daardoor best grappige blog “John Hattie: your research is now a con”, maart 2017. Smythe moet zich hebben ontwikkeld de meest irritante luis in de pels van imperator Hattie, om het in het idioom van Smythe uit te drukken.

En dan nu het overigens wat chagrijnige artikel van Bergeron van augustus 2017. Ik citeer:

“Fundamentally, Hattie’s method is not statistically sophisticated and can be summarized as calculating averages and standard deviations, the latter of which he does not really use. He uses bar graphs (no histograms) and is capable of using a formula that converts a correlation into Cohen’s d (which can be found in Borenstein, Hedges, Higgins, & Rothsten, 2009), without understanding the prerequisites for this type of conversion to become valid. He is guilty of many errors, but his main errors correspond to two of the three major errors in science cited by Allison, Brown, George, and Kaiser (2016) in Nature:
1. Miscalculation in meta-analyses
2. Inappropriate baseline comparisons.”

Kwestie 1 verwijst naar de bovengenoemde CLE-kwestie. Kwestie 2 slaat op de door Hattie gebruikte ES-maat. Ik citeer weer:

”The other calculation errors are not so much numerical as they are related to inappropriate baseline comparisons and to the absence of methodological rigor. Hattie believes that we can compare effect sizes because Cohen’s d is a measure without a unit and gives examples of calculations:

Effect Size = [MEAN (treatment) – MEAN (control)]/ Standard Deviation
Effect Size = [MEAN (end of treatment) – MEAN (beginning of treatment)]/ SD

These two types of effects are not equivalent and cannot be directly compared.”

Deze argumentatie is ook op de Lilley’s site terug te vinden en wordt als volgt afgesloten:

“However, even though Hattie takes the time to explain the above two methods, and the issue if you mix them up, many of meta-analyses in VL do NOT use randomised control groups, as in method 1, nor before and after treatment means, as in method 2, but rather some form of correlation which is later morphed into an effect size!” (Cursivering van mij).

Concreet betekent dit volgens mij bijvoorbeeld dat de ranking in Hattie’s ranking er ook heel anders zou kunnen uitzien…

Even los van alle emotie van Smythe, de aard, de ernst en de omvang van de kwesties die Smythe in met name zijn laatste blog opsomt en die ook op de site van Lilley worden besproken, het is hoe dan ook verpletterend. Het gaat niet alleen maar om de CLEs en de gebruikte ES, het gaat ook om Hattie’s interpretaties van meta-analyses, het belang en de kwaliteit van de door hem geanalyseerde meta-analyses, de in de meta-analyses figurerende test- en controlegroepen in termen van omvang en representativiteit, het soms beperkte aantal door Hattie gebruikte meta-analyses als basis voor generalisaties, de lastige naspeurbaarheid (ook al genoemd door prof. Theo Wubbels) enz. Ertussendoor fietst heel hinderlijk de verdenking van politieke belangenverstrengeling (i.e. Hattie’s invloed op het onderwijsbeleid van Nieuw-Zeeland en Australië).

Of en in hoeverre alle kritiek terecht is, in hoeverre er persoonlijke vendetta’s worden uitgevochten, stokpaardjes worden bereden enz., het is niet aan mij als docent om dat te beoordelen. Maar er is – gegeven het enorme belang van Hattie’s werk voor onderwijs en… onderwijsbeleid – één vraag die de laatste dagen van mijn zomervakantie blijft teisteren en dat is de vraag die Topphol al in 2011 stelde: hoe geloofwaardig is VL nu eigenlijk? Je kunt dan wel als de schooldirecteur Stuart Lord roepen: “Although effect sizes are unquestionably important to his thesis, the resulting work is poorly represented by a few tables” en daarmee de kritiek op bijv. het tabelletje met de ranking net zo bagatelliseren als Hattie de fundamentelere kritiek van Topphol leek te willen bagatelliseren. Maar het zijn toch uiteindelijk dat soort tabelletjes die telkens weer in dia-workshops over effectief leren in de schoolaula’s opduiken. En het zijn diezelfde tabelletjes die allerlei afgeleide discussies over wat wel en niet zou werken in de les, stevig beïnvloeden (denk aan de discussie over klassengrootte en lees vooral dit eens; wat moet ik hier als docent anders mee dan maar weer eens uitgaan van mijn ervaring en mijn gezonde verstand…).

Het was een artikel van Times Educational Supplement (TES), november 2008, dat VL al snel na publicatie via de kop “Research reveals teaching’s Holy Grail” een welhaast onaantastbare status gaf. En nu lezen we dat Hattie in VL pseudowetenschap zou hebben bedreven. In heilige gralen heb ik nooit zo geloofd. Maar mijn vertrouwen in Hattie’s VL heeft toch een knauw gekregen: is die studie vóór publicatie eigenlijk wel gepeerreviewed; waarom inderdaad niet even een statisticus raadplegen; waarom zo benauwd omgaan met kritiek? Mij lijkt: VL is een rijke bron van inspiratie voor een zinrijk gesprek met collega’s over de vraag welke interventie wel en niet in mijn lessen zou kunnen werken, waarbij ik helaas maar één zekerheid heb, nl. dat het effect van zo’n interventie uiteindelijk en in elk geval wordt bepaald door mijn relatie met klas x op moment y in situatie z.

Voor een keurig overzicht van de receptie in Duitsland klik hier.

Rene van Dijk