La cerca del Borratxo. Article de Ferran Ruiz Tarragó
publicat per Redacció
La cerca del borratxo
Article de Ferran Ruiz Tarragó, ex president del Consell Escolar de Catalunya
En un carrer il·luminat per una única farola un home begut està buscant la seva cartera. Ho fa en el petit con de llum de la farola solitària, mentre la resta del carrer roman a les fosques. Un policia de ronda nocturna s’ofereix a ajudar-lo. Després d’una estona de cerca infructuosa, el policia li diu: està segur d’haver-la perdut aquí? Al que l’home li contesta: No, no sé on l’he perduda, però és que aquest és l’únic lloc on hi ha llum!
Aquesta és l’anomenada “cerca del borratxo” [drunkard’s search], expressió introduïda pel filòsof estatunidenc Abraham Kaplan (1918-1993), de qui diuen que va ser el primer d’estudiar sistemàticament les ciències del comportament en el seu llibre The Conduct of Inquiry (1964). [1] Sembla que es va inspirar en la història de l’home que havia perdut l’anell que explicava Nasreddin Hodja (Nasruddin Hoca), pensador islàmic que el segle XIII es va moure per les terres que van d’Anatòlia a l’Iran i l’Uzbekistan. [2] El pensament sufí emprava la història curta, humorística i aparentment absurda, per fer reflexionar, per trencar la forma de pensar habitual i alliberar-se de prejudicis, així com per satiritzar la gent que s’il·lustra amb fonts extravagants.
En el sentit que li dóna Kaplan, el concepte “cerca del borratxo” fa referència a la investigació que se centra en àmbits segurs, d’alguna manera “il·luminats”, i, que, alhora, evita entrar en zones “fosques” on seria més onerosa o arriscada, tal vegada inútil. L’aportació de Kaplan va ser aplicar-ho a les investigacions metodològicament sofisticades que exploren assumptes que tenen una importància relativa, més aviat escassa ―se’n podria dir una importància merament acadèmica―, i que, al seu torn, ignoren o desvien l’atenció dels àmbits on hi poden haver assumptes realment rellevants. [3]
Com potser haurà endevinat la lectora o lector, una zona il·luminada és un àmbit on és possible, fins i tot senzill, obtenir dades quantitatives. La “llum” que aporta la pròpia recerca fa que les dades “trobades” es puguin presentar com a objectives, inclús indiscutibles. El carrer fosc és la resta de l’espai, són els àmbits on obtenir dades seria costós i difícil, tal vegada impossible en relació als mitjans que hom disposa. Una arrelada impressió meva és que això passa amb una part de la recerca educativa que es realitza els darrers anys, part que, precisament per les seves característiques, és la que arriba als mitjans de comunicació en forma d’articles i de titulars més o menys escandalosos, que al seu torn condicionen l’opinió pública, la política i la visió social i professional de l’educació.
Per a mi, l’exemple més destacat n’és el projecte PISA de l’OCDE (Programme for International Student Assessment), programa d’investigació creat amb l’objectiu de conèixer l’eficàcia dels sistemes educatius en base les competències lectora, matemàtica i científica dels alumnes de 15 anys (darrerament s’hi ha afegit la competència financera). Cada tres anys es passen unes proves a una mostra de centres i després d’un llarg procés es publica un informe sobre el grau d’assoliment d’aquestes tres “destreses segle XXI” en cadascun dels països participants, comparant-ne els resultats. PISA destaca tan per l’extensió geogràfica (d’uns pocs països participants en la primera edició s’ha passat a la seixantena llarga) i temporal (ja té dues dècades de tradició), com per la influència desproporcionada que té en la societat i en el món que envolta l’educació, però no pas en la pròpia esfera educativa. (En la meva vida m’he trobat en una única ocasió un inspector d’educació que portava sota el braç un informe PISA anotat i subratllat.) En l’àmbit més aviat econòmicament humil de la recerca educativa, PISA destaca per la continuïtat i el generós finançament, no debades són els Estats qui decideixen la participació dels seus sistemes educatius.
Els resultats principals de PISA són tres escales, una per a cada competència, on es posicionen els països segons el paper que han fet els seus estudiants en les proves. Un article d’hemeroteca publicat al diari El Periódico, escollit gairebé a l’atzar, proporciona un exemple il·lustratiu de la mena d’informació que arriba al ciutadà després d’un estudi PISA, en aquest cas de l’any 2012. [4] No importa gaire l’any, perquè la música, més o menys, és similar. En transcric el primer paràgraf:
- “La escuela española lleva al menos una década anclada en el mismo lugar, inmersa en una especie de limbo, en el que ni avanza ni retrocede. Los resultados del informe PISA 2012, la radiografía que cada tres años hace pública la Organización para la Cooperación y el Desarrollo Económico (OCDE) sobre los sistemas educativos de 65 países, muestran que los estudiantes españoles de 15 años están prácticamente estancados en lectura, matemáticas y ciencias desde el 2003. En matemáticas incluso se ha retrocedido un punto en estos diez años. Y los siete puntos avanzados en lectura y los nueve en ciencias no suponen una mejora significativa. El resumen es que los alumnos españoles continúan por debajo de la media internacional en las tres materias evaluadas por el estudio.”
Aquest paràgraf serveix per fer-se’n una idea bàsica del que proporciona PISA de cara l’opinió pública: puntuacions que diuen poca cosa sobre coneixements ―s’hauria de ser un especialista gairebé full-time per entendre’n conceptes i detalls― i dades comparatives que centren l’atenció en si s’ha pujat o baixat en relació a informes anteriors i en la posició que s’ocupa al rànquing internacional. Així és com fa dues dècades Finlàndia va aparèixer als telediaris, suscitant una gran excitació sobre l’educació en aquell país. Els mitjans també donen importància a la proporció d’alumnes que assoleixen “l’excel·lència” per les seves altes puntuacions i la fracció que és sota mínims quant a nivells de competència. PISA, com a bon informe de “rendiment” escolar, proporciona anàlisis extensos de les relacions entre els resultats de les proves i diverses variables d’entrada, que van acompanyats d’un nombre ingent de taules numèriques i de gràfics il·lustratius.
Tot plegat és interessant en si mateix i alhora entretingut perquè dóna molt joc a la controvèrsia, a les crítiques i als posicionaments dels agents socials i polítics. Així, els resultats de l’informe PISA de 2012 ―a què fa referència l’article que he citat― van ser un dels arguments que va fer servir l’aleshores partit en el govern estatal per justificar, a la seva manera, la necessitat de la LOMCE. Un altre punt sucós per a la controvèrsia, però conceptualment entristidor, és el de les comparacions entre territoris. En conjunt, però, insisteixo en què és la meva opinió, de les dades i conclusions no s’obté una idea precisa del que caldria fer per millorar l’educació del país en termes intrínsecs i positius (és a dir, sense fer trampes, perquè una manera de millorar posicions, per exemple, és mirar d’excloure de les proves els alumnes que segurament les farien pitjor).
Arribats a aquest punt sembla oportú fer algunes consideracions sobre la quantificació. La finalitat d’una taula o un gràfic és condensar de manera compacta la informació que representa una determinada realitat, ajudant a bastir una imatge mental, treure’n les conclusions oportunes i servir de base per a l’acció. David F. Labaree (emèrit de la Graduate School of Education de la Universitat d’Stanford) diu que la quantificació és una tecnologia de la confiança, perquè hom pressuposa que descriu la realitat de manera objectiva. [3] Un gràfic amb les temperatures d’un pacient a hores fixes durant una setmana serveix per conèixer l’evolució de la persona malalta en un determinat aspecte. És útil com a símptoma de que passa alguna cosa, tot i que de les dades no es pot deduir la naturalesa de la malaltia, ni, per tant, què cal fer per recuperar la salut. El sector de l’educació està saturat de l’equivalent a gràfiques de temperatures, d’indicadors que proporcionen una certa informació però que són insuficients per saber què li està passant als “malalts” (presumptament, els centres educatius), com caldria tractar-los i, sobretot, què haurien de fer ells mateixos per “guarir-se”.
La llarga tradició d’utilitat administrativa i d’acceptació familiar i social de les qualificacions escolars demostra que la quantificació funciona bé com a tecnologia de la confiança: es confia en que qui estableix les qualificacions reflecteix amb objectivitat el coneixement de l’alumne. Les “notes” numèriques i textuals ―frases tipificades que no costa massa associar a magnituds numèriques― s’accepten en absència de una informació molt més àmplia i detallada sobre els aprenentatges, informació que, tal vegada, el receptor no estaria en condicions d’assimilar ni el docent d’elaborar o de reproduir de manera coherent.
Les famílies estan satisfetes quan els fills reben puntuacions altes perquè indueixen a creure que els aprenentatges van bé, cosa que pot ser certa, però que ni de bon tros està garantida. En vista del feed-back positiu, el mateix alumne tendeix a assimilar coneixement i puntuació. Qui no ha sentit dir a un alumne, perquè m’haig d’esforçar més si he tret una bona nota? De sempre ha estat millor tenir un 8 que no pas un 5, tot i que seria difícil saber què representen realment aquests nombres en relació als aprenentatges que pretenen caracteritzar. Les puntuacions baixes poden ser objecte de contestació, però generalment també s’accepten, en aquest cas com a indicadors d’aprenentatges insuficients o inconsistents. A tot arreu, i també a l’escola, els nombres són quelcom pel qual val la pena lluitar. Quants intents no hi ha hagut de convertir un 4 en un 5 pel que representa en la trajectòria de l’alumne o en els plans d’estiu de la família? O d’un 8 en un 9 per aconseguir una beca?
La quantificació és clau a l’hora de descriure i comunicar una realitat o situació. Aquí, l’objectivitat ―l’aparent certesa que atorguem a nombres, gràfics i fórmules, com si fos inherent― és el punt clau. Objectiu ve a ser sinònim de real o realista, especialment en contraposició a subjectiu, que es refereix a idees i creences que existeixen només en el cap de la gent. (Ara sovint se sent parlar d’evidència més que d’objectivitat, especialment per qui se’n considera iniciat, detentor o profeta). Objectivitat és un terme que aixeca passions, com pocs d’altres. Normalment no es defineix sinó que s’invoca amb finalitats com influir i convèncer el destinatari, desmentir o refutar, imposar-se o protegir-se, lloar o ridiculitzar, afirmar la pròpia autoritat o criticar l’adversari, encetar debat o tancar-lo. També s’invoca per enganyar. Qui no recorda que fins el col·lapse financer del 2008 les empreses d’inversió demostraven amb les seves taules i gràfics “objectius”, aparentment tan seriosos, tenir una situació financera sanejada, davant de la credulitat general, també la de molts especialistes? Simplement, tenien el poder d’imposar al públic quantificacions que responien als seus interessos (això no és exclusiu de l’economia però no segueixo en aquesta línia perquè em desviaria). Només remarcar que quantificar és una manera d’exercir un determinat poder, una realitat òbvia que els docents coneixen sobradament, tot i que a petita escala.
En àmbits científics, l’objectivitat s’associa amb saber les coses tal com són realment. Hi ha una mena d’objectivitat absoluta, més aviat pròpia dels camps “purs”, en el sentit de no aplicats o relativament distants d’aplicacions pràctiques, propi de les disciplines que tenen un alt nivell de control del seu propi treball intel·lectual i que depenen poc del context. Com assenyala l’esmentat Labaree, si una professió té prou coherència interna i un estatus social alt, proclama el dret a fer pronunciaments dins del seu domini d’expertesa sobre la base de la seva pròpia autoritat. Molt probablement faci servir nombres i quantificacions, que tanmateix són afers seus, interns, que no ha d’anar exhibint per demostrar la seva autoritat. Els investigadors en genòmica, matemàtica, física teòrica o nous materials, per exemple, no han de mostrar al públic les dades que empren en el seu treball, sinó només enunciar els resultats o conclusions a què han arribat i si de cas explicar els seus objectius i processos.
Les professions i les disciplines acadèmiques més propícies a proporcionar nombres per recolzar les seves asseveracions són aquelles en què el domini de coneixement és més aplicat, en el sentit que depèn de situacions idiosincràtiques, dinàmiques i variables, en contextos poc o gens replicables. En aquests camps ―la recerca en educació n’és un― com a condició per a ser acceptats, cal que els especialistes ensenyin els nombres que fan servir i que s’esforcin per demostrar que les seves asseveracions són objectives i generadores de consens.
L’historiador de la ciència i del pensament estadístic Theodore Porter, de la UCLA (Universitat de Califòrnia, Los Angeles), que ha estudiat el desenvolupament del significat cultural de l’objectivitat, ho diu d’una manera una mica més brutal quan afirma que “el nivell d’adopció de la quantificació per una professió té relació directa amb la seva feblesa.” Aquesta és una proposició contundent, però que ningú no s’enfadi. L’únic que fa Porter és assenyalar que haver de recolzar les proposicions amb quantificacions numèriques és en realitat cedir l’autoritat final a altres, a saber, intèrprets, divulgadors, usuaris, i, especialment, als “compradors” o finançadors de l’elaboració d’aquests nombres. [5]
Per cloure aquesta divagació sobre la quantificació i l’objectivitat, cal afegir que la relació entre una i l’altra no es pot donar per suposada de manera mecànica, por molt seriós que sigui el treball investigador i per notables que siguin els mitjans emprats i les conclusions obtingudes. Tornem a PISA i a un parell d’articles de premsa per exemplificar-ho.
- “Informe PISA: España saca su peor resultado en Ciencias y empeora en Matemáticas. Los alumnos españoles de 15 años han bajado 4,5 puntos en Matemáticas y hasta 9,5 puntos en Ciencias en el informe internacional PISA 2018 respecto al de 2015, situándose por debajo de la media de la OCDE en las primeras pruebas tras la implantación de la Lomce.” [6]
- “Falta de interés y cansancio en mitad de los exámenes finales: así explica la OCDE las ‘anomalías’ del informe Pisa en España.” [7]
El primer paràgraf diu clarament que en relació a Espanya, l’informe PISA 2018 no ha anat bé, conclusió d’altra banda habitual. No la comento i em limito a destacar l’excepció: els resultats de la prova de competència lectora no foren publicats el desembre de 2019 juntament amb els de matemàtiques i ciències, tal com era habitual. El segon titular es refereix al perquè d’això. Els resultats de la prova de lectura es van endarrerir perquè l’OCDE va indicar que no podia garantir una comparació internacional correcta, bàsicament perquè les respostes dels molts estudiants van ser proporcionades en temps increïblement curts, que no podien representar la seva veritable competència lectora.
Això fou atribuït a la “tempesta perfecta del desinterès” –alumnes desmotivats i indiferents a una prova on no s’hi juguen res– i també a problemes en l’aplicació informàtica de les preguntes relatives a fluïdesa lectora, fins i tot a deficiències en la gestió de les proves per part de les empreses aplicadores. En qualsevol cas, la funció “termòmetre” de PISA indica una baixada general de resultats respecte 2015, de manera que, tres anys després, si un dels objectius de la LOMCE era precisament millorar en els rànquings internacionals, el fracàs és sonat. Tot i les aparents garanties quant a la recollida i el tractament de dades d’un projecte consistent i ben finançat, malgrat els recursos metodològics i el treball seriós i de bona fe de molta gent, l’objectivitat és un objectiu elusiu, fins i tot dins dels paràmetres de la pròpia recerca.
Tanmateix, això no és el més important. Tal com explica Labaree, l’assumpte realment de fons és que pel fet de reduir l’educació a quantitats els investigadors educatius han tendit a focalitzar-se en el que poden mesurar quantitativament en lloc de fer-ho en el que és rellevant, cosa que ens remet a la drunkard’s search, el títol d’aquest article. Contribueixen a dibuixar mapes reduccionistes d’una educació assimilada a un nombre limitat de magnituds mesurables, on les persones, amb les seves idees, interessos i accions són majoritàriament absents.
Aquests mapes tempten policy-makers, administradors i tertulians a considerar que són una adequada i precisa representació de la realitat i a prendre, a partir d’ells, decisions tècniques i polítiques que entren en conflicte amb la complexa realitat dels centres i de les aules. Jutjar l’educació per la via de la quantificació com a base de la confiança és com bastir una mena de tòtem amenaçador i seductor alhora, convenient per a administradors i tecnòcrates i bo per articulistes i mitjans de comunicació, però amb peus de fang perquè està lluny del que realment importa: la feina que es fa als centres educatius, la feina dels quals és ignorada o menystinguda, si més no de facto.
Ara estem en condicions de tornar al leit-motiv d’aquest post. Al respecte voldria citar Henry Mintzberg, el gran teòric de les organitzacions humanes i gran desconegut en l’àmbit educatiu (pel que he preguntat informalment en algunes ocasions dedueixo que no és gens popular a les nostres facultats d’educació –increïble). En un article curt Mintzberg diu que l’economia va bé quan les empreses van bé. [8] Perquè això sigui possible, governs i òrgans reguladors nacionals i internacionals han de vetllar les condicions que permeten una macroeconomia estable i una microeconomia competitiva.
Parafrasejant Mintzberg en aquest sentit, podríem dir que l’educació va bé quan els centres educatius van bé. Per això, els governs han de cuidar materialment les organitzacions educatives (aquestes no es poden autofinançar perquè la seva missió no és fer beneficis, és així de senzill!). Alhora, governs i organismes internacionals han de proporcionar marcs de referència estables, que no estàtics. En la meva opinió, una expressió compacta i suficient d’aquests marcs seria orientar l’escolarització a la cultura de l’alumne en sentit ampli, respectar el principi de subsidiarietat, afavorir la dimensió comunitària i promoure el retiment de comptes intel·ligent, en un context de finançament suficient. Molt em temo que ni PISA ni la recerca quantitativa no hi ajuden gaire.
El sistema educatiu genera un immens volum de dades quantitatives. Pel que fa el rendiment, la part més notable prové de les proves de competències bàsiques que es fan a diversos cursos de primària i de secundària a tots els centres des de la implantació de la LOE. La informació que reverteix en els centres serveix com a presa de la temperatura, i això és bo en la mesura que s’utilitzi per generar actuacions específiques, tal com afortunadament ocorreix en alguns casos.
Organismes d’avaluació i d’estadística que treballen en la “zona il·luminada” recullen tota mena de dades relacionades i elaboren indicadors que serveixin per analitzar el funcionament del sistema educatiu. En conseqüència es disposa d’informacions relatives a assumptes com: alumnat que obté els diversos títols, que segueix el curs que per edat li pertoca, que no obté titulació o que abandona prematurament; inserció laboral en estudis professionals; nivell socioeconòmic de les famílies i de l’entorn dels centres; nombre d’estudiants per classe i ràtios alumnat-professorat; concentració d’immigrants a les aules i als barris; inventaris d’equipaments i de recursos tecnològics; dades del tipus d’entorn familiar i el nivell formatiu dels pares, i, per descomptat, dades econòmiques com ara pressupostos educatius, despesa per alumne i percentatge del PIB dedicat a educació, etc. En alguns països fins i tot s’inclouen mesures psicomètriques com el quocient d’intel·ligència.
Aquestes dades, que no requereixen recursos desproporcionats per a la seva adquisició i validació, són un paradís per als investigadors i donen peu al tipus de recerca educativa i als mapes del sistema que critica Labaree, que modelitzen possibles relacions entre el rendiment acadèmic i la resta de dades que descriuen l’entorn de l’educació. Sense restar-hi rellevància ni interès, soc dels que pensen que aquests estudis contribueixen a propagar una visió excessivament mecanicista de la relació entre, d’una banda, els resultats educatius, i, de l’altra, múltiples variables descriptives de l’entorn i dels recursos destinats a l’educació. Això ho explica superbament el gran psicòleg cognitivista David Olson, deixeble i hereu de Jerome Bruner, en el seu imprescindible llibre Psychological Theory and Educational Reform: How School Remakes Mind and Society (2003).
Olson qualifica d’actuarial aquesta visió de la recerca, perquè la converteix en una permanent activitat de predicció de resultats a partir de dades quantitatives de recursos i condicions socioeconòmiques, les conclusions de la qual són en certa manera tautològiques amb la premissa: amb més recursos i més ben distribuïts els resultats serien millors. La recerca actuarial proporciona abundant material per a debats d’idees i eventuals formulacions polítiques però amaga de l’escena altres factors realment importants que romanen en la zona fosca. Per aquest motiu sembla que és més útil per a la carrera professional dels investigadors –sotmesos a un sistema universitari ferotge, que exigeix publicar de manera constant– que per als propis centres educatius i professionals de l’ensenyament. El problema real no és òbviament la realització d’aquests estudis, sinó que en ells els centres educatius desapareixen de l’escena, són com caixes negres que a partir d’uns inputs numèrics proporcionen uns determinats outputs, també quantitatius.
En termes humans aquest enfocament és insatisfactori, perquè el denominador comú dels inputs és que són aliens a les persones. Ni alumnes ni docents no poden incidir en factors com el nivell socioeconòmic i el capital sociocultural de la família, la procedència geogràfica, la immigració, la mida dels grups i la ràtio alumnes-professors, els equipaments i materials, les hores de classe per matèria, la despesa per alumne o el PIB gastat en educació, etc. Cap d’aquests inputs pot ser canviat o obviat per les persones que conviuen al centres, i com que no hi poden fer res, els hi són aliens, tot i que els condicionin. Per això trobo inadequat modelitzar rendiments a partir de factors que no controla el centre educatiu, ni el docent ni molt menys l’alumne.
Hi haurà qui pensarà que aquesta apreciació és errònia, inconvenient, fins i tot, impresentable, perquè els nombres són necessaris per a gestionar el món actual, cosa que no nego pas, en absolut. Tanmateix, de la simplificació que representa una recerca que no compta amb les persones no sembla que n’hagi de sortir res realment profitós i potent de cara el futur. A més, va en detriment de la personalitat i de la tasca dels centres educatius, perquè a la ciutadania i als propis ensenyants els hi arriba que la millora de l’educació és només una qüestió tecnocràtica i de recursos econòmics, correlacionada amb la ideologia i la voluntat política dels governants i amb les lleis que aquests imposen, i d’aquí el seu ús en la controvèrsia social i com a munició política. Res del que he dit s’oposa a la legitimitat de requerir més diners per a l’educació o de distribuir-los amb criteris d’equitat, però cap millora ni cap investigació que no compti amb la gent pot ser realment útil. Les persones, individualment considerades, em refereixo sobretot a professors i alumnes, tenen els seus propis objectius, interessos, creences i intencions, potencials i limitacions, als quals les explicacions han de fer en darrer terme referència.
La recerca que avui dia es necessita ha de contemplar els actius existents en l’interior de les organitzacions, malgrat puguin ser molt difícils de determinar i categoritzar, i en el còmput d’aquests recursos s’hi ha d’incorporar les capacitats dels individus (docents i alumnes) com a instruments clau de millora. També ha de redefinir l’ambigu concepte de rendiment. Certament, fan falta més diners, que seran sempre benvinguts, sobretot si s’inverteixen amb valentia i visió de futur, evitant apuntalar rutines heretades i vicis del passat. També cal que la recerca vagi més enllà de la dinàmica actuarial i reflecteixi l’enorme importància del compromís, professionalitat i dedicació del professorat, de la importància d’implicar l’alumne incorporant la seva veu i del caràcter crucial de l’organització interna i de l’ethos de la institució escolar. Són de factors de la zona fosca però que cal descobrir i posar en primer pla buscant totes les fonts de llum alternatives que puguin ser necessàries.
Mintzberg deia que els economistes són com els meteoròlegs, poden prendre les seves mesures i fer algunes prediccions però són incapaços de produir els canvis necessaris. Penso que el mateix es pot dir d’una certa investigació educativa. Només la recerca que tingui present que un centre educatiu és una comunitat de persones pot contribuir a materialitzar els avenços reals i profunds que avui dia es necessiten.
Gràcies.
Ferran Ruiz Tarragó
Referències
[1] https://en.wikipedia.org/wiki/Streetlight_effect
[2] https://en.wikipedia.org/wiki/Nasreddin
[3] David F. Labaree (2010). The Lure of Statistics for Educational Researchers. Smeyers, Depaepe (eds.) Educational Research: The Ethics and Aesthetics of Statistics. Springer Science+Business Media B.V.
[4] La escuela española suma 10 años atascada en resultados mediocres.
[5] Theodore M. Porter (1995). Trust in numbers: The pursuit of objectivity in science and public life. Princeton University Press.
[8] Henry Mintzberg (July 7, 2010). The Problem Is Enterprise, Not Economics. Huff Post Business.
