núm. 28 | any 2014
«La mateixa prova en dos idiomes pot no avaluar el mateix»
Guillermo Solano-Flores és professor a l’Escola d’Educació de la Universitat de Colorado Boulder, als EUA. El seu treball de recerca examina la intersecció de la psicometria i la sociolingüística i la manera com aquest coneixement multidisciplinari pot contribuir a millorar el procés de desenvolupament, revisió, traducció i adaptació de proves. Va postular la Teoria de l’error de traducció de proves, que està tenint un elevat impacte en la millora de les proves internacionals per avaluar sistemes educatius (TIMSS, PISA…). La recerca de Solano-Flores és rellevant per a l’avaluació d’estudiants en societats amb alta diversitat lingüística i també per a proves internacionals.
Jesús Miguel Jornet, Departament de Mètodes d’Investigació i Diagnòstic en Educació (MIDE). Universitat de València | Fotografies: Miguel Lorenzo
Com va sorgir la Teoria de l’error de traducció de proves?
Amb els meus col·legues vaig postular aquesta teoria per sistematitzar el treball de traducció de proves. Examinàvem molts ítems que s’havien utilitzat en proves internacionals i s’havien traduït al castellà després d’haver-se desenvolupat originalment en anglès. Vam fer un inventari de tot el que ens semblava erroni en la traducció. Concloguérem que l’error de traducció no és simplement o necessàriament un problema d’un treball inadequat, sinó un problema de correspondència de llengües. Des de fa molt de temps, els antropòlegs han demostrat que les llengües no retraten i descriuen la realitat i les idees de la mateixa manera (qualsevol persona que haja intentat explicar o entendre un acudit originat en un altre idioma ho pot comprendre). En traduir, alguna cosa del missatge original es perd. Per tant, en traduir una prova, es poden alterar els constructes (coneixements o habilitats) que aquesta vol mesurar. D’aquesta manera, la mateixa prova en dos idiomes pot no avaluar el mateix. La teoria identifica els factors que poden maximitzar l’equivalència d’una prova entre idiomes.
En què consisteix aquesta teoria?
La teoria diu que no hi ha traducció perfecta (encara que la facen els millors traductors professionals) i que l’error de traducció no es pot eliminar però es pot minimitzar. Per minimitzar aquest error en una prova, cal reconèixer-ne la naturalesa multidimensional: un mateix error pot afectar el contingut d’una prova en formes múltiples. L’error de traducció és més fàcil de detectar quan hi ha equips multidisciplinaris que discuteixen a fons les característiques lingüístiques de les proves traduïdes.
En quins estudis s’ha aplicat?
Hem aplicat la teoria en la revisió de proves internacionals com ara TIMSS (Trends in International Mathematics and Science Study) i PISA (Program for International Student Assessment). També hem aplicat la teoria per examinar la pertinència de traduir proves mexicanes del castellà a llengües indígenes.
I quines repercussions té la Teoria de l’error de traducció de proves en avaluacions estandarditzades a gran escala?
Els organismes coordinadors d’aquestes proves donen als països participants directrius generals per efectuar adequadament les traduccions a les seues llengües. La repercussió major és que la teoria permet als països avaluar les seues traduccions formativament, de manera que aquestes directrius de traducció es puguen aplicar adequadament i amb un nivell alt de precisió.
Quines recomanacions faria perquè les proves internacionals o nacionals en contextos bilingües no tingueren el biaix de la traducció?
La meua recomanació principal és que, d’acord amb els principis de la teoria, les traduccions de proves passen per un procés intern de revisió en què participen equips multidisciplinaris (traductors, lingüistes, educadors…) que siguen usuaris de les llengües a què es tradueixen les proves. Encomanar la traducció d’una prova a un traductor no és, de cap manera, una garantia que la prova serà entesa de la mateixa manera pels estudiants.
Heu esmentat també en alguns dels vostres treballs la validesa cultural de les proves. A què feu referència?
La validesa cultural és un concepte que vaig encunyar per referir-me al grau en què el desenvolupament d’una prova considera l’epistemologia de l’examinand –la manera com la interpretació d’ítems es pot veure influïda per la seua visió del món. Tenim l’evidència que factors socioculturals, principalment els econòmics, influeixen en la manera d’interpretar els ítems d’una prova. En molts casos, els estudiants els interpreten basant-se en la seua experiència cultural fora de l’aula, no en el que han après a classe. Així, les proves mesuren la riquesa de les experiències dels estudiants en la seua vida diària fora de la classe, que està altament associada al nivell socioeconòmic.
Quina relació té la validesa cultural amb la Teoria de l’error de traducció de proves?
Les dues contribucions revelen una realitat més complexa del que és llengua i cultura. Ambdues posen de manifest la importància de tenir en compte aquesta complexitat si hem de fer proves que involucren diferents grups culturals i lingüístics i que els avaluen de manera justa i vàlida.
Quines línies de recerca desenvolupeu en l’actualitat?
Continue investigant com es poden dissenyar procediments per desenvolupar, adaptar i traduir proves que siguen més sensibles a les influències lingüístiques i culturals. També investigue com es poden usar il·lustracions gràfiques en els ítems per facilitar als estudiants l’accés al seu contingut.
Comenteu-nos alguna cosa més sobre els vostres estudis de les il·lustracions en els ítems de les proves.
En principi, si il·lustrem algunes de les idees del contingut dels ítems d’una prova (sense revelar les respostes correctes, és clar), podem facilitar a l’estudiant la comprensió del que se li pregunta. La recerca revela que, perquè això siga possible, el contingut de la il·lustració ha de ser dissenyat acuradament. La il·lustració ha de recolzar la comprensió de l’ítem, no imposar-ne un contingut més complex. Això ens ha portat a identificar unes cent variables que ens permeten diferenciar tipologies d’il·lustracions i així poder-les estudiar a fons en la seua relació amb el text de l’ítem.
Les tipologies de les il·lustracions tindrien aplicació per al disseny en llibres de text i material multimèdia?
La tipologia que hem desenvolupat per a les il·lustracions s’aplica igualment als llibres de text i a les il·lustracions de proves, tot i que el nostre treball revela que les il·lustracions en tots dos mitjans serveixen a funcions ben diferents. Sorprenentment no s’havia fet un treball sistemàtic per classificar, examinar i desenvolupar il·lustracions per a ítems.
Què ens podeu comentar sobre les il·lustracions en les proves que s’utilitzen per a comparacions internacionals?
Sabem que les comparacions internacionals, com qualsevol altre sistema d’avaluació, es beneficiarien considerablement si incorporaren els resultats de la nostra recerca al desenvolupament dels seus ítems il·lustrats.
Finalment, com valoraríeu les avaluacions internacionals?
Són molt útils i poden ajudar els països a depurar els sistemes educatius, sempre que la informació que aporten s’utilitze en combinació amb informació de moltes altres fonts. Una estratègia que els països poden aplicar per beneficiar-se de la seua participació en avaluacions internacionals consisteix a crear programes de formació de professionals de l’avaluació que estiguen associats a aquesta participació. En altres paraules, la participació en avaluacions internacionals pot ser una oportunitat per desenvolupar la capacitat avaluativa del país, no simplement la tasca d’examinar els estudiants.
————————————————————————
Ruiz-Primo, M.A., Jornet, J.M., i Backhoff, E. (2006). «Acerca de la validez de los exámenes de la calidad y el logro educativos (Excale)». Cuadernos de Investigación, nº 20. Instituto Nacional para la Evaluación de la Educación (INEE)-México. México: México D.F. http://publicaciones.inee.edu.mx/detallePub.action?clave=P1C120
Ruiz-Primo, M.A., Li, M., Wills, K., Lan, M-Ch., Giamellaro, M., Mason, H. i Sands, D. (2012). «Developing and Evaluating Instructionally Sensitive Assessments in Science». Journal of research in science teaching, vol. 49, nº 6, pp. 691- 712.
Ruiz-Primo, M.A., Shavelson, R.J, Hamilton, R., i Klein, S. (2002). «On the Evaluation of Systemic Science Education Reform: Searching for Instructional Sensitivity». Journal of research in science teaching, vol. 39, nº 5, pp. 369-393.
Solano-Flores, G., Backhoff, E., i Contreras-Niño, L.A. (2009). «Theory of test translation error». International Journal of Testing, 9, pp. 78-91.
Solano-Flores, G., Barnett-Clarke, C. i Kachchaf, R.R. (2013). Semiotic Structure and Meaning Making: The Performance of English Language Learners on Mathematics Tests, Educational Assessment, 18:3, pp. 147-161. http://dx.doi.org/10.1080/10627197.2013.814515
Solano-Flores, G., i Li, M. (2013): «Generalizability theory and the fair and valid assessment of linguistic minorities, Educational Research and Evaluation: An International». Journal on Theory and Practice, 19:2-3, pp. 245-263. http://dx.doi.org/10.1080/13803611.2013.767632
Leave a Reply