Píldora 1.3 - Cómo valorar propuestas educativas

3. CÓMO VALORAR PROPUESTAS EDUCATIVAS

El mundo educativo vive en la actualidad un auténtico aluvión de propuestas para mejorar la calidad de los procesos de enseñanza y aprendizaje, el rendimiento escolar, el bienestar emocional del alumnado e incluso su éxito futuro. Los docentes estáis expuestos a esta lluvia constante que fomenta, e incluso en ocasiones exige, cambios más o menos profundos en los métodos, recursos, orientaciones, organización escolar, etc. En general en todas las propuestas se asimila cambio con innovación y, paralelamente, cambio con mejora de la calidad educativa. Sin embargo, esto no siempre es cierto. No todo cambio es beneficioso o, al menos, no más beneficioso que lo que ya veníamos haciendo (Chalmers, I., 2003).

Adaptado de https://impact.chartered.college/article/addressing-the-challenges-using-evidence-education/

Los docentes podéis sentir en un momento dado cierta incertidumbre sobre si el trabajo que hacéis en el aula está funcionando o no y por qué. En este sentido, a la hora de valorar la información que os rodea sobre diferentes propuestas educativas es aconsejable contar con herramientas que os permitan analizar de forma sistemática y objetiva las condiciones bajo las cuales dichas propuestas ofrecen mayores posibilidades de éxito y aquí es donde la investigación científica puede convertirse en una gran aliada. Por supuesto, es imprescindibleque la integréis con vuestra experiencia y juicio como docentes y que la contextualicéis en el centro y aula donde desarrolláis vuestra labor. Con todo, huelga decir que ninguna condición garantiza, por sí sola, que una propuesta sea acertada. Ni siquiera si se cumplieran todas las condiciones tendríamos el éxito asegurado. Las ciencias de la educación, al trabajar con personas, no gozan de ese nivel de exactitud. Pero, cuantos más elementos de rigor consideres, más probable será que hagas una valoración precisa de la propuesta. A continuación, vamos a presentar una sencilla guía en forma de preguntas que nos ayudará en este proceso de evaluación.

En primer lugar, debes valorar la procedencia de cada propuesta, esto es, quién la publica. Por lo general, las propuestas más rigurosas provienen de fuentes que no están sometidas a un conflicto de intereses. Es obvio que aquella persona o entidad que crea una propuesta educativa, cree en ella y la valora positivamente. Pero cuando son profesionales que no han participado en su creación o distribución los que juzgan sus beneficios, es mucho más probable que ese juicio sea objetivo y ecuánime. No se trata de restar valor a las opiniones de los promotores de una propuesta educativa. Su conocimiento es posiblemente el más completo y exhaustivo, pero difícilmente será imparcial. Todos los seres humanos estamos sometidos al sesgo de confirmación (Nickerson, R. S. 1998), que nos hace favorecer de modo involuntario aquella información que confirma nuestras creencias. Por ello debes recurrir, en la medida de lo posible, a las evaluaciones que realicen profesionales independientes. También puede ocurrir que la propuesta implique algún tipo de inversión en material u otros recursos formativos que estén sometidos a monopolio, es decir, que solo puedan conseguirse de una fuente que es, además, la que está difundiendo y fomentando su implantación. En ese caso también debes valorar cuidadosamente la objetividad de aquello que se nos presenta.

En segundo lugar, debes examinar la información que acompaña a la propuesta. Cuando ésta se presenta en un lenguaje claro y preciso, recoge las opiniones de diferentes personas expertas y se asienta sobre datos concretos, independientes y contrastables es mucho más confiable. Las propuestas sin fundamento científico sólido suelen caracterizarse por un lenguaje hipertécnico, confuso y farragoso (Lilienfeld, S. O., Ammirati, R., and David, M. 2012). En lugar de sustentarse en datos contrastados, lo hacen en opiniones de los promotores y en experiencias personales aisladas. En otras ocasiones, la propuesta se ampara en la valoración de un único experto (o pequeño grupo de expertos) como referente absoluto. Es lo que conocemos como “falacia de autoridad”. La realidad es que las pruebas que justifican la idoneidad de una práctica educativa de calidad no pueden provenir de experiencias u observaciones personales, ni de datos anecdóticos, ya sean de ciudadanos anónimos o de expertos académicos. Es el consenso, el grado de acuerdo científico, el que determinará si una práctica es adecuada, confiable y de calidad.

En tercer lugar, es importante evaluar el tipo de pruebas presentadas. Esta cuestión está muy relacionada con la idea anterior. Idealmente, una propuesta educativa debe estar respaldada por estudios científicos de calidad. Se espera que estos estudios incluyan un grupo experimental, sobre el que se pone a prueba la propuesta educativa, y un grupo de control. Este segundo grupo realiza una tarea similar a modo de placebo, es decir, una tarea que se parece a la que queremos evaluar, pero que no tiene efectos reales. Asimismo, se espera que estos estudios sean sometidos a una “revisión por pares”, es decir, una evaluación independiente e imparcial de varios expertos antes de ser publicados. Si además los estudios son numerosos, tanto mejor, aunque en el caso de propuestas novedosas es obvio que esto no es siempre posible. Por último, debes estar especialmente alerta ante aquellos estudios que presentan beneficios sin matices, que funcionan siempre, bajo cualquier circunstancia, aquellos que no tienen “letra pequeña”.

En cuarto lugar, es aconsejable analizar si los estudios que respaldan una práctica concreta han verificado que la causa del éxito reside en sus características y no en elementos externos. Para ello, lo correcto es que estos estudios comparen la eficacia de la práctica educativa concreta con la de otra práctica similar. Si, por el contrario, la comparan con no intervenir estarán pasando por alto que en educación hacer algo suele ser siempre mejor que no hacer nada. De igual forma, pueden cometer el error de atribuir a la intervención unosbeneficios que podrían explicarse mejor por otras razones. Es lo que ocurre cuando se utiliza, por ejemplo, una práctica educativa con alumnado de entornos socioeconómicos medio-altos y familias altamente implicadas y se concluye con rotundidad que los buenos resultados se deben a la práctica. Si no se comprueba que esta misma práctica arroja los mismos resultados satisfactorios en alumnado procedente de entornos socioeconómico medio-bajos, ¿se puede aseverar que su eficacia es independiente de las condiciones socioeconómicas y culturales de los aprendices? En esta misma línea, es importante no perder de vista que “correlación no implica causalidad”, es decir, que dos hechos correlacionen no quiere decir que el primero sea causa del segundo. Podría ser al revés. Es más, podría ocurrir que ambos hechos fueran la consecuencia de un tercer factor desconocido. O que ambos fueran dos hechos totalmente independientes que, de modo azaroso, correlacionan entre sí.

En quinto y último lugar, es importante valorar cómo encaja una propuesta educativa con el mejor conocimiento disponible en cada momento. No podemos olvidar que la ciencia cabalga a hombros de gigantes, esto es, avanza gracias al conocimiento acumulado durante años por expertos de diferentes disciplinas (como la psicología, la pedagogía, la sociología o la neurociencia, en el caso de la educación). Y, en ese sentido, se va actualizando, completando y ampliando de modo progresivo, paso a paso. Pese a que en ocasiones se muestra el avance científico de un modo revolucionario, lo habitual es que la ciencia avance lentamente y a pequeños pasos. Todo nuevo conocimiento se apoya sobre datos, teorías y fundamentos anteriores. Si una propuesta se presenta como rompedora, debemos comprobar con especial cuidado si lo que ocurre en realidad es que está al margen de la ciencia, concretamente, de sus mecanismos de seguridad y control.

Una vez hayas analizado la propuesta educativa que te interesa a la luz de estas preguntas, estarás en condiciones de emitir un juicio más ponderado. No se trata de aceptar cualquier propuesta que cumpla todos los requisitos de calidad aquí presentados ni de rechazar de plano cualquiera que no los cumpla. De hecho, en esta infografía nos hemos centrado en los criterios que dicta la investigación cuantitativa, por ser aquella que nos permite establecer relaciones de causa-efecto entre una acción concreta en el aula y su impacto en el aprendizaje o bienestar del alumnado, pero hay más formas de hacer investigación. De forma complementaria a la primera, la investigación cualitativa es un método de observación que permite describir en profundidad la realidad e interpretarla a través de estudios de caso, entrevistas, encuestas o grupos de discusión, entre otros. Y, a su vez, contribuye a formular nuevas preguntas de investigación, a decidir qué hipótesis merece la pena poner a prueba.

Cuando hablamos de analizar una propuesta, nos referimos a tener información suficiente para poder formarnos una opinión seria como docentes o y tomar decisiones con garantías. El fin último es contribuir a formar y participar de una sociedad más crítica e informada en materia educativa. Es derecho y responsabilidad de todos.

Para saber más: referencias

Chalmers, I. (2003). Trying to do more good than harm in policy and practice: The role of rigorous, transparent, up-to-date evaluations. The Annals of the American Academy, 589, 22-40. https://doi.org/10.1177/0002716203254762

Nickerson, R. S. (1998). Confirmation Bias: A Ubiquitous Phenomenon in Many Guises. Review of General Psychology, 2(2), 175–220. https://doi.org/10.1037/1089-2680.2.2.175

Lilienfeld, S. O., Ammirati, R., and David, M. (2012). Distinguishing science from pseudoscience in school psychology: science and scientific thinking as safeguards against human error. Journal of School Psychology, 50, 7-36. https://10.1016/j.jsp.2011.09.006

Informed Choices Network. That’s a claim, Key Concepts for thinking critically about Educational interventions: https://thatsaclaim.org/educational/

Autoras

Marta Ferrero:

Licenciada en Psicopedagogía y doctora en Psicología. Ha trabajado como maestra de Educación Infantil y orientadora y ha impartido docencia en la Universidad de Deusto y la UOC, actualmente trabaja en la Universidad Complutense de Madrid. Su investigación se centra en analizar la evidencia tras diferentes métodos educativos

Fátima G-Doval:

Diplomada en Magisterio por la Universidad de Santiago de Compostela y Licenciada en Filosofía y Ciencias de la Educación por la UNED, Doctorada en Didáctica e Innovación por la USC. Ha tenido diversas responsabilidades en materia de educación en Galicia.