6.F.- Seguimiento y evaluación del proyecto: indicadores de logro

a) Indicadores de logro.

En el plan de actuación del proyecto de dirección, hemos considerado distintos elementos en su estructura: las dimensiones, ámbitos o líneas de mejora, los objetivos, las actuaciones, los agentes o responsables, los calendarios y los indicadores de logro. Estos últimos, a los que prestamos atención especial ahora, son los referentes principales para la evaluación del proyecto de dirección; y su naturaleza, aunque seguidamente se aporten algunas definiciones, se aproxima a la de las evidencias del grado de logro de los resultados. De tal modo que pudieran identificarse junto a las intenciones y las concreciones del proyecto de dirección.

Una definición de indicador de educación que suele referirse es la formulada por la OCDE (1996) para caracterizarlo como “un dato (generalmente una medida estadística) que proporciona información acerca de la condición y el estado del sistema educativo, describe sus rasgos fundamentales y es útil para la toma de decisiones”. García y Aguirregaribia (2006) entienden como indicador un instrumento que proporciona información relevante de algún aspecto significativo de la realidad educativa: “Aquellos aspectos del sistema educativo de los cuales se puede obtener información que nos posibilite hacer una valoración, cuantitativa o cualitativa, y a partir de ella tomar decisiones cuyo objetivo sea la mejora de la institución, en su totalidad o en alguna de sus partes”. Así, aunque la valoración estadística y cuantitativa es predominante, los sistemas de indicadores también incorporan evidencias cualitativas, tales como la elaboración de documentos, la recogida de percepciones o valoraciones, o la adopción de acuerdos.

A su vez, se dispone de sistemas de indicadores a gran escala, que afectan al conjunto del sistema educativo en sus distintos ámbitos (es el caso del Sistema Estatal de Indicadores de la Educación), y cabe considerar indicadores más propios, específicos y operativos en el ámbito, como aquí nos ocupa, del proyecto de dirección. Luego, con esta perspectiva, podemos entender como indicador: el resultado de las actuaciones previstas para el desarrollo de los objetivos del proyecto de dirección, expresado en términos cuantitativos o cualitativos de logro, con el que es posible realizar una evaluación de proceso y final de la que deriven descripciones, justificaciones de los logros y, sobre todo, medidas o decisiones vinculadas al rendimiento de cuentas, al reconocimiento y a la mejora.

La elaboración de indicadores cuenta, asimismo, con características básicas. Se destacan (AGAEVE, 2014), entre estas, que los indicadores resulten:

 Por lo que, como criterios, han de estimarse:

Una cuestión importante, por otra parte, es el análisis comparado de los indicadores, puesto que en el proyecto de dirección pueden estimarse, por ejemplo, indicadores cuyo logro se establezca en función de la mejora de los resultados escolares, tomando como referencia medias de comparación. De ahí la consideración de índices socio-económicos y culturales, a partir de datos de contexto, socio-económicos y familiares, generalmente obtenidos mediante cuestionarios, que permiten situar las comparaciones de manera más equilibrada y pertinente. Tales índices no son elaborados directamente por los centros, pero, a partir de las evaluaciones externas de diagnóstico hasta ahora realizadas, es habitual que los informes den cuenta de tales índices.

Como forma sintética de estimar la utilidad y calidad de los indicadores, es bastante oportuno considerar las características de los indicadores clave de rendimiento (KPI por denominación en inglés, Key Performance Indicator), que se definen con el término, aunque en este caso acrónimo, SMART.

Considerados los criterios y orientaciones anteriores, pueden evitarse, además de las disfunciones que se advierten en la muestra de indicadores, algunas confusiones tales como la de asimilar, o elaborar con escasas diferencias, objetivos del proyecto e indicadores. Se comenzó caracterizando los primeros, los objetivos (también referidos en algunos casos como áreas o propuestas de mejora tras el diagnóstico inicial), a modo de intenciones, y los segundos, los indicadores, como evidencias del grado de logro de las actuaciones que concretan los objetivos. Luego es necesario cuidar la redacción de unos y otros, objetivos e indicadores, en función de su distinta naturaleza. Los indicadores, por tanto, se vinculan a las actuaciones. Y los objetivos, por su parte, pueden organizarse a partir de líneas de actuación, dimensiones o ámbitos generales del plan de actuación del proyecto de dirección.

b) Seguimiento y evaluación del proyecto.

Una vez estimados los indicadores de logro como referentes principales para la evaluación del proyecto, corresponde describir cómo se lleva a cabo esta y facilitar algunas herramientas para realizarla.

La evaluación de proceso interna corresponde de manera directa al director que presentó el proyecto, junto a su equipo directivo, para la que pueden recabarse asimismo informaciones o valoraciones de distintas instancias u órganos del centro, a fin de revisar el grado de cumplimiento de los objetivos y adoptar las medidas que resultarán necesarias. Suele realizarse en los momentos finales del curso, coincidiendo con la elaboración de la memoria final. La evaluación de proceso participativa concierne a los órganos y equipos de coordinación docente, teniendo en cuenta los indicadores del proyecto de dirección en el marco de las revisiones trimestrales de los resultados de los procesos de enseñanza y de aprendizaje. Y la evaluación de proceso externa, por último, se entiende como tal cuando, en el modelo anterior de evaluación participativa, un experto o asesor externo en evaluación de procesos, a solicitud del director o del equipo de coordinación pedagógica, interviene para desbloquear o facilitar el avance en el proceso de evaluación.

Por su parte, la evaluación final administrativa de los resultados concierne a la Administración educativa; si bien, como ya se adelantó, la consideración del proyecto de dirección no se estima, de manera general, en los criterios de evaluación que las Administraciones establecen y hacen públicos para la valoración del ejercicio directivo. La evaluación final institucional corresponde a la realizada por el Consejo Escolar del centro, a efectos de la valoración del ejercicio directivo, y su grado de desarrollo es desigual: desde el resultado de una valoración general que se resuelve con la votación favorable por la mayoría –suele aludirse a que sea absoluta- de sus miembros, hasta el análisis más pormenorizado en función de una guía o protocolo de actuación para considerar la valoración, entre otros aspectos, del logro de los objetivos del proyecto de dirección. El modelo de la evaluación objetiva de experto suele aplicarse en el ámbito de los centros privados o en sistemas con amplia autonomía o descentralización, generalmente para tomar decisiones relevantes como una nueva selección del director del centro. Del mismo que, en algunos casos, el experto, sobre todo en el caso de los sistemas educativos que subrayan el modelo de dirección por proyectos, puede asesorar y facilitar los procesos de evaluación final de los resultados.

En los procesos y estrategias de evaluación suelen considerarse además, y en función de los modelos anteriores, aspectos y elementos que conciernen a quiénes evalúan, y a qué, cuándo y cómo se evalúa. Como principio de partida, el referente básico para evaluación de un proyecto son los indicadores de logro establecidos en el mismo. Así lo sostienen tanto Álvarez y Santos (1996) como García y Aguirregabiria (2006) cuando dan respuesta a las cuestiones anteriores.

A su vez, la responsabilidad de la evaluación del ejercicio directivo guarda relación directa con la configuración del sistema educativo. En nuestro caso, aunque tiende a la descentralización, esta es más propia de la distribución de competencias entre el Estado y las Comunidades Autónomas que de la autonomía real conferida a los centros, ya que en el ámbito de las Comunidad Autónomas se adoptan tendencias asimismo centralizadoras. La responsabilidad de la evaluación suele atribuirse a la Inspección educativa, si bien en los desarrollos que adoptan las distintas Administraciones también se estima la realización de una memoria de autoevaluación del director, que suele incluir su valoración sobre el grado de los logro de los objetivos del proyecto, así como el pronunciamiento favorable del Consejo Escolar del centro.

El qué evaluar se relaciona con los criterios de evaluación del ejercicio directivo. Generalmente, estos criterios de evaluación se vinculan con las competencias directivas y se asocian a ámbitos de gestión como los sugeridos por Álvarez y Santos (1996) para la elaboración del proyecto de dirección: ejecutivo, administración, innovación e integración. Los momentos del cuándo ya se han adelantado al considerar el propio carácter de proceso y final que adopta la evaluación del proyecto de dirección. Y, con respecto al cómo, esos mismos autores consideran la utilidad de un informe escrito, preferentemente realizado por la dirección del centro y en los momentos de la evaluación final, donde se deje constancia de los antecedentes, de la evolución del proyecto, de la valoración con respecto al alcance de los objetivos en función de los indicadores, de la justificación de las acciones y los resultados, así como de una reflexión y propuesta personal.

Tal informe correspondería a una fase previa de evaluación de la dirección, considerada en el marco de un proceso, ajustado a las realidades del centro, que estima una fase de preparación del plan de evaluación, de aplicación del mismo y de información de los resultados, tal como se recoge en el cuadro siguiente. La estructura de este plan, además de a la realidad del centro, puede adaptarse el propio proceso institucional de evaluación del ejercicio directivo, dado que la elaboración de un informe o memoria del director -que toma como referencia el proyecto de dirección- así como la valoración del Consejo Escolar, también estimada en algunos desarrollos, pueden vincularse a las fases previstas en el plan.