3. Modelos de evaluación de la calidad
Se analizan los distintos modelos de evaluación de la calidad agrupados en dos tipos: uno para fuentes generales y otro para aquellos recursos de carácter científico
- 3.1. Tipología de modelos
- 3.2. El Método CRAAP
- 3.3. El Método RADCAB
- 3.4. El Método RADAR
- 3.5. El Método CARS
- 3.6. Métodos avanzados
3.1. Tipología de modelos
Como ya se ha podido constatar, el concepto de calidad de la información es multidimensional y marcadamente subjetivo, por lo que existe una enorme pluralidad de modelos de evaluación de la misma. En general, la publicación en una revista científica es garantía suficiente de que nos encontramos ante un producto fiable y utilizable sin matices por las restrictivas políticas de publicación que incluyen, con procesos de revisión y normas muy estrictas basadas en la originalidad y el correcto uso de la metodología científica. Pero existen algunos recelos ante tal aseveración.
La facilidad e inmediatez de la publicación, la multiplicación exponencial de las propias fuentes, la existencia de mecanismos de alteración de los algoritmos de los buscadores, la volatilidad de los servidores y páginas web, pero sobre todo la ausencia de rigor y control y la carencia de sistemas de evaluación de sus contenidos son elementos que también justifican esas dudas.
Se antoja imprescindible por tanto dotarnos de herramientas capaces de evaluar la calidad de las fuentes, criterios con la suficiente entidad para asegurar que estamos utilizando información veraz y fiable.
Se han seleccionado dos tipos de modelos: unos más sencillos, que responden a preguntas concretas y no precisan un conocimiento exhaustivo del dominio o temática que contiene el recurso; y otros más avanzados, más especializados en evaluar literatura científica.
Videotutorial. Evaluación de la información (UNED)
Material complementario
Evaluación de calidad de fuentes y recursos digitales: Guía de buenas prácticas (2006)
Financiado por el Ministerio de Educación y Formación Profesional y por la Unión Europea - NextGenerationEU
3.2. El Método CRAAP
La prueba o método CRAAP, desarrollada por Sarah Blakeslee, es un test de evaluación que permite verificar la confiabilidad de un recurso de información independientemente de su tipología mediante la respuesta a cinco interrogantes:
-
Currency (Actualidad): se debe preguntar ¿cuándo ha sido publicada la información en este sitio web? ¿ha sido revisada o actualizada? ¿es una información actualizada? ¿funcionan los enlaces?
-
Relevance (Relevancia): tras haber seguido una correcta estrategia de búsqueda, la información recuperada ¿trata sobre la temática que se pretende? ¿es fiel a lo que promete? ¿es excesivamente divulgativa o muy técnica?
-
Authority (Autoridad): se trata de conocer si el autor es un experto o una institución relevante en el tema tratado. Por tanto, ¿quién es el autor? Se ha de tener en cuenta que a veces en Internet el responsable del contenido no es el propio autor, y que no necesariamente la fuente donde se publica es indicativa de la calidad del documento. Es fundamental distinguir las noticias o el contenido relevante de las opiniones personales y ser conscientes de la enorme proliferación de bulos en la red.
-
Accuracy (Seguridad): ¿la información es correcta? Resulta muy útil contrastar su contenido con otras fuentes para evaluar de forma más crítica y obtener un conocimiento más profundo.
-
Purpose (Propósito): Se inquiere sobre el propósito del autor, si tiene como pretensión informar, entretener, convencer o vender. Se deben despejar dudas acerca de si existe un conflicto de intereses o unas intenciones ocultas en sus contenidos. Y si se trata de una temática delicada, localizar, si existieran, sentimientos personales, pasiones ideológicas o sesgos de cualquier tipo que influyeran negativamente sobre la objetividad del artículo.
Figura 3. El modelo CRAAP (fuente original)
Financiado por el Ministerio de Educación y Formación Profesional y por la Unión Europea - NextGenerationEU
3.3. El Método RADCAB
Esta rúbrica, ideada por Karen Christensson, se estructura en cinco campos:
-
Relevancy (Relevancia): ¿es relevante la información contenida en el recurso para la cuestión que se busca? Y además, ¿es ese el camino correcto?
-
Authority (Autoría): ¿quién es el autor de la información y cuál es su experiencia y trayectoria científica o académica?
-
Detail (Detalles): ¿me proporciona la cantidad suficiente de información? ¿Tiene profundidad y alcance? ¿dispone de soporte visual atractivo y relacionado con el contenido? ¿tiene citas y referencias bibliográficas?¿está bien organizado el contenido informativo?
-
Currency (Autorización): ¿Cuándo se publicó la información?¿ha sido actualizada?
-
Appropriateness (Adecuación): ¿Es adecuada la información al nivel del conocimiento que posee el usuario del dominio? ¿contiene datos falsos que se han de verificar?
-
Bias (Parcialidad/Objetividad): ¿Con qué intencionalidad se escribió la información? ¿Tiene como objetivo informar, persuadir, entretener, vender algo o confundir?
Fig. 4. El método RADCAB (fuente original)
Financiado por el Ministerio de Educación y Formación Profesional y por la Unión Europea - NextGenerationEU
3.4. El Método RADAR
J. Mandalios creó esta rúbrica para evaluar la calidad de la información web. Como los anteriores, busca responder a diversos interrogantes aglutinados en cinco criterios:
-
Relevance (Justificación): ¿Por qué el autor o el editor puso a disposición esta información? ¿Existe un sesgo o prejuicio obvio y/o extremo? ¿Se presentan puntos de vista alternativos? ¿Omite el autor algún hecho o dato importante que pueda refutar su afirmación? ¿cuál es el propósito? ¿Qué tono se está utilizando?
-
Authority (Autoría): ¿Cuáles son las credenciales del autor? ¿Qué vinculación tiene el autor con tu tema? ¿El autor pertenece a una institución educativa o una organización de renombre? ¿Puedes encontrar información sobre el autor en libros de referencia o en Internet? ¿Otros libros o artículos sobre el mismo tema de investigación citan al autor? ¿Es confiable el editor de la fuente de información?
-
Date (Actualización): ¿Cuándo se publicó o actualizó por última vez la información? ¿Se han publicado nuevos artículos sobre su tema? ¿Están actualizados los enlaces o las referencias a otras fuentes? ¿El tema está en un área que cambia rápidamente, como la tecnología o la ciencia? ¿La información está obsoleta?
-
Accuraty (Seguridad): ¿Hay afirmaciones falsas? ¿La información fue revisada por editores o expertos en la materia antes de su publicación? ¿Las citas y referencias respaldan la afirmación del autor? ¿Las referencias están correctamente citadas? ¿Qué tienen que decir otras personas sobre el tema? ¿Existe un acuerdo general entre los expertos en la materia? ¿hay una descripción del método de investigación utilizado y se utiliza correctamente? ¿El artículo fue publicado por una revista revisada por pares, prensa académica u otra editorial confiable? ¿Hay fotos retocadas? ¿el dominio es confiable?
-
Reason (Relevancia): ¿La información responde a la pregunta de investigación? ¿La información cumple con los criterios establecidos en la estrategia de búsqueda? ¿Es la información demasiado técnica o demasiado simplificada? ¿Quién es el público objetivo? ¿La fuente agrega algo nuevo al conocimiento del tema? ¿La información está enfocada en la ubicación geográfica que te interesa?
Figura 5. El método RADAR (fuente original)
Financiado por el Ministerio de Educación y Formación Profesional y por la Unión Europea - NextGenerationEU
3.5. El Método CARS
Este listado de verificación, creado por Robert Harris, contiene los siguientes criterios:
-
Credibility (Credibilidad): ¿Existe una organización editorial o patrocinadora? ¿Es la organización una autoridad en el tema? ¿Es el autor una autoridad en el tema? ¿Hay errores de ortografía, gramaticales, enlaces muertos u otros problemas que indiquen una falta de control de calidad?
-
Accuracy (Seguridad): ¿Concuerda la información contenida con la de otras fuentes? ¿Se contradice el sitio web a sí mismo? ¿Cuál es la fecha de publicación o copyright? ¿Se ha actualizado recientemente?
-
Reasonableless (Razonabilidad): ¿El autor, anfitrión, editor o patrocinador tienen algún sesgo? ¿Cuál es la motivación o el propósito de crear el sitio? ¿Para vender un producto? ¿Para promover un punto de vista o creencia? ¿Para educar?
-
Support (Soporte): ¿Se enumeran las fuentes? ¿Se pueden comprobar? ¿Hay alguna forma de contactar con el autor o la organización?
Figura 6. El método CARS (fuente original)
Financiado por el Ministerio de Educación y Formación Profesional y por la Unión Europea - NextGenerationEU
3.6. Métodos avanzados
En este grupo incluimos diversos modelos de evaluación de la calidad más complejos y profundos, generalmente utilizados en el ámbito del análisis de las publicaciones científicas. Aunque los criterios son muy parecidos a los empleados en los anteriores, los indicadores que miden su credibilidad ahondan en aspectos que amplían y profundizan en los contenidos.
Modelo de Blázquez
Blázquez estima la calidad de una fuente de información si posee los siguientes factores: que aborde de forma específica el tema para el que ha sido creada; en segundo lugar, debe ser exhaustiva, rigurosa, profunda, original y novedosa; en tercer lugar utilizar un lenguaje técnico y científico vinculado a la materia de que se trate; en cuarto lugar, los autores han de tener reconocimiento en la comunidad científica, y las editoriales fiables; en quinto lugar, la existencia de procesos de evaluación que filtren los trabajos; y por último. poseer un adecuado aparato crítico sustentado en una bibliografía adecuada y actualizada.
Estos aspectos se articulan en el protocolo que sigue:
Criterios | Indicadores |
Autoridad |
Es conocida por otros escritos Forma parte de un grupo de investigación o colabora con otros investigadores reconocidos Experiencia en la materia Filiación de la autoridad Número de citas recibidas o índices bibliométricos Dispone de sitio web Dispone de firma científica normalizada (ORCID) |
Publicación |
El editor es reconocido en el área científica o la temática Número de publicaciones científicas desarrolladas Dispone de sistema de evaluación por pares Dependencia (centro investigador o asociación profesional) |
Fiabilidad y objetividad |
Información correcta y exacta Utiliza otras fuentes para contrastar contenidos Incluye bibliografía comentada y correctamente citada Utiliza fundamentalmente fuentes primarias en las citas Uso correcto del lenguaje temático Estructura presentada como un trabajo científico (Título, autor, filiación, resumen, palabras clave, introducción, objetivos, metodología, desarrollo, resultados, conclusiones y bibliografía) Cuenta con el enfoque de otros investigadores Información objetiva Conclusiones probadas y documentadas |
Actualidad |
Fecha de publicación Fuente actualizada o puesta al día |
Alcance |
Aborda la totalidad o parte del área de conocimiento Nivel de información es básica, técnica, avanzada o científica Medio de transmisión general o especializado |
Atributos | Definiciones |
Accesibilidad | La información está disponible o es fácil y rápidamente recuperable |
Volumen apropiado | El conjunto de la información es apropiado para el objeto de la búsqueda |
Credibilidad | La información se considera veraz y creíble |
Integridad | La información no está perdida y tiene la suficiente amplitud y profundidad |
Concisión | La información se representa de forma compacta |
Consistencia | La información se presenta en el mismo formato |
Carencia de error | La información es correcta y confiable |
Compatibilidad | La información puede utilizarse en diferentes formas |
Interpretabilidad | La información tiene un lenguaje apropiado y las definiciones son claras |
Objetividad | La información es imparcial, carente de prejuicios |
Relevancia | La información es útil para el objetivo del tema |
Reputación | La información es altamente creíble para el tema en cuestión |
Seguridad | El acceso a la información permite mantener su seguridad |
Actualidad | La información está plenamente actualizada |
Comprensibilidad | La información es fácilmente comprensible |
Valor añadido | La información es beneficiosa y otorga contenidos al usuario |
Tabla 2. Modelo de Kahn/Strong/Wang (fuente original)
El modelo de María Pinto
Como en el caso anterior, la plantilla que ofrece María Pinto se basa en la satisfacción del usuario y en el análisis valorativo de una serie de criterios que deberían poseer los contenidos de los documentos digitales. La tipología documental y el nivel de profundidad que el usuario quiera alcanzar marcarán claramente la utilización de los mismos.
Al tratarse de documentos hipertextuales, los recursos digitales ofrecen dos niveles posibles de análisis. Uno vinculado a los aspectos relacionados con la navegación entre sus contenidos (Autoría, Actualización y Contenido) y otro determinado por los enlaces hacia el exterior de los mismos y su visibilidad en el entorno de la red (Accesibilidad, Funcionalidad, Navegabilidad y Diseño).
Su modelo es el siguiente:
Criterios | Indicadores |
Autoría |
Adscripción del autor Información sobre el autor Medio de contacto (e-mail) Logotipo de la organización Declaración de principios y propósito del sitio web Evaluación externa |
Actualización |
Fecha de creación Fecha de actualización Información actual y actualizada Existencia de enlaces obsoletos Existencia de enlaces incorrectos |
Contenido |
Cobertura Exactitud, precisión y rigor Pertinencia Objetividad |
Accesibilidad |
Diseño compatible con diferentes versiones navegador y resoluciones de pantalla Versiones alternativas de visualización Cumplimiento normativa WAI para hacer accesibles los contenidos en Internet Impresión correcta Ayuda para la navegación y la comprensión de contenidos Versiones en otras lenguas |
Funcionalidad |
Estructura lógica: tabla, menú de contenidos Pertinencia y adecuación de los títulos de las secciones Existencia de mapas web con enlaces Sistemas de búsqueda de contenidos propios |
Navegabilidad |
Menú de contenidos Botones de navegación |
Diseño |
Elegante, funcional y atractivo Combinación de colores, formas e imágenes Tipografía textual adecuada Homogeneidad de estilo y formato |
Tabla 3. Modelo de María Pinto (fuente original)
Material complementario
Fuentes de información especializada: aspectos prácticos y teóricos (2015)
Financiado por el Ministerio de Educación y Formación Profesional y por la Unión Europea - NextGenerationEU