MODELOS DE EVALUACIÓN DE RED
La evaluación de la calidad de los Recursos Educativos Digitales (RED) constituye una arquitectura de diagnóstico pedagógico y técnico fundamental para la toma de decisiones curriculares. La proliferación de contenidos digitales en la red exige el uso de instrumentos estandarizados que permitan discernir entre la simple visualización de información y la construcción real de conocimiento mediada por tecnología.
Los modelos de evaluación que se presentan a continuación representan los marcos de referencia más influyentes en la intersección de la ingeniería de software y la tecnología educativa. Estos instrumentos facilitan una auditoría multidimensional que abarca desde la robustez del diseño, la interoperabilidad técnica y la accesibilidad, hasta la efectividad del diseño instruccional y la capacidad del recurso para motivar al estudiante. Al integrar estos marcos en el análisis de materiales didácticos, se garantiza que los recursos no solo sean funcionales, sino que actúen como catalizadores de procesos cognitivos profundos y aprendizaje significativo.
| MODELOS | Modelo de McCall (1977) | Modelo FURPS (1987) | Modelo LORI (2002) | Modelo COdA (2012) | Modelo Sistémico de Galvis (2000) | Modelo de Evaluación Pedagógica de Reeves (1997) |
|---|---|---|---|---|---|---|
| Título del modelo: | Modelo de Calidad de McCall, Richards y Walters. | Modelo de Calidad FURPS (Hewlett-Packard). | Learning Object Review Instrument (LORI). | Calidad de los Objetos de Aprendizaje (COdA). | Ingeniería de Software Educativo. | Dimensiones Pedagógicas para la Educación Basada en Ordenadores. |
| Descripción: | Desarrollado inicialmente para la Fuerza Aérea de los Estados Unidos, este modelo clásico establece que la calidad del software es el grado en que este posee una combinación deseada de atributos (Cova, Arrieta & Aular, 2008). Su enfoque es la perspectiva del usuario final y del equipo de mantenimiento, organizando los requerimientos de calidad en tres ejes fundamentales durante el ciclo de vida del software: la operación del producto, la revisión (modificación) del producto y la transición del producto hacia otros entornos | Propuesto por Robert Grady para Hewlett-Packard, el modelo FURPS representa un acrónimo que agrupa las características esenciales para garantizar la calidad de un desarrollo informático (Cova, Arrieta & Aular, 2008). Es un marco de trabajo que distingue claramente entre los requisitos funcionales (lo que el sistema debe hacer) y los no funcionales (cómo debe operar el sistema), siendo altamente aplicable para auditar el desempeño de plataformas virtuales de aprendizaje (LMS) y sus recursos alojados. | Desarrollado por académicos de la Universidad de Simon Fraser (Nesbit, Belfer y Archambault), LORI es uno de los marcos metodológicos más reconocidos internacionalmente para la evaluación colaborativa de Objetos de Aprendizaje (OA) (Pinto, Gomez-Camarero & Fernández-Ramos, 2012). Su naturaleza permite que tanto desarrolladores como educadores puedan juzgar la pertinencia de un recurso antes de incorporarlo a una secuencia didáctica, garantizando un equilibrio entre la robustez técnica y la riqueza pedagógica (Adame, 2015). | Desarrollado bajo el marco de los Proyectos de Innovación y Mejora de la Calidad de la Docencia de la Universidad Complutense de Madrid. COdA está diseñado para que creadores de recursos y docentes usuarios puedan evaluar de manera objetiva y contrastada la efectividad de un Material Educativo Digital (MED). Su fortaleza radica en el balance riguroso que establece entre las necesidades de aprendizaje del estudiante y los estándares de diseño web (Fernández-Pampillón, Domínguez & De Armas, 2012). | Propuesto por Álvaro Galvis, experto internacional en tecnologías de la información, este modelo asume la evaluación como una actividad imprescindible para la toma de decisiones sobre Materiales Educativos Computarizados (MEC) (Cova, Arrieta & Aular, 2008). Galvis sostiene que el desarrollo y selección de software educativo debe responder a necesidades pedagógicas reales que no pueden satisfacerse con medios tradicionales, y por ende, su evaluación debe ser integral y sistemática. | A diferencia de los modelos puramente técnicos, Thomas Reeves cuestiona los indicadores exclusivamente empíricos o estadísticos para centrar su modelo en el diseño instruccional y la experiencia cognitiva del usuario. Creado en 1997, este modelo postula que la calidad de un recurso e-learning no radica solo en su diseño gráfico, sino en el valor de sus pedagogías subyacentes y su impacto en el estado afectivo y motivacional del estudiante (Pinto, Gomez-Camarero & Fernández-Ramos, 2012). |
| Criterios de evaluación: | Se basa en 11 factores de calidad desglosados en los tres ejes. 1) Operación: Corrección, Fiabilidad, Eficiencia, Integridad y Usabilidad. 2) Revisión: Facilidad de mantenimiento, Flexibilidad y Facilidad de prueba. 3) Transición: Portabilidad, Reusabilidad e Interoperabilidad. | El modelo evalúa cinco dimensiones categóricas: Functionality (Funcionalidad: características y seguridad), Usability (Usabilidad: factores humanos, estética, consistencia), Reliability (Confiabilidad: frecuencia y severidad de fallas), Performance (Desempeño: velocidad, tiempo de respuesta, consumo de recursos) y Supportability (Soporte: adaptabilidad, extensibilidad y mantenibilidad). | Evalúa el recurso a través de 9 dimensiones: 1) Calidad de contenidos, 2) Adecuación de los objetivos de aprendizaje, 3) Feedback (retroalimentación) y adaptabilidad, 4) Motivación, 5) Diseño y presentación, 6) Usabilidad, 7) Accesibilidad, 8) Reusabilidad y 9) Cumplimiento de estándares (Nesbit, Belfer & Leacock, 2003, citado en Pinto et al., 2012) | Se fundamenta en 10 criterios, divididos en dos categorías. Criterios Pedagógicos: 1) Objetivos y coherencia didáctica, 2) Calidad de los contenidos, 3) Capacidad de generar reflexión, críticas e innovación, 4) Interactividad y adaptabilidad, y 5) Motivación. Criterios Tecnológicos: 6) Formato y diseño, 7) Usabilidad, 8) Accesibilidad, 9) Reusabilidad, y 10) Interoperabilidad. | Examina tres dimensiones estructurales: 1) Calidad Educativa: Función educativa, objetivos del material, contenido, estrategias de instrucción, aprendizaje y retroinformación. 2) Calidad Computacional: Interfaz de usuario, estructura de la información y uso eficiente de los recursos del hardware. 3) Viabilidad de uso: Requerimientos técnicos (hardware y software), financieros y personal de soporte. | Evalúa 14 dimensiones pedagógicas polares: Epistemología, Filosofía Pedagógica, Psicología Subyacente, Orientación de las metas, Valor de la experiencia, Rol del profesor, Flexibilidad, Valor de los errores, Origen de la motivación, Adaptación a las diferencias individuales, Control del aprendizaje, Actividad utilizada, Aprendizaje colaborativo y Sensibilidad cultural. |
| Métrica o escala de valoración: | Utiliza una métrica cuantitativa donde el cumplimiento de cada característica se evalúa en una escala de desempeño técnico, asignando valores o porcentajes de cumplimiento frente a los requisitos funcionales esperados. | Escalas de medición basadas en el cumplimiento de los requerimientos de sistema, generalmente valorados a través de pruebas de carga, pruebas unitarias y niveles de tolerancia a fallos. | Utiliza una escala psicométrica de 1 a 5, visualmente representada por estrellas (donde 1 es muy deficiente y 5 es excelente), o la opción «No Aplicable» (N/A) si el criterio no corresponde a la naturaleza del recurso evaluado. | Escala cuantitativa de 1 a 5 puntos (siendo 1 el nivel más bajo de calidad y 5 el óptimo). Permite el uso de «No Aplica» (N/A) | Escala valorativa semicuantitativa de 5 opciones (Excelente, Bueno, Regular, Malo, No Aplica). | No utiliza una escala numérica tradicional. Cada dimensión es un espectro continuo delimitado por dos valores extremos u opuestos (por ejemplo: Objetivismo vs. Constructivismo; Aprendizaje sin errores vs. Aprender de la experiencia). |
| Metodología: | Emplea una descomposición jerárquica de arriba hacia abajo (Top-Down). Inicia definiendo los factores de calidad a alto nivel (perspectiva de gerencia/usuario), los descompone en criterios de calidad (perspectiva de ingeniería) y finalmente define métricas medibles a nivel de código o interfaz. | Análisis de los requerimientos del sistema clasificados en las cinco categorías clave durante el ciclo de vida de desarrollo. Prioriza los atributos no funcionales que impactan la experiencia del usuario final frente a la pantalla. | Permite evaluación individual (un solo docente) o por pares/comité de revisión. Los evaluadores navegan el recurso y asignan una puntuación por dimensión, permitiendo promediar los resultados para obtener un índice global de calidad del recurso. | El evaluador utiliza la guía de la rúbrica donde cada puntuación (del 1 al 5) está descrita cualitativamente. Se puntúa cada ítem, lo que permite generar una valoración global y establecer si el material es apto, requiere mejoras o debe ser descartado. | Metodología iterativa que propone varias fases de prueba: Valoración comprensiva, Juicio de expertos (en contenido, metodología e informática) y Pruebas con usuarios reales (pruebas piloto y de campo con estudiantes) para validar la efectividad. | Análisis del diseño instruccional del recurso. El evaluador debe situar el programa dentro de la franja del continuo para cada una de las 14 dimensiones, determinando así la tendencia pedagógica predominante del material. |
| Instrumento de evaluación: | Cuestionarios técnicos y listas de verificación basadas en métricas de cumplimiento de requerimientos técnicos de software (Cova, Arrieta & Aular, 2008). | Matrices de requisitos de calidad técnica y protocolos de pruebas de software, estructurados para registrar el rendimiento técnico bajo diversas condiciones de operación. | Formato estructurado de revisión LORI (LORI-AD) que incluye definiciones precisas para cada nivel de la escala en cada una de las nueve dimensiones evaluadas (Adame, 2015). | Plantilla/Rúbrica para evaluar la calidad de los Materiales Educativos Digitales. Este instrumento desglosa exhaustivamente las condiciones exactas para alcanzar cada nivel de puntuación (Domínguez, Fernández-Pampillón & De Armas, 2013). | Cuestionarios estructurados para juicio de expertos y encuestas finales para recabar información cualitativa de docentes y estudiantes sobre la experiencia de aprendizaje. | Matriz de espectros o continuos pedagógicos que permite trazar el «perfil filosófico y metodológico» del recurso educativo, justificando su inclusión en una estrategia didáctica determinada. |
CRITERIOS DE EVALUACIÓN DE MODELOS
MODELO COdA
| Modelo COdA (2012) | |
|---|---|
| Este modelo es el estándar sugerido para tu portafolio por su balance «5+5» | |
| Categoría | Criterios de Evaluación (1 al 10) |
| Pedagógicos | 1. Objetivos y coherencia didáctica. 2. Calidad de los contenidos. 3. Capacidad de generar reflexión, críticas e innovación. 4. Interactividad y adaptabilidad. 5. Motivación. |
| Tecnológicos | 6. Formato y diseño. 7. Usabilidad. 8. Accesibilidad. 9. Reusabilidad. 10. Interoperabilidad. |
Modelo de McCall
| Modelo de McCall (1977) – Estructura de Factores | |
|---|---|
| Este modelo organiza la calidad en tres ejes que permiten una auditoría técnica completa del software. | |
| Eje de Calidad | Factores / Criterios de Evaluación |
| Operación del Producto | Corrección, Fiabilidad, Eficiencia, Integridad y Usabilidad. |
| Revisión del Producto | Facilidad de mantenimiento, Flexibilidad y Facilidad de prueba. |
| Transición del Producto | Portabilidad, Reusabilidad e Interoperabilidad. |
Modelo de Reeves
| Modelo de Reeves (1997) | |
|---|---|
| Este modelo se evalúa mediante un continuo entre dos valores opuestos. | |
| Dimensión Pedagógica | Espectro (Valores Polares) |
| Epistemología | Objetivismo ↔ Constructivismo. |
| Filosofía Pedagógica | Instructivismo ↔ Constructivismo. |
| Psicología Subyacente | Conductismo ↔ Cognitivismo. |
| Orientación de Metas | Concretas ↔ Amplias. |
| Rol del Profesor | Didáctico ↔ Facilitador. |
| Origen de la Motivación | Extrínseca ↔ Intrínseca |
Modelo FURPS
| Modelo FURPS (1987) | |
|---|---|
| Desarrollado por HP, este modelo se enfoca en requisitos funcionales y no funcionales. | |
| Dimensión | Criterios de Evaluación |
| F (Functionality) | Características del sistema, capacidades y seguridad de la información. |
| U (Usability) | Factores humanos, estética del diseño, consistencia y documentación. |
| R (Reliability) | Frecuencia de fallos, capacidad de recuperación y predictibilidad |
| P (Performance) | Velocidad de procesamiento, tiempo de respuesta y consumo de recursos |
| S (Supportability) | Extensibilidad, adaptabilidad, capacidad de prueba y configuración. |
Modelo GAlvis
| Modelo Sistémico de Galvis (2000) | |
|---|---|
| Este modelo descompone la calidad en aspectos educativos y computacionales. | |
| Aspectos | Variables de Evaluación |
| Calidad Educacional | Función educativa, objetivos, contenidos, estrategias de instrucción y retroinformación. |
| Calidad Computacional | Interfaz, programación, legibilidad de instrucciones y uso de recursos del equipo. |
| Viabilidad | Requerimientos de hardware, software, personal y financieros. |
Modelo LORI
| Modelo LORI (2002) | |
|---|---|
| Este instrumento es específico para el ámbito educativo y permite una revisión de 9 variables críticas. | |
| Dimensión | Criterios de Evaluación |
| 1. Calidad de Contenido | Veracidad, exactitud y presentación equilibrada de las ideas |
| 2. Objetivos de Aprendizaje | Coherencia entre objetivos, actividades, evaluaciones y perfil del alumno. |
| 3. Feedback y Adaptabilidad | Contenido adaptativo o retroalimentación según la respuesta del alumno. |
| 4. Motivación | Capacidad de generar interés en un grupo concreto de estudiantes. |
| 5. Diseño y Presentación | Diseño audiovisual que favorece el procesamiento de la información. |
| 6. Usabilidad | Facilidad de navegación e interfaz predictiva para el usuario. |
| 7. Accesibilidad | Controles y presentación adaptada para discapacitados y dispositivos móviles. |
| 8. Reusabilidad | Capacidad para usarse en distintos escenarios y con distintos alumnos |
| 9. Estándares | Adecuación a especificaciones internacionales (SCORM, metadatos) |