hola compañeros y tutora esta es mi participación con el Protocolo para la Evaluación de un Software Educativo

Protocolo

Un protocolo es un conjunto de reglas establecidas entre dos dispositivos para permitir la comunicación entre ambos.

El protocolo es también un método por el cual dos ordenadores acuerdan comunicarse, una especificación que describe cómo los ordenadores hablan el uno al otro en una red.

Evaluación

La evaluación de software educativo se ha centrado tradicionalmente en dos momentos del desarrollo y uso de este tipo de materiales:

1. Durante el proceso de diseño y desarrollo, con el fin de corregir y perfeccionar el programa
2. Durante su utilización real por los usuarios, para juzgar su eficiencia y los resultados que con él se obtienen

El primer tipo de evaluación es el más frecuente: los diseñadores de software mantienen como mecanismo necesario la evaluación del proceso de diseño y producción. Pero los diseñadores de software suelen ser ingenieros de sistemas; evalúan los aspectos computacionales y algunos de los referidos a la relación hombre máquina y a la facilidad o funcionalidad de uso del programa. No es aun frecuente la participación de un evaluador educativo o pedagógico en estos procesos; aunque es cierto que los temas de la relación hobre-máquina y del usuario como criterio de calidad, están cobrando gran fuerza en el ámbito de la ingeniería de software.

Por otra parte, la evaluación del uso real que se da a un software educativo es mucho menos frecuente, pues las casas comerciales, una vez elaborado y vendido el producto no parecen interesadas en una evaluación formal, que eventualmente exigiría rehacer el programa (costos) o desecharlo (muchos más costos).

Una tercera modalidad de evaluación, combinación de las dos mencionadas, en la que Galvis (1994) insiste con justa razón, es la prueba de campo, antes de editar la versión definitiva. Se trata de pruebas en situación real o muy similar, con el fin de incorporar cuando todavía hay tiempo, las mejoras que una experiencia de uso real haga aconsejables. Estas pruebas suelen tener lugar en centros universitarios de producción de software educativo. Desconocemos si las casas comerciales invierten en pruebas de este tipo.

Fines de la Evaluación.

Se establece como finalidad de la evaluación de software educativo: orientar un uso pedagógicamente adecuado.

Esto supone un cambio de orientación a las tres prácticas descritas. No se evalúa para hacer ajustes durante el proceso de diseño o desarrollo, puesto que en su mayoría se trata de software editado en versión final por casas comerciales. No se trata de una evaluación de prueba, con el fin de convalidar el programa terminado en situación real, antes de la edición definitiva.

Tampoco se pretende realizar evaluaciones de campo, una vez esté el programa en uso, para fines de reciclaje del Sw; se evalúa el uso real, pero no con intenciones de calificar el software, sino para revisar y completar las guías de uso y como un elemento más de la evaluación global de las acciones del proyecto Conexiones.

La finalidad, entonces, es ayudar al usuario, sobre todo al docente, en el uso del programa, haciendo énfasis en los aspectos pedagógicos, metodológicos, ideológicos y culturales que, de todas formas, contiene.

Que se evalúa

Se examinan dos aspectos: el equipo requerido o ficha técnica, y la usabilidad del programa.

a) Equipo requerido. Descripción de los requerimientos de equipo mínimos que exige el programa para funcionar; esta información suele aparecer en los folletos que acompañan al CD, medio de almacenamiento ya usual. En la guía de suo se completan los aspectos que hacen referencia a las condiciones de instalación de las instituciones participantes en el proyecto.

b) Usabilidad. Medida en que el sistema es fácil de aprender y fácil de utilizar. Se examinan los siguientes aspectos de usabilidad:

1. Facilidad de aprendizaje. Medida en que el usuario novel comprende cómo utilizar inicialmente el sistema y cómo a partir de esta utilización llegar a un máximo nivel de conocimiento y uso del sistema

Indicadores

Predictivo: los conocimientos adquiridos por el usuario son suficientes para poder determinar los resultados de sus futuras interacciones
Sintetizable: habilidad del usuario para evaluar los efectos de las operaciones anteriores al estado actual (capacidad de captar los cambios de estado que produce cada operación)
Familiar: correlación entre el conocimiento que tiene el usuario y el conocimiento que necesita para una interacción efectiva
Consistente: medida en que todos los mecanismos son usados siempre de la misma manera

2. Flexibilidad. Multiplicidad de formas en las que el usuario y el sistema intercambian información

Indicadores

Iniciativa de diálogo: quien tiene la iniciativa en la conducción del diálogo; hay o no libertad para iniciar cualquier acción en el sistema
Diálogo multi-hilo: un hilo de un diálogo es un subconjunto coherente del mismo. Si el sistema soporta diálogos multihilo al mismo tiempo.
Migración de tareas: Transferencia del control, del sistema al usuario y viceversa, para la ejecución de tareas: medida en que se puede pasar de una tarea a otra, pasar una a segundo plano o repartirse entre ambas
Adaptabilidad: Si el sistema puede adaptarse a distintos usuarios

3. Solidez. Características de la interacción que permiten lograr los objetivos, y su asesoramiento

Indicadores

Recuperabilidad: Posibilidad del usuario para corregir una acción una vez ha reconocido un error
Tiempos de respuesta: tiempo que necesita el sistema para expresar los cambios al usuario
Adecuación a las tareas: en qué grado los servicios del sistema soportan todas las tareas que el usuario quiere hacer y la manera en que el usuario las comprende.

4. Mecanismos de soporte. Recursos de ayuda y forma en que el usuario puede utilizarlos

Indicadores

Disponibilidad: posibilidad de consultar la ayuda en cualquier momento, sin tener que salir de la aplicación
Precisión y detalle: medida en que la ayuda cubre todo el sistema, con concisión
Consistencia: en términos de contenidos, terminología y estilo
Robustez: que soporte más que el sistema, en términos de funcionamiento
Flexibilidad: en que medida permite interactuar de manera adecuada a las necesidades del usuario
No obstructiva: que no impida el uso normal de la aplicación
Organización del texto de ayuda: lenguaje, longitud de frase y párrafo; cantidad de texto; espacios en blanco; gráficos e iconos.

El programa como objeto pedagógico

• Contenido

1. Contenido Científico: Se trata de evaluar la calidad y cantidad de la información ofrecida:
Indicadores
Exactitud, actualidad: Fechas de edición; referencias o fuentes citadas; términos técnicos; datos estadísticos. Visión de Ciencia; visión de tecnología.
Adecuación: valor absoluto: significatividad de los contenidos en sí mismos; valor relativo: adecuación en nivel de tratamiento a la situación pedagógica dada.

2. Contenido socio-cultural e ideológico: qué representación de la sociedad encierra el programa; cómo representa otras sociedades.

Indicadores

Visión sociocultural: a qué grupos sociales (o culturales) se refieren los ejemplos, los personajes, los problemas planteados. Qué muestran las ilustraciones: representación racial, género, referencias geográficas, etc.
Personajes: reales, imaginarios; sexo; edad; raza; nacionalidad; condición o estado, patronos, obreros, campesinos, militares...
Marcos espacio-temporales: contexto geográfico (urbano, rural, mar, montaña); medio de referencia (flora, fauna, estaciones); épocas de referencia; medio tecnológico y objetos de la vida cotidiana
Contexto social: representación del trabajo; categorías socio profesionales representadas; familia (composición); habitación (casa, cabaña, finca, conjunto urbano...)
Situaciones y temas: vida cotidiana (en la casa en la escuela, en el trabajo); situaciones excepcionales (crisis; héroes)
Ideología implícita: justicia y autenticidad (presentación de los hechos sin distorsión y en perspectiva).
Valores: contribución a la paz, a la tolerancia, a la formación de actitudes culturales y ecológicas

3. Contenido pedagógico: Se trata de determinar la adecuación pedagógica de los objetivos y contenidos, frente a los usuarios, su nivel y el programa que están desarrollando.

Indicadores

Intenciones formativas: lo que pretende el programa, los objetivos de aprendizaje que persigue, explícita o implícitamente
Conocimientos previos: si los usuarios dominan los conocimientos previos, en caso que el programa los requiera
Niveles de aprendizaje: qué niveles de aprendizaje (hechos, conceptos, principios, habilidades valores) pretende desarrollar el programa
Organización: la progresión del aprendizaje responde a qué tipo de secuencia pedagógica: rígida, espiral o controla por el usuario. En este caso, ¿son necesarias instrucciones o de progreso o es preferible que el usuario encuentre sus propias secuencias?
Adecuación curricular: los objetivos y contenidos del programa se pueden integrar con facilidad al curriculum vigente
Organizadores y auto evaluación: contiene síntesis (resúmenes), ejercicios (con o sin respuesta), complementos informativos. Contiene evaluaciones, auto evaluaciones, respuestas razonadas, refuerzo, sistema de seguimiento de logros, evaluación sumativa

• Comunicación. Se trata de evaluar la forma del mensaje (significante), es decir el conjunto de recursos que permiten transmitir un mensaje de un emisor a un receptor.

1. Sentido de la comunicación: dirección y control de la interacción programa-usuario Unidireccional, bidireccional, control del usuario sobre la secuencia, multitareas, multivías...

2. Formas del mensaje.: los aspectos formales de los códigos elegidos (text, audio, fotos, animación, gráficos, colores) se justifican en sí y frente a la función que se espera de ellos.

Indicadores

Estética: las formas elegidas son visualmente agradables, manteniendo su sentido comunicativo (no están ahí sólo llenando bellamente espacio)
Integración: están integrados entre sí los lenguajes verbales y figurativos
Innovación: en qué medida son innovadoras las formas de presentación
Adecuación: los códigos verbales y figurativos son descifrables por los usuarios, facilitan la comprensión.
Densidad: la densidad de la información ofrecida (en cada pantalla) es excesiva, adecuada, escasa.

• Método. Qué metodología, implícita o explícita, contiene el Sw para la exposición de las ideas, la organización del trabajo, las formas de uso que determina.

1. Organización: estructura del manual, forma de exposición y organización de las secuencias.

Indicadores

Secuencias: se componen de una serie de partes que están presentes regularmente
Estructura: el programa es un elemento de enseñanza, de aprendizaje o de enseñanza-aprendizaje.
Guías o manuales: el programa viene acompañado de un manual para el maestro, el alumno, el usuario en general.
Elementos de organización interna: el programa incluye instrucciones de empleo, índices, objetivos, léxico, preguntas/ejercicios/, respuestas razonadas, recapitulaciones, evaluaciones
Facilitadores: modo de empleo, índice de materias, lista de objetivos, léxico, referencias, fuentes, plan de capítulos, resúmenes, preguntas, ejercicios, tareas, correcciones control de logro, llamadas.
Papel del maestro: se limita a dar instrucciones de uso; es necesario para complementar, aclarar o integrar la información; es hacer un seguimiento del uso y de los logros del estudiante
Exigencias de aprendizaje: el programa exige principalmente ( con mayor frecuencia, como acciones centrales) al estudiante acciones y habilidades para: memorizar información, construir conceptos, seguir instrucciones, construir secuencias aprendizaje propias, hacer preguntas, construir respuestas originales, relacionar lo aprendido con otros conocimientos, colaborar con compañeros.
Distribución de tiempos: un estudiante típico, en una sesión de trabajo normal con el programa, distribuye su tiempo en (% aprox.) : aprender a navegar y buscar información desplazándose por el programa, leer texto, escuchar narración; plantear preguntas al programa; responder preguntas, realizar tareas o ejercicios.

2. Adaptabilidad: en qué medida el Sw impone obligaciones para su uso: materiales; metodológicas (maestro); pedagógicas (alumno); o es metodológicamente abierto.

Indicadores

Materiales: medida en que el Sw exige el uso de materiales y equipos determinados; implicaciones para la organización del ambiente de aprendizaje
Limitaciones metodológicas: el programa impone un método al docente, o éste tiene opción de escoger objetivos, ritmos de trabajo, secuencias.
Limitaciones para el alumno: El programa ofrece diferentes maneras de entrada; ofrece ejercicios diferentes y graduados según el nivel de los alumnos; posibilidades diferentes de utilización, de acuerdo con las necesidades e intenciones del usuario.

Conclusión

La evaluación juega un papel muy importante en las diferentes etapas del desarrollo de software educativo. La calidad del producto, la utilidad y confiabilidad dependerán de las evaluaciones que se hayan realizado y de la experiencia del equipo multidisciplinario.

Existen técnicas analíticas y empíricas para realizar una evaluación.
Experimentos
Evaluaciones de campo
Pruebas de campo
Pruebas comparativas
Pruebas por alumnos
Pruebas por profesores

Cada uno de los distintos elementos que conforman un software educativo juega un papel fundamental, por ello es importante, al evaluar un material, revisar que cumplan con su objetivo y faciliten el proceso de enseñanza, en lugar de entorpecerla.

Referencias

http://entren.dgsca.unam.mx/evalua/distribuye3.html
http://is.ls.fi.upm.es/udis/docencia/erdsi/Documentacion-Evaluacion-6.pdf
http://www.xtec.es/~pmarques/edusoft.htm
http://discovery.chillan.plaza.cl/~uape/actividades/etapa2/software/doc/evalse.htm

les invito a que realicen las observaciones y comentarios que consideren al respecto