19 de julio de 2018

Evaluación del desempeño docente en la formación virtual: ideas para la configuración de un modelo

Evaluación del desempeño docente en la formación virtual: ideas para la configuración de un modelo

Julio Cabero Almenara, María del Carmen Llorente Cejudo, Juan Antonio Morales Lozano

Resumen


Conscientes de la significación de la actuación docente en los procesos formativos (pues es una pieza clave de su funcionamiento y éxito, además de ser un elemento esencial para cambiar, transformar y mejorar las prácticas educativas), y en los contextos de formación virtual en particular, nos adentramos en la temática de la evaluación del desempeño del docente que realiza su actividad profesional bien bajo la modalidad e-learning o b-learning. A partir de una revisión bibliográfica, nos aproximamos por una parte a la conceptualización y caracterización de los procesos docentes en la formación virtual y su evaluación, así como al análisis de diferentes estudios y propuestas que nos permitan identificar los elementos y estrategias a considerar en la construcción de un modelo evaluativo. Entendemos necesario plantear un modelo, que integrando las perspectivas de los diferentes agentes (profesor, estudiantes y directivos) y una combinación de instrumentos (cuestionarios, autoinformes, portafolios, resultados del aprendizaje), se estructure en torno a las siguientes dimensiones: Conocimiento disciplinar, Conocimiento Pedagógico, Conocimiento Tecnológico y Cumplimiento de Normas. Los análisis efectuados permitirán el establecimiento de políticas de evaluación del desempeño docente en procesos formativos bajo modalidad semipresencial u online; al mismo tiempo, se pueden establecer modelos de evaluación que sirvan como práctica pedagógica e investigadora, contemplando las visiones de sus diferentes actores: alumnos, docente y directores o responsables académicos.

Palabras clave


Enseñanza; e-learning; b-learning; Personal docente; Formación de profesores; Evaluación del profesor.

Texto completo:

PDF

Referencias


Airasian, P.W y Gullickson, A.R. (1999). Herramientas de autoevaluación del profesorado. Bilbao: Mensajero.
Barber, L.W. (1997). Autoevaluación. En J. Millman, y L. Darling-Hammond, Manual para la evaluación del profesorado (300-315). Madrid: La Muralla.
Barberá, E. y Martín, E. de (2009). Portfolio electrónico: aprender a evaluar el aprendizaje. Barcelona: UOC.
Bozu, Z. e Imbernón, F. (2012). El portafolio docente como estrategia formativa innovadora del profesorado novel universitario. Un estudio de casos. Revista de Educación, 358, 238-257.
Caballero, K. (2013). Nivel de satisfacción del profesorado universitario hacia los sistemas de evaluación. Revista de Educación, 360, 483-508.
Cabero, J. y Barroso, J. (2016). ICT teacher training: a view of the TPACK model / Formación del profesorado en TIC: una visión del modelo TPACK. Cultura y Educación / Culture and Education, 28 (3), 633–663.
Cabero, J. y Marín, V. (2015). E-Portfolios. Madrid: Ediciones CEF.
Cano, E. (2005). El portafolio del profesorado universitario. Un instrumento para la evaluación y para el desarrollo profesional. Barcelona: Octaedro.
Casero, A. (2008). Propuesta de un cuestionario de evaluación de la calidad docente universitaria consensuado entre alumnos y profesores. Revista de Investigación Educativa, 26, 25-44.
Cebrián, M. (2011). Supervisión con e-portafolios y su impacto en las reflexiones de los estudiantes en el Practicum. Estudio de caso. Revista de Educación, 354, 183-208.
Chang, Ch., Tseng, K., Liang, Ch. y Liao, Y. (2013). Constructing and evaluating online goal-setting mechanisms in web-based portfolio assessment system for facilitating self-regulated learning. Computers & Education, 69, 237-249.
CINDA (2007). Evaluación del desempeño docente y calidad de la docencia universitaria. Santiago de Chile: CINDA.
Contreras, G. (2010). Diseño y operación de un sistema de evaluación del desempeño docente con fines formativos: la experiencia de la Pontificia Universidad Católica de Valparaíso, Chile. Revista Iberoamericana de Evaluación Educativa, 3(1), 179-191.
Díaz Alcaraz, F. (2007). Modelo para autoevaluar la práctica docente. Madrid: Praxis.
Docente. Revista Iberoamericana de Evaluación Educativa, 7(2), 185-195.
Duart, J. y Martínez, M.J. (2001). Evaluación de la calidad docente en entornos virtuales de aprendizaje. Recuperado de http://www.uoc.edu/web/esp/art/uoc/0109041/duartmartin.html (06/02/2015).
Galán, A., González-Galán, M.A. y Rodríguez, P. (2014). La evaluación del profesorado universitario en España.
García Aretio, L. (2014). Bases, mediaciones y futuro de la educación a distancia en la sociedad digital. Madrid: Síntesis.
García, B. y Pineda, V. (2011). Evaluación de la docencia en línea: retos y complejidades. Revista Iberoamericana de Educación a Distancia, 14(2), 63-76.
Garrido, O. y Fuentes, P. (2008). La evaluación docente. Un aporte a la reconstrucción de prácticas pedagógicas más efectivas. Revista Iberoamericana de Evaluación Educativa, 1(2), 125-136.
Gaytán, S. (2012). Evaluar la docencia: estudio meta-evaluador del desarrollo del proceso de encuestas al alumnado y su fiabilidad en el Grado en Biología de la Universidad de Sevilla. En A. Castro y otros (Coords), Calidad, evaluación y encuestas de la docencia universitaria (41-53). Murcia: Laborum.
Jarauta, B. y Bozu, Z. (2013). Portafolio docente y formación pedagógica inicial del profesorado universitario. Un estudio cualitativo en la Universidad de Barcelona. Educación XX1, 16 (2), 343-362.
Jenson, J.D. (2011). Promoting self-regulation and critical reflection through writing students’ use of electronic portfolio. International Journal of ePortfolio, 1(1), 49-60.
Jornet, M., González-Such, J. y Sánchez-Delgado, P. (2014). Factores contextuales que influyen en el desempeño
Klenowski, V. (2005). Desarrollo de portafolios para el aprendizaje y la evaluación. Madrid: Narcea.
La Serna, K., Becerra, A., Beltrán, A. y Zhang, H. (2014). La relación de las encuestas de evaluación docente con el rendimiento académico: La evidencia empírica en la Universidad del Pacífico. Revista Iberoamericana de Evaluación Educativa, 7(2), 105-115.
Landeta, A., Palazio, G. y Cabero, J. (2013). Plataformas tecnológicas. Madrid: Ediciones CEF.
López-Barajas, D. y Carrascosa, J. (2005). La evaluación de la docencia universitaria. Dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57-84.
Marciniak, R. (2015). La educación superior virtual en Polonia: Condiciones de su organización, funcionamiento y evaluación. Memorias del Encuentro Internacional de Educación a Distancia, 4, 1-13.
Marciniak, R. (2016). Autoevaluación de programas de educación universitaria virtual. Barcelona: Universidad de Barcelona, tesis doctoral no publicada.
Martí, J (2012) Criterios para evaluar profesionalmente a los docentes. Recuperado de http://www.xarxatic.com/criterios-para-evaluar-profesionalmente-a-un-docente/ (30/01/15).
Martínez, E. y Raposo, M. (2010). La rúbrica como recurso en la tutoría: percepciones del alumnado. Seminario internacional Las rúbricas de evaluación en el desempeño de competencias. Ámbitos de investigación y docencia (401-406). Bilbao: Universidad del País Vasco.
Meeusa, W.P., Peter Van y Engels, N. (2009). Validity and reliability of portfolio assessment in pre-service teacher education. Assessment & Evaluation in Higher Education, 4(34), 401-413.
Mercado, H. Palmerín, M. y Sesento, L. (2011). La tutoría grupal en la educación. Cuadernos de Educación y Desarrollo, 3(31). Recuperado de http://www.eumed.net/rev/ced/31/vcg.html (20/11/2016).
Mishra, P. y Koehler, M.J. (2006). Technological Pedagogical Content Knowledge: A Framework for Teacher Knowledge. Teachers College Record, 108(6), 1017–1054.
Montero, A.M. (2012). El sistema de evaluación de la docencia y del profesorado: planificación y realización. En A. Castro y otros (Coords), Calidad, evaluación y encuestas de la docencia universitaria (101-112). Murcia: Ediciones Laborum.
Moreno Murcia, J.A.; Aracil, A, y Reina, R. (2014). La cesión de responsabilidad en la evaluación: una estrategia adaptada al Espacio Europeo de Educación Superior. Educación XX1, 17 (1),183-200.
Moreno-Murcia, J.A., Silveira, Y. y Belando, N. (2015). Cuestionario de evaluación de las competencias docentes en el ámbito universitario. Evaluación de las competencias docentes en la universidad. New approaches in educational research, 4(1), 60-66.
Murillo, F.L. e Hidalgo, N. (2015). Dime Cómo Evalúas y Te Diré Qué Sociedad Construyes. Revista Iberoamericana de Evaluación Educativa, 2015, 8(1), 5-9.
Páez, R. O. (2010). Evaluación de las funciones docentes en entornos instructivos virtuales (eiv). Revista Iberoamericana de Evaluación Educativa, 3(1), 147-158.
Pérez Gómez, A. (dir.) (2016). El portafolios educativo en Educación Superior. Madrid: Akal.
Poblete, A., Carrasco, S. y Saelzer, R. (2007). La problemática del desempeño docente: desafíos frente al requerimiento de la evaluación. En CINDA, Evaluación del desempeño docente y calidad de la docencia universitaria (30-32). Santiago de Chile: CINDA.
Reyero, D. (2014). La excelencia docente universitaria. Análisis y propuestas para una mejor evaluación del profesorado universitario. Educación XX1, 17 (2), 125-143.
Román, M. y Murillo, F.J. (2008). La evaluación del desempeño docente: objeto de disputa y fuente de oportunidades en el campo educativo. Revista Iberoamericana de Evaluación Educativa, 1(2), 1-6.
Rueda, M. Luna, E., García, B. y Loredo, J. (2010). La evaluación de la docencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora. Revista Iberoamericana de Evaluación Educativa, 3(1), 77-92.
Ruiz, C. (2007). Evaluación de la formación. En J. Tejada y V. Giménez (Coords.), Formación de formadores. Escenario de Aula (649-701). Madrid: Thompson.
Salazar,J., Salazar, P., Hidalgo, C., Villalobos, A., Marín, P., Coloma, C., Mendivil, L., Pesci, G. y Páez, R. (2014). Reflexión pedagógica y auto evaluación docente: ¿Simbiosis o depredación? Revista Iberoamericana de Evaluación Educativa, 7(2), 147-155.
Sistema nacional y divergencias territoriales. Revista de Educación, 366, 136-164.
Solobarrieta, J. (1996). Modelos de evaluación del profesor. En F.J. Tejedor y J.L. Rodríguez Diéguez (Eds.). Evaluación Educativa II. Evaluación Institucional. Fundamentos teóricos y aplicaciones prácticas (173-182). Salamanca: IUCE-Universidad de Salamanca.
Tabera, M.V. y otros (2015). Percepciones de los estudiantes universitarios de Ciencias de la Salud sobre las actitudes de los docentes y su influencia en el clima de aprendizaje. Revista Complutense de Educación, 26(2), 275-293.
Tejada, J. (2005). Didáctica-curriculum. Diseño, desarrollo y evaluación curricular. Barcelona: Da Vinci.
Tejedor, F. (2012). Evaluación del desempeño docente. Revista Iberoamericana de Evaluación Educativa, 5(1), 319-327.
Tokmak, H., Incikabi, L., y Ozgelen, S. (2013). An investigation of change in mathematics, science, and literacy education pre-service teachers’ TPACK. Asian-Pacific Education Researcher, 22(4), 407-415.
Toro, C., Backhouse, P. y Valassina, F. (2007). Recomendaciones para la implementación de un modelo de evaluación del desempeño docente. En CINDA, Evaluación del desempeño docente y calidad de la docencia universitaria (178-182). Santiago de Chile: CINDA.
Vaillant, D. y Marcelo, C. (2015). El ABC y D de la formación docente. Madrid: Narcea.
Villar, L.M. (1994). Naturaleza, modelos y fuentes para captar la evidencia de la evaluación educativa. En L.M. Villar (Dir.), Manual de entrenamiento: evaluación de procesos y actividades educativas (1-37). Barcelona: PPU.
Villar, L.M. y Alegre, O.M. (2012). Los portafolios electrónicos en el hemisferio de la evaluación auténtica. Madrid: Síntesis.
Zelkowski, J., Gleason, J., Cox, D.C., y Bismarck, S. (2013). Developing and validating a reliable TPACK instrument for secondary mathematics preservice teachers. Journal of Research on Technology in Education, 46(2), 173-206.
Zúñiga, M. y Jopia, B. (2007). La evaluación del desempeño docente en las universidades chilenas: diagnostico desde la perspectiva de las autoridades universitarias. En CINDA, Evaluación del desempeño docente y calidad de la docencia universitaria (33-56). Santiago de Chile: CINDA.

18 de julio de 2018

Instrumento de mensuração de qualidade de materiais didáticos para a educação a distância

Instrumento de mensuração de qualidade de materiais didáticos para a educação a distância

Silvio Paula Ribeiro, Viviane da Costa Freitag, Miguel Afonso Sellitto

Resumen


O propósito desse estudo é apresentar um modelo de mensuração da qualidade de materiais didáticos para educação à distância (EaD). O método de pesquisa utilizado foi a modelagem de apoio multicritério à decisão, por meio do Analytic Hierarchy Process (AHP), e utilizou o software Assistat 7,0 Beta para obter as matrizes hierárquicas e seus respectivos Índices de Consistência. A revisão literária identificou os materiais didáticos comumente utilizados pela EaD. Na sequência, especialistas avaliaram e adaptaram o modelo, para apresentar aos atores do estudo. Os resultados são: documentos orientativos de qualidade na EaD que avaliam os materiais didáticos não elegem um grau de importância aos elementos, apenas os elencam e fornecem linhas gerais de padrões de qualidade; o AHP hierarquizou os materiais didáticos, por grau de importância; o livro texto possui o maior percentual, seguido de vídeo aulas. Esses são os itens que devem absorver maior atenção dos gestores em termos de qualidade, seguidos pelo chat e o rádio. Ao considerar todas as sub-categorias avaliadas para cada material didático, observa-se que o livro texto é o material que prioritariamente requer atenção, ao que se refere à abrangência de conteúdo, seguida de conteúdos livre de erros, viés conceituais ou de abordagem e por fim, a qualidade visual ou gráfica. A sub-categoria de qualidade, que derivam das vídeo aulas prioritariamente são: material livre de erros, viés conceitual ou de abordagem. Essas categorias foram delineadas em consonância com dois padrões de referência para a qualidade de materiais didáticos: AFT (2000) e MEC (2007).

Palabras clave


EaD; Avaliação de Qualidade; Materiais didáticos; AHP.

Referencias


AFT. (2000) American Federation of Teachers. Disponível em: Acessado em 15/04/2016.
Almeida, M. E. B. (2012). Formação de educadores a distância na pós-graduação: potencialidades para o desenvolvimento da investigação e produção de conhecimento. Educação & Sociedade (Impresso), v. 33, p. 1053-1072.
Almeida, M. E. B. (2013). O computador portátil e a inovação educativa: das intenções à realidade. Cenários de inovação para a educação na sociedade digital. 1ed.São Paulo: Loyola, v. p. 21-46.
Almeida, A. T. (2013). Processo de decisão nas organizações: construindo modelos de decisão multicritério. São Paulo: Atlas, 2013.
Aretio, L. G. (2016). Los inicios históricos de una compleja universidad pública a distancia: la UNED de España. RIED v. 19: 1, 2016, pp 9-21
Argüelles, M. J. M., Callejo, M. B., & Farrero, J. M. C. (2013). Les dimensions de la qualitat del servei percebuda en entorns virtuals de formació superior. RUSC. Universities and Knowledge Society Journal, 10(1), 89-106.
Associação Brasileira de Educação a Distância (ABED). (2016) Informações sobre o Ensino a Distância. http://www.abed.org.br/site/pt/universo_ead/catalogo_de_cursos/
Brasil. Leis e Diretrizes e Bases da Educação Nacional. Decreto n. 5.622, de 19 de dezembro de 2005. Regulamenta o art. 80 da Lei 9.394/96, 20 dez. 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, ano 134, n. 248, p. 27833-27841, dez. 2005. Disponível em: . Acesso em: 15 jul. 2016.
Brasil. Lei nº 9.131, de 20 de dezembro de 1995. Criou o Conselho Nacional e o ENC. Disponível em: http://wwwt.senado.gov.br/legbras/ acessado em 15/04/2016.
Caetano, C. C. R., de Oliveira Cardoso, T. A., Miranda, G. J., & Calheira de Freitas, S. (2015). Desempenho no Enade em Ciências Contábeis: Ensino a Distância (EAD) Versus Presencial. Revista Universo Contábil, 11(4), 147.
Cardim, Paulo Antônio Gomes. (2000). O Que Envolve a Gestão Universitária em Tempos de Mudança, Artigo eletrônico disponível no site: www.aomestrecomcarinho.com.br acessado em 20/04/2016.
Downes, S. (2009). Learning networks and connective knowledge. Instructional Technology Forum. IN MOTA, José Carlos. Da Web 2.0 ao e-Learning 2.0: Aprender na rede. 128f. Dissertação de mestrado em Ciências da Educação, especialidade Pedagogia do e-Learning, Universidade Aberta, Portugal.
Fratucci, MVB. (2015). Ensino a distância como estratégica de educação permanente em saúde: impacto da capacitação da equipe de estratégia de saúde da família na organização dos serviços. Tese de doutorado apresentado a Faculdade de Odontologia da Universidade de São Paulo para obtenção do título de doutor em Ciências Odontológicas.
Gil, A. C. (2012). Didática do Ensino Superior. São Paulo: Atlas, 2012.
Gomes, L. F. (2013). EAD no Brasil: perspectivas e desafios. Avaliação (Campinas) (online), v.18, n.1, p. 13-22.
Gomes, L. F. A. M; Gomes, C. F. S., & Almeida, A. T. (2002). Tomada de decisão gerencial: enfoque multicritério. São Paulo: Atlas, 2002.
Gomes, L. F. A. M.; Gonzales-Araya, M. C.; Carignano, (2004). C. Tomada de Decisões em Cenários Complexos. Rio de Janeiro: Pioneira Th4mpson Learning.
Kneller, G. (1980). A ciência como atividade humana. Rio de Janeiro: Zahar.
Komarinski, C. A. A. (2015). Comparison of Student Achievement on the National ServSafe Examination in an Online Versus a Traditional Classroom Format. Doctoral dissertation, Robert Morris University. Pittsburgh, USA, ProQuest Dissertations and Teses database. (UMI No. 3708236).
MEC/SEED (2007, Agosto). Referenciais de Qualidade para Educação Superior. Disponível em 10 de junho de 2016. http://portal.mec.gov.br/seed/arquivos/pdf/legislacao/refead1.pdf.
Montalvo, E., Luna, D., Montenegro, E. (2010, Maio). La evolución y adopción de estándares en la formación virtual.
Mugnol, M. (2009) A EDUCAÇÃO A DISTÂNCIA NO BRASIL: conceitos e fundamentos. Rev. Diálogo Educ., Curitiba, v. 9, n. 27, maio/ago. p. 335-349.
ODLQC (2005, Dezembro), Standards in Open and Distance Learning. Consultado em 6 de agosto, 2016 de http://www.odlqc.org.uk/assess-guide/standards (2005).
Oliveira, V. D., Martins, C. H. (2015). AHP : ferramenta multicritério para tomada de decisão : shopping centers. Curitiba : Appris, 2015.
Paese, C. R. (2012). Educação a distância (EaD) e o uso das tecnologias de informação e comunicação (tics), baseada em ambientes virtuais de aprendizagem (ava): algumas reflexões sobre a importância da tutoria on-line. Revista Eletrônica do Curso de Pedagogia da UFG, campus de Jatai.
Peeva, K. (2010). Theoretical aspects of the assessment of quality in higher education. Trakia Journal of Sciences, 8(2), 429-435.
Pérez, M. G; Aretio, L. G.(2016). Líneas de investigación y tendencias de la educación A distancia en américa latina a través de las tesis Doctorales. RIED v. 17: 1, 2014, pp 201-230
Ramírez, J. Z. (2016). Prediction factors of student satisfaction in online Courses, RIED. Revista Iberoamericana de Educación a Distancia (2016), 19(2), pp. 217-235. DOI: http://dx.doi.org/10.5944/ried.19.2.15112 – ISSN: 1138-2783 – E-ISSN: 1390-3306
Rué, J. Amador i Guillem, Miquel. Gené, Jordi. Rambla, Francesc Xavier,(2009). Evaluar la calidad del aprendizaje en educación superior: el modelo ECA08 como base para el análisis de evidencias sobre la calidad de la E-A en E. Superior. REDU, Revista de Docencia Universitaria, Vol. 7, Núm. 2, p. 1-22
Saaty, T. L. (1991). The Analytic Hierarchy Process. Planning, priority, setting, resource allocation. São Paulo: Makron Books McGraw-Hill.
Saaty, T. L. (2008). Decision making with the analytic hierarchy process.International journal of services sciences, 1(1), 83-98.
SILVA, M. P. D; MELO, M. C. DE O. L; MUYLDER, C. F. DE. (JUL./AGO. 2015). Educação a distância em foco: um estudo sobre a produção científica brasileira. RAM, REV. ADM. Mackenzie, 16 (4) • São Paulo, SP. http://dx.doi.org/10.1590/1678-69712015/administracao.v16n4p202-230
Tachizawa, T.; Andrade, R. O. B. (2003) de. Tecnologias da informação aplicadas às instituições de ensino e às universidades corporativas. São Paulo: Atlas.
Terçariol, A. A. de L; et al. (2016). As dimensões da avaliação em cursos online: reflexões e importância. RIED. Revista Iberoamericana de Educación a Distancia (2016), 19(2), pp. 283-300 DOI: http://dx.doi.org/10.5944/ried.19.2.14753 – ISSN: 1138-2783 – E-ISSN: 1390-3306
Tondin, J. E. M. (2009). Prospeccção de implementação de educação à distância para a disciplina de fundamentos de física nuclear na Pós-Graduação do Ipen utilizando infra – estrutura de software livre. Dissertação de Mestrado, Instituto de Pesquisas Energéticas e Nucleares, Universidade de São Paulo, São Paulo.
Udo, G. J.; Bagchi, K. K.; Kirs P. J. (2011). “Using SERVQUAL to assess the quality of e-learning experience”. Computers in Human Behavior. Vol. 27, No 3, pages 1272-1283.E
Valente, C.; Mattar, J. Second Life e Web 2.0 na Educação: o potencial revolucionário das novas tecnologias. São Paulo: Novatec, 2007.
Vagarinho, J. P., & Lamas-Nistal, M. (2013). Evaluación de la calidad de los procesos del e-learning: Una propuesta con nuevas dimensiones. Teoría de la Educación; Educación y Cultura en la Sociedad de la Información, 14 (2), 473.


DOI: https://doi.org/10.5944/ried.21.1.17157

17 de julio de 2018

Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes

Dimensiones de evaluación de calidad de educación virtual: revisión de modelos referentes

Renata Marciniak, Joaquín Gairín Sallán

Resumen


Evaluar la calidad de educación virtual implica contar con un conjunto de dimensiones determinantes para definir dicha calidad. Los modelos de calidad surgen para proponer, describir y establecer como valorar dichas dimensiones. Hasta la fecha, se han desarrollado múltiples modelos que pretenden conseguir dichos objetivos. Sin embargo, es curioso observar la falta de estudios comparativos acerca de dichos modelos, que no siempre presentan un enfoque coincidente en cuanto a las dimensiones de evaluación de la calidad de educación virtual. El presente artículo tiene como objetivo realizar un análisis comparativo de algunos modelos diseñados para la evaluación de la calidad de educación virtual, incidiendo en dimensiones propuestas para evaluar dicha calidad y establecer cuáles son las dimensiones relevantes o frecuentes consideradas por los modelos seleccionados. Se sintetiza una revisión bibliográfica que aborda el análisis comparativo de 25 modelos y 42 dimensiones de evaluación. Los modelos analizados han sido elaborados, entre otros, por investigadores, universidades, organizaciones de acreditación; y han sido propuestos a universidades para mejorar la calidad de la educación virtual que imparten. Los resultados del análisis muestran que las grandes dimensiones que describen la calidad de educación virtual según los modelos analizados son: el contexto institucional, la infraestructura tecnológica, los estudiantes, el docente, los aspectos pedagógicos y las dimensiones enfocadas en la evaluación del ciclo de vida de un curso virtual: el diseño, el desarrollo y los resultados del curso. Teniendo en cuenta que los modelos existentes poseen algunas dimensiones en común y otras divergentes, se concluye que no existe un criterio unificado en cuanto a las dimensiones abordadas para esta evaluación.

Palabras clave


educación a distancia; educación virtual; educación superior; calidad de la educación; evaluación; garantía de calidad.

Texto completo:

PDF

Referencias


AVU (Africa Virtual University). (2014). Design and Development of a Quality Assurance Framework. Recuperado de http://www.avu.org/Teacher-Education-Programme/design-development-quality-assurance-framework.html
Attwell, G. (2006). Evaluating e-learning A guide to the evaluation of e-learning. Bremen: Perspective-Offset-Druck.
Badrul, H. (2005). Comprehensive Approach to Program Evaluation in Open and Distributed Learning (CAPEODL Model). Recuperado de http://asianvu.com/bk/elearning/elearning_CAPEODL_Paper.pdf
CHEA (Council for Higher Education Accreditation). (1998). Assuring Quality in Distance Learning. Washington: The Institute for Higher Education Policy.
CONEU (Consejo de Evaluación, Acreditación y Certificación de la Calidad de la Educación Superior Universitaria). (2009). Modelo de Calidad para la Acreditación de las Carreras Profesionales Universitarias en la modalidad a distancia y estándares para la Carrera de Educación. Perú: CONEU. Recuperado de http://www.upao.edu.pe/oca/pdf/Tomo_II_Modelo_de_Calidad_para_la_Acreditacion_de_las_Carreras_Presionales_Universitarias_Mod_Distancia.pdf
Díaz-Maroto, I.T. (2009). Formación a través de internet: evaluación de la calidad. Barcelona: UOC.
Ejarque González, E., Buendía García, F. & Hervás Jorge, A. (2008). Aplicación de un modelo de calidad para evaluar experiencias e-learning en el Espacio Europeo Universitario. EDUCAR, 41, pp. 11-28.
Fainholc, B. (2004). La calidad en la educación a distancia continúa siendo un tema muy complejo. Recuperado de http://www.um.es/ead/red/12/fainholc.pdf
Fidalgo, A. (2007). Micro Guía de Indicadores para el elearning. Madrid: Universidad Politécnica de Madrid.
Gairín, J. & Casas, M. (coord.). (2003). La calidad de la educación. Barcelona: Praxis.
García Aretio, L. (coord.). (2002). De la Educación a Distancia a la Educación Virtual. Madrid: Ariel Educación.
García Aretio, L. (1998). Indicadores para la evaluación de la enseñanza en una universidad a distancia. RIED - Revista Iberoamericana de Educación a Distancia. 1(1), pp. 63-86. Recuperado de http://ried.utpl.edu.ec/sites/default/files/files/pdf/v%201-1/volumen1-1.pdf
García Sanz, M.P. (2003). La evaluación de programas en la intervención socioeducativa.
Murcia: DM.
García Peñalvo, F. J. (2006): Introducción al eLearning Profesiones emergentes: especialista en eLearning. Salamanca: Clay Formación Internacional.
Giorgetti, C.G.; Romero, L. & Vera, M. (2013). Diseño de un modelo de evaluación de la calidad específico para EaD. Revista de Universidad y Sociedad del Conocimiento (RUSC), 10(2), pp. 54-68. Recuperado de http://rusc.uoc.edu/ojs/index.php/rusc/article/view/v10n2-giorgetti-romero-vera/v10n2-giorgettiromero-vera-es;http://doi.dx.org/10.7238/rusc.v10i2.1742
Hilera González, J.R.; Hoya Marín, R. (2010). Estándares de e-learning: Guía de consulta. Madrid: Universidad de Alcalá.
ISO/IEC 9126-1. (2001). Software engineering Product quality — Part 1: Quality model.
Kirkpatrick, D.L. (1994). Evaluación de acciones formativas: los cuatro niveles. Barcelona: EPISE-Gestión 2000.
Lam, P. & McNaught, C. (2007). Management of an eLearning Evaluation Project: The e3Learning Model. Journal of Interactive Learning Research, 18(3), pp. 365- 380.
Lorenzo, G., & Moore, J. C. (2002). The Sloan Consortium Report to the Nation: Five pillars of quality online education. Recuperado de http://sloanconsortium.org/publications/books/vol5summary.pdf
McGriff, S. J. (2000). Instructional System Design (ISD): Using the ADDIE Model. Recuperado de http://www.uovirtual.com.mx/moodle/lecturas/teori/9.pdf
Marcelo Garcia, C.; Gago Nieto, M.J. & Marcelo García, M. (2006). Manual para la evaluación de la calidad de acciones de formación a través de elearning. Sevilla: Proyecto Prometeo. Grupo de Investigación IDEA. Sevilla: Universidad de Sevilla.
Marshall, S. (2006). eMM Version Two. Process Guide. Wellington: Victoria University of Wellington.
Marúm-Espinosa, E. (2011). Calidad en el servicio en la Educación a Distancia. Una perspectiva desde México. RIED. Revista Iberoamericana de Educación a Distancia, 14(2), pp. 49-62.
Michigan Virtual University. (2002). Standards for Quality Online Courses. Recuperado de http://standards.mivu.org/standards/id
Moore, M. & Kearsley G. (2011). Distance Education: A Systems View of Online Learning. 3a Edición. Belmont: Cengage Learning.
Motz, R. (coord.). (2013). Informe de análisis de estándares, normas y modelos de capacidad de madurez relacionados con la calidad y accesibilidad de la educación virtual. Recuperado de http://www.esvial.org/wp-content/files/E311_vf_v1.pdf
Muñoz Santos, J.R. (2004). La Gestión integrada: calidad, seguridad y medio ambiente. Navarra: SERFOREM, S.L.
Oliver, R. G. (2001). Assuring the quality of online learning in Australian higher education. Proceedings of 2000 Moving Online Conference, pp. 222-231. Recuperado de http://ro.ecu.edu.au/cgi/viewcontent.cgi?article=5791&context=ecuworks
Op de Beeck, I., Camilleri, A., Bijnens, M. (2012). Research results on European and international e-learning quality, certification and benchmarking schemes and methodologies. Bélgica: VISCED Consortium.
Orozco Torres, L.M. (2014). Estudio comparativo de los modelos de evaluación de la calidad del e-learning en el Sistema de Universidad Virtual de la Universidad de Guadalajara - México y propuesta complementaria. Tesis doctoral no publicada. Universitat de Lleida, Lleida, España.
Rekkedal, T. (2006). Criteria for Evaluating Quality in e-Learning. Norway: NKI.
Rocha, P., Maina, M. & Sangrá, A. (2013). Análisis del Marco de referencia para la evaluación de los ambientes virtuales a nivel superior en el contexto de América Latina y Europa. Recuperado de http://www.udgvirtual.udg.mx/encuentro/anteriores/xxi/ponencias/38-75-1-RV.pdf
Rubio, M.J. (2003). Enfoques y modelos de evaluación del e-learning. Revista Electrónica de Investigación y Evaluación Educativa, 9(2). Recuperado de: http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Ruipérez, G. (2009). Internet y su aplicación en la formación. Jornadas Técnicas. Bilbao.
Seoane, A.M., García Peñalvo, F.J., Bosom Nieto, Á., Fernández Recio, E. &Hernández Tovar, M.J. (2006). Tutoring on-line as quality guarantee on elearning based lifelong learning. Definition, modalities, methodology, competences and skills. Recuperado de: http://ceur-ws.org/Vol-186/05.pdf
Sarramona, J. (2001). Evaluación de programas de educación a distancia. RIED – Revista Iberoamericana de Educación a Distancia, 1(1), pp. 9-34. Recuperado de http://ried.utpl.edu.ec/sites/default/files/files/pdf/v4-1/volumen4-1.pdf
SEA (Stowarzyszenie e-learningu Akademickiego). (2010). Kryteria oceny kursu internetowego. Recuperado de: http://www.sea.edu.pl/kryteria/?page=obszary
Silvio, J. (2006). Hacia una educación virtual de calidad, pero con equidad y pertinencia. RUSC Revista de Universidad y Sociedad del Conocimiento, 3(1), pp. 1-14. Recuperado de http://www.uoc.edu/rusc/3/1/dt/esp/silvio.pdf
Stufflebeam, D. L. & Shinkfield, A. J. (1987). Evaluación sistemática. Guía teórica y práctica. Barcelona: Paidos/MEC.
Quesada Pallarès, C., Espona Barcons, B., Ciraso Calí, A. & Pineda Herrero, P. (2015). La eficacia de la formación de los trabajadores de la administración pública española: comparando la formación presencial con el eLearning. Revista del CLAD Reforma y Democracia, (61), pp. 107-132.
University of Wiscosin. (2008). Logic Model. Recuperado de http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
Van Slyke, C., Kittner, M. & Belanger, F. (1998). Identifying Candidates for Distance education: A telecommuting perspective. Baltimore: Association for Information Systems.
Veytia Bucheli, M.G. & Chao González, M.M. (2013). Las competencias como eje rector de la calidad educativa. Revista electrónica de Divulgación de la Investigación, 4. Recuperado de http://portales.sabes.edu.mx/redi/4/pdf/revista_sabes_4.pdf
Zhang, W. & Jiang, L. (2012). Quality Assurance in E-Learning: PDPP Evaluation Model and its Application. IRR ODL The International Review of Research in Open and Distance Learning, 13(3), pp. 66-82.


DOI: https://doi.org/10.5944/ried.21.1.16182

16 de julio de 2018

Blended learning, más allá de la clase presencial

Blended learning, más allá de la clase presencial

Mercè Gisbert Cervera, Bárbara de Benito Crosetti, Adolfina Pérez Garcies, Jesús Salinas Ibáñez.

Resumen


En este artículo realizamos una revisión en profundidad de la literatura de diferentes análisis y meta-análisis producidos en los últimos años para definir el concepto de e-learning y su incidencia en el ámbito universitario. A partir de los modelos, las herramientas y las estrategias que pueden aplicarse en en la Educación Superior desde la perspectiva del profesorado, del alumnado o de la planificación del proceso de enseñanza-aprendizaje, ofrecemos una serie de recomendaciones orientadas a la planificación pedagógica y la integración de diferentes modalidades de formación (e-learning, b-learning y presencial), teniendo en cuenta la necesidad de orientar los procesos de formación a partir de la necesidad de flexibilidad y cambio continuo. Abordamos el b-learning desde una perspectiva general orientada a la planificación de su uso en la Educación Superior como una estrategia de cambio de carácter organizativo. 

Palabras clave


blended-learning, e-learning, educación presencial, aula, Universidad

Texto completo:

PDF

Referencias


Adams Becker, S., Cummins, M., Davis, A., Freeman, A., Hall Giesinger, C., y Ananthanarayanan, V. (2017). NMC Horizon Report: 2017 Higher Education Edition. Austin, Texas: The New Media Consortium.
Adell, J. y Area M. (2009). eLearning: Enseñar y aprender en espacios virtuales. En J. De Pablos (Coord): Tecnología Educativa. La formación del profesorado en la era de Internet. Aljibe, Málaga, pags. 391-424.
Bartolomé, A. (2004). Blended Learning. Conceptos básicos. Pixel-Bit, Revista de Medios y Educación, 23, 7-20.
Bartolomé, A. (2008). Entornos de aprendizaje mixto en Educación Superior. RIED: Revista iberoamericana de educación a distancia, 11, 15- 51.
Cela, J., Esteve, V., Esteve, F., y Gisbert, M. (2014) 3D simulation as a learning environment for acquiring the skill of self-management. An experience with Spanish university students of Education. Journal of
Educational Computing Research, 51(3), 295-309.
de Benito, B. y Salinas J. (2008). Los entornos tecnológicos en la universidad. Pixel-Bit, Revista de Medios y Educación, 32, 83-100.
ELd (2012). e-Learning docs ~ Recursos para formación a través de TIC https://elearningdocs.wordpress.com/2012/07/22/blended-learning/
Esteve, F., Duch, J., y Gisbert, M. (2014). Los aprendices digitales en la literatura científica: Diseño y aplicación de una revisión sistemática entre 2001 y 2010. Pixel-Bit, Revista de Medios y Educación, 45, 9-21.
Horn, M. y Staker H (2011). The Rise of K-12 Blended Learning. Innosight Institute.
Gallardo-Echenique, Bullen, Marqués-Molías (2016). Student Communication and Study Habits of First-year University Students in the Digital Era. Canadian Journal of Learning & Technology, 42(1).
Gisbert, M., y Lázaro, J.L. (2015). Professional development in teacher digital competence and improving school quality from the teachers’ perspective: a case study. Journal Of New Approaches In Educational Research, 4(2), 115-122.
Graham, C.R. (2006). Blended Learning Systems. Definition, current trends and Future Directions. en Curtis J. Bonk, Charles R. Graham (Ed.) The Handbook of Blended Learning: Global Perspectives, Local Designs. John Wiley & Sons.
Graham, C. R. (2013). Emerging practice and research in blended learning. In M. G. Moore (Ed.), Handbook of distance education (3rd ed., 333– 350). New York, NY: Routledge.
Graham, C.; Henrie, C. y Gibbons, A. (2014): Developing models and Theory for Blended Learning Research. En Picciano, A.; Dziuban, C. & Graham. C. (Eds.): Research Perspectives in Blended Learning: Research Perspectives, Volumen 2. (13-33). Routledge, NY. P.
Güzer, B., y Caner, H. (2014). The Past, Present and Future of Blended Learning: An in Depth Analysis of Literature. Procedia - Social and Behavioral Sciences, 116, 4596–4603. http://doi.org/10.1016/j.sbspro.2014.01.992
Johnson, L., Adams Becker, S., Cummins, M., Estrada, V., Freeman, A., y Hall, C. (2016). NMC Horizon Report: 2016 Higher Education Edition. Austin, Texas: The New Media Consortium.
Llorente, M.C. (2009). Formación semipresencial apoyada en Red (Blended Learning). Diseño de acciones para el aprendizaje. Eduforma, Alcalá de Guadaira.
Marín, V., Salinas, J. y de Benito, B. (2014). Research results of two Personal Learning Environments experiments in a higher education institution. Interactive Learning Environments Volume 22(2) (205-220) DOI:10.1080/10494820.2013.788031.
Marqués, L., Espuny, C., González, J. y Gisbert, M. (2011). La creación de una comunidad aprendizaje en una experiencia de blended learning. Pixel-Bit. Revista de Medios y Educación, 39, 55-68.
Means, B., Toyama, Y., Murphy, R., Bakia, M., y Jones, K. (2009). Evaluation of Evidence-Based Practices in Online Learning. Structure, 66. http://doi.org/10.1016/j.chb.2005.10.002
Moran, L. (2012). Blended-learning. Desafío y oportunidad para la educación actual. Edutec, Revista Electrónica de Tecnología Educativa, 39. http://dx.doi.org/10.21556/edutec.2012.39.371
Organisation for Economic Co-operation and Development (OECD). (2005). The definition and selection of key competencies (DeSeCo). Executive summary. OECD.
Palau, R., Gopal, J., Suñé, X. y Seritjol, F. (2015). Ventajas y desventajas de la aplicación del flipped classroom. Comunicación y Pedagogía, 285-286.
Picciano, A. (2014). Introduction to Blended learning: research perspectives. En Picciano, A.; Dziuban, CR. & Graham C.R (ed). Blended learning: research perspectives. Routledge. New York and London.
Salinas, J. (2008). Innovación educativa y uso de las TIC. En Salinas, J. (Coord). Innovación educativa y uso de las TIC. Sevilla: Universidad Internacional de Andalucía. 15-30.
Salinas, J. (2012). La investigación ante los desafíos de los escenarios de aprendizaje futuros. RED. Revista de Educación a Distancia, 32.
Salinas, J., Pérez, A. y de Benito, B. (2008): Metodologías centradas en el alumno para el aprendizaje en red. Síntesis, Madrid.
Salinas, J., Pérez, A., Darder, A., Orell, J. y Negre, F. (2008): Perfiles metodológicos de los profesores en procesos de enseñanza-aprendizaje en entornos virtuales. EDUTEC 2008. Las TIC, puente entre culturas: Iberoamérica y Europa. Santiago de Compostela.
Salinas, J., Darder, A. y de Benito, B. (2015). Las TIC en la enseñanza superior: e-learning, b-learning y m-learning. En Cabero, J. y Barroso, J, (Coord.): Nuevos retos en tecnología educativa. Ed. Síntesis, Madrid. P. 153-174
Sharif, A. y Gisbert, M. (2015). The impact of culture on instructional design and quality. International Journal of Instruction, 8 (1),143 - 156. (Turquia): 2015. ISSN 1694-609X
Siemens, G., Gašević, D., y Dawson, S. (2015). Preparing for the digital university: a review of the history and current state of distance, blended, and online learning. Retrieved from http://linkresearchlab.org/PreparingDigitalUniversity.pdf
Staker, H., y Horn, M. B. (2012). Classifying K-12 Blended Learning. Innosight Institute, (May), 22. http://doi.org/10.1007/s10639-007-9037-5
Tayebinik, M., & Puteh, M. (2012). Blended Learning or E-learning? International Magazine on Advances in Computer Science and Telecommunications, 3(1), 103–110. http://doi.org/10.1016/j.iheduc.2012.12.001
Wilson, S.; Liber, O.; Johnson, M.; Beauvoir, P.; Sharples, P.; Milligan, C. (2007): Personal Learning Environments: Challenging the dominant design of educational systems. Je-LKS: Journal of E-Learning and Knowledge Society, Vol.3 (2).


DOI: https://doi.org/10.5944/ried.21.1.18859

13 de julio de 2018

Nuevas combinaciones de aula inversa con just in time teaching y análisis de respuestas de los alumnos

Nuevas combinaciones de aula inversa con just in time teaching y análisis de respuestas de los alumnos

Alfredo Prieto Martín, David Díaz Martin, Isabel Lara Aguilera, Jorge Monserrat Sanz, Paquita Sanvicen Torner, Raúl Santiago Campión, Alfredo Corell Almuzara, Melchor Álvarez-Mon Soto

Resumen


Este artículo revisa los procedimientos y resultados obtenidos con el método de aula inversa con just in time teaching (JiTT) que sirve para conocer qué es lo que los alumnos no logran comprender en los materiales instructivos facilitados. Se han utilizado métodos de marketing y gamificación para lograr que los alumnos realicen el estudio previo y se han desarrollado métodos de análisis de las respuestas de los alumnos que permiten al profesor conocer los aspectos que les resultan más interesantes y difíciles de comprender, así como sus dudas más urgentes. Se han desarrollado métodos para usar las dudas de los alumnos para generar retroinformación formativa y actividades para realizar en clase. En el método denominado “Aprendizaje inverso fuerte” el profesor contesta proporcionando respuestas a las dudas urgentes de todos sus alumnos por correo electrónico. En el método denominado “Da la vuelta en colores” se clasifican las dudas de los alumnos en función de su posible utilidad en clase utilizando un código de colores. La aplicación combinada de estos métodos ha logrado reducir la tasa de fracaso de los estudiantes, aumentar su calificación media en las pruebas de evaluación del aprendizaje en más de una desviación estándar y la tasa de alumnos que superan el nivel de maestría ha aumentado. También han mejorado las valoraciones de los alumnos sobre la docencia de estas asignaturas. Finalmente, se discuten las razones por las que esta combinación de métodos es tan eficaz.

Palabras clave


aprendizaje; preparación de clase; aula

Texto completo:

PDF

Referencias


Amo, D., & Santiago, R. (2017). Learning Analytics La narración del aprendizaje a través de los datos. Barcelona: Universitat Oberta de Catalunya.
Angelo, T., & Cross, P. (1993). Classroom assessment techniques. San Francisco: Jossey-Bass.
Bain, K. (2004). What the best college students do Harvard University Press, 2004. Cambridge.
Barjola P. &, al. (2011). Crédito ECTS: ¿Realidad o Ficción? Bordón, 63, 2, 75 - 90.
Biggs, J. (2006). Calidad del aprendizaje universitario. Narcea Madrid
Bloom, B.S., Englehart, M.D., Furst, E.J., & Krathwohl, D.R. (1956). Taxonomy of educational objectives: Cognitive domain. New York: McKay.
Chou, Y. (2015). Actionable Gamification: Beyond Points. Badges, and Leaderboards Kindle Edition Octalysis Media.
Churches, A. (2007). Edorigami, Blooms taxonomy and digital approaches [Wiki]. http://edorigami.wikispaces.com/Bloom%27s+and+ICT+tools
Gómez-Esquer, F., & al. (2011). Cálculo del volumen del trabajo del alumno en las nuevas titulaciones de grado en ciencias de la salud en Evaluación global de los resultados del aprendizaje en las titulaciones dentro del EEES. Madrid: Dyckinson.
Freeman, & al. (2014). Active learning increases student performance in Science, Engineering, and Mathematics. Proc Natl Acad Sci U S A. 111(23), 8410-5.
Knight, J., & Wood, W.B. (2005). Teaching more by lecturing less Cell Biol Educ. Winter, 4(4): 298-310.
Huston, T. (2012). Teaching what you don’t know. Cambridge: Harvard University Press.
Mazur E. (1997). Peer instruction: A User’s Manual. Prentice Hall Series in Educational Innovation Englewood Cliffs, NJ: Prentice Hall.
Medina-Moya, J.L., & al. (2016). La docencia universitaria mediante el enfoque del aula invertida. Barcelona: Octaedro.
Michaelsen, L.K., Knight, A.B., y Fink L.D. (2002) Team-Based Learning: A Transformative Use of Small Groups in College. Westport: Praeger Publishers.
Novak, G., Gavrin, A., Christian, W., & Patterson, E. (1999). Just-In-Time Teaching: Blending Active Learning with Web Technology. Upper Saddle River. NJ: Prentice-Hall.
Markzewski, A. (2013a). Gamification: A Simple Introduction & a Bit More Kindle edition.
Markzewski, A. (2013b). Thin Layer vs Deep Level Gamification. [Blog Gamification UK]. http://marczewski.me.uk/2013/12/23/thin-layer-vs-deep-level-gamification/#.Uzmkxah_vvh
McTighe, J., & Wiggins, G. (2013). Essential questions: opening doors to student understanding. Alexandria: ASCD.
Michael, J. (2006) Where’s the evidence that active learning works Adv Physiol Educ 30, 159-167
Prieto A., & al. (2006). Un nuevo modelo de aprendizaje basado en problemas, el ABP 4x4 es eficaz para desarrollar competencias profesionales valiosas en asignaturas con más de 100 alumnos. Aula Abierta 87, 171-194
Prieto A., Díaz D., Monserrat J., Reyes E. (2014a). Experiencias de aplicación de estrategias de gamificación a entornos de aprendizaje universitario. Revisión, 7(2), 76-92.
Prieto, A. (2014b) ¿Trabajan en su aprendizaje nuestros alumnos universitarios lo que deberían? Profesor 3.0 http://profesor3punto0.blogspot.com.es/2013/05/sobre-cerditos-y-creditos-ects-el.html
Prieto, A., Díaz, D., & Santiago, R. (2015). Metodologías Inductivas: El desafío de enseñar mediante el cuestionamiento y los retos. Barcelona: Océano.
Prieto A., & Velez J. (2016). Registro de profesores que usan el modelo de aprendizaje inverso (flipped learning) en países de habla hispana [cuestionario online]. https://goo.gl/forms/wHaXdd5CvIDNoKrs2
Prince, M. (2004). Does active learning work? J. Engr. Education, 93 (3), 223-31
Robles, G., González-Barahona, J.M., & Prieto, A. (2010). Fomentando la preparación de clase por parte de los alumnos mediante el Campus Virtual. Relada, 2010; 4 (3), 240-8. http://polired.upm.es/index.php/relada/article/viewFile/117/113.
Sams. A., & Bergmann, J. (2014). Flipped learning gateway to student engagement. International Society for Technology in Education.
Sams, A., & Bergmann, J. (2012). Flip your Classroom: Reach every student in every class every day. ISTE.
Sheldon, L. (2012). The Multiplayer Classroom: Designing Coursework as a Game. Boston: Cengage Learning
Svinicki, M. (2004). Learning and motivation in the postsecondary classroom. Bolton: Anker Publishing
Touron, J., Santiago, R., & Diez, A. (2014). The Flipped Classroom: Cómo convertir la escuela en un espacio de aprendizaje Barcelona: Océano.
Weimer, M. (2013). Learner centered teaching. San Francisco: John Willey & Sons.


DOI: https://doi.org/10.5944/ried.21.1.18836