Escrito por Sandra Sánchez-García [i]
Coordinadora editorial de Ocnos: Revista de estudios sobre lectura
Palabras clave: OCNOS, investigación científica, publicación científica, revisión sistemática, metodología de investigación
---
Entre las diferentes metodologías de investigación elegidas por los investigadores a la hora de publicar artículos científicos, observamos cómo en los últimos años han ido cobrando mayor protagonismo las revisiones sistemáticas. Una metodología propia de las ciencias de la salud, que, por sus características, permite analizar los estudios primarios de forma sistematizada de cualquier área de investigación.
La revisión sistemática (Systematic Review, SR) supone una alternativa interesante, tanto para investigadores como para profesionales de diferentes áreas, a la hora de informarse sobre el estado de la cuestión de un tema de investigación. A partir del análisis de los trabajos primarios de investigación permite sintetizar la literatura científica sobre un problema determinado, acercándonos a diferentes perspectivas, metodologías y resoluciones de un mismo problema.
Este tipo de revisiones deben partir de un proceso estructurado, consciente, planificado y reproducible, que evite cualquier tipo de sesgo a la hora de seleccionar los documentos para permitir a los investigadores dar respuesta a una serie de problemas o cuestiones vinculados con el tema seleccionado. Es precisamente esta metodología sistematizada lo que les confiere el carácter de estudio científico y lo que la diferencia de las revisiones tradicionales, o revisiones narrativas, en las que tras una búsqueda bibliográfica más o menos exhaustiva, se presentan los resultados de forma descriptiva, pero sin atender a una pregunta clara y específica de investigación.
Se trata de una metodología claramente establecida con unos protocolos muy desarrollados, por lo que su aprendizaje puede resultar accesible y relativamente fácil para un investigador novel, lo que puede haber ayudado a la consolidación de esta metodología fuera de su contexto inicial. Además, el efecto de generador de citas que tienen las revisiones sistemáticas, tanto para los autores como para las revistas, también está contribuyendo a esta explosión de su popularidad y a una sobreexplotación de esta metodología (Sánchez-Prieto, 2020).
Quizás la aparente facilidad del proceso ha provocado que cada vez nos encontremos con más investigaciones que utilizan esta metodología; aunque, en ocasiones, sin el rigor y precisión necesarias. La realización de revisiones sistemáticas por parte de investigadores poco experimentados está provocando una reducción de la calidad de las revisiones sistemáticas que podemos encontrar actualmente, aspecto sobre el que algunos autores ya están comenzando a llamar la atención (Sánchez-Prieto, 2020; Lai y Bower, 2019). Es habitual recibir para su evaluación revisiones que, por su metodología, la falta de rigurosidad en el proceso y el sesgo intencionado en la selección de la muestra, en el mejor de los casos, podríamos llegar a considerar quizás como revisiones narrativas.
Haciendo propias las palabras de Ruiz-Corbella y López-Gomez (2017), “consideramos que desde las revistas científicas se debe hacer una labor pedagógica extraordinaria acercando, de forma sintética, el contenido de diferentes metodologías y técnicas de investigación, especialmente de aquellas que, poco a poco, se están incorporando en las investigaciones educativas y no existe tradición en su uso”. Por lo que en este artículo vamos a intentar establecer unos protocolos mínimos de rigurosidad y calidad que deben cumplir este tipo de investigaciones y que deberían tener presente tanto autores como revisores y editores a la hora de aceptar y publicar este tipo de trabajos.
Principales etapas y procesos de las revisiones sistemáticas
Las revisiones sistemáticas son investigaciones científicas en las que la unidad de análisis son los estudios originales primarios, a partir de los cuales vamos a intentar contestar una pregunta de investigación claramente formulada a través de un proceso sistemático y explícito de revisión de documentos (Ferreira-González et al., 2011).
El desarrollo de una revisión sistemática es un proceso complejo, que implica numerosos juicios y decisiones por parte de los investigadores. Antes de comenzar a describir cada una de las etapas que incluyen una correcta revisión sistemática, es importante tener en cuenta que, como describen algunos autores, estas investigaciones pueden tener una duración en torno a los seis meses y los dos años (Khangura, 2012; Higgins et al., 2019), tiempo en que se debe realizar:
- La búsqueda sistemática y exhaustiva de todos los artículos potencialmente relevantes.
- La selección mediante criterios explícitos y reproducibles de los artículos que son incluidos en la revisión.
- La descripción del diseño de análisis de los documentos originales seleccionados.
- El análisis del corpus de documentos seleccionado, la síntesis de los datos obtenidos y la presentación de los resultados
- La interpretación de los resultados y la discusión en torno al problema al que se quiere dar respuesta.
 |
| Fuente de la imagen: Pixabay |
1. Definición de la pregunta de investigación
Evidentemente la pregunta de investigación a la que se quiere dar respuesta debe ser explícita y formularse de forma clara y concisa, pero sobre todo debe estar orientada a resolver un problema real, una cuestión que preocupe dentro del área de investigación. Muchas de las propuestas que llegan a las revistas para su evaluación no tienen mayor objetivo que plantear un simple estado de la cuestión sobre un tema más o menos relevante o emergente, sin dar respuesta a alguna problemática que preocupe a la comunidad científica y sin ir más allá del interés de los propios autores por publicar el trabajo en una revista de alto impacto.
Antes de definir la pregunta de investigación y comenzar con la planificación de la revisión sistemática es conveniente realizar una revisión tradicional. Esta experiencia previa va a evitar que se cometan errores durante la fase de planificación, como establecer preguntas demasiado amplias o mal delimitadas o definir criterios de inclusión o exclusión poco precisos o que nos lleven a sesgos innecesarios.
2. Estrategia y búsqueda de la literatura
En la actualidad existen múltiples bases de datos que reúnen información científica y es importante seleccionar las fuentes más adecuadas en función del tema de investigación y la cobertura que queramos dar a la revisión. Atendiendo a su propia definición, una correcta revisión sistemática debería revisar todas aquellas bases de datos susceptibles de contener documentos primarios vinculados con nuestra investigación. Es de suma importancia conseguir tantos estudios primarios sobre la pregunta de interés como sea posible, teniendo en cuenta que de esta manera minimizaremos el riesgo de sesgo. Si se omiten estudios, se puede introducir sesgo y la muestra no resultar representativa, lo que invalida los resultados de la revisión como ocurre en cualquier estudio de investigación.
Una de las primeras decisiones en este sentido tiene que ver con las restricciones o no en el idioma de publicación. Muchos autores, por razones pragmáticas tienden a incluir únicamente publicaciones en inglés y/o en el idioma nativo del autor, lo que evidentemente supone un sesgo en la elección, a no ser que esté justificado por el interés territorial de la investigación. Teniendo en cuenta las actuales herramientas existentes para la traducción de documentos, parece lógico exigir a este tipo de investigaciones que los autores no planteen restricciones idiomáticas, por el sesgo inicial que esto produce en la investigación.
Tomada esta primera decisión y en relación con ella, el siguiente paso es crucial ya que marcará la calidad de nuestra investigación: seleccionar los recursos dónde buscar los estudios primarios. Actualmente existen múltiples bases de datos, tanto generales como especializadas, que facilitan a los investigadores la búsqueda de los trabajos publicados. Bases de datos internacionales como WoS o Scopus se convierten en fuentes imprescindibles en la actualidad, encontrándonos con un porcentaje muy elevado de revisiones centradas únicamente en la búsqueda de documentos primarios en estas dos bases de datos. Es incuestionable la importancia de estos dos recursos para este tipo de revisiones, pero debemos tener en cuenta que si atendemos al objetivo inicial de una revisión sistemática esta debería intentar llegar a todos los trabajos publicados sobre el problema planteado, por lo que sería necesario completar la búsqueda en otros recursos. Así en un área como la educación la base de datos ERIC, especializada en educación, debería ser otra fuente de referencia; y si, por ejemplo, queremos tener una muestra representativa de trabajos publicados en español, Dialnet se convierte en un recurso indispensable.
Debemos tener en cuenta que, aunque hay solapamiento entre muchos de estos recursos, muchas revistas incluidas en una base de datos específica no se encuentran indexadas en otras. Además, cada base de datos tiene una estructura particular, y aunque en la actualidad sus interfaces de búsqueda suelen ser muy similares, cada una utiliza unos criterios de indexación y unas palabras clave más o menos específicas, que nos pueden llevar a obtener resultados diferentes en función del recurso (Ferreira-González et al., 2011).
Determinar los términos más adecuados para la búsqueda en función del recurso que vamos a consultar es también una tarea compleja a la que, en ocasiones, no se suele prestar la atención necesaria. En primer lugar, es necesario identificar el uso de tesauros o listas de descriptores por parte de los recursos a interrogar, así como la posible identificación de sinónimos y diferentes formas de escritura de los términos de nuestra búsqueda. El uso de operadores booleanos y truncamientos permiten resolver algunos de los problemas idiomáticos, ya que facilitan la combinación de los términos seleccionados y ayudan a recuperar resultados más pertinentes.
Debemos tener en cuenta que la estrategia de búsqueda no es un elemento que quede definido desde el primer momento, sino que se deberán ir introduciendo diferentes cambios y adaptaciones en función de la base de datos y las opciones de búsqueda que facilite. Contar en este momento con la experiencia y asesoramiento del personal bibliotecario o documentalista de nuestra institución puede resultar de gran ayuda a la hora definir y adaptar la estrategia de búsqueda según el recurso.
La estrategia de búsqueda y todas sus adaptaciones en función de la base de datos consultada debe aparecer en la publicación final de la revisión para comprobar su reproducibilidad y facilitar su replicabilidad.
3. Selección y localización de estudios
La consulta de diferentes bases de datos y la aplicación de diferentes estrategias de búsqueda proporcionará habitualmente un número elevado de referencias bibliográficas, muchas de ellas duplicadas. Para eliminar las referencias duplicadas, antes de comenzar con la tarea de selección y obtención de los documentos, resulta de gran ayuda el uso de gestores bibliográficos como Zotero, Mendeley, EndNote, Citavi o RefWorks. Estos gestores, alguno de ellos gratuitos y otros suscritos por las propias instituciones, se convierten en herramientas de gran utilidad a la hora de realizar una revisión de este tipo, ya que, en la actualidad, además de facilitarnos la gestión de las referencias bibliográficas, nos permite el trabajo colaborativo entre investigadores e incluso la revisión y descarga de la propia documentación.
Habitualmente la primera selección o cribado de los potenciales documentos elegibles se hace a partir de los títulos y resúmenes. Para esta primera elección es necesario establecer una serie de criterios explícitos y comprensibles que tienen una relación directa con el tipo de problema al que queremos dar respuesta. A partir de este momento, comenzamos a analizar el contenido, metodología y resultados de los trabajos recuperados, para lo que es importante que esta labor se haga al menos por dos revisores de forma independiente, con objeto de aumentar la fiabilidad y seguridad del procedimiento.
Todo el proceso de búsqueda y selección de documentos se debe reportar correctamente y debe quedar recogido en un diagrama de flujo que ayude a comprender los criterios utilizados en cada paso, así como los documentos recuperados, seleccionados y descartados atendiendo a cada uno de los criterios.
4. Extracción de datos de los estudios primarios
Una vez seleccionado el corpus de artículos con los que vamos a trabajar es importante iniciar el proceso de obtención de los documentos. En este momento es fundamental trabajar directamente con los textos de las diferentes investigaciones. En este sentido, nos encontramos en un momento favorable para este tipo de investigaciones pues las políticas de acceso abierto y el desarrollo de repositorios temáticos e institucionales, permiten a los investigadores acceder al texto completo de muchas de estas investigaciones. En cualquier caso, sigue habiendo todavía un elevado número de artículos que no se encuentran en acceso abierto. Este hecho no debe ser, en ningún momento, motivo de exclusión de la revisión puesto que estaríamos sesgando el estudio por un simple criterio de “comodidad” o, incluso, por desconocimiento de los recursos que tiene nuestra propia institución.
En esta parte del proceso vuelve a cobrar importancia el papel del bibliotecario o documentalista de nuestra institución, ya que desde los servicios de obtención de documentos de las bibliotecas nos facilitan cualquier documento independientemente de su localización. Estos servicios, que cuentan con una gran tradición bibliotecaria, suelen contar con convenios y acuerdos entre instituciones que facilitan, incluso, que este servicio esté exento de coste alguno para el investigador. En cualquier caso, debemos de ser conscientes que toda investigación científica lleva una serie de costes asociados y no podemos pretender realizar revisiones sistemáticas a coste cero.
La información que se vaya a extraer de los documentos primarios debe ser consensuada con antelación durante la fase de diseño por los investigadores y debe quedar registrada de forma sistemática en su correspondiente base de datos, en líneas generales debería registrase información sobre los participantes en la investigación y sus características, la metodología y su calidad, los resultados obtenidos y los principales avances sobre el problema que se está revisando.
Al igual que sucede con la etapa de elección de los documentos, esta parte del análisis debe hacerse al menos por dos investigadores.
5. Análisis y presentación de resultados
Finalmente, deben presentarse de forma resumida y atendiendo a diferentes categorías los resultados de los estudios primarios. En este paso debemos tener en cuenta que los resultados no se pueden limitar únicamente a datos estrictamente bibliométricos o relativos a las dinámicas propias del tema de investigación (años de publicación, autores más relevantes, temáticas tratadas, etc…), sino que deben ir encaminados a dar respuestas concisas sobre el problema. Estos datos, aunque nos pueden ayudar a contextualizar la investigación, no nos permiten resolver el problema planteado ni suponen un avance significativo dentro del área. La interpretación de los resultados debe ir orientada a identificar aquellos hallazgos más representativos de los estudios originales.
Las conclusiones o discusión sobre el tema también nos deben ayudar a localizar posibles sesgos o lagunas de los estudios originales, así como a proponer recomendaciones para futuras investigación sobre el tema propuesto, al tiempo que se deben prestar atención a las propias limitaciones de la revisión planteada.
Declaración PRISMA: una guía para mejorar la calidad de las revisiones científicas
Como hemos señalado, las revisiones sistemáticas atienden a protocolos consolidados que ayudan a una correcta planificación y desarrollo de la investigación. En los últimos años se ha consolidado el uso de la Declaración PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses).
Este protocolo publicado inicialmente en 2009 y revisado y actualizado en 2020 (Page et al. 2021), fue diseñado principalmente para revisiones sistemáticas de estudios que evaluaban los efectos de las intervenciones sanitarias, independientemente del diseño de los estudios incluidos. Sin embargo, su aplicación se ha ido extendiendo a publicaciones de revisiones sistemáticas que analizan además intervenciones vinculadas con las ciencias sociales y educativas. Esta declaración incluye una guía de presentación para identificar, seleccionar, evaluar y sintetizar los estudios primarios objeto de una revisión sistemática. La correcta presentación de este tipo de revisiones se contrasta a partir de una lista de verificación de 27 ítems, muchos de los cuales pueden ser aplicables a todo tipo de revisiones. Estos 27 ítems ayudan a los investigadores a ir documentando el proceso al tiempo que van validando el correcto desarrollo de esta metodología.
El sitio web de la declaración PRISMA ofrece una descripción detallada de todos estos ítems, al tiempo que facilita diferentes plantillas para descargar que permiten hacer el seguimiento de la lista de los 27 ítems de verificación y diseñar, a partir de un modelo editable, el diagrama para la presentación gráfica de los criterios utilizados en cada paso y los documentos recuperados, seleccionados y descartados atendiendo a estos criterios.
Desde la web se ofrece también una aplicación web, PRISMA 2020 Cheklist, que permite a los usuarios completar la lista de verificación a partir de una sencilla interfaz, que nos permite ir cumplimentado la información específica de la revisión que estamos llevando a cabo. Una vez completada, el sistema permite la descarga automática del correspondiente informe. Este informe valida el seguimiento de este protocolo y puede ser incluido tanto como anexo a nuestro artículo o, en caso de limitaciones de extensión por parte de la revista, puede ser depositado en repositorios generalistas o institucionales para facilitar su acceso público y permanente. En este sentido, debemos tener en cuenta que repositorios generalistas como Zenodo, nos van a permitir asignarle un doi a nuestro protocolo, para que pueda ser identificado y referenciado como datos abiertos asociados a nuestra investigación.
La utilización de la declaración PRISMA por parte de los investigadores a la hora de diseñar y planificar una revisión sistemática, no solo ofrece validez y transparencia a todo el proceso, sino que, además, facilita la replicación y actualización de las revisiones.
Las revisiones sistemáticas constituyen una herramienta esencial para sintetizar la información científica disponible, incrementar la validez de las conclusiones de los estudios individuales e identificar áreas de incertidumbre sobre las que sea necesario continuar investigando (Ferreira-González et al., 2011); pero para que estas sean realmente efectivas los investigadores deben seguir una estricta metodología y un control de las mismas que evite conclusiones sesgadas y aportaciones vacías o redundantes dentro del área de investigación.
Referencias bibliográficas:
Higgins, J.P.T., Thomas J., Chandler, J., Cumpston, M., Li, T., Page, M.J., & Welch, V.A. (2019). Cochrane Handbook for Systematic Reviews of Interventions. John Wiley & Sons.
Khangura, S., Konnyu, K., Cushman, R., Grimshaw, J., & Moher, D (2012). Evidence summaries: the evolution of a rapid review approach. Systematic Reviews, 1(1), 10. https://doi.org/10.1186/2046-4053-1-10
Ferreira-González, I., Urrútia, G., & Alonso-Coello, O. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688-696. https://doi.org/10.1016/j.recesp.2011.03.029
Lai, J.W.M., & Bower, M. (2019) Evaluation of technology use in education: Findings from a critical analysis of systematic literature reviews. Journal of Computer Assisted Learnin, 36(3), 241– 259. https://doi.org/10.1111/jcal.12412
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, 71. https://doi.org/10.1136/bmj.n71
Page, M. J., Moher, D., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021). PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ, 372, 160. https://doi.org/10.1136/bmj.n160
Ruiz-Corbella, M., & López Gómez, E. (2017). El Meta-análisis, como metodología de investigación en educación. Aula Magna 2.0. [Blog]. https://cuedespyd.hypotheses.org/3064
Sánchez Prieto, J. C. (2020). La revisión sistemática de la literatura en investigación educativa: Posibilidades, riesgos y sostenibilidad. Aula Magna 2.0. [Blog]. https://cuedespyd.hypotheses.org/8753
Cómo citar esta entrada:
Sánchez-García, S. (2022). El uso y abuso de la revisión sistemática como metodología de investigación en educación. Aula Magna 2.0. [Blog]. https://cuedespyd.hypotheses.org/10246
---
[i] Directora Biblioteca General del Campus de Cuenca. Universidad de Castilla-La Mancha (UCLM). Licenciada en Documentación y Doctora en la Filología Hispánica y Clásica, es Directora Técnica de la Biblioteca General del Campus de Cuenca de la UCLM y coordinadora editorial de Ocnos: Revista de estudios sobre lectura.
---
Tomado de Aula Magna 2.0 con permiso de sus editores
