Escrito por Equipo editorial Aula Magna 2.0
Universidad Nacional de Educación a Distancia (UNED)
Palabras clave: indicios de calidad, factor de impacto, métricas
Con la convocatoria de evaluación de la actividad investigadora abierta (Sexenios 2021), buena parte de los interesados se preguntan cómo cumplimentar del mejor modo el apartado “indicios de calidad” de la solicitud. Afortunadamente, son muchas las universidades (y centros de investigación) que disponen de servicios de apoyo a la investigación, que orientan eficazmente sobre cómo abordar esta tarea.
Ahora bien, desde la experiencia cotidiana del investigador que debe detallar la calidad de una aportación científica en diversas convocatorias, conviene preguntarse si únicamente el factor de impacto de la revista debe ser lo reseñable o si, en cambio, hay otros indicadores que bien merecen consideración por la relevancia de la medida que aportan. En efecto, en un intento de atribuir mérito o calidad a los resultados de la investigación, que generalmente se difunden en artículos científicos, se utilizan diversas herramientas o métodos, con más o menos consistencia, que esencialmente emanan de la bibliometría. En términos generales, una primera perspectiva, tradicional si se quiere, tiene que ver con el factor de impacto de la revista que lo publica que, pese a sus limitaciones para evaluar investigadores e instituciones bien apuntadas por Seglen (1997) o Aguillo (2018), entre otros, probablemente sea la medida que más se utiliza en los procesos de evaluación de la investigación (McKiernan et al., 2019). Es decir, se atribuye la calidad de una investigación al mejor factor de impacto (posición en estructura de cuartiles) de la revista que publica el artículo en el conjunto del ámbito de conocimiento, pese a mostrarse contrarias distintas recomendaciones internacionales, como es el caso de la Declaration on Research Assessment (DORA; sfdora.org), que detalla las limitaciones del Journal Impact Factor y se ofrece como recomendación general no utilizarlo en las evaluaciones, especialmente como medida sustitutoria de la evaluación de la calidad de los artículos de investigación individuales.
La segunda perspectiva, alternativa o emergente, aunque ya con cierto desarrollo, tiene que ver con la consideración de métricas a nivel de artículo, donde además de las citas recibidas, se tiene en cuenta las menciones en redes sociales o descargas (altmetrics) del artículo concreto. Este enfoque parte de la premisa de que el impacto científico es una construcción multidimensional que no puede medirse de forma suficiente por ningún indicador único (Fenner, 2013). Parece que esta perspectiva, por su particularidad al objeto evaluado y por la apertura a otras fuentes de “impacto” social y académico, tiene una acogida positiva en el ámbito bibliométrico, pero quizá ha permeado poco en las directrices que determinan el estándar o criterio para evaluar la investigación que, en última instancia, es también la evaluación de investigadores y de sus trayectorias (véanse, por ejemplo, los trabajos de Delgado López-Cózar, Ràfols y Abadal, 2021 y de Aguillo, 2021).
En consecuencia, parece claro que puede llegar a ser poco preciso justificar el impacto de un artículo de investigación, “sus indicios de calidad”, únicamente aludiendo al factor de impacto de la revista. Conviene considerar, además o sobre todo, métricas de artículo (Fenner, 2013) que, a su vez, vayan más allá de las “citas”. En efecto, el análisis de citas no siempre es el mejor indicador de impacto en disciplinas más prácticas, donde puede ser relevante acudir a otras métricas alternativas (información o estadísticas de utilidad, visitas, descargas, envíos por correo, veces compartido en redes sociales, menciones en medios de comunicación, etc.).
Parece así que mayor cantidad de información requiere mayor búsqueda de evidencias, lo que exige un minucioso análisis por parte del investigador (o solicitante) a fin de seleccionar aquellos indicios de calidad más relevantes y oportunos considerando la investigación realizada y publicada según qué soporte. A fin de cuentas, reportar indicadores de calidad de la investigación es también una competencia emergente de los investigadores, tarea que resulta más asequible en la medida en que se informa sobre algo estandarizado, y más complejo si cabe cuando se trata de métricas alternativas que emanan de datos más cualitativos.
Vamos a utilizar, para ejemplificar la situación descrita, un artículo de metodología en una de las revistas del consorcio Aula Magna 2.0:
López-Gómez, E. (2018). El método Delphi en la investigación actual en educación: una revisión teórica y metodológica. Educación XX1, 21(1), 17-40. https://doi.org/10.5944/educxx1.20169
Lo primero que hemos de fijarnos es que tenemos la información correcta, a saber: título completo, revista, número, volumen, y páginas (a veces sustituidas por número de artículo), y el enlace web que será el DOI. Conviene revisar que este enlace no enlace con un portal de un repositorio, o similar; es conveniente que vaya dirigido a la revista matriz. Este formato es el que utilizaremos para la difusión, en nuestro caso siguiendo el sistema APA7.
Resulta de interés inicial acudir a MIAR (http://miar.ub.edu/), por ejemplo, para conocer algo más de la revista, aunque obviamente este ejercicio hubiera sido relevante realizarlo antes de enviar el manuscrito publicado, pero… destacaremos, desde luego, que allí se puede encontrar información fiable.
La información que nos devuelve y que puede ser de utilidad:
- Indizada en:
Scopus, Social Sciences Citation Index, Fuente Academica Plus, DOAJ, EBSCO Education Source, Educational research abstracts (ERA), Psicodoc, DIALNET
- Métricas en:
SJR. SCImago Journal & Country Rank, Scopus Sources
Además, MIAR nos aporta una primera cifra:
ICDS 2018: 10.8
Vamos a localizar las métricas de revista, primero en SJR: https://www.scimagojr.com/. Allí encontramos que, en 2018, la revista estaba en Q2, con un valor SJR de 0.611.
Recordamos con esto, que el año en que hemos de fijarnos es el año de publicación del artículo, no el año en que vamos a justificar nuestros méritos de investigación.
Ahora veamos qué nos dice Citescore: https://www.scopus.com/sources. El valor de Citescore se calcula con el impacto de los tres años anteriores, en este caso, con lo que sucedió entre 2015-2018 (Figura 1), por lo tanto, nuestro artículo nada ha tenido que ver en ese número asignado. El Citescore es 2.0 y la revista estaba en el percentil 70 de la categoría de Educación.
Figura 1
Citescore para la revista Educación XX1 en 2018
Estos dos valores, SJR y Citescore justifican que la revista esté en Scopus.
Para acceder al valor de SSCI (Social Sciences Citation Index) acudiremos a las bases de Clarivate. El primer lugar nos dirigimos a Web of Science (WOS) https://www.webofscience.com/wos/alldb/basic-search. Una vez localizado el artículo, podemos ver las citas que tiene (Figura 2), recordamos que esto son citas internas (dentro de WOS).
Figura 2
Citas del artículo en WOS
Nota. https://www.webofscience.com/wos/woscc/full-record/WOS:000423548700002
Este número no coincide con otros espacios que nos muestran las citas (Figura 3), por ejemplo Google Scholar (https://scholar.google.es/).
Figura 3
Visualización del artículo en Scholar
Esto es debido a que aquí (Figura 3) se recogen “todas” las citas sin importar si están en una base u otra, e incluso trabajos que están dentro de este portal de Google.
Para completar esto, podemos acudir a otras herramientas, por ejemplo a Publons (https://publons.com/). En este caso cuando acudimos al artículo (Figura 4), nos aporta un valor de 6 para Altmetric.
Figura 4
Visualización del artículo en Publons
Profundizando un poco, podemos ver el número y cuáles son las menciones en redes sociales o buscadores especializados.
Figura 5
Visualización del artículo en Altmetric
Además, indica que ha encontrado 31 publicaciones que citan este resultado de investigación (Figura 5), que podemos conocer desde ahí exactamente cuáles son.
Esto puede parecer desconcertante, y creemos que lo es, el número de datos, de registros, … se va multiplicando. Algunos nos aportan la misma información, pero otros no.
Otro dato que puede ser el relevante y que nos ayuda a conocer a quién interesa nuestra investigación es el árbol de citas (Figura 6), que recuperaremos desde la anterior Figura 3, y que recoge en qué áreas se distribuyen las citas.
Figura 6
Árbol de citas de un artículo en Web of Science
Nota. https://www.webofscience.com/wos/alldb/analyze-results/c0dc4827-35e3-489c-baf9-7ad0f87c9596-210458d9
Puedes aumentar el número de datos a mostrar, en este caso hemos seleccionado las 10 categorías con mayor cantidad de citas. Los datos se muestran en porcentaje, considerando el total como 40 que es el número de citas recogido en Web of Science.
El informe de citas (Figura 7) nos muestra el comportamiento por años.
Figura 7
Informe de citas de un artículo en Web of Science
Podemos utilizar distintas categorizaciones para visualizar el paquete de citas, por países, por autores, por agencias de financiación, etc. O incluso, cuáles de las contribuciones que nos han citado son Open Access (OA) o no.
¿Para qué sirven estos datos de citación? Como investigadores nos sirven para conocer el impacto de nuestros resultados, es decir, a quién importa lo que hacemos. Por ello, puedes localizar a aquellos que te leen y citan, como una forma de agradecimiento y contacto. Además, parte de esto será de utilidad para justificar la calidad de tu artículo, en diversas convocatorias.
Esperamos que estos datos faciliten que alguno de nuestros colegas en búsqueda de indicios de calidad de sus artículos pueda encontrar un poco de claridad. Y aún más, que la evaluación del impacto de nuestra investigación vaya más allá de una posición de la revista en el cuartil, que matemáticamente no tiene justificación de cálculo, y transite hacia métricas de artículo, basadas tanto en citas como en otras complementarias, pese al trabajo que cuesta rastrear estos indicios. Nos seguiremos poniendo las lentes de la paciencia.
Referencias bibliográficas:
Aguillo, I. F. (2018, Octubre 25-26). Normalización de la normalización en la evaluación de autores e instituciones. VII Xornada Bibliosaúde. Santiago de Compostela, España.
Aguillo, I. F. (2021). Respuesta a Delgado-López-Cózar et al.: Factor de impacto: muchas declaraciones y pocos resultados. Letter. Profesional De La Información, 30(3). https://doi.org/10.3145/epi.2021.may.15
Delgado López-Cózar, E., Ràfols, I., & Abadal, E. (2021). Letter: A call for a radical change in research evaluation in Spain”. Profesional de la información, 30(3), e300309. https://doi.org/10.3145/epi.2021.may.09
Fenner, M. (2013). What can article-level metrics do for you?. PLoS biology, 11(10), e1001687. https://doi.org/10.1371/journal.pbio.1001687
McKiernan, E. C., Schimanski, L. A., Nieves, C. M., Matthias, L., Niles, M. T., & Alperin, J. P. (2019). Meta-research: use of the journal impact factor in academic review, promotion, and tenure evaluations. Elife, 8, e47338. https://doi.org/10.7554/eLife.47338.001
Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314, 498-502. https://doi.org/10.1136/bmj.314.7079.497
Cómo citar esta entrada:
Equipo editorial Aula Magna 2.0 (2022). Me preguntaron por mi artículo, y les busqué las evidencias. Aula Magna 2.0. [Blog]. https://cuedespyd.hypotheses.org/9805
---
Tomado de Aula Magna 2.0 con permiso de sus editores
