La bibliometría narrativa cumple una función instrumental en la redacción, presentación, justificación y contextualización rigurosa de evidencias e indicios relacionados con la visibilidad, diseminación e influencia de los resultados de la investigación científica desarrollada en el período objeto de evaluación. En coherencia con los principios fundamentales de CoARA, se recomienda evitar los meros conteos, por lo que la información suministrada deberá ser contextualizada, multidimensional y sujeta a verificación objetiva. Asimismo, se desaconseja el uso de indicadores bibliométricos compuestos que no sigan los estándares internacionales sobre métricas responsables.
Cabe destacar que las métricas abarcan diversas dimensiones y que no es requisito indispensable presentar evidencias para cada una de ellas. Las personas solicitantes podrán seleccionar y presentar las métricas que consideren más representativas y adecuadas en función de la naturaleza, la tradición y el consenso disciplinar y las características específicas de cada una de las aportaciones presentadas a evaluación.
Taxonomía de métricas recomendadas
Las métricas aceptadas se clasifican según su nivel de aplicación (dimensión): (1) evidencias a nivel de aportación, (2) evidencias a nivel de medio de difusión y (3) evidencias relacionadas con la puesta a disposición de contribución científica en acceso abierto y la práctica de ciencia abierta.
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Estas métricas recurren al número de citas que una publicación ha recibido en trabajos científicos de diversa naturaleza, recopilables a través de bases de datos bibliográficas que tengan la mayor cobertura posible y sean, preferentemente, de carácter no comercial. Con el propósito de contextualizar los datos, mitigar sesgos y proporcionar una representación más precisa del impacto efectivo, es recomendable emplear indicadores como la citación normalizada por categoría y un recuento de citaciones que excluya las autocitas.
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Número de citas | Número de citas recibidas por la aportación excluyendo las autocitas. | Impacto científico. |
Dialnet Métricas. Dimensions. Google Académico. OpenCitations. Scopus. WoS (Core Collection) |
Citas recibidas por parte de autoras/es influyentes. Citas recibidas en publicaciones influyentes. Citas recibidas en secciones influyentes (metodología, discusión). Citas recibidas el último/primer año |
| Citas normalizadas. Por ejemplo: Category Normalized Citation Impact (CNCI), Field-weighted Citation Impact (FWCI), Field Citation Ratio (FCR), etc | Número de citas recibidas considerando el año de publicación, la tipología documental y la disciplina. | Impacto científico. |
Dimensions. InCites. Scopus. |
Porcentaje de citación respecto al promedio mundial, u otras referencias (geográficas o disciplinares). |
| Percentil. | Posición (decil, tercil, cuartil) en el que se encuentra una aportación en un listado de aportaciones ordenadas por citas recibidas. | Impacto científico. |
Dialnet Métricas. Essential Science Indicators. InCites. |
Lugar de la aportación en el listado correspondiente, indicando el tamaño del listado y/o el prestigio de la fuente que genera el listado. |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Estas métricas se centran en el volumen de descargas, visualizaciones o visitas que ha registrado una aportación en infraestructuras digitales académicas, repositorios científicos o plataformas editoriales. No será suficiente con aludir al conteo básico, siendo necesario que los datos sean debidamente justificados y contextualizados, por ejemplo, especificando los países, ciudades e instituciones que han accedido a las aportaciones y su relevancia.
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Cantidad de uso | Número de visualizaciones descargas, visitas, inclusión en catálogos bibliotecarios, entre otros, considerando distintas plataformas digitales de comunicación. | Impacto científico y/o social. |
Plataformas editoriales de publicación en acceso abierto. Repositorios. Scopus. |
Número de países y ciudades diferentes desde donde se ha usado una aportación. |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Estas métricas se orientan a menciones provenientes de fuentes externas al ámbito académico y a los medios de publicación tradicionales, ofreciendo una perspectiva sobre la influencia, aplicabilidad o adopción de un resultado de investigación en contextos culturales, educativos, políticos o socioeconómicos. Para su valoración pueden ser pertinentes métricas como el número de menciones en medios de comunicación o en informes de políticas públicas y, si fuera el caso, beneficios de su adopción o uso.
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Número de menciones | Número de menciones recibidas por la aportación en documentos no académicos por agentes sociales, culturales, económicos o políticos. Por ejemplo: documentos normativos, patentes, informes políticos o de implementación de políticas públicas, noticias en medios, guías clínicas, etc.. | Impacto social. |
Agregadores de métricas alternativas (por ejemplo, PlumX). Fuentes directas de los agentes no académicos. Overton. The Lens. |
Beneficios y trascendencia que ha generado fuera de la academia. Relevancia y alcance de las organizaciones que hacen uso de la aportación. |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Estas métricas recopilan información proveniente de distintas plataformas sociales en línea, preferentemente académicas y especializadas, incluyendo las menciones o interacciones que las aportaciones científicas reciben. Este tipo de métricas pueden aportar información complementaria significativa sobre la capacidad para la interacción social de la persona solicitante y sobre las audiencias específicas, tanto académicas como profesionales, que han mostrado interés.
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Número de interacciones (menciones, favoritos, réplicas, redifusiones, etc.). | Número de interacciones sociales recibidas por la aportación desde medios de comunicación o plataformas de redes sociales. | Impacto social. |
Agregadores de métricas alternativas (por ejemplo, Altmetric.com). Plataformas sociales académicas. Sitios web de medios de comunicación. Wikipedia. |
Descripción detallada de la audiencia con la que se ha interaccionado, resaltando variedad geográfica, lingüística e influencia. |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Son indicadores bibliométricos cuantitativos que evalúan el impacto de una revista o editorial dentro de la comunidad científica. Estas métricas abarcan una variedad de indicadores que buscan determinar la relevancia y la influencia del medio en su ámbito disciplinario, así como comparar su rendimiento con el de otras publicaciones similares
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Impacto. Por ejemplo: Journal Impact Factor, Citescore, | Visibilidad de un medio de difusión a partir del impacto científico de sus publicaciones individuales | Impacto científico |
Dialnet Métricas Scopus WoS |
Posición (decil, tercil, cuartil) del medio en un listado de medios ordenados por Impacto. |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Se refieren a indicadores que ofrecen información sobre la calidad en la gestión y en los procesos editoriales de un medio. Estas métricas pueden incluir aspectos como tasas de aceptación, tipo de revisión por pares (abierta o no) e internacionalización, y se verifican mediante certificaciones acreditativas que aseguran el cumplimiento de buenas prácticas editoriales estandarizadas.
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Sello de calidad editorial | Obtención por parte del medio de difusión de un reconocimiento a la calidad de su proceso de trabajo. | Impacto científico |
DOAB DOAJ Sello CEA-APQ Sello de Calidad FECYT |
Relevancia de los premios o reconocimientos recibidos por el medio de difusión en el tiempo. |
| Grado de internacionalización | Porcentaje de personas afiliadas a instituciones extranjeras. | Impacto científico | El propio medio de difusión o un producto externo con información de medios de difusión. | Relevancia de las personas pertenecientes a un comité editorial |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Si los indicadores anteriores no permiten justificar la calidad del medio de difusión la propia resolución de la CNEAI recoge la posibilidad de su defensa mediante los siguientes criterios.
A. Criterios concernientes a la calidad de la revista como medio de comunicación científica.
1. Identificación de quienes componen los comités editoriales y científicos.
2. Instrucciones detalladas a las/os autoras/es.
3. Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial o comité de selección, incluyendo, por ejemplo, los criterios, procedimiento e informe para la aceptación de los originales a cargo de revisoras/es o juezas/jueces preferentemente externas/os.
4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas.
B. Criterios sobre la calidad del proceso editorial.
1. Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de editoriales de libros.
2. Revisión por pares de los manuscritos (ciego, open peer review, etc.). La revisión da lugar a un informe motivado de su admisión o rechazo.
3. Comunicación motivada de la decisión editorial, por ejemplo, empleo por la revista, la editorial o el comité de selección de una notificación argumentada de la decisión editorial que incluya las razones para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes emitidos por las personas expertas externas.
4. Existencia de un consejo asesor, o equivalente, con suficiente representatividad académica y movilidad en su composición, formado por profesionales y personal investigador de reconocida solvencia, sin vinculación institucional con la revista o editorial, orientado a marcar la política editorial y someterla a evaluación y auditoría.
C. Criterios sobre la calidad científica de las revistas.
1. Porcentaje de artículos de investigación; más del 75 % de los artículos deberán ser trabajos que comuniquen resultados de investigación originales.
2. Autoría: grado de endogamia editorial, más del 75 % de las/los autoras/es serán externos al comité editorial y ajenas/os a la organización editorial de la revista.
Asimismo, se tendrá especialmente en cuenta la indexación de las revistas en las bases de datos bibliográficas de reconocido prestigio. Tratándose de libros y capítulos de libros, se valorarán aquellos publicados en editoriales que cuenten con el sello de Calidad en Edición Académica CEA-APQ (ANECA-UNE-FECYT) u otros similares.
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Se valorará la difusión de las aportaciones en acceso abierto y sin restricciones a través de repositorios institucionales, temáticos o generalistas. Se valorará también la publicación en revistas y plataformas de acceso abierto sin imposición de tasas a las/os autoras/es ni a las/os lectoras/es (modalidad «acceso abierto diamante»), especialmente en plataformas de legitimada calidad, como es el caso de Open Research Europe u otras plataformas impulsadas por otras agencias de financiación. En ningún caso, la publicación en revistas de acceso abierto, gold, diamante o en revistas híbridas exime el depósito de las publicaciones en un repositorio; si bien, siendo la primera vez que se incluye este requisito, los comités asesores tendrán flexibilidad a este respecto.
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Depósito en acceso abierto de la aportación. | Existencia de una copia legible por máquina de la aportación recogida en una o más plataformas de acceso abierto. | Ciencia Abierta. |
Repositorios institucionales, temáticos o generalistas de acceso abierto Plataformas editoriales de publicación en acceso abierto (modelo «diamante», etc.) |
Relevancia de la plataforma. Métricas de uso de la aportación en cada plataforma. Vinculación de la aportación con otras aportaciones (publicaciones, conjuntos de datos, programas de ordenador, modelos de aprendizaje automático). |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Se valorará la publicación, siempre que sea posible, de forma abierta y transparente de los datos de investigación, metodologías y programas de ordenador, a través de infraestructuras especializadas o repositorios que cumplan con estándares de metadatos y conservación a largo plazo, facilitando su replicabilidad, reproducibilidad, accesibilidad, reutilización y perdurabilidad, así como el escrutinio científico. Es relevante que en el caso de los resultados de investigación el depósito y/o publicación en abierto se realice en infraestructuras y/o repositorios agregados o de confianza, que garanticen el cumplimiento de estándares internacionales (por ejemplo, Zenodo, GitHub o cualquiera de los repositorios presentes en RECOLECTA).
Para una adecuada descripción es necesario especificar los repositorios o infraestructuras donde se encuentran depositadas las aportaciones, así como su identificador único persistente (por ejemplo, DOI, Handle, ARK, SWHID o, en general, una URI/URL única permanente).
En este apartado se podrán utilizar evidencias métricas de uso, lectura y reutilización, debidamente contextualizadas. Se recomienda asimismo ofrecer detalles sobre el nivel de cumplimiento de los principios FAIR de los conjuntos de datos presentados (fáciles de encontrar, accesibles, interoperables y reutilizables). Asimismo, se considera relevante mencionar, en su caso, la reutilización efectiva de estos productos por otros proyectos o equipos de investigación. Finalmente, será necesario consignar la fecha de inclusión de la contribución en los respectivos repositorios o infraestructuras para fomentar el rastreo cronológico de su difusión.
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Se valorarán las aportaciones fruto de la generación de conocimiento realizada en colaboración y con la implicación activa de la ciudadanía en todo o parte de proceso de investigación (ciencia ciudadana, ciencia participativa, ciencia comunitaria, etc.) y/o en diálogo con otros sistemas y agentes sociales (administraciones públicas, comunidades locales, colectivos, entidades, organizaciones del tercer sector, etc.).
| Métrica | Alcance | Evidencia de | Fuentes (orden alfabético) | Contexto/narrativa |
|---|---|---|---|---|
| Número de participantes no académicos o grupos sociales involucrados. | Autoría no académica o contribuciones de no académicos/as explícitamente reconocidas en publicaciones científicas. | Ciencia Abierta |
Scistarter |
Diversidad de los grupos sociales o instituciones no académicas involucradas. |
*La información contenida en esta tabla debe considerarse como un recurso orientativo sobre métricas y fuentes disponibles; por tanto, no se debe asumir que estas sean las únicas aplicables. Asimismo, la ausencia de ciertas métricas y fuentes no excluye la posibilidad de incluirlas en los indicios de relevancia e impacto de las aportaciones presentadas
Fuente: Resolución de 5 de diciembre de 2023, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios para la evaluación de la actividad investigadora. [BOE nº 300, de 16 de diciembre de 2023]
Síguenos en:
