Salir
de la Universidad de Zaragoza
buz@unizar.es 976 76 18 54
Imagen decorativa

Portal investigador - Evaluar

Dimensiones, métricas y fuentes

Aplicables en la obtención de indicadores de impacto científico, impacto social, aportación o participación en la ciencia abierta y para la propia redacción y en la articulación de narrativas para la valoración de aportaciones científicas presentadas a la convocatoria de sexenios de investigación.

Se hará un uso responsable de indicadores cuantitativos. Se recomienda evitar los meros conteos. La información suministrada en la “narrativa” deberá ser “contextualizada, multidimensional… se desaconseja el uso de indicadores bibliométricos compuestos…”

“… las métricas abarcan diversas dimensiones y... no es requisito indispensable presentar evidencias para cada una de ellas. Las personas solicitantes podrán seleccionar y presentar las métricas que consideren más representativas y adecuadas en función de la naturaleza, la tradición y el consenso disciplinar y las características específicas de cada una de las aportaciones presentadas a evaluación”.

Métricas recomendadas: 3 “dimensiones”:      

- Relativas a la “aportación” (trabajo académico) en sí misma.

- Relativas al “medio de difusión” (en el que ha sido publicada la aportación).

- Relativas a la contribución a la “Ciencia abierta”.

Dimensiones relativas a las “aportaciones”:

      
De citación: citas recibidas por otros trabajos académicos recogidas en bases de datos bibliográficas (preferiblemente no comerciales). Recomendable emplear indicadores normalizados de campo y excluir autocitas.
      
De uso y lectura: descargas, visualizaciones en plataformas editoriales, repositorios. Datos contextualizados y justificados: procedencia de los accesos y su relevancia.
      
De influencia social: menciones procedentes de fuentes externas al ámbito académico que muestren la influencia, aplicabilidad o adopción en contextos culturales, educativos, políticos, socioeconómicos: informes de políticas públicas, medios de comunicación o plataformas sociales.
    

 Dimensiones relativas a los “medios de difusión”:

              
Sobre su impacto científico: indicadores bibliométricos cuantitativos de la revista o de la editorial. Incluyendo datos comparativos con otras publicaciones similares.
             
Sobre la calidad en la gestión del medio: calidad aplicada al proceso editorial: revisión por pares, internacionalización, buenas prácticas (*)
(*) Apéndice: “Criterios mínimos que debe reunir un medio de difusión de la investigación para que las publicaciones que en él se incluyan puedan ser consideradas en la evaluación (en caso de que no se cumplan los citados en a Tabla 1. Lista de posibles métricas, fuentes y dimensiones para evidenciar el valor de cada aportación):
A. Criterios concernientes a la calidad de la revista como medio de comunicación científica: 1. Identificación de quienes componen los comités editoriales y científicos. 2. Instrucciones detalladas a los autores. 3. Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial o comité de selección; por ejemplo, procedimiento e informe para la aceptación de los originales a cargo de revisores, preferentemente externos. 4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas.
 
B. Criterios sobre la calidad del proceso editorial: 1. Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de editoriales de libros. 2. Revisión por pares de los manuscritos. 3. Comunicación motivada de la decisión editorial, que incluya las razones para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes emitidos por las personas expertas externas. 4. Existencia de un consejo asesor, o equivalente, con suficiente representatividad académica y movilidad en su composición, de reconocida solvencia, sin vinculación institucional con la revista o editorial.
 
C. Criterios sobre la calidad científica de las revistas. 1.Porcentaje de artículos de investigación (>75 % de los artículos, resultado de investigación originales). 2. Autoría: grado de endogamia (>75 % de serán autores externos al comité editorial y ajenos a la organización editorial de la revista.
 
Se tendrá especialmente en cuenta la indexación de las revistas en las bases de datos bibliográficas de reconocido prestigio. Tratándose de libros y capítulos de libros, se valorarán aquellos publicados en editoriales que cuenten con el sello de Calidad en Edición Académica CEA-APQ (ANECA-UNE-FECYT) u otros similares.

Dimensiones relativas a la “contribución científica en abierto”:

      
Repositorios de acceso abierto: presencia de las aportaciones en repositorios institucionales, temáticos o “generalistas” (ej., Zenodo) o en revistas y plataformas de acceso abierto sin costes de publicación (“diamante”). Pero la publicación en revistas de acceso abierto no exime del depósito en un repositorio.
      
Compartición de datos, metodologías, programas de ordenador y modelos de aprendizaje automático: en infraestructuras especializadas y repositorios que cumplan estándares internacionales (ej. principios FAIR para datos) y uso de identificadores permanentes (DOI, Handle, URI). Se considerará relevante la prueba de reutilización en otros proyectos. 
      
Ciencia abierta a la sociedad: valoración de las aportaciones fruto de la colaboración o implicación activa de la ciudadanía o en diálogo con agestes sociales (Administración, entidades locales, asociaciones, ONG, etc.).

Aportaciones

Tipos:

“Ordinarias”: libros, capítulos de libros, artículos, o patentes, y como “extraordinarias” los informes, trabajos técnicos o artísticos, exposiciones, excavaciones arqueológicas, o aportaciones a congresos.

 “Extraordinarias”: tienen “carácter complementario, salvo en circunstancias especiales apreciadas por el órgano evaluador”. Pueden presentarse en todos los Campos, respetando la especificidad de cada disciplina científica.

Se mantiene la ampliación del tipo de aportaciones que… pueden someter a evaluación. Esto se materializa en la posibilidad de presentar una mayor pluralidad de aportaciones susceptibles de evaluación en las solicitudes, a través de una consideración más amplia de las aportaciones “extraordinarias”, en los términos en los que estas están reguladas por el artículo 7 de la Orden de 2 de diciembre de 1994 y por el artículo tercero de la Orden CNU/1181/2019, de 3 de diciembre.

Número:

En todos los campos se detallan el número y características de las aportaciones ordinarias y extraordinarias preferentes en cada uno, su valoración y los mínimos orientativos para que ésta sea positiva.

“Deberán presentarse cinco aportaciones principales, que podrán acompañarse de dos aportaciones sustitutorias, seleccionadas por la persona solicitante. Excepcionalmente, el número… podrá ser inferior si los trabajos tienen una relevancia extraordinaria y han tenido un alto impacto científico o social, o bien si en el período sometido a evaluación quien solicita la evaluación ha justificado debidamente las situaciones de permisos … excedencias…”.

Características:

“Todas las aportaciones deberán estar publicadas o registradas…  en los años que se someten a evaluación, ya sea de forma definitiva o, en el caso de las revistas científicas, una vez aceptadas y publicadas en los nuevos sistemas conocidos como publicación continua (forthcoming, online first, in press, etc.), con la obligatoriedad de presentar el identificador persistente (DOI, Handle, ARK, SWHID o, en general, una URI/URL única permanente) de dicha publicación”.

Las aportaciones que se presenten a un sexenio de investigación no podrán presentarse a una posterior convocatoria de sexenios de transferencia.

Criterios y otras cuestiones generales (objeto, normativa de referencia, criterios generales, campo 0, autoría, depósito en repositorios)

Objeto:

Evaluación de la actividad investigadora del profesorado universitario, así como del personal investigador funcionario de carrera al servicio de los Organismos Públicos de Investigación de la Administración General del Estado.

Normativa de referencia:

Ley 17/2022, que modifica la Ley 14/2011, de la Ciencia, la Tecnología y la Innovación.

Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario

Orden de 2 de diciembre de 1994, por la que se establece el procedimiento para la evaluación de la actividad investigadora.

Orden CNU/1181/2019, de 3 de diciembre, por la que se establecen las bases comunes para la evaluación de la actividad investigadora del personal investigador funcionario de las escalas cualificadas de los Organismos Públicos de Investigación de la Administración General del Estado.

Real Decreto 678/2023, de 18 de julio, por el que se regula la acreditación estatal para el acceso y régimen de los concursos de acceso a los cuerpos docentes universitarios.

Criterios generales de evaluación:

Se garantiza que todos los campos asumen los criterios generales establecidos en esta convocatoria y se respetan las tradiciones disciplinares, facilitándose así la transición entre modelos de evaluación.

De este modo, atendiendo a los acuerdos alcanzados en el Pleno de la ANECA en su sesión de 5 de diciembre de 2023, “en todos los campos se podrá alcanzar una evaluación positiva presentando cinco aportaciones que cumplan con los criterios generales de evaluación”.

 “en todos los campos se podrá alcanzar una evaluación positiva presentando cinco aportaciones que cumplan con los criterios generales de evaluación”.

"Las aportaciones solo serán valorables si contribuyen al progreso del conocimiento y presentan impacto científico o social, entendido este último como los beneficios que aporta el conocimiento científico más allá del ámbito académico. En el proceso de evaluación de la calidad del contenido de la aportación se aplicarán métodos cualitativos e indicadores cuantitativos. Para ello, se tomará como referencia la narrativa aportada por la persona solicitante en los “indicios de relevancia e impacto” de cada aportación”. Se hará un uso responsable de indicadores cuantitativos.

“En el caso de las publicaciones, su indexación en un determinado repertorio bibliográfico o base de datos puede servir como un argumento complementario en la defensa narrativa que se haga de la aportación, pero no así para obtener de forma automática una valoración positiva de esta, sin tener en cuenta la calidad intrínseca del contenido”.

“Se valorarán positivamente los resultados de investigaciones multidisciplinares e interdisciplinares”.

“Se promoverá la investigación en las lenguas oficiales de los territorios, razón por la que las aportaciones en español o en otras lenguas cooficiales no podrá considerarse un demérito… Además, … tampoco podrá considerarse un demérito la presentación de aportaciones en la lengua oficial del país en el que se realizó la misma”.

"ANECA establecerá el baremo de aplicación en el proceso de evaluación por parte de todos los comités asesores, que se hará público con antelación suficiente a la apertura de la convocatoria. En este baremo se establecerán criterios específicos para cada una de las dimensiones en las que se basa la evaluación, así como las posibles circunstancias que podrían reducir la calificación".

Nuevo Campo 0:

interdisciplinar o multidisciplinar. “A este Campo podrán acogerse aquellas personas con una trayectoria investigadora de carácter claramente interdisciplinar. Asimismo, …cuando consideren que, en su conjunto, no encajarían en un solo campo de evaluación por incluir aportaciones a diversas disciplinas (trayectoria multidisciplinar)”.

 

Autoría:

“Para que una aportación sea considerada, la persona solicitante deberá haber participado activamente en los trabajos que le dieron origen, concretando su aportación específica a los mismos en los casos de coautoría o autoría múltiple. En el caso de las publicaciones esta información deberá aportarse de acuerdo con la taxonomía CRediT…  Asimismo, en su caso, deberá declararse el uso de Inteligencia Artificial generativa, siempre que afecte al contenido original de la aportación”.

No existe una lista exclusiva o excluyente de métricas y fuentes para apoyar las evidencias del impacto o calidad de las aportaciones. “… las métricas abarcan diversas dimensiones y… no es requisito indispensable presentar evidencias para cada una de ellas. Las personas solicitantes podrán seleccionar y presentar las métricas que consideren más representativas y adecuadas en función de la naturaleza, la tradición y el consenso disciplinar y las características específicas de cada una de las aportaciones presentadas a evaluación”.

Depósito en repositorios:

La Convocatoria se alinea con lo que dispone el art. 37 de la Ley de la Ciencia, que “pretende favorecer que los resultados de la investigación, incluidas las publicaciones científicas, datos, códigos y metodologías, estén disponibles en acceso abierto, cuyo acceso gratuito y libre debe fomentarse mediante el desarrollo de repositorios institucionales o temáticos de acceso abierto, propios o compartidos.”

“... se requerirá el depósito de los resultados de la investigación que se sometan a evaluación en repositorios institucionales, temáticos o generalistas de acceso abierto, incluyendo un identificador persistente (DOI, Handle, ARK, SWHID, o, en general, una URI/URL única permanente). En el caso de las publicaciones académicas, sean en formato artículo, libro o capítulo de libro, las personas solicitantes deberán aportar evidencia de haber depositado una copia de la versión final de la aportación aceptada para publicación en un repositorio… de acceso abierto. El depósito podrá hacerse en acceso abierto, acceso restringido, embargado o con acceso solo a los metadatos, respetando en todos los casos la gestión de derechos de autoría… Los conjuntos de datos que se sometan a evaluación deberán cumplir con los principios FAIR…  y, siempre que sea posible, se difundirán en acceso abierto en repositorios”.

Información de interés

 

Evaluación. Indicadores

Delasalle, J. (2016) Quick Reference Cards for Research Impact Metrics. Elsevier Library Connect

UNESCO. Research Evaluation Metrics (2015).

Evaluación. Propuestas, iniciativas

San Francisco Declaration on Research Assessment (DORA) (2012)

Manifiesto de Leiden sobre indicadores de investigación (2015)

COARA. Agreement on Reforming Research Assessment (2022)

Delgado-López-Cózar, Emilio; Ràfols, Ismael; Abadal, Ernest (2021). Carta: por un cambio radical en la evaluación de la investigación en España. Profesional de la información, v. 30, n. 3, e300309. https://doi.org/10.3145/epi.2021.may.09

Evaluación. Nuevos criterios ANECA-CNEAI. Convocatoria de sexenios 2023

Cabezas-Clavijo, A. Qué es un CV narrativo: 10 recomendaciones para su redacción eficiente (2024). Infonomy, 2 (2)

Mesa redonda sobre nuevas estrategias en investigación, ciencia abierta, evaluación y reconocimiento.

Torres-Salinas, D., Arroyo-Machado, W. (2023). Bibliometría narrativa: aplicaciones para la defensa de currículos y aportaciones científicas en el marco de CoARA... y ANECA-Sexenios 

Daniel Torres-Salinas, D., Orduña-Malea, E., Delgado-Vázquez, A., Arroyo-Machado, W. (2024). Fundamentos de Bibliometría Narrativa

Universo abierto: blog de la biblioteca de Traducción y Documentación de la Universidad de Salamanca. Sexenios de investigación 2024: criterios para la evaluación de la actividad investigadora.

Evaluación. Revistas

CRECS. Conferencia internacional sobre revistas científicas

Merlo-Vega, J. A., y Montoya-Roncancio, V. (2023). Criterios de evaluación de revistas científicas. Revista Estudios de la Información, 1(1), 71-89

 

Evaluación. "Altmetrics"

Alonso Arévalo, J. (2016). Métricas alternativas e impacto social de la investigación. Salamanca: Universidad de Salamanca, Facultad de Traducción y Documentación.

Orduña-Malea, E., Martín-Martín, A., y Delgado-López-Cózar, E. (2016). La bibliometría que viene: Almetrics (Author-Level Metrics) y las múltiples caras del impacto de un autor. El profesional de la información, 25(3), 485-496. 

Torres Salinas, D., Robinson García, Nicolás, Arroyo Machado, W. (2022). Cobertura y distribución de las menciones altmétricas en España: una comparativa internacional en 22 campos científicos. El profesional de la información, 31(2).

 

Universidades-Investigación

CSIC. Cybermetrics Lab (julio 2023). Transparent ranking: top universities by citations in top Google Scholar profiles.
[Ranking basado en las citas a los trabajos asociados a los perfiles públicos en Google Scholar de los 310 autores más citados de cada universidad].

IUNE. Observatorio IUNE: Actividad Investigadora en la Universidad Española.
[Resultado del trabajo realizado por un grupo de investigadores pertenecientes a las universidades que integran la "Alianza 4U” (Carlos III, Autónoma de Madrid, Autónoma de Barcelona y Pompeu Fabra). La ed. de 2024 aporta indicadores de actividad científica del periodo 2013-2022 de 80 universidades públicas y privadas españolas. Entre los 42 indicadores sobre actividad se incluyen los relativos a: producción/productividad, colaboración, impacto (citas), visibilidad, publicación en acceso abierto o indicadores de producción científica emergente a partir del Emerging Sources Citation Index.

Se puede descargar el informe, que recoge los principales resultados de actividad para la década analizada.

Pérez, F. y Aldás, J. (dir.) (2022). U Ranking 2022: Indicadores sintéticos de las universidades españolas. Bilbao: Fundación BBVA;  Valencia: IVIE
[10ª edición del ranking de universidades elaborado por la Fundación BBVA y el Instituto Valenciano de Investigación Económica.  Contempla las tres grandes dimensiones de la actividad universitaria: docencia, investigación e innovación y desarrollo tecnológico].

Sanz-Casado, E. (Coord.) (2015). Guía de buenas prácticas para la participación de las universidades españolas en los rankings internacionales. Madrid: Ministerio de Educación, Cultura y Deporte, Subdirección General de Documentación y Publicaciones.
[Se estructura en tres grandes capítulos: Rankings internacionales: metodología y posicionamiento de las universidades españolas; análisis de los datos de la universidades españolas en los rankings internacionales; y resumen ejecutivo y recomendaciones].

SCImago Institutions Rankings (SIR)
[Clasificación de universidades e instituciones de todo el mundo, en función de un indicador compuesto que combina tres indicadores basados en 1) el rendimiento de la investigación (artículos y sus citas), 2) los resultados de innovación (patentes) y 3) el impacto social medido por su visibilidad web.]

SCImago Iber: Measuring the value of Iberoamerican science
[Clasificación de instituciones de educación superior de Latinoamérica, España y Portugal, en función del número de trabajos indexados en Scopus en un periodo de 5 años. La edición de 2023 tiene en cuenta 16 indicadores que reflejan la actividad científica en 3 ámbitos diferentes, investigación, innovación e impacto social, para más de 7.500 instituciones de 22 países].