Hace unos meses publicamos los resultados de una encuesta en la que preguntábamos a académicos en España su opinión sobre los criterios de evaluación del CV investigador en un proceso de contratación.
Sin embargo, una cosa es llegar a un consenso sobre criterios y otra es la aplicación de estos criterios por parte de las comisiones de evaluación de los distintos departamentos.
Durante el periodo en el que me presenté a plazas de Ayudante Doctor en varias universidades andaluzas, he tenido la oportunidad de conocer de primera mano varias irregularidades (por utilizar una palabra “suave”) en estos procesos de selección.
El caso más extremo y preocupante ha sido sin duda el del Departamento de Personalidad, Evaluación y Tratamiento Psicológico de la Universidad de Granada.
El comité de evaluación del Departamento aceptó como “publicaciones científicas” tres trabajos del mismo candidato que no habían sido revisados por pares y que habían sido publicados por una revista académica en una de sus columnas divulgativas. En mi reclamación aporté un email del editor de la revista donde reconocía que dicha columna se encarga a dos periodistas contratados que a veces cuentan con el apoyo de colaboradores externos y que ninguno de sus artículos pasa por el proceso de revisión por pares. Además, aporté a la comisión el listado de los artículos de la revista que se contabilizan para calcular su factor de impacto (un dato abierto en la página del JCR) y obviamente los tres trabajos en cuestión no estaban dentro de ese listado.
La respuesta de la comisión a mi reclamación no tiene desperdicio.
Insistieron que los trabajos en cuestión eran efectivamente artículos “tal y como indican los DOIs asignados a cada uno de ellos, el número de citas que ha recibido cada artículo y que los tres documentos presentados están incluidos en la revista dentro de la categoría de artículos”. Además, “los tres artículos citados en sus respectivos años de publicación están incluidos en el JCR”.
En resumen, la comisión de “expertos” ha considerado que lo importante para clasificar un trabajo como “publicación científica” es que sea un “artículo”, entendiendo como artículo no el resultado de una investigación original avalada por la comunidad científica mediante el proceso de revisión por pares, sino cualquier ítem que tiene un DOI, está citado y aparece en cualquier apartado de una revista indexada por JCR.
Parece que estos expertos desconocen el proceso de registro de DOIs que se pueden asignar a preprints, datos, presentaciones, figuras y en general a cualquier ítem digital.
Tampoco entienden que JCR no indexa revistas sino artículos concretos de revistas y que por lo tanto, no tiene ningún sentido evaluar un ítem no indexado (como son por ejemplo las cartas al editor, las noticias, las columnas divulgativas, etc.), que no contribuye al cálculo del factor de impacto de la revista.
Por no decir que no se molestaron a entrar en la página de la revista para comprobar que los trabajos en cuestión no se encontraban debajo de la categoría “artículos” sino de una columna divulgativa llamada “This month”.
Como cabía esperar he intentado agotar todos los medios de la vía administrativa que ofrece la Universidad de Granada. Escribí cartas y remití quejas formales a los Servicios Jurídicos, al Vicerrector de Investigación, a la Rectora, a la Inspección de Servicios y al Defensor Universitario.
Resultado: a) el personal administrativo de los Servicios Jurídicos, en una conversación informal, reconoció la irregularidad, pero invocó la soberanía de la comisión; b) el Vicerrector de Investigación ha calificado de “tremenda” la decisión de la comisión pero otra vez nos topamos con la soberanía de los “expertos”; c) la Inspección de Servicios y la Rectora han optado por el silencio administrativo tras repetidos intentos formales e informales.
El Defensor Universitario remitió mi carta a la comisión de evaluación, exigiendo una segunda respuesta que ponía aún más en evidencia la absoluta ignorancia e incompetencia de los miembros de la comisión.
En esa segunda respuesta la comisión alegó que “la citada revista es una de las revistas con mayor impacto del mundo considerando todas las revistas indexadas en el Journal Citation Reports (JCR) de Thomsom Reuters. Cuenta con un factor de impacto de XX desde el año XXXX… la comisión evaluadora, como es preceptivo, se ha ceñido a la literalidad de lo establecido en las bases de la convocatoria, donde se indica que deben computarse los artículos en revistas indexadas… las bases de la convocatoria no entran en otras cuestiones mencionadas por el recurrente en su escrito, por lo que la comisión considera que se ha ajustado completamente a lo establecido en la norma”.
De nuevo, la comisión no ha considerado relevante “entrar en cuestiones mencionadas por el recurrente” como el proceso de revisión por pares o la inclusión de los determinados trabajos en la lista de JCR. Triste e innecesariamente, los miembros del comité se han retratado aún más al admitir que su evaluación había sido influenciada por el prestigio y el factor de impacto de la revista, a pesar de que este criterio no se menciona obviamente en ninguna normativa.
Mi intención aquí no es centrarme en un caso concreto, sino hacer una crítica constructiva para intentar evitar semejantes irregularidades en el futuro. A largo plazo, está claro que hay que establecer de forma más estricta los criterios necesarios para considerar una publicación como científica y poder evaluarla mediante el factor de impacto de la revista donde ha sido publicada. En algunas universidades los baremos establecen explícitamente que el apartado de “publicaciones científicas” debe incluir solo los artículos que hayan sido revisados por pares. Sin embargo, los criterios deben aplicarse a nivel nacional. Por otra parte, es necesario aclarar el significado del término “incluido en el JCR”. ¿Se incluyen acaso en el JCR los anuncios publicitarios o las columnas de noticias publicadas en una revista? Ante cualquier duda, siempre se puede consultar el listado de los artículos de cada revista que están incluidos en el JCR y que Clarivate publica abiertamente.
Sobra decir que la evaluación de la calidad científica de un investigador en función del factor de impacto de las revistas donde ha publicado es una práctica errónea que debería abandonarse por varias razones bien documentadas. Pero ya que seguimos utilizando injustificadamente el factor de impacto como criterio de evaluación individual, deberíamos aplicarlo, al menos, a lo que realmente es producción científica.
A más corto plazo, corresponde a cada departamento establecer los criterios de lo que se considera una contribución científica, exigiendo al menos un contenido original que haya sido sometido al proceso de revisión por pares.
El proceso de selección de nuevos profesores e investigadores es, en última instancia, lo que determina la calidad de las instituciones académicas de un país, y las comisiones encargadas de esta inmensa responsabilidad tienen la obligación de cumplir su función con el mayor rigor y seriedad.