Malestar: los investigadores ante su evaluación 9783954878826

Citation preview

Elea Giménez Toledo Malestar Los investigadores ante su evaluación

Gimenez_Malestar.indb 1

04/12/2016 17:26:17

Gimenez_Malestar.indb 2

04/12/2016 17:26:29

Malestar Los investigadores ante su evaluación

Elea Giménez Toledo

Iberoamericana - Vervuert - 2016

Gimenez_Malestar.indb 3

04/12/2016 17:26:29

Cualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra solo puede ser realizada con la autorización de sus titulares, salvo excepción prevista por la ley. Diríjase a CEDRO (Centro Español de Derechos Reprográficos) si necesita fotocopiar o escanear algún fragmento de esta obra (www.conlicencia.com; 91 702 19 70 / 93 272 04 47)

Reservados todos los derechos © Iberoamericana, 2016 Amor de Dios, 1 – E-28014 Madrid Tel.: +34 91 429 35 22 Fax: +34 91 429 53 97 © Vervuert, 2016 Elisabethenstr. 3-9 – D-60594 Frankfurt am Main Tel.: +49 69 597 46 17 Fax: +49 69 597 87 43 [email protected] www.iberoamericana-vervuert.es ISBN 978-84-8489-818-4 (Iberoamericana) ISBN 978-3-95487-486-6 (Vervuert) ISBN 978-3-95487-882-6 (e-book) Diseño de la cubierta: Rober García Imagen de la cubierta: Rober García

Gimenez_Malestar.indb 4

04/12/2016 17:26:29

A Maya, mi pequeña lectora

Gimenez_Malestar.indb 5

04/12/2016 17:26:29

Gimenez_Malestar.indb 6

04/12/2016 17:26:29

Contenido

Prólogo de Ana María Cetto .....................................................................

11

Introducción .............................................................................................

15

Capítulo 1. Calidad de la investigación versus indicadores de publicaciones .............................................................................

23

Capítulo 2. El controvertido valor de los indicadores de impacto ..............

49

Capítulo 3. El libro científico en las Humanidades y Ciencias Sociales ......

79

Capítulo 4. Internacionalidad de las ciencias y de las publicaciones ...........

117

Capítulo 5. La especialización en la evaluación científica ...........................

137

Capítulo 6. Problemas intrínsecos a los procesos de publicación ................

147

Capítulo 7. Los tiempos en la publicación .................................................

165

Capítulo 8. Open Access y evaluación científica ........................................

177

Epílogo......................................................................................................

187

Bibliografía citada......................................................................................

191

Índice onomástico, de términos y de conceptos .........................................

203

Gimenez_Malestar.indb 7

04/12/2016 17:26:29

Gimenez_Malestar.indb 8

04/12/2016 17:26:29

Creía, y todavía lo creo, que el ideal democrático es un seminario socrático constante e inconcluyente en el que todos aprendemos unos de otros. Jason Epstein. La industria del libro. Pasado, presente y futuro de la edición. Barcelona: Anagrama, 2002

Gimenez_Malestar.indb 9

04/12/2016 17:26:30

Gimenez_Malestar.indb 10

04/12/2016 17:26:30

Prólogo

Un nuevo término se ha incorporado recientemente al vocabulario de los académicos: malestar. Malestares de diversos tipos, físicos y mentales, los aquejan e influyen en su desempeño laboral y calidad de vida. Malestares que son a la vez síntoma y expresión de conflictos y tensiones derivados de la conciliación de exigencias propias del ámbito laboral, así como de demandas externas. La lista de malestares se va engrosando. Una reciente encuesta practicada en la Universidad Nacional Autónoma de México1 arroja un listado de malestares que afectan a un porcentaje mayor al 50 % de los investigadores encuestados, encabezado por el estrés, la fatiga, los dolores musculares, los trastornos del sueño y la irritabilidad. A estos se suman los relacionados con el estado de ánimo: tristeza, ansiedad, depresión, pesimismo y sensación de fracaso. ¿Qué tiene que ver este panorama desolador con el tema de la evaluación de la investigación? ¿Acaso no entra en contradicción con la satisfacción y el placer que ha de proporcionar el privilegio del que goza el investigador, por el hecho de poder desarrollar una actividad dictada por sus preferencias intelectuales, en un ambiente de trabajo por demás flexible y con posibilidades de movilidad internacional? ¿Máxime cuando a ello se suman los beneficios nada despreciables, tanto económicos como de estatus, derivados de los resultados de las evaluaciones, cuando éstos son positivos?

1 Castañeda, M. et al. (2014). “Las investigadoras de la UNAM y los sistemas de evaluación”. En Blázquez Graf, N. (comp.). Evaluación académica: sesgos de género. Ciudad de México: CEIICH-UNAM, 223.

Gimenez_Malestar.indb 11

04/12/2016 17:26:30

12

Los investigadores ante su evaluación

Cuando, hace tres décadas o poco más, la evaluación se introdujo como política en las universidades y organismos de investigación, obedecía a una necesidad institucional y de Estado de incrementar la productividad y la eficiencia en un ambiente cada vez más competitivo internacionalmente. En buena medida los criterios y los instrumentos diseñados para la tarea, estaban acordes con esta intención modernizadora y globalizadora; las especificidades locales y los contextos inmediatos resultaban secundarios, o fueron simplemente ignorados. A más de treinta años de distancia, y a la luz de los efectos acumulados —elevados además al nivel de instituciones, mediante los rankings— muchas son las voces que claman por una revisión de tales políticas y de su puesta en práctica. Hay quienes se conformarían con una flexibilización y ampliación de los criterios que tome en cuenta la diversidad de tareas, temas y estilos de investigación. Otros sin embargo van más lejos, y apuestan por una revisión a fondo de un sistema que a la larga ha distorsionado la esencia misma del trabajo de investigación. Un pecado capital de la moda actual de la evaluación, es que se ha descontextualizado y erigido en panacea, confiriéndole funciones que no le corresponden y poderes que no tiene por sí sola, tales como la elevación de la calidad y la corrección de malas prácticas en la investigación. Esta descontextualización ha conducido a la adopción de modelos o paradigmas que poco tienen que ver con la realidad concreta del investigador —casi tanto como el anterior modelo 36-24-36 de Miss Universo, o peor aún, el presente de las anoréxicas modelos de alta costura, tiene que ver con nuestra corpulenta realidad—. No es de sorprender, por tanto, el sentimiento de frustración y desolación que transmiten muchas de las respuestas a la encuesta realizada por Elea Giménez Toledo para la preparación de la presente obra. Valerosa labor que ha emprendido la autora, con la iniciativa de una encuesta que derivó en fructífero diálogo con sus actores. Estos testimonios de primera mano son organizados y analizados crítica y acuciosamente, y situados en el contexto institucional, habida cuenta de las medidas recientes y tendencias en el plano nacional e internacional. Agrega solidez a la obra el amplio y profundo conocimiento que la autora tiene como resultado de sus propias investigaciones, en particular en el campo de la evaluación de las revistas científicas, que

Gimenez_Malestar.indb 12

04/12/2016 17:26:30

Prólogo

13

juegan un papel central en el tema que nos ocupa. Si bien las observaciones y conclusiones que contiene la obra son de particular relevancia en el área de las Ciencias Sociales y las Humanidades, la mayoría de ellas se aplican con igual peso a las ciencias naturales y exactas. La lectura de esta obra confirma y enriquece los motivos para proponer una revisión del sistema de evaluación en todas sus facetas. Habría que empezar por reconocer que la evaluación no puede ser más que componente integral —un paso más— de un proceso que comprende desde la definición de la naturaleza y los objetivos de lo que se pretende evaluar, hasta un diagnóstico de las fallas sistémicas que afectan el cumplimiento de dichos objetivos, y la adopción de medidas para atender dichas fallas. En la medida en que cada uno de estos elementos cumpla con su función, la evaluación se restringirá a la que le corresponde propiamente. En todo este ejercicio hay al menos tres elementos adicionales consustanciales. El primero tiene que ver con el valor de la investigación. ¿Para qué queremos investigación, por qué nos es relevante? Esta valoración es requisito previo a cualquier evaluación, tanto colectiva como individual. Huelga decir que para los investigadores mismos, la valoración de su trabajo es un importante estímulo que los alienta a trabajar aún mejor, y a corregir rumbo cuando resulta necesario. Un segundo elemento adicional tiene que ver con el conocimiento que se tiene del sistema a ser evaluado. ¿Entendemos cómo funciona el sistema de investigación? ¿Tenemos suficiente información sobre sus características, peculiaridades e individualidades? Este conocimiento también es requisito previo y sirve de base —junto con la definición de los objetivos del sistema— para el diseño mismo de los indicadores y criterios que se empleen en los ejercicios tanto de diagnóstico como de evaluación. Como se sugiere en la presente obra, es necesario ‘pensar en cómo hacer crecer la investigación, promoviendo la creatividad y pertinencia, y adaptar los indicadores y el uso de ellos, a este objetivo’. Un tercer elemento adicional, no menos importante, tiene que ver con la naturaleza y el nivel de participación de los investigadores mismos en el proceso. Los procedimientos actuales son altamente desgastantes y absorben una cantidad enorme de horas-investigador y otros recursos. En cambio, donde no se ve la participación de los investigadores es en el diseño del sistema mismo.

Gimenez_Malestar.indb 13

04/12/2016 17:26:30

14

Los investigadores ante su evaluación

A esto apunta el epílogo al reconocer la necesidad de una ‘voz colectiva’ que participe no sólo en la evaluación sino en la definición de criterios y procedimientos. Finalmente, se trata de buscar ‘un marco estimulante para la investigación y una alta exigencia a los investigadores mediante un sistema aceptable para la mayoría’. Ana María Cetto Ciudad de México, julio de 2015

Gimenez_Malestar.indb 14

04/12/2016 17:26:30

Introducción

Si hay un estado colectivo, predominante, entre humanistas y científicos sociales, en relación con los procesos de evaluación, quizá sea este el malestar. Un estado que proviene del desacuerdo con los criterios y procesos de evaluación, de la desconfianza hacia quienes los proponen y aplican, de las experiencias propias y ajenas y también, en ocasiones, del rechazo a que la investigación sea evaluada. Tras ese malestar —común denominador entre investigadores— se encuentran múltiples y variados argumentos, sentimientos, informaciones e incluso desinformaciones. Y en ellos merece la pena detenerse. En primer lugar, porque la evaluación de la investigación es una necesidad irrenunciable, como lo es en otros sectores de actividad, y en consecuencia debe hacerse lo posible por lograr cierta aceptación entre los investigadores. Así ocurre en cierto modo entre los investigadores de las denominadas ciencias positivas, que, a pesar de ser críticos con algunos criterios aplicados en los procesos de evaluación, especialmente en algunas disciplinas como la Ingeniería, la Arquitectura, la Medicina Clínica o las Ciencias de la Tierra, están más o menos conformes con los procedimientos que se siguen para su evaluación o, dicho de otro modo, existen ciertos consensos básicos que permiten que los procesos de evaluación no sean objeto constante de debate. En las Humanidades y las Ciencias Sociales la situación es ciertamente diferente. Se cuestionan regularmente los métodos de evaluación, que se consideran importados del resto de las ciencias; también las fuentes y los criterios, no solo los que están vinculados a grandes empresas, sino también aquellos que se proponen para defender mejor los modos naturales de comunicación científica en estas disciplinas. Se huye de los criterios cuantitativos y parece confiarse en la evaluación de contenidos que puedan realizar los expertos en cada disciplina, pero, al mismo tiempo, son muy frecuentes las

Gimenez_Malestar.indb 15

04/12/2016 17:26:30

16

Los investigadores ante su evaluación

voces de quienes critican la conformación de los paneles de expertos, la falta de especialistas en algunas áreas, la subjetividad de las evaluaciones y, por supuesto, los sesgos que se producen por muy distintas razones, entre ellas, por la escuela a la que se pertenezca. Aparentemente, no hay consensos mínimos ni entre los propios investigadores, ni entre estos y las agencias de evaluación, ni entre estas mismas (cada una propone sus propios criterios) ni entre los editores de revistas científicas y editoriales. Las discusiones y publicaciones sobre la evaluación de las Humanidades y las Ciencias Sociales se repiten, con distintos grados de intensidad, tonos e intereses, en diferentes lugares del mundo. En algunos países, como el Reino Unido, con una larga trayectoria de evaluación científica a sus espaldas, el debate mantenido en el tiempo entre la comunidad científica y los gestores del Research Assessment Exercise (RAE) ha sido constructivo, dando lugar a un reciente cambio de planteamientos en la evaluación bastante significativo. Las enormes críticas formuladas por los investigadores sobre la utilización de indicadores de impacto en el RAE y la propia autocrítica de los organismos financiadores (ej., Higher Education Funding Council for England), que han promovido estudios sobre la utilidad de los indicadores bibliométricos1 en este mismo proceso de evaluación, fueron modificando la convocatoria hasta que el nuevo Research Excellence Framework (REF), que propone una evaluación más cualitativa y observadora de la repercusión real de la investigación, afirma rotunda y repetidamente: “The sub-panels (…) will neither receive nor make use of any citation or bibliometric data to inform their judgements”2. Es este un claro ejemplo de que la controversia asociada siempre a la evaluación científica en Humanidades y Ciencias Sociales no tiene por qué desembocar en vía muerta. También de que la escucha atenta de los argumentos de las distintas partes de la comunidad académica, así como la autocrítica, son absolutamente fundamentales para poder llegar a un mínimo consenso y crear, de paso, un clima de trabajo más tranquilo y atractivo para investigar.

1

http://www.ref.ac.uk/background/bibliometrics/. Se encuentra referida al panel D, que incluye distintas disciplinas de Humanidades y Ciencias Sociales, pero también a otros: http://www.ref.ac.uk/media/ref/content/pub/panelcr iteriaandworkingmethods/01_12_2D.pdf. 2

Gimenez_Malestar.indb 16

04/12/2016 17:26:30

Introducción

17

En ese plano y con esa intención se inscribe este libro, que pretende ser una suerte de conversación, sosegada y en diferido, en la que participan las distintas voces que se han podido escuchar en la academia española en torno a la evaluación científica en Humanidades y Ciencias Sociales. Durante el año 2009, en el proceso de análisis de resultados de una encuesta masiva que realizamos entre humanistas y científicos sociales3 sobre publicaciones científicas, me llamó poderosamente la atención no solo el número de participantes —5368 y 45,6% de tasa de respuesta, algo infrecuente en estudios de estas características—, sino también la cantidad de comentarios, ideas y opiniones que formularon sobre los sistemas de evaluación en su conjunto, procedentes de investigadores de todas las disciplinas, con distintos perfiles y con distinta fortuna en los procesos de evaluación. La riqueza, variedad y representatividad de estas aportaciones merecían ser analizadas cualitativamente para profundizar así en algunas cuestiones fundamentales que atañen a la evaluación científica, y que no han sido tan estudiadas en la literatura científica: ¿por qué se critican los sistemas de evaluación vigentes?; ¿cuáles son los puntos débiles o los menos aceptados?; ¿qué argumentos se aportan?; ¿qué grado de consenso existe en el conjunto de la comunidad académica sobre los sistemas de evaluación?; ¿cómo afectan los resultados de las evaluaciones a los investigadores?; ¿qué actitudes y sentimientos se detectan?; ¿qué repercusiones tiene o puede llegar a tener el desarrollo de la propia investigación? Con la intención de poder resolver parcialmente estas preguntas, solicité una acción complementaria4 al entonces Ministerio de Ciencia e Innovación, que me fue concedida y que me ha permitido escribir y publicar este libro. También el proyecto de investigación Evaluación de editoriales científicas de libros en Ciencias Humanas y Sociales a través de la opinión de los expertos y del análisis de los procesos HAR2011-30383-C02-01 que tuve la oportunidad de dirigir entre 2012 y 2014, y que fue financiado por el Ministerio de Economía y Competitividad, ha sido fuente fundamental para algunos capítulos de este libro. Lo que empezó siendo un intento por exponer la voz de quienes 3 Valoración integrada de las revistas españolas de Ciencias Sociales y Humanas mediante la aplicación de indicadores múltiples, dirigido por Emilio Delgado López-Cozar y Elea Giménez Toledo, dio lugar a RESH: http://epuc.cchs.csic.es/resh. 4 Opinión de los humanistas y científicos sociales acerca de los sistemas de evaluación en sus áreas de conocimiento. Análisis cualitativo (2011-2013).

Gimenez_Malestar.indb 17

04/12/2016 17:26:30

18

Los investigadores ante su evaluación

quisieron expresarse en aquella encuesta sobre los procesos de evaluación se fue transformando paulatinamente y de una manera natural en una suerte de discusión escrita y serena entre los distintos actores de la comunidad académica. Si bien los ejes fundamentales del libro son las opiniones de los investigadores —diversas, heterogéneas, muchas veces contrapuestas entre sí—, el texto aporta otros argumentos, contraargumentos o desarrollos de ideas, procedentes de los muchos años de investigación en la evaluación de la actividad científica, del trabajo continuado con editores de revistas, agencias de evaluación y con investigadores —entre ellos los de mi área, los estudios de la ciencia—, y, por supuesto, de la experiencia vivida como vicedirectora del Centro de Ciencias Humanas y Sociales del CSIC, encargada precisamente de las cuestiones relativas a la evaluación de la actividad científica. Todas estas yuxtaposiciones han permitido mostrar en estas páginas una síntesis de lo que hay y de lo que se suele pensar en torno a la evaluación de las Humanidades y de las Ciencias Sociales. Creo no errar si digo que no hay muchos más argumentos que se barajen sobre este tema, aunque sí, claro está, muchos más matices, referencias, datos y ejemplos. El trabajo realizado para redactar este libro ha hecho que afloraran algunas razones por las que no hay más concordia, lo que puede permitir un análisis constructivo de la cuestión. Pero también ha constatado una realidad (afortunadamente no generalizable) que impide ser tan optimista: en ocasiones las ideas tratan de imponerse, se pierden las normas más básicas de convivencia y educación y la ética se tambalea. Como decían los autores de Fakes & Frauds, en relación con el comercio antiguo del libro, “not all the individuals involved in the trade have been driven by the purest motives”5. No es novedoso, pero en la academia ocurre lo mismo. La dificultad que entraña no solo tratar con opiniones, sino también buscar un equilibrio en la representación de todas ellas, hizo necesario sistematizar el análisis de las respuestas abiertas de la mencionada encuesta. A una primera lectura general de todas ellas, siguió una lectura más minuciosa y una asignación de descriptores para cada una de las respuestas. Con ellos fue posible determinar o, más bien, corroborar, los grandes temas que preocupan 5 Myers, R. y Harris, M. (1989). Fakes & Frauds: varieties of deception in print & manuscript. Winchester: St. Paul’s Bibliographies.

Gimenez_Malestar.indb 18

04/12/2016 17:26:30

Introducción

19

y surgen al hablar de evaluación científica en Humanidades y Ciencias Sociales y que han constituido, naturalmente, los ejes de este libro: la relación entre la calidad de la investigación y los indicadores de las publicaciones, el controvertido valor de los indicadores de impacto, el rol y el valor del libro académico en las Humanidades y Ciencias Sociales, la internacionalidad de la investigación y de las publicaciones, la multidisciplinariedad y especialización, algunas cuestiones intrínsecas a los procesos de publicación, los tiempos en la publicación y la relación open access/evaluación científica. En este punto tengo que agradecer la conversación con Pura Fernández, que nos llevó al título de este libro, el apoyo y la labor de Pablo Perdiguero Domínguez y, muy especialmente, de Jorge Mañana Rodríguez, que con su trabajo riguroso, constante, crítico y entusiasta me ha ayudado y alentado en la redacción de este libro. Y hablando de apoyo y de afectos, cómo no recordar a quienes cada día, en casa, hacen de mi vida algo muy especial. Expresar, analizar y discutir las diversas opiniones en torno a un tema controvertido es una tarea tan compleja como apasionante. Creo, además, que requiere de un tacto especial. Mi intención ha sido escribir con claridad de los problemas detectados, sin herir sensibilidades. Espero haberlo logrado. El análisis de todas las opiniones expresadas por los investigadores, no solo en la encuesta, sino en las innumerables conversaciones, mensajes, congresos o reuniones en los que he participado directamente, ha mostrado una evidencia clarísima: existe una taxonomía de investigadores según su posición ante los procesos de evaluación —con pocas pero nítidas categorías— y existen escuelas de pensamiento también entre los especialistas de estudios de la ciencia. En el primer capítulo se trata algo más esta cuestión. Este libro surgió con la idea de escuchar calmadamente los argumentos de los investigadores, de aquellos que dieron su voz en nuestro estudio. Por eso, este libro busca a lectores que quieran hacer lo mismo: escuchar, atender a los argumentos de los otros, dedicar tiempo a otras opiniones, evitando caer en los prejuicios y en el apasionamiento que normalmente suscita la evaluación, y especialmente la que afecta a investigadores. Y es que, al tratarse de un tema que repercute en la carrera profesional de cada uno, a menudo produce heridas y surge, de manera natural, instintiva, ese apasionamiento que a veces deriva en autoexclusiones del sistema (investigadores que renuncian a someterse a procesos de evaluación), ataques furibundos contra esto y aquello

Gimenez_Malestar.indb 19

04/12/2016 17:26:30

20

Los investigadores ante su evaluación

—empleando la expresión unamuniana—, descalificaciones o llamadas a la acción colectiva. A pesar de que son muchas las mejoras de los sistemas de evaluación de España en los últimos años y que parte de ellas se han producido precisamente por el trabajo realizado por las instituciones y por el intercambio de opiniones y el diálogo entre investigadores, evaluadores y editores, lo cierto es que aún hay mucho por hacer para conseguir no solo un sistema mejor, exigente pero que atienda a la idiosincrasia de cada disciplina, sino también —sobre todo— un sistema en el que todas las partes se sientan involucradas, comprometidas y representadas. La evaluación científica va más allá de las necesidades administrativas, del reparto de recursos y de los indicadores cienciométricos. La evaluación científica trata con personas, marca sus carreras y por eso resulta fundamental cuidar y mejorar la comunicación, prestar la debida atención a los distintos argumentos, buscar empatía real y, por supuesto, evitar el malestar. El entendimiento —aunque sea el mínimo— debe darse desde las agencias hacia los evaluadores, pero también a la inversa, también hacia y desde quienes editan, hacia y desde quienes producen indicadores. Y es esta una cuestión fundamental pues, aunque las reuniones y discusiones son frecuentes, pocas veces los unos se llegan a poner en el lugar de los otros y, lo que es peor, no siempre se tiene el conocimiento preciso de las cuestiones que se discuten. No es esta una afirmación descuidada. Desafortunadamente, he asistido a muchos de estos encuentros en los que se proponían soluciones y métodos para evaluar carentes de todo sentido por desconocimiento o desinformación; si bien la voluntad no era mala, el conocimiento ha resultado deficiente y el resultado puede ser dañino. En el momento de finalizar la redacción de este libro, las agencias de evaluación españolas se encuentran en un momento de transformación, marcado por la creación de la Agencia Estatal de Investigación. La ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) tiene encomendadas funciones que realiza actualmente la CNEAI (Comisión Nacional de la Evaluación de la Actividad Investigadora), en lo que supone ya una fusión de ambas entidades y ya hay documentos de trabajo que perfilan el próximo sistema de evaluación que, previsiblemente, entrará en vigor en 2016. Entre sus características están la ampliación del número de paneles de expertos para mejorar la representatividad de las áreas que se evalúan y

Gimenez_Malestar.indb 20

04/12/2016 17:26:30

Introducción

21

la realización de una evaluación más cualitativa, basada precisamente en esa mayor presencia de especialistas de las áreas. Aunque no hay ni habrá sistemas perfectos de evaluación, se debería hacer lo posible por lograr un modelo que pudiera ser más aceptado, que fuera comprendido en sus detalles por todos, que fuera correcto desde el punto de vista metodológico (¡para eso existen especialistas en la materia!), que considerara las especificidades disciplinares y que, por otra parte, no hiriera. Para ello, es necesaria la crítica, pero también la propuesta de alternativas sólidas. Pero también es necesario alejarse del dogmatismo, del calificativo burócrata para quien asume la tarea de evaluar, de mediocre para el investigador que no logra un sexenio o de cuantificador para quien diseña indicadores de apoyo a la evaluación científica. Sin esta predisposición, será muy difícil acercar posiciones y, por tanto, construir un sistema en el que todos nos encontremos un poco más cómodos y, sobre todo, que sea más propicio para la investigación.

Gimenez_Malestar.indb 21

04/12/2016 17:26:31

Gimenez_Malestar.indb 22

04/12/2016 17:26:31

Capítulo 1

Calidad de la investigación versus indicadores de publicaciones

Las publicaciones científicas representan un núcleo fundamental en los procesos de evaluación de la actividad científica. Concentran los resultados de la investigación, son el fruto más “tangible” y esperado de los proyectos, y también son los resultados más mensurables de la actividad científica. Este hecho se constata con la asignación de pesos específicos que se otorga a las publicaciones en los procesos de evaluación. Las agencias de evaluación españolas, por ejemplo, les conceden el mayor peso en sus procesos de evaluación. En la Agencia Nacional de Evaluación y Prospectiva (ANEP), los resultados de investigación —las publicaciones— representan un 66% de la valoración total de la actividad científica, mientras que para la ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación) suponen un 60%. En el caso de la Comisión Nacional de la Evaluación de la Actividad Investigadora (CNEAI), encargada de la evaluación de investigadores, valora exclusivamente las publicaciones, como el resultado de la actividad investigadora realizada. En los criterios de evaluación que la CNEAI suele hacer públicos cada año, se afirma que “un aspecto importante es determinar las condiciones formales que se deben exigir a un medio de difusión de los resultados de la investigación, para que pueda esperarse un impacto aceptable de aquellos”1. Es decir, CNEAI, como el resto de agencias de evaluación 1 Gobierno de España. Ministerio de Educación, Cultura y Deporte. “Resolución de 19 de noviembre de 2012, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación”. 29 de noviembre de 2012. http://www.boe.es/boe/dias/2012/11/29/pdfs/BOE-A-2012-14633.pdf.

Gimenez_Malestar.indb 23

04/12/2016 17:26:31

24

Los investigadores ante su evaluación

españolas y muchas extranjeras, realizan la evaluación de las publicaciones a partir de indicadores de calidad de los medios de difusión, esto es, de las revistas o libros en los que se han publicado los resultados de la investigación. No se evalúa, por tanto, la calidad de cada una de las contribuciones científicas, sean artículos, libros o capítulos de libros. Este hecho es, sin duda, el más contestado por científicos sociales y humanistas, quienes reivindican una valoración de sus resultados de investigación o del contenido de sus contribuciones científicas y no un juicio sobre el canal de comunicación que las alberga. Reclaman una evaluación del contenido frente a una evaluación del continente. Argumentan, y a veces es un hecho, que una revista o una obra colectiva puede contener artículos o capítulos de desigual calidad: algunas revistas prestigiosas publican artículos mediocres y revistas que no ocupan los mejores puestos de los rankings contienen artículos de altísima calidad. También piensan que cuando se evalúa a partir de los indicadores de calidad del “canal” se corre el riesgo de infravalorar a algunos autores o de beneficiar a otros. A propósito de este asunto, Simon Schaffer, editor de la British Journal for the History of Science y profesor de Historia de la Ciencia en la Universidad de Cambridge, señalaba: “You don’t need to know about the quality of a particular essay in a particular journal. You can substitute that with the letter grade of the journal in which it appears. And that seems to me nonsense”2. La posición de este reconocido investigador, combativa con respecto a los rankings de revistas y los indicadores que subyacen3, y respecto de su uso en los actuales sistemas de evaluación y promoción del profesorado4, refleja bien la opinión de parte de la comunidad científica. También los firmantes de la Declaración de San Francisco5 sobre evaluación de la investigación retoman 2 Howard, J. (2008). “New Ratings of Humanities Journals Do More Than Rank - They Rankle”. Chronicle of Higher Education. http://chronicle.com/weekly/v55/i07/07a01001. htm. 3 Falagas, M. E., y Alexiou, V. G. (2008). “The top-ten in journal impact factor manipulation”. Archivum immunologiae et therapiae experimentalis, 56 (4), 223-226. 4 Weingart, P. (2005). “Impact of bibliometrics upon the science system: Inadvertent consequences?”. Scientometrics, 62 (1), 117-131. 5 San Francisco Declaration on Research Assessment: http://blogdasbi.blogspot.com. au/2013/04/san-francisco-declaration-on-research.html.

Gimenez_Malestar.indb 24

04/12/2016 17:26:31

Calidad de la investigación versus indicadores de publicaciones

25

esa idea en su texto y la materializan en una recomendación: la de no utilizar las métricas para las revistas para realizar evaluaciones a nivel individual. Y el Manifiesto de Leiden (2015) incide en que los indicadores deben servir de apoyo a los juicios cualitativos de los expertos; es decir, otorga un valor a estos indicadores y, al mismo tiempo, advierte de los riesgos de utilizarlos como única medida. Sin embargo, en el argumento de que es el contenido y no la revista lo que hay que evaluar, se obvian o se minusvaloran las funciones del editor y del equipo editorial. Un editor científico de revista que sea riguroso en su tarea velará por seleccionar los mejores artículos y también por garantizar cierta homogeneidad en la calidad global6. Se servirá de los mecanismos que existen para ello: remitirá los originales a especialistas en la materia, que redactarán un informe razonado sobre la calidad de la contribución; discutirá con los miembros de su consejo de redacción sobre el encaje de los artículos en la revista o sobre dictámenes de los evaluadores que sean contrarios, o buscará nuevos evaluadores para tomar la decisión de forma más fundamentada. Ejercerá, por tanto, una función de filtro científico y el ejercicio de esa función diferenciará a una revista de otra. Por esa razón, las características del canal de comunicación no son algo ajeno a la calidad de los contenidos: una y otra variable suelen estar estrechamente relacionadas. Desde el punto de vista del autor, la diferencia en los filtros de calidad de las revistas es evidente y eso debería dar las claves para entender que no es tan fácil disociar un riguroso trabajo editorial con la calidad de los contenidos que se publican. Si el envío de un original a una revista tiene como respuesta uno o más informes de evaluadores anónimos, suficientemente razonados, con peticiones de modificación que obligan al autor a ver su propio trabajo de otra manera, que pueden enriquecer el texto y que denotan una lectura pausada y crítica por parte de los evaluadores, se estará aplicando un filtro científico fundamental 6 Marusic, A., et al. (2007). “Role of editors and journals in detecting and preventing scientific misconduct: strengths, weaknesses, opportunities, and threats”. Medicine and law, 26 (3), 545; Ray, J. G. (2002). “Judging the judges: the role of journal editors”. QJM, 95 (12), 769-774; Roediger III, H. L. (1987). “The role of journal editors in the scientific process”. Scientific excellence: Origins and assessment; Laband, D. N. y Piette, M. J. (1994). “Favoritism versus search for good papers: Empirical evidence regarding the behavior of journal editors”. The Journal of Political Economy, 102 (1), 194-203.

Gimenez_Malestar.indb 25

04/12/2016 17:26:31

26

Los investigadores ante su evaluación

para garantizar la calidad de los contenidos. El autor siente cuando se ha juzgado con serenidad, juicio y profundidad su trabajo; aunque la crítica haya sido negativa o proponga modificaciones sustanciales, el autor reflexionará sobre ellas, se aceptarán o se rechazarán y, finalmente, el artículo resultante habrá mejorado sustancialmente. La evaluación de las contribuciones científicas mediante expertos (peer review) es quizá el único método que permite abordar la calidad de los trabajos científicos. No es un método perfecto pero, llevado a cabo con profesionalidad, permite seleccionar cualitativamente los artículos o capítulos y marcar, así, la diferencia con otros procesos selectivos y con otras revistas o editoriales científicas. Si en el marco de una revista o de una editorial se realiza una rigurosa selección de originales, la publicación resultante cuenta ya con un marchamo de calidad que no debería ser cuestionado; quizá sí debería ser revisado periódicamente. Cuando las agencias e instituciones académicas que deben evaluar la producción científica se basan en indicadores de calidad “indirectos” de las publicaciones que ha generado un autor, un departamento o un grupo para emitir un juicio, asumen que esos indicadores indirectos subsumen variables que están muy relacionadas con la calidad del contenido. Así, por ejemplo, si se sabe que una determinada revista sigue un proceso anónimo de selección de originales mediante expertos, los paneles de evaluadores asumirán que la evaluación de la calidad de cada artículo en concreto ya ha sido llevada a cabo por especialistas en la disciplina. No tendría sentido, por tanto, acometer un segundo proceso de evaluación del contenido; en primer lugar, porque la regularidad de los procesos de evaluación impediría llevarlo a cabo con la totalidad de la producción científica; en segundo lugar, porque supondría duplicar un proceso de evaluación, con lo que eso representa en términos de costes; en tercero, porque implicaría una falta de reconocimiento a la labor profesional de los editores y de los evaluadores en su condición de curators o gatekeepers7. Otro ejemplo similar se puede dar con los indicadores de calidad de publicaciones que se refieren a la visibilidad internacional de las revistas en bases de datos. El hecho de que una revista científica esté incluida en bases 7 Crane, D. (1967). “The gatekeepers of science: Some factors affecting the selection of articles for scientific journals”. The American Sociologist, 2 (4), 195-201.

Gimenez_Malestar.indb 26

04/12/2016 17:26:31

Calidad de la investigación versus indicadores de publicaciones

27

de datos internacionales puede ser considerado como un indicador indirecto de la calidad de esa revista. Quizá, para muchos investigadores, sea un dato irrelevante, no relacionado con la calidad de la revista o de sus artículos. Sin embargo, cuando una base de datos decide indexar una revista lo suele hacer a partir del análisis de su calidad y del interés del tema para la especialidad. De nuevo, un indicador aparentemente ajeno a la calidad está muy relacionado con ella y, sobre todo, implica un proceso de evaluación y selección previo que no debe minusvalorarse. Otra cuestión que será tratada más adelante es hasta qué punto los intereses comerciales de algunas bases de datos pueden obviar este filtro de calidad en su selección8. Sin embargo, estos son asuntos que los paneles de expertos suelen conocer —o debieran conocer— y que, por tanto, pueden hacer intervenir en sus valoraciones finales. En cualquier caso, lo que trata de destacarse en estas líneas es que la existencia de indicadores de calidad para revistas científicas y para editoriales de libros ayuda en los procesos de evaluación, los guía, ayuda a objetivarlos y ayuda a que se puedan efectuar en los plazos establecidos. Porque no conviene olvidar que tanto los investigadores, como las instituciones o sus distintas unidades (institutos, facultades, grupos, departamentos, etc.), son evaluados regularmente y los encargados de esa evaluación deben efectuarla de manera eficiente y, normalmente, en periodos de tiempo muy limitados. Algunas instituciones académicas realizan evaluaciones anuales de sus investigadores y concentran este proceso de evaluación en muy pocos meses; este condicionante lleva inmediatamente a la pregunta de si podría afrontarse un proceso de evaluación de publicaciones en un tiempo tan limitado, sin indicadores bibliométricos o de otro tipo y qué garantías de objetividad podría tener. Lo cierto es que no parece factible. Pero quizá también haya que preguntarse si es necesario que las evaluaciones sean tan frecuentes o si no sería más racional para toda la comunidad científica que los resultados de los procesos de evaluación fueran más duraderos en el tiempo. Podrían plantearse evaluaciones más profundas —más cualitativas—, pero menos regulares. Esta opción sería, asimismo, más lógica para los humanistas y científicos sociales, pues ni

8 Adler, N. J. y Harzing, A. W. (2009). “When knowledge wins: Transcending the sense and nonsense of academic rankings”. Academy of Management Learning & Education, 8 (1), 72-95.

Gimenez_Malestar.indb 27

04/12/2016 17:26:31

28

Los investigadores ante su evaluación

la publicación de libros es equiparable en ritmos a la de artículos, ni las citas a los trabajos son tan inmediatas como en otras disciplinas9. Estas características, intrínsecas a la investigación en Humanidades y en Ciencias Sociales10, pueden resultar penalizadoras para los investigadores cuando los procesos de evaluación se refieren a un periodo corto de tiempo. Tan importante como tener en cuenta los tiempos y los recursos que se han de invertir en los procesos de evaluación es considerar la idoneidad y relevancia de los indicadores de calidad que se empleen como apoyo a esos procesos. La decisión sobre los indicadores que son válidos o no para evaluar la producción recae en los gestores de política científica. Ellos han de decidir cuáles son las prioridades de su política y qué indicadores se corresponden más con esas prioridades. Corresponde a los bibliómetras desarrollar indicadores relacionados con la actividad científica en las distintas áreas. Deben hacerlo de manera independiente y siguiendo metodologías científicas; sus resultados pueden servir eventualmente —no siempre lo hacen— como ayuda en los procesos de evaluación que abordan las distintas agencias e instituciones. Los indicadores indirectos de calidad de las publicaciones tratan de objetivar o mostrar aspectos de las revistas que naturalmente inciden en la calidad de la misma. El elemento de análisis revisión por expertos pretende reflejar si una revista filtra los originales que publica mediante un sistema de selección por expertos comúnmente compartido por la comunidad académica. Se admite, de forma generalizada, que es un buen sistema de selección o el menos malo de los identificados. Eso no quiere decir, sin embargo, que no existan críticas contra el sistema. Un sistema completamente anónimo puede dejar indefenso al autor de un artículo; unos evaluadores conservadores no admitirán trabajos innovadores; un evaluador que, al mismo tiempo, es competidor del autor del artículo podrá valorarlo de forma sesgada; o un evaluador podrá censurar un trabajo por estar inscrito en una escuela de pensamiento que no es la suya11. Es decir, la revisión mediante expertos es el sistema más 9

Véase capítulo 7 dedicado a los tiempos en la evaluación. Nederhof, A. J. (2006). “Bibliometric monitoring of research performance in the social sciences and the humanities: A review”. Scientometrics, 66 (1), 81-100. 11 Lee, C. J., et al. (2013). “Bias in peer review”. Journal of the American Society for Information Science and Technology, 64 (1), 2-17; Emerson, G. B., et al. (2010). “Testing for 10

Gimenez_Malestar.indb 28

04/12/2016 17:26:31

Calidad de la investigación versus indicadores de publicaciones

29

aceptado, pero no está exento de críticas ni de problemas. De manera similar, el número de reseñas que recibe un libro, por ejemplo, es considerado como indicio de calidad en la evaluación de monografías. Pero, tal y como señalan algunos encuestados, y como puede comprobar casi cualquier investigador, la redacción de reseñas se encomienda muchas veces a personas cercanas al autor, de forma que la imparcialidad no está ni mucho menos garantizada. La conclusión que se puede obtener en ambos casos es que ningún indicador va a reflejar todo lo que se produce en el interior de una revista, pero sí pueden ser denominadores comunes, características de las revistas que pueden ser observadas de manera conjunta, y que son indicios de calidad de las publicaciones. Tan solo indicios. Los indicadores indican, apuntan a una característica deseable en una revista científica (o en una editorial), pero no son la valoración definitiva de una publicación. Tratan de resumir y objetivar procesos y situaciones de las revistas, tratan de describirlas de alguna manera; sin embargo, no siempre son el reflejo exacto de lo que acontece en una publicación. Algunos indicadores pueden ser manipulados, algunas revistas pueden simular el cumplimiento de un indicador y, no en todos los casos, los indicadores permiten reflejar la complejidad y la variedad de situaciones que se dan cuando se edita una revista. Por eso, la combinación de métodos de evaluación basados en indicadores y del juicio de los expertos parece la fórmula más adecuada para acercarse lo máximo posible a la realidad de una revista y, en consecuencia, a una valoración más precisa. Ferré Vidal apuntaba una cuestión que resulta fundamental al tratar de indicadores: “(...) Pero hablar de calidad sin medir variables no tiene sentido. Si no conocemos lo que tenemos y no disponemos de referentes, difícilmente sabremos hacia dónde debemos ir y, aún menos, cómo podemos mejorarlo”12. Introduce así una utilidad de los indicadores que, a menudo, se soterra y es la de constituir un marco de referencia que permita hacer

the presence of positive-outcome bias in peer review: a randomized controlled trial”. Archives of internal medicine, 170 (21), 1934. 12 Ferré Vidal, J. A. (2010). “Prólogo”. En: L’avaluació de la recerca en Humanitats i Ciències Socials. Barcelona: AQU Catalunya, 69.

Gimenez_Malestar.indb 29

04/12/2016 17:26:31

30

Los investigadores ante su evaluación

un seguimiento, comprobar la evolución o detectar posibles reacciones a determinadas políticas13. El uso de indicadores no excluye —o no debería excluir—, ni mucho menos, la consideración de otros aspectos por parte de los paneles de expertos ni la lectura ocasional de las contribuciones científicas o la discusión de las mismas entre los evaluadores para matizar las valoraciones finales que se hagan. En la medida de lo posible debería evitarse la objetivación mecánica (empleando la terminología de Daston y Galison14) o, dicho de otro modo, la aplicación automática de indicadores. Más bien, los indicadores indirectos de calidad deberían utilizarse como una guía en un proceso de evaluación más complejo, en el que intervenga también el juicio de los expertos y haya lugar para los matices. Eso sí, en los matices no debería haber lugar para la arbitrariedad. La evaluación cualitativa y el “reconocimiento” de nuestros pares Aparentemente, la evaluación del contenido de la producción generada por investigadores es el método más aceptado por la comunidad científica. La habitual reivindicación de que se evalúen los contenidos y no los continentes (revistas o editoriales) tiene, en principio, toda la lógica. Pero esta reivindicación queda en el plano de lo ideal, pues existen dos trabas fundamentales para que no pueda darse o, al menos, no de una manera sistemática, generalizada o plenamente confiable. La primera es de carácter más operativo y fue mencionada en párrafos anteriores: los procesos de evaluación son periódicos y frecuentes, el volumen de la producción científica es cada vez mayor y los periodos para completar las evaluaciones han de ser necesariamente cortos, tanto por razones económicas (la evaluación tiene un coste alto que no puede prolongarse mucho tiempo), como por la necesaria rendición de cuentas de 13 Frandsen, T. F. y Nicolaisen, J. (2008). “Reactive tendencies of bibliometric indicators: Trends in the alphabetization of authorship in economics and information science”. Proceedings of the American Society for Information Science and Technology, 45 (1), 1-10; Schneider, J. W. (2009). “An outline of the bibliometric indicator used for performancebased funding of research institutions in Norway”. European Political Science, 8 (3), 364-378. 14 Daston, L. y Peter Galison, P. (2007). Objectivity. New York: Zone Books.

Gimenez_Malestar.indb 30

04/12/2016 17:26:31

Calidad de la investigación versus indicadores de publicaciones

31

las instituciones y por la necesidad de ofrecer los resultados en el corto plazo para que la actividad científica continúe; los profesores e investigadores han de acreditarse o promocionarse, han de saber si sus propuestas de proyectos han sido aceptadas, las instituciones deben analizar el desempeño de la actividad académica, cómo debe repartirse la productividad, etc., y eso requiere de cierta agilidad en los procesos de evaluación. La segunda razón está relacionada con la aceptación o el rechazo de los investigadores ante el juicio de nuestros pares (expertos en nuestra propia disciplina), los únicos que pueden abordar, de hecho, una calidad del contenido de las publicaciones generadas. La evaluación cualitativa es particularmente conflictiva en Humanidades y Ciencias Sociales por el poder, la influencia o la relevancia de las escuelas de pensamiento. Los autores keynesianos serán críticos con los neoliberales o los capitalistas lo serán con los marxistas. Incluso en un campo tan pequeño como la Documentación o los Estudios de la Ciencia existen escuelas o corrientes de pensamiento15. Los grupos que abogan por la utilización del factor de impacto o de indicadores bibliométricos similares como medida válida de la actividad científica y aplicable a todas las disciplinas tienen planteamientos opuestos a los de los grupos que trabajamos por la adecuación de las medidas de la ciencia a la idiosincrasia de cada disciplina. En este sentido, la diferencia con las Ciencias Exactas, Experimentales o Naturales es evidente; en estas no intervienen de manera tan constante y determinante los posicionamientos epistemológicos y/o la pertenencia a una escuela de pensamiento. Pueden darse casos, claro está. La investigación con células madre puede ser un ejemplo para mostrar la divergencia de posicionamientos ideológicos y/o religiosos que puede darse en el seno de la comunidad científica; o, dicho de otro modo, muestra la influencia de estos criterios no científicos —intrínsecamente ligados a la naturaleza humana— en la investigación y en la valoración que puedan hacer unos y otros expertos sobre tal investigación. La variedad de escuelas (o grupos con intereses comunes) es una de las causas de la diversificación de publicaciones en Humanidades y Ciencias Sociales. Un buen ejemplo de ello es que el número de revistas españolas que se 15 Cronin, B. (1982). “Invisible colleges and information transfer A review and commentary with particular reference to the social sciences”. Journal of Documentation, 38 (3), 212-236.

Gimenez_Malestar.indb 31

04/12/2016 17:26:31

32

Los investigadores ante su evaluación

editan en Humanidades y Ciencias Sociales (1847 títulos) es mucho mayor que el de revistas de Ciencia y Tecnología (278 títulos)16. Esta diversificación también responde a unos hábitos de trabajo científicos y a unas estructuras académicas características de las Humanidades y las Ciencias Sociales. El trabajo de investigación es mucho más fragmentado, se suele desarrollar individualmente o en grupos pequeños; como consecuencia, son muy frecuentes las publicaciones de un único autor o con bajo índice de coautoría17. Otro aspecto claramente distintivo de estas disciplinas es la relevancia de la publicación a través de libros y no de artículos. Estos patrones de trabajo y comunicación científica permiten explicar en parte las dificultades que la evaluación del contenido conlleva en Humanidades y Ciencias Sociales. Publicar libros o publicar artículos. Distintos géneros y sistemas de evaluación El proceso de publicación de libros es significativamente distinto al de la publicación de artículos. Aunque genéricamente pueda entenderse que el proceso de publicación científica es similar en cualquiera de los canales, realmente no lo es. Tampoco se puede hablar de un único proceso de publicación en revistas o en libros, pero lo que sí es cierto es que los criterios de selección de originales son sustancialmente distintos. En términos generales, se puede decir que en revistas científicas el artículo enviado por el autor es sometido a una primera y global evaluación por parte del editor, y después a una evaluación del contenido por parte de dos o más especialistas en la materia. El dictamen de los especialistas es normalmente determinante para que el editor y/o el consejo de redacción decidan si se publica un artículo. En el caso de los libros, la decisión sobre publicar o no una obra puede estar 16 Rodríguez-Yunta, L.; Giménez Toledo, E. (2013). “Fusión, coedición o reestructuración de revistas científicas en humanidades y ciencias sociales”. El Profesional de la información, 22 (1), 36-45. http://dx.doi.org/10.3145/epi.2013.ene.05. 17 Bordons, M., et al. (2010). “Perfil de actividad científica de las universidades españolas en cuatro áreas temáticas: un enfoque multifactorial”. Revista española de documentación científica, 33 (1), 8.

Gimenez_Malestar.indb 32

04/12/2016 17:26:31

Calidad de la investigación versus indicadores de publicaciones

33

basada en el único juicio del editor o del director de una colección, en la combinación de criterios entre la editorial y expertos internos o externos a la misma o, directamente, en la previsión de ventas. Las prácticas en las editoriales son variadas y no hay un procedimiento tan estandarizado como lo hay en las revistas. El caso es que los autores que fundamentalmente publican libros y que, por lógica, tienen una producción menor —no tiene el mismo trabajo escribir un artículo que un libro— son, en la mayor parte de los casos, humanistas y también científicos sociales. De hecho, los trabajos que se envían a revistas tienen una naturaleza muy distinta a los libros que se envían a las editoriales y, por otra parte, los autores que publican regularmente en revistas tienen un perfil distinto al de los que publican la mayor parte de su producción en libros18. El estudio de Clemens et al.19 es muy expresivo al respecto e incluso llega a hablar de “géneros” para referirse a los dos tipos de canales. En el género libro la búsqueda del autor por parte del editor es un proceso frecuente. Esta búsqueda surge por la necesidad de cubrir una materia con especialistas que, además, trabajen bien y en tiempo, a juicio del editor. En revistas pueden darse casos de búsqueda de autores, especialmente para la edición de monográficos, pero es una práctica menos habitual. De acuerdo con una encuesta desarrollada en 200920, en la que más de 3000 investigadores de Humanidades y Ciencias Sociales contestaron acerca de la calidad de las editoriales científicas y de los hábitos de publicación de monografías, en un 62,5% de los casos los investigadores contactaron en alguna ocasión con la editorial para ofrecerles sus manuscritos; en un 55,4% fue el coordinador de una obra colectiva quien se puso en contacto con los investigadores para proponerles la elaboración de uno de los capítulos; finalmente, en un 37,2% de las situaciones, fue la propia editorial quien se puso en contacto con los investigadores para invitarles a redactar una determinada obra. Los datos son 18 Hicks, D. (2005). “The four literatures of social science”. En: Handbook of quantitative science and technology research. Amsterdam: Springer Netherlands, 473-496. 19 Clemens, E. et al. (1995). “Careers in Print: Books, Journals, and Scholarly Reputations”. American Journal of Sociology, 101, 433-94. 20 Encuesta realizada en el marco del proyecto de investigación “Categorización de publicaciones científicas en Ciencias Humanas y Sociales”, financiado por el CSIC en 2009. Informe. http://digital.csic.es/handle/10261/89426.

Gimenez_Malestar.indb 33

04/12/2016 17:26:32

34

Los investigadores ante su evaluación

elocuentes en cuanto a la selección de originales y es que, a diferencia de las revistas científicas, la relevancia del autor o su especialidad son motivos que por sí solos justifican la decisión de publicarle una obra, sin que tengan que darse otros procesos de selección. Esta práctica implica, por otra parte, que los autores que habitualmente son publicados por una editorial y que, además, no publiquen habitualmente en revistas no estén acostumbrados a ser juzgados por otros expertos del mismo modo en que lo hace, por ejemplo, un investigador no tan consagrado que ha de publicar en revistas científicas porque su ámbito de trabajo así lo espera. Alcanzar un estatus en el ámbito académico y publicar libros con editoriales hace a veces innecesario pasar por los tradicionales filtros de selección de originales. No quiere decir esto que no haya evaluación: la hay, pero se produce de otra manera. La trayectoria de un investigador avala a priori la calidad de un libro, pero el editor evaluará el contenido y su tratamiento. El editor profesional arriesga con la publicación de una obra y eso garantiza que se cuide lo que se publica. La selección de expertos en los procesos de PEER REVIEW Para realizar una evaluación cualitativa rigurosa y justa habría que contar con una variedad de expertos representantes de las distintas áreas del conocimiento, algo costoso e insostenible, pues los procesos de evaluación son muchos y muy frecuentes. Pero, aun así, no se garantizaría el éxito del proceso. Un experto mal seleccionado, o no favorable al evaluado por su pertenencia a otra escuela de pensamiento o, simplemente, por animadversión, podría juzgar negativamente una obra que quizá fuera muy bien valorada por otro experto. O un panel de evaluación conformado por varios expertos podría no ser aceptado por los evaluados por no ser representativo de la diversidad de especialidades en una disciplina determinada, por no ser numéricamente aceptable o por no haber sido elegido o consensuado con asociaciones científicas. Tal fue el caso del manifiesto “Journals under Threat: a joint response from History of Science, Technology and Medicine Editors”21, un documento de rechazo al European Reference Index for the Humanities (ERIH), que 21

Gimenez_Malestar.indb 34

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2629173/.

04/12/2016 17:26:32

Calidad de la investigación versus indicadores de publicaciones

35

señalaba con claridad: “The process of producing the graded list of journals in science studies was overseen by a committee of four (…). This committee can not be considered representative. It was not selected in consultation with any of the various disciplinary organizations (…)”. En un primer momento, la elaboración de listados categorizados de revistas científicas europeas de Humanidades, basados en el juicio de paneles de expertos, pareció ser una buena alternativa para apoyar los procesos de evaluación científica en estas disciplinas y contrarrestar, así, el vacío que dejan las evaluaciones en Humanidades y Ciencias Sociales basadas únicamente en el uso de la Web of Science (Arts & Humanities Citation Index). Su creación suponía contar con una herramienta para la evaluación que consideraba la diversidad lingüística y cultural de la investigación europea. Sin embargo, la composición de los paneles, muy limitada en número y en procedencia geográfica e institucional de sus componentes, provocó un movimiento contrario a ERIH, algo paradójico teniendo en cuenta que uno de los objetivos del proyecto era defender mejor la investigación realizada y publicada en Europa. Fue un conjunto de investigadores el que se movilizó contra el sistema que pretendía defenderlo. Y los paneles de expertos fueron una de las causas. A día de hoy, ERIH es un proyecto transferido a una agencia noruega, de carácter privado: Norwegian Social Science Data Services (NSD). Desde allí están desarrollando ERIH Plus22, la nueva categorización que se aplicará no solo a revistas de Humanidades sino también de Ciencias Sociales. Además, los editores pueden enviar sus revistas para ser evaluadas. Hasta el momento, siguen ofreciendo información de las categorías que en 2007 y en 2011 fueron asignadas a las revistas que ya se incluían en ERIH, aunque todo parece indicar que se revisarán o se volverán a evaluar las publicaciones. Aunque se reclama la evaluación cualitativa, existen muchas reticencias para admitir el juicio de los especialistas o incluso a los propios pares elegidos para evaluar un trabajo científico, una revista o un proyecto de investigación. Ningún investigador es ajeno a las rivalidades, a las profundas desavenencias que se producen con la asignación de recursos, a las agrias discusiones y a las tensiones que se generan dentro de la academia, de las instituciones o de los departamentos. Quizá sea este un tema tabú del que no se hable mucho 22

http://erihplus.nsd.no/.

Gimenez_Malestar.indb 35

04/12/2016 17:26:32

36

Los investigadores ante su evaluación

públicamente —y se escriba aún menos—, pero es necesario atender a esta característica del medio académico para entender que el consenso y la aceptación de un proceso de revisión por expertos no son fáciles. Autores que dejan de enviar y/o evaluar originales para una determinada revista; investigadores que son retirados de un consejo de redacción o invitados a este por enfrentamientos o cambios políticos vestidos de renovaciones de la estructura editorial; críticas a la composición de los distintos tipos de tribunales que juzgan curricula, asignan recursos o promocionan a investigadores; profesores que crean nuevas revistas porque no se sienten representados por las revistas de su especialidad e, incluso, se sienten excluidos; fragmentación de grupos de investigación u otras estructuras por conflictos internos; ofensas públicas a grupos competidores; recursos contra las decisiones de los paneles de evaluación de las agencias; rechazo a artículos o proyectos de investigadores adversarios; posibilidad de excluir a determinados investigadores como evaluadores potenciales en un proceso23. En definitiva: una larga retahíla de situaciones frecuentes que no resultarán extrañas al lector de esta obra o, incluso, en las que se encontrará reconocido; ningún investigador escapa a este escenario. Todas ellas encontrarán argumentos a favor y en contra, algunas estarán justificadas y otras no… ese juicio es muchas veces subjetivo. Tanto como el juicio sobre un trabajo científico que, pese a los esfuerzos, no siempre podrá prescindir del trasfondo ideológico, político, circunstancial o personal del evaluador en Humanidades y Ciencias Sociales. Probablemente, en estas disciplinas, en las que el hombre es objeto de estudio y, por tanto, juez y parte de la investigación, sea utópico pretender la objetividad en todo aquel proceso que requiera juicio cualitativo o evaluación. Aunque en el plano teórico la evaluación del contenido, de la investigación original, sea el proceso más deseable y quizá el más aceptado por la comunidad científica, la práctica muestra que no es por sí sola la solución, pues no está exenta de conflictos y de subjetividad y no siempre genera aceptación y satisfacción entre la comunidad científica. Hay muchos procesos en distintas partes del mundo que, confiando el juicio último a los expertos, han fracasado por estas razones. Uno de ellos 23 Langfeldt, L. (2004). “Expert panels evaluating research: decision-making and sources of bias”. Research Evaluation, 13 (1), 51-62.

Gimenez_Malestar.indb 36

04/12/2016 17:26:32

Calidad de la investigación versus indicadores de publicaciones

37

es la crítica hacia ERIH expuesta en párrafos precedentes. Otro es el australiano. Evitando hacer categorías de revistas a partir de criterios comunes en evaluación de revistas, se pidió a distintas sociedades científicas representantes de las disciplinas que propusieran un listado categorizado de revistas. En esta iniciativa se detectaron dos problemas: normalmente las propuestas incluían muy pocas revistas en las categorías más bajas y, por otra parte, algunos especialistas denunciaron que los listados los hubiera propuesto una asociación y no otra, deslegitimando, de esta forma, a la que había sido seleccionada inicialmente o reivindicando que también tuvieran voz otras asociaciones24. Tampoco hay que llevarse a engaños. Cuando se apuesta firmemente por la valoración de los expertos como único medio posible de evaluación, la voz de los expertos con respecto a la calidad de una revista o de un artículo no es única ni mucho menos. La voz —el juicio— de los expertos será diferente en función de quién esté hablando, de quién esté juzgando. Y no hay mayor evidencia de ello que las frecuentes desavenencias entre evaluadores. Es usual que un editor de revista se encuentre con un informe favorable y otro contrario para un mismo artículo; tan usual como la división de opiniones entre los miembros de un tribunal de promoción o de selección de investigadores. Por eso, la selección y representatividad de un panel de expertos no es baladí. Y aun cuidando mucho ambos aspectos, el panel resultante será casi siempre criticado: por pequeño, por grande, por mayor representación de una disciplina, por falta de expertos de una especialidad, etc. No existe el panel de expertos perfecto, como no existe una evaluación por expertos perfecta. Pero eso no significa que ese proceso de evaluación deba obviarse: más bien, que el proceso de evaluación debe acompañarse de otros indicadores que complementen o maticen el juicio obtenido. Otro aspecto que revela hasta qué punto el reconocimiento de los expertos por la propia comunidad académica es limitado es el hecho de que 24 Genoni, P. y Haddow, G. (2009). “ERA and the Ranking of Australian Humanities Journals”. Australian Humanities Review. 46, http://www.australianhumanitiesreview. org/archive/Issue-May-2009/genoni&haddow.htm; Howard, J. (2008). “New Ratings of Humanities Journals Do More than Rank-They Rankle”. Chronicle of Higher Education, 55 (7); Cooper, S., y Poletti, A. (2011). “The new ERA of journal ranking”. Australian Universities’ Review, 53 (1), 57-65; Vanclay, J. K. (2011). “An evaluation of the Australian Research Council’s journal ranking”. Journal of Informetrics, 5 (2), 265-274.

Gimenez_Malestar.indb 37

04/12/2016 17:26:32

38

Los investigadores ante su evaluación

parte de esta comunidad critica con frecuencia la tarea realizada por las agencias de evaluación y sus comités. Quienes forman parte de los comités de evaluación, tanto de las agencias como de las instituciones académicas, son investigadores que, en un momento dado, participan en tareas de gestión de evaluación científica. Evaluados y evaluadores tienen la misma condición de profesores o investigadores y, sin embargo, cuando los académicos prestan su servicio a las agencias de evaluación se convierten a ojos de los evaluados, y sin pretenderlo, en la oposición, en los burócratas que solo pretenden medir, mecanizar las evaluaciones, impedir la innovación y la verdadera investigación y reducir a una valoración una actividad tan compleja como es la investigadora. Evidentemente, quien ha tenido que desempeñar en algún momento de su trayectoria tareas relacionadas con la evaluación científica tiene inevitablemente otra percepción, relacionada con la responsabilidad de realizarla y de hacerlo lo mejor posible, aun sabiendo que ningún método es perfecto y que se pueden cometer errores. Su visión es más pragmática, en el sentido de que saben que deben acometer una tarea necesaria, en un tiempo limitado; para ello se basan en los criterios de evaluación establecidos por las agencias y utilizan dos recursos fundamentales: fuentes de indicadores y su propio conocimiento como expertos en la disciplina y también en la validez o limitaciones de las fuentes de indicadores para su disciplina. Un estudio de percepción de la calidad de revistas de Economía basada en la opinión de los expertos25 permitió comprobar la influencia de las escuelas de pensamiento en la valoración de las revistas. En efecto, la valoración que hicieron los economistas consultados de las revistas era variable en función de la especialidad o de la escuela de pensamiento a la que perteneciera cada uno. Es decir, la estimación de la calidad no es totalmente objetiva y está influida por distintos factores. O, dicho de otro modo, las revistas que eran importantes para un determinado grupo de investigadores no eran tan relevantes para otros, perteneciendo —como pertenecían— a una misma disciplina. En el trabajo dedicado a la influencia y la reputación en las Ciencias Sociales, Andersen obtiene una conclusión muy similar:

25 Axarloglou, K. y Theoharakis, V. (2003). “Diversity in Economics: An Analysis of Journal Quality Perceptions”. Journal of the European Economic Association, 1. 1402-23.

Gimenez_Malestar.indb 38

04/12/2016 17:26:32

Calidad de la investigación versus indicadores de publicaciones

39

The perception of the social sciences as integrated scientific communities, organised by prestige hierarchies, where prestige is earned according to importance and quality of research contributions, made visible in common journals, is not confirmed in this survey. 26

Este es otro ejemplo más de que la evaluación del contenido por expertos, que es el método más reclamado por los investigadores para la evaluación científica, no es unívoco y, por tanto, no es la solución a los problemas de la evaluación. Se piensa en el método como si permitiera obtener un juicio absolutamente objetivo sobre la investigación realizada, pero los distintos ejemplos que se están mostrando son solo una representación de la variedad de casos y situaciones en la que el resultado de la evaluación por expertos no ha sido, ni mucho menos, unánime o incontestable. En términos generales, del análisis de todas estas experiencias parece deducirse que la evaluación por expertos podría ser un sistema aceptado, siempre y cuando el panel de expertos fuera reconocido y aceptado por el evaluado. Y esta circunstancia no siempre se da, ni puede darse en la práctica. Por eso, parece inviable pensar en este método como único posible en el que basar las evaluaciones. De alguna manera, esta argumentación responde a una toma de posición bastante frecuente y lógica entre los investigadores de una especialidad, cuando se trata el tema de los indicadores cuantitativos para revistas científicas: solo ellos saben cuáles son las revistas de referencia en su área y no necesitan bibliómetras que les aporten un perfil no cualitativo de las publicaciones. Por una parte, si se reconoce que hay revistas de referencia, se asume que la gran mayoría de los trabajos publicados en esa revista tienen una cierta calidad; y eso supone un reconocimiento de la revista como conjunto, no únicamente como la suma de los artículos que publica. Esto se contrapone con la defensa sistemática de que no importa la calidad de la revista, sino la calidad del artículo. Desde el momento en que se habla de revistas de referencia el reconocimiento a la labor editorial y al filtro científico es evidente. También es verdad que en el estudio realizado algunas de las respuestas dejan ver la desconfianza de algunos investigadores hacia las revistas. Piensan

26 Andersen, H. (2000). “Influence and reputation in the Social Sciences. How much researchers agree?”. Journal of Documentation, 56 (6), 690.

Gimenez_Malestar.indb 39

04/12/2016 17:26:32

40

Los investigadores ante su evaluación

que no están exentas de intereses o que favorecen a algunos autores y que, por tanto, la única unidad evaluable es el propio artículo. Sería poco realista no reconocer que en el ámbito de las revistas científicas españolas (en las de otros países también ocurrirá, claro está) se dan prácticas que no ayudan a generar confianza en los investigadores. Y eso se deja ver en las opiniones que expresan en la encuesta, pero también en las cuestionables remodelaciones de los consejos de redacción que a veces se producen o en el giro que se da en la política editorial de las revistas. Todo lo explicado, y los ejemplos expuestos, conducen a pensar que esas revistas de referencia serán diferentes para unos y para otros y que no hay un consenso generalizado y unívoco sobre la calidad de las publicaciones. Consecuentemente, la obtención de indicadores cuantitativos o de calidad indirecta de las publicaciones se plantea —o debe plantearse— como una aproximación diferente y complementaria a la evaluación cualitativa que solo los expertos pueden realizar. E, indudablemente, al hablar de indicadores indirectos de calidad en Humanidades y en Ciencias Sociales, no hay una referencia exclusiva al factor de impacto o a los indicadores de citas, cuyas limitaciones en estas disciplinas están ampliamente demostradas27. En esa aproximación diferente intervienen indicadores como puedan ser la pluralidad institucional de los comités editoriales de las revistas o la visibilidad de las revistas en bases de datos internacionales; indicadores relacionados con la calidad del contenido, como el predominio de artículos de investigación frente a otro tipo de contribuciones o la aplicación de un filtro de originales basado en el proceso de revisión por expertos; o, finalmente, indicadores puramente bibliométricos, como los relacionados con las citas recibidas por una revista o las contribuciones de carácter internacional. Este tipo de indicadores pretenden describir y objetivar realidades, como una forma de matizar o completar la opinión de los especialistas sobre las propias revistas. 27 Archambault, É. et al. (2006). “Benchmarking scientific output in the social sciences and humanities: The limits of existing databases”. Scientometrics, 68 (3), 329-342; Nederhof, A. J. et al. (1989). “Assessing the usefulness of bibliometric indicators for the humanities and the social and behavioural sciences: A comparative study”. Scientometrics. 15 (5), 423-435; Glänzel, W., y Schoepflin, U. (1999). “A bibliometric study of reference literature in the sciences and social sciences”. Information processing & management. 35 (1), 31-44.

Gimenez_Malestar.indb 40

04/12/2016 17:26:32

Calidad de la investigación versus indicadores de publicaciones

41

Todo enfoque de la evaluación científica que pretenda omitir una de las dos informaciones tendrá sesgos. Y precisamente de ellos ha de huir cualquier proceso de evaluación que pretenda ser aceptado. Precisamente los estudios llevados a cabo por Ochsner et al.28 muestran que los humanistas no se oponen por completo a la utilización de indicadores cuantitativos, pero exigen, eso sí, que estén apegados a sus nociones de calidad. La valoración de las revistas por parte de los expertos Algunos investigadores se refirieron en la encuesta a las preferencias que cada investigador tiene por una u otra revista. En ocasiones, estas preferencias vienen dadas por la utilidad que una determinada revista ha tenido para ellos, por las veces que han recuperado y leído artículos interesantes para su investigación de una misma revista. Dos publicaciones con los mismos indicadores de calidad indirectos pueden ser muy bien valoradas por un especialista, precisamente por la cantidad de artículos valiosos que le han suministrado para su investigación, y pueden no ser tan bien valoradas por otro que trabaje en temas diferentes. Este hecho está relacionado con la visión parcial que puede tener un investigador de una revista, que se deriva del conocimiento de una parte de la revista —la de los contenidos que le son útiles— y no del conjunto. Este conocimiento parcial podría ser un motivo de sesgo al opinar sobre la calidad de la revista, entendida como un todo. Así lo expresan algunos investigadores consultados y eso les lleva a cuestionarse si una valoración cualitativa de la revista como unidad es posible o si tiene sentido con tantos pareceres diferentes como habrá entre los investigadores. Pero si esto es así, si un especialista solo valora la revista por sus artículos —o por los artículos que le interesan— y si no es capaz de emitir un juicio de valor sobre la calidad global de la revisa, ¿es indiferente la labor del editor?, ¿es irrelevante la gestión editorial?, ¿podrían existir los mismos artículos de alta calidad sin revista y, por tanto, sin editor?, ¿quiere decir esto que el concepto de revista está ya completamente 28 Ochsner, M. et al. (2014). “Setting the stage for the assessment of research quality in the humanities. Consolidating the results of four empirical studies”. Zeitschrift für Erziehungswissenschaft, 17 (6), 111-132.

Gimenez_Malestar.indb 41

04/12/2016 17:26:32

42

Los investigadores ante su evaluación

superado? Si la respuesta fuese afirmativa, sin duda habrían de replantearse en profundidad los sistemas de evaluación imperantes, basados en la evaluación de revistas. Pero eso requeriría desmontar un esquema de funcionamiento ya muy asentado y resquebrajar los objetivos económicos de las empresas que obtienen beneficios por la venta de indicadores o de bases de datos. La reacción condicionada de los expertos en la PEER REVIEW Otra experiencia que hace reflexionar sobre la evaluación mediante expertos es la que ocupó a nuestro Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC)29 del Consejo Superior de Investigaciones Científicas (CSIC) durante 2009. En el marco de un proyecto de investigación, el grupo realizó una encuesta a más de once mil investigadores españoles en Humanidades y Ciencias Sociales. Esta encuesta tuvo como objetivo abordar la calidad del contenido de las revistas e incorporarla como una dimensión más de la calidad al resto de indicadores directos e indirectos que se diseñaron y/o aplicaron a revistas científicas españolas en la plataforma RESH30. Así, se les pidió a los destinatarios que identificaran las tres revistas españolas y extranjeras más relevantes de sus respectivas áreas de conocimiento. La tasa de respuesta fue del 45,6% (5368 respuestas), una de las más altas conseguidas en este tipo de estudios. La información recabada se transformó en un indicador que fue incorporado, junto a otros, a la información de cada revista. Los resultados se hicieron públicos al finalizar el proyecto y los comentarios31 no se hicieron esperar: de todo tipo y naturaleza. Muchos, muy halagüeños, de felicitación, de apoyo a la iniciativa (la tasa de respuesta fue una muestra inequívoca de ese apoyo); otros, muy contados, de hostilidad hacia tales procedimientos de evaluación; y, finalmente, otros de crítica constructiva, con muchos argumentos, muy útiles para matizar y refinar los sistemas de evaluación de publicaciones. Entre estos últimos se planteaba 29

Hoy transformado en Grupo de Investigación sobre el Libro Académico (ÍLIA). http://epuc.cchs.csic.es/resh. 31 Los comentarios, exposiciones y razonamientos mostrados en la propia encuesta y en las comunicaciones con el grupo de investigación tras la publicación de los resultados fueron, de hecho, el germen de este libro. 30

Gimenez_Malestar.indb 42

04/12/2016 17:26:32

Calidad de la investigación versus indicadores de publicaciones

43

la crítica de tomar en cuenta la valoración de los expertos sobre las revistas como un indicador más, habida cuenta, apuntaban los participantes, de la movilización que llevan a cabo algunos editores para lograr votos o apoyos a su revista. Actúan como lobby y movilizan a su grupo más cercano (consejo de redacción, revisores, autores cercanos, etc.) para que participen y les apoyen. De este modo, los editores que vieron en esta cuestión algo estratégico tuvieron la posibilidad de interferir en los resultados finales. Esto siembra dudas sobre la oportunidad de estos juicios de valor en procesos que tienen alguna consecuencia en la evaluación científica. De forma general puede decirse que las revistas que aparecen en las primeras posiciones en función de la opinión de los expertos son revistas de buena calidad también en función del resto de indicadores. Es decir, una publicación con buena reputación entre los expertos suele tener buenos indicadores de gestión editorial, sigue un proceso de selección por especialistas, está indexada en bases de datos nacionales e internacionales y recibe citas. Sin embargo, también es cierto que puede haber muy buenas revistas de acuerdo con la mayor parte de los indicadores, excepto con el de reputación. En esas situaciones es necesario plantearse hasta qué punto el indicador relacionado con la valoración de los expertos es determinante, puede sustituir a otros o bien solo debería considerarse de forma orientativa para matizar algunos resultados. Esta reflexión reaparece fortalecida cuando se revisan los resultados de la mencionada encuesta con otra, de similares características, realizada entre 2003-2004. Los resultados de una encuesta y otra varían sustancialmente y, en parte, ese cambio puede ser explicado por las variaciones en la calidad de las revistas. Sin embargo, esta no cambia con tanta facilidad de un día para otro (o, en este caso, en cinco años). Lo que sí cambian son las reacciones de investigadores y profesores ante los cada vez más frecuentes y exigentes procesos de evaluación; sabiendo que la valoración de las revistas realizada por expertos podría ser influyente para las agencias de evaluación, la segunda encuesta mostró algunos resultados divergentes con respecto a la primera. Así, por ejemplo, una revista de Economía editada por una institución pública y considerada en la primera encuesta como un referente claro en el campo dejó de serlo y de aparecer en las primeras posiciones del ranking en la segunda encuesta.

Gimenez_Malestar.indb 43

04/12/2016 17:26:33

44

Los investigadores ante su evaluación

No cabe duda de que, a medida que se regulan los procesos de evaluación, estableciendo normas, fijando indicadores de calidad o considerando una u otra fuente de información, se genera un efecto poco deseable: la adaptación ficticia a esas normas. Un consejo de redacción no endogámico —cumpliendo el estándar exigido para revistas científicas—, pero que en la práctica no se reúne o no es operativo porque la revista sigue siendo un órgano de gestión unipersonal, es un ejemplo de adaptación ficticia a las normas. También lo es el caso de las revistas que incitan a sus autores a citarlas forzadamente para tratar de aumentar su factor de impacto. Estos ejemplos muestran la influencia de una determinada regulación en la conducta de autores o editores y sirven como señal de alarma: cuando se construyen sistemas de evaluación de publicaciones científicas existe el riesgo constante de que determinadas variables para una revista sean alteradas o modificadas por conductas inadecuadas por parte de una pequeña parte de la comunidad científica. Por pequeña que resulte, es necesario advertirlo. En la academia también hay lugar para las malas prácticas y reconocerlo es fundamental para basar las evaluaciones en más de un criterio, a ser posible de distinta naturaleza. Los defectos que pueda presentar la evaluación por expertos podrán ser subsanados con criterios de gestión editorial de las publicaciones o medidas de impacto y viceversa. Al hacer un uso combinado de indicadores cualitativos y cuantitativos —tal y como los bibliómetras suelen recomendar—, se pueden evitar con más garantías los sesgos que unos y otros pueden tener si fueran utilizados por separado. El poder de atracción de las revistas mejor posicionadas La relación entre calidad de los artículos y posicionamiento de las revistas en un ranking es otro tema recurrente al hablar de evaluación de la actividad científica en Humanidades y Ciencias Sociales. Efectivamente, uno de los efectos de los rankings o categorizaciones de revistas científicas es que muchos investigadores quieran publicar en las revistas mejor posicionadas y no en otras. Hacerlo les garantizará una mejor evaluación en los procesos a los que se sometan y, por tanto, muchos se marcan como objetivo publicar en las primeras revistas. Ante la acción de las agencias de evaluación y/o

Gimenez_Malestar.indb 44

04/12/2016 17:26:33

Calidad de la investigación versus indicadores de publicaciones

45

financiación de tomar como referencia uno u otro ranking para evaluar la producción científica, está la reacción del investigador de enviar sus artículos a las mejores revistas según esos rankings. Este proceso tiene diversas consecuencias. Sin duda, las agencias o cualquier otro organismo que afronten procesos de evaluación científica deben contar con herramientas que objetiven, sistematicen y agilicen los procesos de evaluación. Evidentemente, las herramientas deben ser adecuadas para los objetivos de evaluación que se plantean y representativas para las distintas áreas de conocimiento. Pero es importante recalcar que, si se defienden las evaluaciones sistemáticas, se ha de apoyar el uso de herramientas que ayuden en la tarea. De otro modo, el proceso se hace difícil, algo así como querer operar sin bisturí. La ausencia de rankings o indicadores en un proceso de evaluación puede dar lugar a efectos más negativos aún que los que describen los profesores e investigadores, pues se estaría confiando la evaluación a criterios arbitrarios, subjetivos y no documentados. Disponiendo de herramientas adecuadas, tanto evaluadores como evaluados tendrán una referencia que garantizará la transparencia del proceso y a la que podrán aferrarse en caso de discordia. Identificada esa necesidad, es cierto que los efectos que tienen las decisiones de las agencias de evaluación sobre investigadores y editores son inmediatas. Una buena posición en un ranking o categorización convertirá a una revista en destinataria de un elevado número de originales, pues los autores sabrán (tendrán la referencia a la que se aludía anteriormente) que la publicación en esa revista les garantizará cierto éxito en sus procesos de evaluación. Evidentemente, ante un mayor número de originales —a veces, ante una avalancha— el editor de la revista podrá ser mucho más selectivo y publicar artículos de alta calidad, lo cual redundará en una mejor reputación de la revista en la comunidad científica y también en un mayor número de citas. Esto situaría a las revistas peor clasificadas en un segundo nivel, al que llegarían originales de menor calidad. Algunos investigadores opinan que los rankings potencian a unas revistas y desprotegen o degradan a otras. Sin embargo, una revista es un organismo muy complejo, en el que la calidad se da por una combinación de distintos factores. Una buena revista es la suma de una gestión editorial profesional, de una sólida red de revisores externos que velen por la calidad científica de los artículos que evalúan, de una buena difusión y visibilidad, de un buen trabajo técnico de edición y de muchas

Gimenez_Malestar.indb 45

04/12/2016 17:26:33

46

Los investigadores ante su evaluación

otras características más. Sin ellas, es difícil que una revista pueda alcanzar los puestos más altos de un ranking. Dicho de otro modo: en la mayor parte de los casos, las buenas posiciones de las revistas no son casualidad, sino fruto de un buen trabajo editorial. El coste de la evaluación cualitativa No son frecuentes las referencias al coste de la evaluación científica, al coste de las fuentes que sirven para llevarla a cabo o al coste de la evaluación cualitativa basada en el juicio de los expertos. De hecho, sobre este último aspecto apenas hay datos. Pero si se tiene en cuenta la cantidad de procesos de evaluación que existen, la cantidad y variedad de expertos que han de participar en esos procesos y el coste del tiempo de los académicos, se obtiene la conclusión —obvia, pero contundente— de los altísimos costes que representa la evaluación por expertos. Constituir un panel de especialistas que sea representativo de todas las disciplinas, países o escuelas de pensamiento, que va a evaluar y hacer que los evaluadores empleen el tiempo necesario para revisar con detalle cada contribución científica, supone una fuerte inversión de recursos; en principio, no se trataría tanto de las retribuciones directas a investigadores en su faceta de evaluadores (o, al menos, no es esto lo más frecuente), sino del tiempo de estos investigadores dedicado a evaluar y no a investigar. Sin embargo, hay algunas cifras que pueden ayudar a calibrar este coste. El extraordinario proyecto experimental de evaluación de monografías llevado a cabo por la Agència de Gestió d’Ajuts Universitaris i de Recerca (AGAUR) y la Universitat Autònoma de Barcelona, que supuso una valoración cualitativa del contenido de los libros seleccionados por sus autores, supondría un coste de quince mil euros por cada cien libros evaluados. Un centro de investigación como el Centro de Ciencias Humanas y Sociales del CSIC publica anualmente cerca de cien libros: ¿se podría hacer frente al coste de una evaluación de este tipo?; ¿cuánto tiempo se tardaría en afrontar una evaluación cualitativa de estas contribuciones?; ¿habría que optar por evaluar solo una selección de las publicaciones generadas? Quizá el modelo de evaluación propuesto por el nuevo Research Excellence Framework del Reino Unido, basado en el juicio de paneles de expertos y

Gimenez_Malestar.indb 46

04/12/2016 17:26:33

Calidad de la investigación versus indicadores de publicaciones

47

que excluye explícitamente el uso de las citas o de categorizaciones de libros o editoriales, pudiera ser una referencia de evaluación cualitativa. Sin embargo, es bien conocida la inversión que se hace en evaluación en el Reino Unido, acorde, además, con sus presupuestos para investigación. No parece factible que en países donde la inversión en I+D es mucho baja, como es el caso de España, vayan a invertirse grandes cantidades de recursos en los procesos de evaluación. Por otra parte, la complejidad del proceso de evaluación del Reino Unido hace cuestionarse sus costes y su utilidad32. Además, tal y como concluye el análisis comparativo de Geuna y Martin33 sobre los sistemas de evaluación en Europa, en un primer momento los costes de la evaluación sobrepasan los beneficios (entre los costes se contabiliza también la búsqueda de la aceptación), pero a medida que se estabilizan se recupera el equilibrio y los beneficios empiezan a ser mayores. Sin duda, esta es una conclusión que debería tomarse como referencia a la hora de diseñar procesos de evaluación y especialmente ante los cambios de gobierno.

32 Martin, B. R. (2011). “The Research Excellence Framework and the ‘impact agenda’: are we creating a Frankenstein monster?”. Research Evaluation, 20 (3), 247-254. 33 Geuna, A. y Martin, B. R. (2003). “University research evaluation and funding: An international comparison”. Minerva, 41 (4), 277-304.

Gimenez_Malestar.indb 47

04/12/2016 17:26:33

Gimenez_Malestar.indb 48

04/12/2016 17:26:33

Capítulo 2

El controvertido valor de los indicadores de impacto

Toutes choses sont dites déjà; mais comme personne n’écoute, il faut toujours recommencer. André Gide

Probablemente no haya un indicador tan impopular y tan criticado por humanistas y científicos sociales como el factor de impacto. Seguramente, no haya ningún indicador que haya sido tan desmontado en la literatura científica por parte de los especialistas. Y, paradójicamente, no hay ningún indicador que se utilice tanto como el factor de impacto en agencias de evaluación e instituciones a nivel mundial. Es un dato conocido que el origen del factor de impacto no estuvo directamente relacionado con la evaluación científica, sino con la selección de publicaciones para compra por parte de las bibliotecas académicas. Sin embargo, su fórmula —que pone en relación el número de citas que ha recibido una revista con el número de artículos publicados por esa revista en los dos años anteriores— se convirtió en medida de referencia mundial para establecer el impacto de una revista. Y se empezó a asentar la idea de que a mayor número de citas, mayor calidad tenía una revista. También, por extensión, mayor calidad tenían los artículos contenidos en esa revista y mejores eran los autores que publicaban en ella. Así ha sido aceptado en gran parte de las denominadas ciencias duras, donde el factor de impacto de Thomson Reuters es la referencia ineludible en los procesos de evaluación, aunque, incluso en

Gimenez_Malestar.indb 49

04/12/2016 17:26:33

50

Los investigadores ante su evaluación

esos campos, ha sido objeto de innumerables y muy documentadas críticas1. Sin embargo, en las Humanidades y en las Ciencias Sociales, la aceptación de tal medida como indicador de la producción científica es prácticamente imposible y son muchas las razones que existen para ello, como se verá en los siguientes párrafos. A priori, la cita que recibe un trabajo es un reconocimiento a la aportación que hace otro autor. Como tal, y sin considerarse ninguna variable más, recibir citas es sinónimo de tener reconocimiento, de ser valorado por los especialistas del área por la calidad o innovación de los resultados de investigación. Sin embargo, ni el contexto en que se producen las citas académicas, ni las fuentes que procesan y generan indicadores a partir de las citas, ni el escenario político-económico en el que se utilizan las medidas relacionadas con las citas son realidades simples que permitan hacer una interpretación tan purista del concepto. En los siguientes párrafos se revisan algunas de estas variables, focalizando la atención en lo que ocurre en Humanidades y Ciencias Sociales, aunque gran parte de las situaciones y críticas con respecto al factor de impacto se dan también en el resto de disciplinas científicas.

1 Eugene Garfield expone “(…) and I created the journal impact factor to help select additional source journals”. Garfield, E. (2006). “The history and meaning of the journal impact factor”. JAMA: the journal of the American Medical Association, 295 (1), 90-93. P. 1; Smith. R. (1998). “Unscientific practice flourishes in science Impact factors of journals should not be used in research assessment”. British Medical Journal, April 4; 316 (7137), 1036; Favaloro E. J. (2008). “Measuring the quality of journals and journal articles: the impact factor tells but a portion of the story”. Semin Thromb Hemost. Feb; 34 (1), 7-25. doi: 10.1055/s-20081066030; Hecht, F., Hecht, B. K., Sandberg, A. A. (1998). “The journal ‘impact factor’: a misnamed, misleading, misused measure”. Cancer Genet Cytogenet. Jul 15; 104 (2), 77-81; Rossner, M., Van Epps, H., y Hill, E. (2007). “Show me the data”. The Journal of cell biology, 179 (6), 1091-1092; Falagas, M. E., y Alexiou, V. G. (2008). “The top-ten in journal impact factor manipulation”. Archivum immunologiae et therapiae experimentalis, 56 (4), 223-226; Seglen, P. O. (1997). “Why the impact factor of journals should not be used for evaluating research”. BMJ: British Medical Journal, 314 (7079), 498.

Gimenez_Malestar.indb 50

04/12/2016 17:26:33

El controvertido valor de los indicadores de impacto

51

El ECOSISTEMA académico Conocer las relaciones y dinámicas que se dan en el contexto académico es un imperativo para estimar el valor real que puede tener una cita recibida y para relativizar las medidas basadas en ellas. El factor de impacto —u otras medidas relacionadas con el número de citas recibidas— es el puntal de la mayor parte de los procesos de evaluación. Por esta razón, conviene saber sobre qué bases se asienta, qué factores inciden en la generación de una cita y cómo afectan a los evaluados las maneras en que se calculan. Desde un punto de vista purista, una cita es el reconocimiento (cita positiva) o crítica (cita negativa) a la aportación de un autor2. La cita positiva tiene un valor indiscutible y su recuento puede ser indicio del valor de un trabajo científico, aunque, como se verá en las siguientes líneas, la generación de una cita está marcada por muchas variables. La cita negativa, por su parte, siempre ha sido vista como una limitación de las medidas relacionadas con el impacto de una publicación, pues en ellas se contabilizan citas que no son precisamente de reconocimiento. Una de las preguntas que procede hacerse es por qué unos autores reciben ese reconocimiento y otros no, a igualdad de aportaciones científicas, ideas o argumentos. La respuesta está relacionada con distintos factores. Uno de ellos, sin duda, con la enorme producción científica existente sobre los más diversos temas, que hace que cada investigador sea incapaz de acceder y leer todo lo que se produce en su especialidad y, por tanto, de citar. El conocimiento científico avanza mucho más rápido hoy que hace un siglo3 y ese hecho tiene su reflejo en muy distintas variables, entre ellas el volumen de la actividad científica, el trabajo en red, el número de investigadores o el número de artículos, 2 En este reconocimiento a través de la cita interfieren distintas cuestiones recogidas en este capítulo, incluido también el propio criterio del autor que le hará incluir (o no) referencias a trabajos clásicos, referencias a trabajos que estén de moda y que se hayan convertido en trabajos ineludibles o referencias a artículos que realmente no están estrechamente relacionados con los resultados que presenta. Es decir, la bibliografía también tiene un margen de elección o gusto del propio investigador. 3 Sobre el crecimiento exponencial de la ciencia conviene recordar el clásico De Solla Price, D. J. (1986). Little science, big science... and beyond. New York: Columbia University Press, 46-156.

Gimenez_Malestar.indb 51

04/12/2016 17:26:33

52

Los investigadores ante su evaluación

capítulos y libros que se publican. Pero es que, además, el entorno digital ha favorecido y multiplicado la generación del conocimiento colectivo, entendido como procomún4. La delimitación de la autoría de un hallazgo no es tan clara como solía serlo. Distintos autores pueden haber llegado a conclusiones similares, en distintos lugares del mundo y con metodologías diferentes y, sin embargo, solo algunos serán reconocidos mediante la cita. Si un investigador no ha leído todo lo que se ha escrito sobre un tema o no ha tenido acceso a ello, habrá seleccionado y citado lo mejor de entre lo leído, no de entre lo publicado. Eso significa que la probabilidad de ser citado está relacionada con la probabilidad de ser leído, entre la amplísima producción científica. No obstante, ese es el mejor escenario en el que se produce una ausencia de citas, porque no es provocado voluntariamente por el investigador. En muchos casos —y este es el peor escenario— se evita deliberadamente citar a determinados autores. Bien porque sean competidores, bien porque exista enemistad o bien porque pertenezcan a una escuela de pensamiento distinta, lo cierto es que la selección de autores y trabajos citados no está siempre libre de intenciones. Y eso perjudica claramente a unos autores frente a otros, especialmente en campos donde el poder de los grupos o lobbies es destacado. Uno de los participantes en la encuesta llegaba a referirse a la existencia de “un mainstream de autores que se citan entre ellos de manera muy endogámica” y que, de paso, excluyen a otros. Otro profesor universitario precisa aún más al señalar que las citas recibidas en el extranjero y no por investigadores del propio país podrían ser un elemento de valoración más aséptico u objetivo, menos influenciado por la acción de los colegas más cercanos. Estos círculos de citación pueden identificarse mediante análisis de redes de citas, pero no siempre se llevan a cabo y cuando se realizan no siempre tienen aplicación en la evaluación científica. Sin embargo, no son la única evidencia de que las citas están, en muchos casos, orientadas, cuando no forzadas. Hay revistas que muestran claramente en sus instrucciones a autores la conveniencia de citar artículos publicados en esa revista. En este hecho se encuentran dos verdades. La primera es que una revista especializada habrá publicado a lo largo de su historia artículos 4 Hess, C., y Ostrom, E. (2007). Understanding knowledge as a commons: from theory to practice. Cambridge: MIT Press.

Gimenez_Malestar.indb 52

04/12/2016 17:26:33

El controvertido valor de los indicadores de impacto

53

que sean del interés de un lector/autor de esa misma revista; es decir, existe una alta probabilidad de que la revista a la que se envía un artículo haya publicado otros artículos, previamente, que estén relacionados y, por tanto, susceptibles de ser citados. Desde ese punto de vista es lógico que exista cierto porcentaje de citas a la revista en la que se va a publicar y, de hecho, esas citas se producirán de una forma espontánea, por la especialidad de los artículos citados. Esa espontaneidad se pierde cuando es el director de una revista quien recomienda, sugiere o promueve la cita a artículos de la revista. Podría interpretarse como un simple recordatorio al autor de que la revista tiene artículos potencialmente citables por él, pero es el autor quien debe seleccionar sus fuentes y quien, se supone, debe conocer las referencias más relevantes para el tema que está tratando. En cualquier caso, ese recordatorio no sería malinterpretado de no ser porque esa medida puede suponer un aumento de las citas (aunque sean autocitas a la propia revista) y, por tanto, un aumento del factor de impacto, objetivo de muchos de los editores actuales de revistas. Algo similar ocurre con los evaluadores. Son parte integrante del sistema. Evalúan desinteresadamente para las revistas, pero, al mismo tiempo, son autores en busca de reconocimiento, de prestigio, de citas. Mediante el ejercicio de la evaluación y de una forma casi inevitable, las sugerencias que harán a los autores sobre la bibliografía del trabajo evaluado estarán influenciadas por sus propias lecturas, por su propia producción científica y por los artículos que se hayan convertido en referencia en el contexto de su grupo, de su escuela o de su red. Como en el caso anterior, no tiene nada de extraño que un evaluador recomiende citar trabajos relacionados con el objeto de estudio de un artículo; de hecho, es parte del trabajo que ha de desempeñar como evaluador. Pero ¿cómo distinguir la recomendación pertinente y relevante de aquella que pueda ser más o menos oportuna e interesada? El autor quiere que le publiquen su trabajo y es raro que rechace las sugerencias de un evaluador, por lo que el proceso de peer review5 puede convertirse en una vía de aumento no espontáneo de las citas. No debiera ser así, pero resulta evidente 5 La existencia de sesgos en el proceso de peer review (aparte de la práctica de la coercive citation) ha sido demostrada con sólidas evidencias en ensayos aleatorizados: Emerson, G. B., Warme, W. J., Wolf, F. M., Heckman, J. D., Brand, R. A., Leopold, S. S. (2010). Testing for the Presence of Positive-Outcome Bias in Peer Review: A Randomized Controlled Trial. Arch Intern Med.; 170 (21),1934-1939. doi:10.1001/archinternmed.2010.406.

Gimenez_Malestar.indb 53

04/12/2016 17:26:33

54

Los investigadores ante su evaluación

que ante el valor actual de una cita, algunos de los que en un momento evalúan, pero que posteriormente serán evaluados, optarán por conseguirlas por distintos medios. Este fenómeno está descrito como coercive citation6 y ha sido analizado con detalle. En el estudio de Wilhite y Fong, desarrollado con la opinión de más de 6600 investigadores y de más de 830 revistas de disciplinas de las Ciencias Sociales, la inducción a la cita se revela como un fenómeno común, habitual en la comunidad científica. Resulta preocupante —y al mismo tiempo comprensible— que mientras un alto porcentaje de los investigadores que participaron en el estudio se refieren a esta práctica coercitiva como algo negativo, una mayoría de ellos estarían dispuestos a aumentar artificialmente la bibliografía si con ello tuvieran más garantías de publicación. Así, “an autor can become both a victim and a conspirator in the self-citation game”. Los resultados de este estudio muestran que las revistas comerciales son más proclives a esta práctica que las universitarias. También las revistas mejor posicionadas practican habitualmente esta inducción a la autocita. La promoción de los artículos y la consiguiente inducción a citar es algo que también se observa a nivel de investigador, no solo de editores de revistas. Los autores son cada vez más conscientes de que su trabajo no acaba al publicar un artículo, sino que con la publicación se inicia un nuevo camino7, que incluye la difusión y promoción del artículo entre colegas, en webs institucionales, páginas personales, redes sociales y redes profesionales. De esa promoción se derivarán lecturas y, probablemente, citas. Probablemente, a mayor promoción, mayor número de citas. De hecho, ya no resulta extraño recibir casi simultáneamente el anuncio de un nuevo artículo enviado por su autor y la sugerencia de uno o varios evaluadores para incorporar ese mismo artículo a la bibliografía del artículo evaluado. Nuevamente, la línea que separa lo correcto (difundir un trabajo) de lo forzado (incitar a citar) es difusa, pero conviene tener en cuenta las dinámicas que se dan dentro de la ciencia para no confiar plenamente en el valor aséptico, puro, de las citas y, por extensión, de los indicadores que las tienen como único punto de referencia. 6 Wilhite, A. W., y Fong, E. A. (2012). “Coercive citation in academic publishing”. Science, 335 (6068), 542-543. 7 Fernández-Quijada, D. “El artículo no se acaba con la publicación”, http://www.blogforpapers.net/.

Gimenez_Malestar.indb 54

04/12/2016 17:26:34

El controvertido valor de los indicadores de impacto

55

La capacidad, la concienciación o los recursos con los que cuente un investigador determinarán la intensidad de su autopromoción, de la campaña de marketing que se diseñe a sí mismo: pero este plano —el publicitario— debe distinguirse del científico, lo que pasa por atender las motivaciones que llevan a citar más a determinados autores. Citas y la construcción de la imagen pública en los científicos El marketing de la ciencia o de los científicos tiene una fortísima influencia en el volumen de citas. En él intervienen dos factores importantes. Por una parte, la existencia, poder e influencia de los colegios invisibles. Estos, entendidos como redes más o menos formales de científicos que están unidos por su especialidad, por la colaboración científica en proyectos, la coautoría en publicaciones, la codirección de tesis, las citas mutuas, la pertenencia a una misma escuela de pensamiento o su vinculación a un determinado grupo de poder o, directamente, grupo empresarial. La red, más o menos invisible, promueve y apoya a determinados autores, temas de investigación y trabajos científicos, en detrimento de otros que no forman parte de la red8. Y los promueve a nivel internacional, en distintos ámbitos. Los evaluadores o editores de revistas pueden ejercer esa función, actuando como nodo de la red. Pero también actúan como tales los evaluadores de los congresos, quienes están al mando de instituciones científicas, quienes diseñan los programas de los distintos encuentros científicos, las asociaciones científicas u otro tipo de infraestructuras académicas como sistemas de información; en el campo de la Documentación, por ejemplo, las bases de datos o los sistemas de evaluación de publicaciones constituyen uno de los nodos de tales redes o colegios invisibles9. De nuevo, la colaboración y el intercambio en pro del avance del conocimiento científico pueden tornarse —espontánea o forzadamente— 8 Tal y como apuntaba uno de los investigadores participantes en la encuesta “existen grandes aportaciones al campo científico que, dados los gremios y grupos de poder dominantes, resulta difícil difundir en revistas”. 9 En realidad, en el seno de cada especialidad o microespecialidad estos colegios son cada vez menos invisibles, pues se puede trazar fácilmente, a través de indicadores bibliométricos, redes sociales o tribunales de tesis la “pertenencia” a una red.

Gimenez_Malestar.indb 55

04/12/2016 17:26:34

56

Los investigadores ante su evaluación

en una herramienta que favorece o perjudica a algunos científicos, grupos o instituciones. La frontera que divide los comportamientos esperados en la actividad científica (colaboración, establecimiento de redes, por ejemplo) y los efectos menos previstos, más adversos, delicados o peligrosos de los mismos, es ciertamente tenue. Y, sin embargo, desde la sociología de la ciencia y desde la ética10 debería abordarse este objeto de estudio, en tanto que puede determinar no solo la evolución de algunas disciplinas científicas, sino también las implicaciones sociales o las políticas que tengan, en función de la investigación o de los investigadores que sean “seleccionados” entre la comunidad académica para representar la ciencia. Pero además, la imagen, el prestigio y las citas de los investigadores también pueden ser promovidos por ellos mismos. Los recursos empleados por cada científico para promocionarse a sí mismo, directa o indirectamente, son variados y repercuten directamente en la percepción de ese investigador por el resto de colegas. Y una buena percepción de un investigador produce un eco indiscutible en el número de citas. Tanto que no citar a determinados autores después de haber sido premiados, por ejemplo, puede ser mal visto dentro de la comunidad académica. Utilizar las redes sociales para difundir la actividad investigadora, enviar a colegas los artículos publicados para animar a la lectura y la cita, crearse perfiles personales en la web para favorecer su visibilidad o colaborar habitualmente con los medios de comunicación son algunas de esas prácticas que, en sí mismas, no comportan nada malo y que podrían interpretarse simplemente como difusión de la actividad científica, pero que, utilizadas de manera conjunta, de forma constante y con cierta

10 La inexistencia de un código deontológico en las disciplinas relacionadas con la gestión de la información científica (bibliometría, informetría, estudios métricos, etc.), hace extremadamente difusa la línea que separa las buenas de las malas prácticas. La escasa literatura relativa a la ética profesional en estas disciplinas, de la que el trabajo de Davison, Chismar, Kock y Langford (2001). “Professional ethics in information systems” (Proceedings of the 34th Annual Hawaii International Conference on System Sciences (HICSS-34)-Volume 8-Volume 84, 8036) es uno de los mejores exponentes, es un reflejo de la inexistencia de un código de ética profesional compartido, a diferencia de la situación observable en multitud de otras disciplinas entre las que destaca la medicina.

Gimenez_Malestar.indb 56

04/12/2016 17:26:34

El controvertido valor de los indicadores de impacto

57

estrategia, contribuyen a hacer más mediáticos y, por tanto, más susceptibles de citas, a algunos científicos. Se puede crear así una brecha entre científicos que divide a los que son proactivos y/o con más estrategia en su promoción de aquellos que comunican sus resultados a través de los canales habituales, reservados tradicionalmente a la comunidad académica. El investigador tiene en su mano la opción y la tecnología para crear su propia campaña de marketing. Este desdoblamiento del investigador en comunicador tiene su repercusión en los tiempos dedicados a cada actividad, pero puede resultar rentable en términos de citas recibidas. Los fondos captados para investigación o el presupuesto de las instituciones podrían hacer frente (o hacen ya frente) a la contratación de especialistas en comunicación que realizarán tareas de promoción de sus científicos, considerando los beneficios sobre la imagen y el impacto de los científicos que pueden lograrse. Esta relación tan evidente entre ciencia e imagen de los científicos debe servir para relativizar el impacto como medida única de la calidad de la investigación. Puede haber buenos científicos con buenas campañas de marketing. Pero también pueden darse el resto de combinaciones: buenos científicos con poca autopromoción e investigadores en la media con una buena proyección mediática (incluso investigadores no destacados con malas campañas de promoción). Otra variable a tener en cuenta en torno a la entrada de científicos en la mainstream es la posibilidad de publicar en abierto, pagando, es decir, eligiendo la llamada vía dorada del OA (Open Access). Los investigadores que cuenten con recursos para pagar por publicar podrán elegir como revistas destinatarias de sus resultados aquellas que, siendo OA, ya están en el círculo de las revistas más citadas, beneficiándose de las buenas medidas de impacto de la revista, independientemente de las citas que reciban sus artículos en particular. Podrán pagar por publicar en esas revistas los investigadores que hayan conseguido financiación que les permita asumir los costes de publicación (article processing fees), los investigadores que trabajen en universidades con grandes presupuestos o aquellos elegidos por sus universidades o centros de investigación. En estos dos últimos casos pueden crearse inequidades académicas, tal y como se describen en el documento Open Access: HEFCE,

Gimenez_Malestar.indb 57

04/12/2016 17:26:34

58

Los investigadores ante su evaluación

REF2020 and the Threat to Academic Freedom11, que vuelven a poner en duda la relación entre impacto científico —medido a través de las citas recibidas— y mérito científico real. También entra en el capítulo de los desequilibrios lo que sucede en torno a la publicación en OA y la evaluación científica. El movimiento Open Access ha traído consigo la circulación de millones de artículos y documentos científicos y la generación de nuevos indicadores (article level metrics) basada en la información obtenida de la parte “abierta” de la red: descargas y vistas de artículos, indicadores propios de las redes sociales como menciones, likes, retuiteos, comentarios y todo aquello que es objeto de Altmetrics, así como recuentos de citas para artículos —ya no para revistas— procedentes de todo tipo de fuentes y no solo de aquellas seleccionadas por las grandes bases de datos. Algunos investigadores consultados señalan el acceso abierto como una forma de legitimar la calidad de las contribuciones. Google Scholar es ejemplo de ello al recabar citas recibidas desde y hacia distintos tipos de documentos, reflejando más objetivamente no solo la producción científica de un autor o revista, sino también su impacto en términos de citas. Aún es percibido como un producto de menos calidad que Web of Science, pero su asentamiento como herramienta de evaluación quizá sea solo una cuestión de tiempo. El nuevo escenario de las citas en la red tendrá sin duda otros agentes que puedan convertirse en suministradores OA de indicadores de impacto. Crossref y Orcid ya trabajan en esta línea12. El desajuste se produce cuando, por una parte, la comunidad científica está llamada a publicar en abierto por sus correspondientes legislaciones e instituciones, pero, por otra, su actividad investigadora es evaluada y medida a través de sistemas cerrados como la Web of Science. Los investigadores ofrecen sus resultados a la sociedad y alimentan la red y sus sistemas de información con sus publicaciones; en definitiva, dan los que tienen, el resultado de su investigación. Sin embargo, cuando han de pasar por un proceso de 11 http://thedisorderofthings.com/2012/12/04/open-access-hefce-ref2020-and-thethreat-to-academic-freedom/. 12 Así se puso de manifiesto durante la III PKP Conference (http://pkp.sfu.ca/pkp2013) y también en el informe de JISC: Access to Citation Data. Cost-benefit and Risk Review and Forward Look. Septiembre 2013. http://repository.jisc.ac.uk/5371/1/Access-to-Citationdata-report-final.pdf.

Gimenez_Malestar.indb 58

04/12/2016 17:26:34

El controvertido valor de los indicadores de impacto

59

evaluación, los elementos de valoración no están basados en ese universo inmenso de literatura científica que es la red, sino en unas fuentes limitadas de contenido que venden información e indicadores de impacto a los países y que aportan una imagen seccionada de la actividad investigadora. La utilización de ese universo abierto para la obtención de indicadores que pudieran servir a la evaluación científica presentará nuevos problemas, sin duda, pero por otra parte ayudaría a evitar el mercantilismo que se produce para recibir citas, entrar en el ámbito de la WoS y ser visible, así, para las agencias de evaluación. Este término, mercantilismo o imperialismo, surge con cierta frecuencia entre los comentarios de los investigadores consultados, que llegan a describirlo como la actitud que resulta de “investigar y publicar al servicio de unos cuantos y no por la sociedad”. De la presión a la obsesión por el factor de impacto El uso del factor de impacto como medida clave en cualquier proceso de evaluación, desde los que afectan a la solicitud de proyectos de investigación hasta los de promoción del profesorado o de los investigadores, provoca una inevitable presión en los investigadores y en los editores. Los primeros, porque deben publicar en revistas con impacto oficial, es decir, el proporcionado por Thomson Reuters o, en algunos casos, por Elsevier, si es que quieren conseguir su objetivo. Los segundos, porque saben que si sus indicadores de calidad, incluido el impacto, no son buenos, dejarán de recibir los originales necesarios para que su revista pueda seleccionar lo mejor y cumplir con los plazos que ella misma se ha marcado al definir una periodicidad para la publicación. En ambos casos, esa presión por publicar en revistas de impacto o por publicar una revista con impacto puede llevar a investigadores y a editores a agudizar el ingenio y a recurrir a la ingeniería del factor de impacto y del logro de citas. Algunos editores llevan una contabilidad perfecta del número de artículos que deben publicar en cada número de su revista o de cómo deben equilibrar el número de artículos en todo el año. La razón es simple: un número mayor del habitual es un valor del denominador más alto (en la fórmula del

Gimenez_Malestar.indb 59

04/12/2016 17:26:34

60

Los investigadores ante su evaluación

factor de impacto) y, por tanto, un valor del factor de impacto menor si las citas siguen siendo del mismo orden todos los años. Sobrepasar una cifra de artículos publicados puede hacer que el valor del factor de impacto baje. Y eso es algo que el editor debe vigilar. Al menos, algunos creen que esa es una de sus funciones. Con motivo de algún encuentro o congreso académico se han dado conversaciones entre editores en las que la obsesión por el impacto ha sido una constante; hasta tal punto que apenas se habla de temas de investigación, de cómo mejorar los artículos o de las metodologías más novedosas. Importa, sobre todo, el factor de impacto. Así como en el sector del libro se denuncia que la ingeniería financiera de los grandes grupos mediáticos y empresariales y su cotización en bolsa han desplazado el interés por hacer buenos libros13, en revistas científicas —particularmente en las españolas— el interés desmedido por el impacto desplaza el interés por los contenidos de la revista o por la profesionalización en la gestión de la misma. Incluso se diseñan estrategias específicamente orientadas a que la publicación esté indexada por WoS o Scopus; se conocen casos en los que se ha llegado a emplear gran parte del presupuesto de la revista en subcontratar algunos servicios a Elsevier, a cambio de obtener su sello y pasar a estar recogida en su base de datos, a pesar de la pérdida del control de los contenidos y los procesos que se llega a producir con esta serie de operaciones. La presión que ejercen las agencias de evaluación y/o financiación o las instituciones sobre los investigadores para publicar en revistas de impacto provoca una reacción tanto en investigadores como en editores de revistas, equipos editoriales y evaluadores14. En el caso más extremo, se llega a hablar de que los requerimientos de las agencias de evaluación terminarán por modificar los hábitos de investigación, publicación y comunicación científica, de forma que se produzca una pérdida del saber hacer propio de cada disciplina, de la identidad de las áreas o de la identidad lingüística. 13 Fenómenos extraordinariamente descritos por André Schiffrin en La edición sin editores (Barcelona: Ediciones Península, 2010) o por Thierry Discepolo en La traición de los editores (Madrid: Trama, 2013). 14 Véase Weingart, P. (2005). “Impact of bibliometrics upon the science system: Inadvertent consequences?”. Scientometrics, 62 (1), 117-131. En este trabajo se expone el efecto reactivo de las medidas evaluativas sobre los evaluados en la producción científica.

Gimenez_Malestar.indb 60

04/12/2016 17:26:34

El controvertido valor de los indicadores de impacto

61

Algunos datos muestran ya esta realidad. El trabajo de Kyvik15, por ejemplo, permite comprobar cómo la publicación a través de artículos de revistas ha ido convirtiéndose en el tipo de documento predominante y, además, cómo ese cambio se ha operado especialmente en las Ciencias Sociales. Por otra parte, la base de datos VABB-SHW de producción científica en Humanidades y Ciencias Sociales creada para la región de Flandes por ECOOM, y que es un referente clarísimo en estas disciplinas, muestra un proceso de cambio en el idioma de publicación en un periodo de diez años. En los años 2000-2001 el porcentaje de publicaciones en inglés era del 61,1%, mientras que en 2008-2009 habría aumentado hasta el 74,6%, en detrimento de las publicaciones en neerlandés y en otros idiomas. Sin embargo, el análisis de los datos de esa misma fuente no permite afirmar un cambio rotundo en los tipos de publicaciones elegidos por los investigadores. En el mismo periodo, se produjo un descenso de producción de artículos en Humanidades (del 78% pasó al 73%), mientras que en Ciencias Sociales aumentó, pasando del 90% al 93%. Esta variable en la generación de las citas es fundamental para relativizar el peso de los indicadores de impacto en la evaluación de la actividad científica. Por otra parte, el carácter generalista o especializado de una revista científica afecta sustancialmente al factor de impacto de la misma. Una revista altamente especializada, destinada a un público lector necesariamente más reducido que el de una revista generalista, tiene un número potencial de citantes mucho menor. De hecho, los datos muestran que las revistas multidisciplinares o generalistas tienen mayor factor de impacto y acumulan más citas que las revistas especializadas. Asimismo, los propios editores de revistas especializadas reconocen que tienen muchas dificultades para competir con las revistas generalistas, precisamente en este plano, en el de la captación de citas16. Así pues, parece cuando menos controvertido interpretar los rankings por factor de impacto desde una óptica simple: las revistas que acumulan más 15 Kyvik, S. (2003). “Changing trends in publishing behaviour among university faculty, 1980-2000”. Scientometrics, 58 (1), 35-48. 16 Mañana-Rodríguez, J. (2013). Análisis multidimensional de la especialización en publicaciones de Ciencias Sociales y Humanidades. Tesis doctoral. Madrid: Universidad Carlos III de Madrid.

Gimenez_Malestar.indb 61

04/12/2016 17:26:34

62

Los investigadores ante su evaluación

citas y que están en primer cuartil son mejores que las revistas que acumulan menos y están en cuarto cuartil. Y, por extensión, los investigadores, departamentos o instituciones que publican un alto porcentaje de sus artículos en primer cuartil son mejores que los que publican en cuarto cuartil o en revistas que no están cubiertas por la Web of Science o por Scopus. A pesar de todas las recomendaciones que existen sobre el buen uso de los indicadores, sobre la necesidad de combinarlos con el juicio de los expertos y sobre los efectos irreversibles y nocivos que puede tener la evaluación mecanicista, está muy extendida la práctica de tomar el indicador (impacto u otros) como resultado final de la evaluación. Y eso no depende de quienes diseñan o trabajan con indicadores, sino de los políticos o gestores de política científica que definen los procesos de evaluación. Algo parecido a lo que ocurre entre revistas especializadas y revistas generalistas sucede también con las revistas nacionales frente a las internacionales. Las revistas nacionales reúnen algunas características particulares con respecto a las internacionales. Cubren temas de interés más local, aunque algunos de ellos puedan ser interesantes internacionalmente; suelen estar publicadas en idiomas distintos al inglés y, por tanto, pueden ser leídas y citadas por menos profesores; y ambos aspectos repercuten en el tamaño de la comunidad académica o colegio invisible que se construye en torno a la revista: en revistas nacionales este grupo de influencia suele ser menor que en revistas internacionales y eso genera menor número de citas. De hecho, la práctica totalidad de las revistas españolas de Ciencias Sociales recogidas por JCR (Journal Citation Reports) están en tercer o cuarto cuartil. Ni siquiera el hecho de que el español sea la segunda lengua del mundo por número de hablantes17 (495 millones de personas) y el segundo idioma de comunicación internacional permite el aumento del volumen de citas en los cálculos realizados por estos rankings. Y ese hecho está estrechamente relacionado con la forma en que se construyen JCR u otros índices de citas calculados sobre universos cerrados. La selección de revistas para construir una base de datos de citas es un factor clave para determinar qué citas se van a contabilizar y cuáles no. El 17 Instituto Cervantes. El español en el mundo. Anuario del Instituto Cervantes 2012. http:// cvc.cervantes.es/lengua/anuario/anuario_12/default.htm.

Gimenez_Malestar.indb 62

04/12/2016 17:26:34

El controvertido valor de los indicadores de impacto

63

número de citas que intervienen en la fórmula del factor de impacto se refiere solo a las citas emitidas por revistas recogidas en la Web of Science, es decir, no se contabilizan el total de citas reales que un trabajo o una revista recibe. Así que el recuento de citas para las distintas revistas está fuertemente condicionado por la selección de revistas que se realice. Así, si como sucede en la práctica, la Web of Science tiene más revistas estadounidenses, británicas y holandesas que revistas de otros países o escritas en idiomas distintos al inglés, estas últimas tienen una probabilidad menor de ser citadas y, por tanto, una clara desventaja para poder situarse en primer o segundo cuartil. Por otra parte, los propios productores de la Web of Science indican que si una disciplina está suficientemente cubierta por las revistas ya contenidas en la base de datos, será difícil que se incluyan otras de la misma disciplina, a pesar de que puedan ser publicaciones de calidad. Es decir, se reconoce que algunas buenas revistas pueden quedar fuera de su sistema, con las enormes consecuencias que puede tener eso de cara a la evaluación científica. En 2008, en el marco de una reunión organizada por la FECYT (Fundación Española para la Ciencia y Tecnología), el director de desarrollo editorial de Thomson Reuters, James Testa, “no pudo garantizar que una revista no Thomson Scientific con factor de impacto demostrable y superior a alguna de Thomson Scientific, se incorporara de manera automática a la base de datos”18. La exclusión de la inmensa mayoría de revistas editadas en países latinoamericanos representa, entre otras muchas cosas, una exclusión de una buena parte de citas que las revistas españoles reciben, pero que no se cuantifican en un universo cerrado como el de la Web of Science. La ausencia de determinadas revistas iberoamericanas, por ejemplo, resta a las revistas españolas oportunidades de estar posicionadas en los primeros cuartiles. Tanto por el interés conjunto en algunos temas de investigación, como por la cultura, la historia y el idioma compartidos, existe un flujo de citas constante y natural entre autores iberoamericanos. Pero tal circulación de citas parece no existir o, más bien, ser desestimado, cuando la medida básica de la ciencia es un factor de impacto que considera solo una parte del universo de las citas generadas a

18 Giménez Toledo, E. (2007). “Reflexiones a partir de la jornada de FECYT sobre las medidas de apoyo a las revistas científicas españolas”. Revista Española de Documentación Científica, 30, 2, 257-260.

Gimenez_Malestar.indb 63

04/12/2016 17:26:34

64

Los investigadores ante su evaluación

favor de los países de la mainstream, del inglés y de los grupos editoriales más fuertes. Obviando una parte de la realidad, es fácil cometer errores en los procesos de evaluación. Eso es precisamente lo que sucede cuando se utiliza de manera mecanicista la Web of Science. Otro factor que debe ser considerado en el cálculo del factor de impacto es la autocita. La autocita a trabajos del autor o a trabajos publicados en una misma revista se da de manera natural y científicamente justificada. Pero también puede ser generada artificialmente, promovida o fomentada por editores o evaluadores a través de las coercive citations o de los citation cartels19, precisamente para hacer aumentar el factor de impacto. La autocita excesiva puede ser más o menos controlada o filtrada. Así, se puede establecer una tasa máxima de autocitas (33% en el caso de Scimago Journal Rank) o se pueden mostrar los valores de impacto con o sin autocitas, tal y como hace Thomson Reuters. También pueden tomarse medidas en relación con las revistas que presentan una alta tasa de autocitación, como las exclusiones de bases de datos, tal y como ha hecho Thomson Reuters en distintas ocasiones20. La multidisciplinariedad o la alta especialización pueden ser factores penalizadores para recibir citas. Indudablemente las publicaciones muy especializadas tendrán un menor número de citas, por la sencilla razón de que el colectivo de científicos que pueden citarlas es menor. Sin embargo, esas publicaciones pueden tener un valor incalculable para los investigadores. Citas y calidad científica no tienen ninguna correlación en el plano de las publicaciones altamente especializadas. Este hecho recupera la idea de que la investigación minoritaria, aquella en la que hay menos actividad, financiación e investigadores, o aquella que afecta a pequeños territorios, comunidades o colectivos sociales, no debe ser relegada por este menor alcance, pues su relevancia puede ser tan destacada como la de los grandes temas. En el ámbito médico, nadie dudaría de que debe haber investigación sobre las 19 Calero, C. y Costas, R. “Journal Citation Cartels: can they be detected? The 17th Workshop on Bilbiometrics and Research Policy”. http://www.helsinki.fi/kirjasto_old/keskusta/ images/verkkari/Calero-medina%20costas%20121011_Cartels_presentation_Helsinki.pdf. 20 A título de ejemplo, este post muestra algunos casos: Van Noorden, R. “Record number of journals banned for boosting impact factor with self citations”. http://blogs.nature.com/ news/2012/06/record-number-of-journals-banned-for-boosting-impact-factor-with-selfcitations.html.

Gimenez_Malestar.indb 64

04/12/2016 17:26:35

El controvertido valor de los indicadores de impacto

65

enfermedades raras que afectan a un porcentaje pequeñísimo de la población, como nadie duda de que debe haberla también sobre las enfermedades que causan mayores estragos, como el cáncer o las enfermedades cardiovasculares. El mayor o menor alcance de los temas de investigación —ya sea en Medicina, en Humanidades o en Ciencias Sociales— tiene su repercusión directa en el modo de publicar, en la cantidad de producción científica que se genera y, por supuesto, en el número de citas recibidas. Ninguno de estos aspectos tiene que ver directamente con la calidad de la investigación realizada, sino con las dimensiones y la proyección de la investigación en áreas muy especializadas. Este factor debería que tenerse en cuenta en los procesos de evaluación de la actividad científica. Aunque es verdad que se han hecho esfuerzos por diseñar indicadores de impacto normalizados21, lo cierto es que siguen afectando a grandes disciplinas, sin que lleguen a reflejar la realidad de las micro-especialidades científicas. Los investigadores consultados también señalan que los indicadores de impacto no resultan determinantes en campos emergentes en el plano científico. Uno de ellos se refiere en concreto al campo de la conservación y restauración de bienes culturales, que empieza a ser línea de investigación científica, pero que no tiene aún la madurez necesaria como para que estas medidas expresen algo de la actividad investigadora desarrollada en estas áreas. También en relación con el tema de investigación, surge la cuestión de las oportunidades de unos u otros temas para ser citados. De hecho, se mencionan expresamente los intereses políticos o económicos que impulsan o favorecen la investigación en determinados temas, de modo que se convierten en temas de moda, con más financiación y mayor productividad y, en consecuencia, con mayores probabilidades de ser citados. Otra idea apuntada por los investigadores es que la ciencia es conservadora y no se aceptan con facilidad nuevos planteamientos o líneas de investigación. Si resulta difícil publicar esas ideas, más difícil aún resulta recibir citas, sobre todo a corto plazo. A ello se une la idea —constante en muchas 21 Pudovkin, A. I., y Garfield, E. (2004). “Rank‐normalized impact factor: A way to compare journal performance across subject categories”. Proceedings of the American Society for Information Science and Technology, 41 (1), 507-515 o Moed, Henk F. (2010). “The SourceNormalized Impact per Paper (SNIP) is a valid and sophisticated indicator of journal citation impact”. DOI: arXiv preprint arXiv:1005.4906.

Gimenez_Malestar.indb 65

04/12/2016 17:26:35

66

Los investigadores ante su evaluación

respuestas de los investigadores— de que los grupos de interés o lobbies de la ciencia frenan la entrada de nuevas ideas, de determinados autores o de determinadas corrientes. Este freno se deja ver también en el prestigio adquirido de algunas revistas, al que un investigador se refiere como “nomenclatura heredada, mantenida y favorecida” de algunas revistas frente a otras; un régimen en virtud del cual la evaluación no es objetiva y la calidad no es lo fundamental, sino que adquiere valor el estar o no dentro del establishment. Lo cual no significa, ni mucho menos, que gran parte de las revistas prestigiosas no lo sean por méritos propios y mantenidos a lo largo del tiempo. Pero sí que algunas son capaces de mantener ese estatus adquirido, a pesar de no responder como se espera en la gestión editorial, en el trato con autores, en la explicación de los rechazos o, en el peor de los casos, de malas prácticas en cuanto a promoción de las citas, por poner solo un ejemplo. Algunos ejemplos de prácticas impropias de revistas de primer nivel recogidas por Web of Science son los cambios en los consejos de redacción contraviniendo la propia normativa de la entidad editora, el cese de evaluadores y editores sin fundamentos, la paralización de originales en la redacción de la revista sin que los editores respondan a los intentos de comunicación por parte de los autores, los cambios en la decisiones editoriales (rechazos de artículos previamente aceptados para publicación), los informes de evaluación sucintos o procedentes de un solo evaluador o las críticas sobre la corrección del inglés en que está escrito el artículo cuando se detectan autorías españolas. El valor del impacto en las Humanidades y Ciencias Sociales La anterior revisión debería haber conducido a la absoluta relativización del valor del impacto en las distintas disciplinas científicas22 o a considerarlo más como un indicador de visibilidad que como un indicador de calidad científica, tal y como señalaron algunos de los participantes del estudio. Especialmente en las Humanidades y las Ciencias Sociales, áreas en las que la 22 De hecho, retomando las ideas del capítulo 1 en cuanto a la atribución del valor de impacto de la revista a los autores que publican en ella, cabe decir que las revistas de primer cuartil, es decir, aquellas que más citas reciben, concentran muchos artículos que no reciben ni una cita pero publican algunos que reciben muchas.

Gimenez_Malestar.indb 66

04/12/2016 17:26:35

El controvertido valor de los indicadores de impacto

67

investigación local/nacional y la comunicación en lenguas distintas al inglés para difundir los resultados entre los destinatarios naturales (es decir, los realmente interesados) tienen un peso específico importantísimo y eso las diferencia notablemente de las denominadas ciencias positivas. También el ritmo de la investigación, el carácter menos aplicado pero fundamental de las investigaciones, el alcance de los temas de investigación o los canales de comunicación que responden mejor a las necesidades de los investigadores y lectores marcan la diferencia con otras disciplinas. Pero si conceptualmente el impacto se muestra como una medida claramente inadecuada para las Humanidades y las Ciencias Sociales, los propios valores del factor de impacto son la evidencia de la falta de validez de ese indicador. Thomson Reuters no elabora un Journal Citation Report para las Humanidades (sí para las Ciencias Sociales), lo que ya resulta bastante significativo, y no siempre es un hecho conocido. El SJR23 calculado para Scopus sí se aplica a revistas de Arte y Humanidades y en el ranking resultante el valor más alto alcanzado por una revista es de 3,449; solo se dan valores superiores a uno en 40 revistas de entre las 2002 recogidas. En España, durante algunos años, y en el marco del proyecto RESH24 (Revistas Españolas de Ciencias Sociales y Humanidades), se aplicó la fórmula del factor de impacto con una ventana de citación de cinco años a revistas españolas. Los valores obtenidos a lo largo de varios años fueron bajísimos, raras veces superiores a uno, tal y como puede comprobarse en la última columna de la figura 1. La escasa relevancia que tienen los impactos con revistas fuente nacionales en Humanidades fue una de las conclusiones de esta investigación aplicada, que, por otra parte, permitió explorar el valor y el interés de otros indicadores para revistas científicas. La experiencia lleva necesariamente a la conclusión de que es poco operativo calcularlos para revistas, al menos con las metodologías semiautomáticas que se emplearon entonces. Son muy costosos de elaborar, aportan poca información útil y las ventanas de citación con las que se puede trabajar nunca se corresponden con los ritmos de citación en las Humanidades. Todo ello, al margen de las

23

http://www.scimagojr.com/ Consultado en el segundo trimestre de 2014. RESH. Revistas españolas de Ciencias Sociales y Humanidades. Última versión (2011) en http://epuc.cchs.csic.es/resh. 24

Gimenez_Malestar.indb 67

04/12/2016 17:26:35

68

Los investigadores ante su evaluación

consideraciones de fondo realizadas en los párrafos precedentes. Otra cuestión es que tecnologías como las que emplea Google Scholar permitan obtener métricas para las revistas científicas en general. En esos casos, la recogida de información y el cálculo de los indicadores serán más eficientes y aunque, previsiblemente, los valores de impacto serán igualmente bajos (por la propia dinámica de las disciplinas), quizá puedan aportar alguna información complementaria —que no determinante— en los procesos de evaluación. A propósito de los índices de impacto nacionales, cabe destacar otro resultado obtenido de la encuesta entre investigadores que sirve de base a este libro. Muchos los defienden por cuanto están basados en un número de revistas fuente mayor y, por tanto, son más representativos y justos que los internacionales. También se detecta cierta desinformación por parte de algunos de los participantes. Y es que entre las quejas y críticas más fundamentadas sobre el impacto también se encuentran algunas críticas faltas de argumentos. Un investigador señala que “al calcular los índices de impacto de revistas españolas las cifras conseguidas con índices de muy corto plazo (6 meses) son irrelevantes, por lo que no se deberían calcular índices de menos de 1 año”. En ninguno de los proyectos desarrollados en España y que han calculado índices de citas sobre revistas de Humanidades y Ciencias Sociales (RESH, In Rech, etc.) se han hecho cálculos con menos de cinco años. De hecho, esta ventana de citación tan amplia se empezó a aplicar antes en España que en las bases de datos Web of Science. Pero incluso tomando en consideración estos cinco años (el factor de impacto —como fórmula de Thomson Reuters— se calcula solo con dos años), los valores del impacto en Humanidades y Ciencias Sociales son bajísimos, insignificantes. Los ritmos de citación en las Humanidades son mucho más lentos y un trabajo publicado hoy quizá no tenga citas hasta dentro de diez o veinte años. Eso no lo medirá nunca una fórmula de factor de impacto. El volumen de citas en revistas de Ciencias Sociales y, particularmente, en Humanidades, es mucho menor que en otras disciplinas. Esto implica que los rankings por factor de impacto que puedan generarse (por ejemplo, RESH o JCR) tienen poca capacidad de discriminación entre las revistas, es decir, tienen una capacidad limitada para ordenar las revistas25. Una muestra 25 Mañana-Rodríguez, J. (2014). “A critical review of SCImago Journal y Country Rank”. Research Evaluation. DOI: rvu008.

Gimenez_Malestar.indb 68

04/12/2016 17:26:35

El controvertido valor de los indicadores de impacto

69

Figura 1. Indicadores RESH para revistas españolas de Filología Hispánica.

de ello es que en SJR se dan 686 valores diferentes del indicador para un total de 3924 revistas en Ciencias de la Vida, mientras que en Ciencias Sociales hay muchos menos valores (196) para muchas más revistas (5901). La relación de argumentos que hacen cuestionarse o relativizan el valor del factor de impacto (y medidas relacionadas) es tan amplia que resulta asombroso comprobar hasta qué punto está asentada y aceptada entre los gestores de política científica. No cabe duda de que la existencia de rankings internacionales de revistas científicas, como los Journal Citation Reports (JCR), permiten tener datos comparables para las mejores26 publicaciones 26 Según su propia declaración. La selección de revistas se basa en los criterios definidos en Thomson Reuters Journals selection process: http://thomsonreuters.com/products_services/ science/free/essays/journal_selection_process/.

Gimenez_Malestar.indb 69

04/12/2016 17:26:35

70

Los investigadores ante su evaluación

de todo el mundo y de todas las especialidades (excepto de las disciplinas de Humanidades); eso simplifica mucho cualquier proceso de evaluación y, al mismo tiempo, permite poner el foco de interés en la proyección internacional de la investigación de un país. Si esa base de datos representa la élite mundial de las publicaciones científicas, ¿cómo no considerar a los autores que publican en esas revistas como los mejores o como prioritarios en los procesos de evaluación? La posibilidad de comparar con la producción científica de otros países y la internacionalidad de las bases de datos Thomson Reuters se convierten en bazas fundamentales para los evaluadores, pero, al mismo tiempo, los hace dependientes de un producto extremadamente caro para la mayor parte de los países, con muchas limitaciones científicas, con un sesgo geográfico y lingüístico demostrado y, sobre todo, inválido y desconsiderado para la actividad científica desarrollada en las Humanidades y también en algunas Ciencias Sociales. El trasfondo económico y político Muchos investigadores se refieren al círculo vicioso de las citas. Parece haber plena consciencia de que el factor de impacto se ha transformado en un juego27, en el que las citas se emiten y reciben no por razones estrictamente científicas, sino por multitud de motivaciones que podrían resumirse en la necesidad de tener publicaciones muy citadas o con alto factor de impacto para ser evaluados positivamente. Sin duda, la hegemonía de este indicador en los procesos de evaluación, el poder que se le atribuye, el hecho de que sea un eje fundamental en las instituciones que hacen evaluación científica y el mal uso que se hace del mismo han contribuido a que se hayan extendido las malas prácticas. Puede interpretarse como un fenómeno adaptativo o un proceso de acción/reacción, pero la simple evidencia de que el indicador está siendo manipulado, mal interpretado y mal utilizado debería hacer replantearse su uso en la evaluación científica. En realidad esta manipulación puede darse en cualquier ámbito, y en el científico hay numerosos precedentes. Uno

27 The PLoS Medicine Editors. (2006). “The impact factor game”. PLoS Med 3 (6). DOI: e291 doi:10.1371/journal.pmed.0030291.

Gimenez_Malestar.indb 70

04/12/2016 17:26:35

El controvertido valor de los indicadores de impacto

71

recientemente identificado es el de Google Scholar28, pero también se dan cuando la evaluación de las publicaciones no es automática y atiende a otros criterios. Así, por ejemplo, en todos los años en los que el grupo EPUC29 ha evaluado revistas científicas españolas, ha podido ver cómo algunas revistas introducían cambios de la noche a la mañana para cumplir un indicador que estaba siendo evaluado; cambios que no son fáciles de conseguir ni en meses, como los que afectan a la estructura de los consejos de redacción o a los comités científicos. Cuando las fuentes que suministran este tipo de indicadores de impacto son producidas por empresas gigantes, con un destacado liderazgo y de enorme influencia en el mundo entero, es inevitable —de hecho, resultaría tremendamente ingenuo— cuestionarse hasta qué punto esos indicadores son independientes o no responden a intereses específicos o, sobre todo, por qué ejercen esa influencia sobre muchos gobiernos del mundo que tienen como eje de sus procesos de evaluación científica los productos de información científica que generan estas empresas. Teniendo en cuenta las severas críticas que ha recibido el factor de impacto y los efectos perversos que genera su aplicación y, sobre todo, considerando que esas críticas no son opiniones, sino que proceden de multitud de estudios científicos, publicados en revistas revisadas por especialistas, cabe preguntarse cómo es posible que la Web of Science y el factor de impacto sigan siendo hegemónicos en la evaluación científica. Puede deberse a una cuestión pragmática: el indicador permite evaluar grandes cantidades de producción científica y, aunque tiene limitaciones, es eficiente en ese sentido. Podría deberse también a una desconexión entre políticos y científicos, sin duda; es decir, una falta de transmisión desde los bibliómetras o especialistas en evaluación hacia los políticos en los conocimientos que muestran las deficiencias de esa fuente y de ese indicador para evaluar la actividad científica, especialmente la de algunas disciplinas. O, en otro sentido, una falta de atención de los políticos hacia las evidencias 28 Delgado López-Cozar, E.; Robinson-García, N.; Torres Salinas, D. (2012). “Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting”. EC3 Working Papers 6: 29. May. 29 Grupo de Investigación de Evaluación de Publicaciones Científicas del CSIC, que en 2014 cambió sus objetivos y su nombre al actual Grupo de Investigación sobre el Libro Académico (ÍLIA).

Gimenez_Malestar.indb 71

04/12/2016 17:26:35

72

Los investigadores ante su evaluación

científicas que se les muestran. Pero, independientemente de que algunos de estos factores se conjuguen, no hay que perder de vista el liderazgo que la WoS tiene en el ámbito de la información científica, su fortísima posición en el mercado y, desde luego, su influencia en las decisiones de la política científica. Todo ello va mucho más allá que los argumentos científicos que desaconsejan el uso de estas herramientas o que aconsejan utilizarlas de otro modo, especialmente en algunas disciplinas sociales o humanísticas. Para entender este liderazgo baste señalar acciones estratégicas de Thomson Reuters como la creación del Chinese Science Citation Index30, la certificación oficial a bibliotecarios de la Universidad estatal de San Petesburgo para que formen bien a sus usuarios en el acceso a la WoS31 o el acuerdo con el Gobierno de Letonia que, según afirma la nota de prensa32, “will bring greater visibility to Latvia’s scientific research effort”; aunque quizá una de las más destacadas en este campo de la evaluación científica sea su acuerdo con Google, para interconectar informaciones que ambas empresas tienen33. A su línea de negocio “Scholarly & Scientific Research34” la acompañan otras muy significativas: agencia de noticias, finanzas, propiedad intelectual, farmacia y ciencias de la vida o impuestos35. No es, en definitiva, una empresa dedicada solo a la información científica. Su influencia está fuera de toda duda, como lo está también la de Elsevier. Ambas bases de datos —WoS y Scopus— son, incuestionablemente, importantes fuentes de información científica. Recogen una parte importante de la producción científica del mundo y, en ese sentido, las licencias nacionales que suscriben los gobiernos cumplen la función de dar acceso a esa literatura científica a todos los investigadores de universidades y centros de investigación de ese país. No obstante, desde que las bases de datos existen, las instituciones —con sus limitados presupuestos— siempre han tenido que elegir, siempre han tenido que seleccionar la base de datos con 30

http://thomsonreuters.com/chinese-science-citation-database/. http://thomsonreuters.com/press-releases/122013/Russia-Web-of-Science-Certification. 32 http://thomsonreuters.com/press-releases/02-2015/latvia-advances-research-impact. 33 http://wokinfo.com/googlescholar/. 34 http://thomsonreuters.com/ (Products & Services). 35 Tom H. (SURF Foundation) señalaba la cifra de beneficios de Thomson Reuters: 600 millones de dólares. 31

Gimenez_Malestar.indb 72

04/12/2016 17:26:35

El controvertido valor de los indicadores de impacto

73

más y mejor información para sus usuarios potenciales, descartando otras. Esa elección debería cobrar aún más sentido cuando las licencias de acceso a bases de datos son de alcance nacional, es decir, sirven para toda la comunidad académica, y, sobre todo, cuando alcanzan cifras exageradamente altas. En el caso español, la FECYT36 paga anualmente no solo la licencia a Thomson Reuters (4.059.600 dólares en 2012), sino también a Elsevier (1.548.066 euros en 2012). El acceso a la información científica, sin embargo, no puede desvincularse de los indicadores y las fuentes que se utilizan en la evaluación científica. Se suscribe el acceso a las dos bases de datos más grandes del mundo que, además, son referencia casi ineludible —especialmente la primera— en los procesos de evaluación de investigadores e instituciones académicas. Cuando en 2008, Thomson Reuters amplió la cobertura de revistas en Web of Science, incluyendo 700 títulos regionales, la FECYT tenía una marcada línea de trabajo hacia la “internacionalización de revistas españolas”. De hecho, ese fue uno de los motores del aún vigente proyecto ARCE. Uno de los documentos de trabajo generados por la Fundación señala como objetivo del proyecto: Favorecer la visibilidad y posicionamiento de la producción científica e investigadora española con alcance internacional es la actividad prioritaria que da fundamento a la gestión de la licencia nacional de la Web of Knowledge37.

A este párrafo le sigue inmediatamente otro relacionado con el sustancial aumento de revistas españolas cubiertas por WoS de un año para otro: de 72 títulos indexados se pasó, en un solo año, a 173. Coincidió en el tiempo la preocupación de la FECYT por la entrada de revistas españolas en WoS y la ampliación de la cobertura anunciada por Thomson Reuters. Y aquella confluencia de factores, a la que acompañaba la licencia nacional de acceso 36 Resolución de 17 de septiembre de 2012, de la Secretaría General Técnica, por la que se publican las cuentas anuales de la Fundación Española para la Ciencia y la Tecnología del ejercicio 2011. http://www.boe.es/boe/dias/2012/10/04/pdfs/BOE-A-2012-12404.pdf - See more at: http://www.thinkepi.net/revistas-cientificas-2012-trilogia-reflexion-accion#sthash. gaj2drYF.dpuf. 37 FECYT. Análisis de la presencia de revistas científicas españolas en el JCR 2010. http:// www.revistacomunicar.com/pdf/2012-03-revistas-jcr-2010.pdf.

Gimenez_Malestar.indb 73

04/12/2016 17:26:35

74

Los investigadores ante su evaluación

a la WoS, tuvo sus frutos. Tomando los datos de Wu et al.38 la región más beneficiada en la ampliación de cobertura emprendida por WoS fue Europa, de la que se incluyeron 364 revistas de un total de 700. Dentro de Europa, y atendiendo ahora a los datos proporcionados por la FECYT39, España se sitúa a la cabeza en el incremento porcentual de revistas en 2009 y en segunda posición en 2010. Las cifras hablan por sí solas. España tuvo un papel destacado en esa ampliación y resulta inevitable preguntarse por las razones. La acción de la FECYT debía interpretarse como un apoyo gubernamental a las revistas nacionales de calidad; pero si en un proceso de ampliación hay unos países que se benefician más que otros (con la entrada de revistas, en este caso), todo parece indicar que no hay solo selección basada en la calidad, sino también capacidad de negociación. Y eso escapa a los criterios técnicos que tratan de marcarse en la evaluación de revistas científicas. Centenares de artículos en revistas especializadas (Scientometrics, Research Evaluation, Journal of the American Society for Information Science and Technology, etc.) llevan poniendo de manifiesto las evidentes limitaciones que tienen la Web of Science y Scopus como fuentes que se emplean en evaluación científica, el factor de impacto, el índice h y el SJR como indicadores para evaluar la investigación publicada, las diferencias de valores utilizando unas u otras fuentes40, las diferencias entre coberturas de revistas por parte de las principales bases de datos41 y la necesidad de combinar indicadores cuantitativos con los cualitativos para poder realizar una evaluación precisa. Estas evidencias han sido especialmente notables y sobradamente documentadas en el ámbito de las Humanidades y de las Ciencias Sociales.

38 Wu, Xiu-fang; FU, Qiang & Zhang, Yue-hong. “How many Chinese journals area included in the newly indexed 700 regional journals on Web of Science?”. Journal of Zhejiang University. http://eprints.rclis.org/11887/1/A080719--E-LIS.pdf. 39 Idem. 40 Bar-Ilan, J. (2008). “Which h-index? - A comparison of WoS, Scopus and Google Scholar”. Scientometrics, 74 (2), 257-271. 41 Hicks, D., y Wang, J. (2011). “Coverage and overlap of the new social sciences and humanities journal lists”. Journal of the American Society for Information Science and Technology, 62 (2), 284-294.

Gimenez_Malestar.indb 74

04/12/2016 17:26:36

El controvertido valor de los indicadores de impacto

75

La cobertura de las fuentes La expresión producción científica parece traducirse casi de manera automática, en la actualidad, por artículos científicos publicados en revistas recogidas por la Web of Science o por Scopus. Al menos es así cuando se habla de producción científica vinculada a la evaluación o a los avances en ciencia en I+D. Sin embargo, es esta una interpretación reduccionista, pues la producción científica real es muchísimo más amplia. Los artículos científicos que no se publican en revistas WoS o Scopus, sino en revistas nacionales, de carácter más local, en idiomas distintos al inglés, es enorme. Y es particularmente importante en el caso de las Humanidades y las Ciencias Sociales. Pero además hay que sumar la vasta producción publicada en forma de libros o de actas de congresos, por citar solo las más regladas, o no consideradas literatura gris. Por tanto, si se trata de evaluar la producción científica en su conjunto, resultaría fundamental consultar distintas bases de datos, que difieren en su cobertura de revistas y de otro tipo de documentos, para poder garantizar una evaluación del todo y no de la parte.

Figura 2. Revistas españolas de Humanidades y Ciencias Sociales indexadas. Fuente: elaboración propia a partir de los datos G.I. EPUC (2012).

Gimenez_Malestar.indb 75

04/12/2016 17:26:36

76

Los investigadores ante su evaluación

En la encuesta que da origen a este libro, se pedía a los investigadores que valoraran la calidad científica de las revistas de su especialidad. Para facilitar la cumplimentación de la encuesta, se les ofrecía un listado amplísimo de revistas, obtenidas precisamente de las principales bases de datos (además, tenían la opción de añadir los títulos que quisieran para valorarlos). Pero si se ofrece este detalle en este apartado es porque uno de los comentarios más habituales entre quienes contestaron la encuesta es que faltaban títulos de revistas de su especialidad. Faltaban porque eran revistas de ámbito nacional o local no españolas42, no demasiado interesantes para las bases de datos internacionales y, por tanto, no cubiertas. O faltaban porque no eran publicaciones en inglés, sino en idiomas minoritarios en ciencia. Es esta una manera de mostrar que no solamente los bibliómetras advierten de las limitaciones en la cobertura de revistas para Humanidades y Ciencias Sociales, sino que cuando los propios investigadores observan los listados de revistas indexadas por esas bases de datos, detectan inmediatamente huecos en las revistas de su especialidad. Al hilo de la mencionada encuesta y de algunos procesos de evaluación por los que estaban pasando, algunos de los asiriólogos y egiptólogos más reconocidos en España se pusieron en contacto con la autora de este libro. El problema que pusieron de manifiesto es compartido con otras disciplinas de las Humanidades y las Ciencias Sociales: muy pocas de las revistas que juzgan más valiosas científicamente son consideradas positivamente por las agencias o las instituciones que llevan a cabo procesos de evaluación. Así, de las veintitrés revistas de Asiriología que señalaron estos especialistas como las de referencia a nivel mundial, solo cuatro están recogidas en Web of Science, siete en Scopus y/o SJR y once en ERIH. Algo parecido sucede con las revistas de Egiptología: de las veintidós revistas identificadas por reconocidos especialistas, solo una está recogida por la Web of Science (Journal of Egyptian Archaeology), ocho están recogidas en Scopus y/o SJR y ocho están en ERIH. Estos datos son solo una muestra más de que incluso combinando el uso de las tres fuentes (WoS, Scopus y ERIH) para evaluación no se podría realizar una evaluación justa, pues quedan fuera revistas de alta calidad. Lo grave es, sin embargo, que ni siquiera se utilizan conjuntamente las tres fuentes, sino 42

Gimenez_Malestar.indb 76

Las españolas estaban cubiertas casi íntegramente.

04/12/2016 17:26:36

El controvertido valor de los indicadores de impacto

77

que, a menudo, los procesos de evaluación están basados en el uso de una (WoS) o, en el mejor de los casos, de dos (WoS y Scopus), con una tasa de solapamiento de revistas entre ambas bases de datos considerable. Más allá del factor de impacto La cita, con todos los sesgos apuntados, se inscribe en el impacto que una investigación tiene dentro de la propia comunidad científica, en la influencia de un autor sobre otro autor. Como ya se ha apuntado, este recuento de citas o impacto está expuesto a multitud de variables, vaivenes, manipulaciones y actuaciones de los lobbies. Las medidas de impacto pueden ser calculadas y refinadas, de forma que metodológicamente sean más correctas para la evaluación científica y, por tanto, más aceptadas. Sin embargo, el énfasis, quizá, debiera ponerse en otro plano: en el de las aportaciones reales de la investigación a la sociedad. Cuando se investiga se busca resolver un problema, no ser reconocido por la comunidad científica (aunque esto pueda ser una consecuencia derivada). Teniendo esto en cuenta, es el impacto social de los resultados de investigación lo que debería perseguir el investigador y lo que debería evaluar el evaluador. Y ese terreno está aún por explorar. Aunque ya hay líneas de investigación específicas sobre el impacto social de la investigación e incluso algunas agencias como la CNEAI que contemplan expresamente el perfil del investigador que transfiere resultados de investigación43, lo cierto es que aún hay mucho que trabajar en este sentido y que está todavía lejos el momento en el que este tipo de impacto —que debería ser el prioritario— destaque sobre el impacto científico.

43 Campo 0. Transferencia del Conocimiento en Innovación. Véase http://www.boe.es/ boe/dias/2014/12/01/pdfs/BOE-A-2014-12482.pdf, página 98218.

Gimenez_Malestar.indb 77

04/12/2016 17:26:36

Gimenez_Malestar.indb 78

04/12/2016 17:26:36

Capítulo 3

El libro científico en las Humanidades y Ciencias Sociales

Si hubiera que destacar una idea fundamental, constante y unánime como conclusión del estudio abordado, esa sería sin duda alguna la necesidad de devolver al libro su lugar y su protagonismo en la transmisión de resultados de investigación en las Humanidades y en las Ciencias Sociales, pero, sobre todo, su valor en los procesos de evaluación. Los investigadores se refieren incansablemente a este asunto, no solo en este estudio, sino en cualquier tipo de discusión científica que tenga como trasfondo la evaluación de la investigación. Consideran inadecuado e injusto que tengan más peso los artículos de revistas indexadas que los libros. Reivindican el valor de los libros frente a otros canales de comunicación y reclaman la realización de estudios para determinar la calidad de las monografías. En la reivindicación de los libros se percibe con claridad un descontento generalizado por su sistemática infravaloración. También se hacen constantes llamamientos a considerar que cada disciplina tiene sus propias formas de investigar y sus propias formas de publicar, por lo que también debería tener sus propias formas de evaluación. A pesar de que los criterios de evaluación son muy diferentes entre áreas, en las distintas agencias de evaluación, sí que es cierto que en el fondo subyace la idea de que lo realmente importante son las publicaciones indexadas en WoS y que el modelo de evaluación imperante para las Humanidades y las Ciencias Sociales es una adaptación —insatisfactoria— del modelo de las Ciencias Exactas, Naturales y Experimentales. No resulta extraño que sea así, pues el libro, que ha sido el medio natural y fundamental de transmisión de conocimiento durante siglos y que se concibe

Gimenez_Malestar.indb 79

04/12/2016 17:26:36

80

Los investigadores ante su evaluación

como la “piedra angular de nuestro pensamiento”1, ha quedado relegado a una segunda posición tras las revistas científicas en los sistemas de evaluación de la actividad científica. La percepción de los investigadores participantes —común en todo tipo de foros científicos— es que existe una fuerte contradicción entre el valor que ellos mismos asignan a los libros como fuente de información y canal de comunicación y el valor que les asignan las agencias de evaluación. Un dato que resulta sorprendente sobre este asunto es que las medidas habituales que se utilizan para describir el nivel científico de un país, incluso en herramientas que sirven para evaluar el Plan Nacional de Investigación como los informes de la FECYT2, están relacionadas con el número de artículos recogidos en las principales bases de datos y con el número de citas recibidas3. El libro científico y su telón de fondo —las Humanidades— permanecen absolutamente olvidados entre los indicadores científicos de un país. Dato suficientemente expresivo como para reflexionar. Más aún teniendo en cuenta cómo en países europeos como Bélgica, Dinamarca o Noruega, el peso otorgado al libro frente al artículo es mucho mayor, en proporciones que llegan a alcanzar el 5 a 14. Para muchos investigadores la publicación en revistas o en otros medios distintos al libro es totalmente ajena no solo a sus hábitos —que siempre pueden cambiar—, sino, sobre todo, a la naturaleza de la investigación que están desarrollando. La evaluación basada prioritariamente en la publicación de artículos de revista es identificada como una imposición derivada del modelo que se aplica y se acepta en las Ciencias Naturales, Exactas y Experimentales. No es una práctica exclusiva de España, sino que se da en muchos países de nuestro entorno. Aunque hay países en los que se ha cuestionado el modelo y se han propuesto soluciones, en otros se siguen sobrevalorando los artículos de revista en detrimento de los capítulos de libros y de los libros. 1 Domingo Baguer, I. (2013). Para qué han servido los libros. Zaragoza: Prensas de la Universidad de Zaragoza, 81. 2 Indicadores del Sistema Español de Ciencia, Tecnología e Innovación 2013. (2013). Madrid: FECYT. 3 http://www.elmundo.es/elmundo/2013/02/04/ciencia/1360005317.html. 4 Así se observó en el trabajo Giménez Toledo, E., Mañana-Rodríguez, J., Engels, T., Ingwersen, P., Polonen, J., Sivertsen, G. y Zuccala, A. A. (2015). “The Evaluation of Scholarly Books as Research Output. Current Developments in Europe”. En: Proceedings of the 15th Conference on Scientometrics & Informetrics. Istambul: ISSI.

Gimenez_Malestar.indb 80

04/12/2016 17:26:36

El libro científico

81

Marcel Gauchet, profesor de L’École des Hautes Études en Sciences Sociales (EHESS), apuntaba estas mismas ideas en una entrevista concedida a Le Monde5, cuando era director de estudios de la escuela: Alors que les questions posées par les modalités de l’évaluation sont très complexes, puisqu’elles sont inséparables d’une certaine idée de la connaissance, elles ont été réglées de manière expéditive par l’utilisation d’un modèle émanant des sciences dures. Ces grilles d’évaluation sont contestées jusque dans le milieu des sciences dures pour leur caractère très étroit et leurs effets pervers. Mais, hormis ce fait, ce choix soulève une question d’épistémologie fondamentale : toutes les disciplines de l’université entrent-elles dans ce modèle ? Il y a des raisons d’en douter. Ce n’est pas un hasard si les sciences humaines ont été en pointe dans le mouvement. Il s’agit pour elles de se défendre contre des manières de les juger gravement inadéquates. L’exemple le plus saillant est la place privilégiée accordée aux articles dans des revues à comité de lecture qui dévalue totalement la publication de livres. Or pour les chercheurs des disciplines humanistes, l’objectif principal et le débouché naturel de leur travail est le livre. On est en pleine impasse épistémologique.

Algunos investigadores participantes señalan, con toda la lógica, que el peso del libro en Humanidades y Ciencias Sociales debería ser el equivalente al peso de las revistas en Ciencias Exactas y Naturales. Si bien los libros y los capítulos de libros son considerados como un tipo de publicación posible o esperada en los comités de Humanidades y Ciencias Sociales de las agencias de evaluación, lo cierto es que tiene un peso específico relativamente pequeño si se compara con los artículos de revistas indexadas. Además, en el discurso general, cuando se habla de evaluación de la actividad investigadora, los libros tienden a quedar marginados, en un plano secundario, mientras se da un protagonismo a las revistas científicas que realmente no tienen o no es percibido como tal en estas áreas. Baste consultar algún informe sobre resultados de la investigación en España o las frecuentes noticias de prensa en las que se trata del nivel de la investigación de nuestro país para darse cuenta de que la unidad de medida, lo que se utiliza para establecer el nivel científico de un país, es el número de artículos (WoS) y el número de citas que se reciben. Esto se justifica, en parte, 5 Entrevista a Marcel Gauchet. Le Monde, 22 de abril de 2009. http://www.lemonde. fr/societe/article/2009/04/22/marcel-gauchet-l-autonomie-veut-dire-la-mise-au-pas-des-universitaires_1183753_3224.html.

Gimenez_Malestar.indb 81

04/12/2016 17:26:36

82

Los investigadores ante su evaluación

por la inmediata disponibilidad de estos datos a través de las fuentes internacionales que existen, pero su uso sistemático contribuye a hacer invisible la investigación que se publica a través de los libros: fundamentalmente la que se hace en Humanidades y Ciencias Sociales. Según datos que ofrece la CRUE6 sobre la producción científica de la Universidad española en 2010, el 52% de lo que se publicó en Humanidades y el 40% de lo que se publicó en Ciencias Sociales eran libros o capítulos de libros. El porcentaje se reduce a un 10% en el caso de Ciencias de la Salud, lo que permite ver la enorme diferencia que hay en los patrones de comunicación científica. 16000 Libros

Capítulos

Arculos rev españolas

Arculos rev extranjeras

13658

14000

12000

10000

8000

7538

7411

7504 7061 6188

6000 5005

4895 4000

3251 2868 2432

2730

2556

2544 2054

1562

2000

899

548

382

0 Artes y Humanidades

Ciencias Sociales y Jurídicas

Ciencias

Ciencias de la Salud

Ingeniería y Arquitectura

Gráfico 1. Distribución de la producción científica de la Universidad española en 2010 según áreas científicas. Elaboración propia a partir de datos de la CRUE7.

6 7

Gimenez_Malestar.indb 82

La universidad española en cifras 2012 (2012). Madrid: CRUE, 38. Idem.

04/12/2016 17:26:36

El libro científico

83

La parte de la investigación humanística o social transmisible a través de revistas —de manera no forzada, sino natural— es pequeña en comparación con la que puede transmitir a través de libros. Y eso significa que la mayor parte de la producción científica en estas disciplinas, aquella que se publica en libros, se encuentra con más problemas para ser reconocida o justamente valorada. Si bien algunas agencias de evaluación asignan pesos superiores a la publicación de libros en las Humanidades que a la publicación de libros en otras áreas científicas, lo que se percibe a partir de la lectura de los comentarios de los investigadores es que el libro está infravalorado. En las propias equivalencias cuantitativas que tratan de hacerse entre un libro y una revista, se observa un fuerte desequilibrio que perjudica al libro. Las causas de esa infravaloración son varias. Por una parte, no cabe duda de que disponer de indicadores para revistas que permiten cuasi automatizar los procesos de evaluación simplifica mucho la tarea de los evaluadores y la agiliza, variable importante cuando los procesos de evaluación son regulares y tienen lugar cada poco tiempo. La práctica imposibilidad de abordar la evaluación cualitativa de libros y, por otra parte, la escasez de indicadores o la ausencia de procedimientos claros u objetivos para la evaluación de los libros tampoco ayudan en la práctica de los procesos de evaluación científica; como consecuencia de esto, se diluyen paulatinamente hasta desaparecer en el discurso las referencias a la relevancia y el valor de los libros en los procesos de evaluación. Entre científicos de distintas disciplinas, existe también una preocupante falta de conocimiento mutuo o un enjuiciamiento del otro falto de fundamentos, lo que tiene repercusiones en la definición de los modelos de evaluación. Los ejemplos que siguen a continuación no son ficticios y no representan solo una opinión, sino, más bien, los distintos posicionamientos que se dan sobre este asunto en la academia. Estos ejemplos, emparejados intencionadamente para recalcar su oposición, pretenden dar cuenta del juicio de valor sobre los otros investigadores que, tan a menudo, se da en el mundo académico. En todos los comentarios puede haber algo de verdad, pero el matiz en cuestiones de evaluación —como en todo— es determinante. No es raro escuchar, de una parte, que la contribución que realmente vale es el artículo publicado en revistas de primer cuartil porque pasa por unos filtros muy exigentes y, de otra, que lo que se publica en esos artículos son trabajos

Gimenez_Malestar.indb 83

04/12/2016 17:26:36

84

Los investigadores ante su evaluación

con estudios cuantitativos replicados una y otra vez; que la publicación de libros está favorecida por los contactos que se tengan en las editoriales o, en el lado opuesto, que la revisión por la que pasan los manuscritos en las editoriales extranjeras es mucho más rigurosa que la de muchas revistas; o que la redacción de un libro exige un trabajo continuado y a largo plazo en contraposición con quienes piensan que alguien que tarda dos o tres años en escribir un libro es, simplemente, un investigador improductivo. Todo ello denota —además de la clásica y perniciosa crítica entre semejantes dentro de la academia— un profundo desconocimiento de los patrones de trabajo científico en disciplinas que no son la propia. Pero también denota un cierto maniqueísmo: la publicación en libros es mala, pero en revistas es buena; o la publicación en revistas internacionales es buena y en revistas nacionales es mala. Además de conocer las formas de investigar y publicar en cada disciplina para poder emitir con más fundamento juicios de valor, sería necesario adoptar una actitud más comprensiva hacia los métodos de trabajo de los otros. En muchas de las afirmaciones que se hacen en torno a la evaluación casi siempre se observa un afán por defender lo propio atacando lo ajeno. Con algo de conocimiento, algunas dosis de comprensión y con cierta flexibilidad, la academia podría aprender mucho y ayudar a construir un sistema más justo de evaluación para todos. El canal condiciona el contenido Cuando el sistema de evaluación gira en torno a la publicación de artículos de revistas, se minusvaloran otro tipo de canales de comunicación y, además, el modelo persiste y cala en la comunidad académica, surge el riesgo inevitable de que los investigadores opten por adaptarse a las reglas del juego y responder de la mejor manera posible a lo que exigen las agencias de evaluación, a lo que cuenta8 en los procesos de evaluación. De este modo, el patrón natural de comunicación científica va variando forzadamente. Los 8 Verbo utilizado muy certeramente, junto con la expresión “radicalismo numerológico” por Ana María Cetto en la conferencia inaugural: Scholarly Journal Publishing in the Open Access era: What is it that Counts? III PKP Conference. México D. F., UNAM, 19-21 de agosto de 2013.

Gimenez_Malestar.indb 84

04/12/2016 17:26:37

El libro científico

85

investigadores que publicaban libros intentan publicar más en revistas, con el consiguiente cambio de la naturaleza de lo que publican. También quienes publicaban en español, en gallego o en catalán para llegar a sus lectores naturales se sienten presionados para publicar en inglés y publican en inglés, lo que se traduce además en un cambio de lo que se publica; los contenidos que resultan interesantes para una revista nacional no son los mismos que para una revista internacional, entre otras muchas cosas porque tienen audiencias diferentes. Y cada vez se ve con más frecuencia cómo los investigadores eligen publicar en revistas que, no siendo las de referencia en su especialidad sino generalistas, cumplen con la condición de estar en el primer cuartil de los Journal Citation Reports. En este caso se sacrifica la especialización y, en cierto modo, se pierden lectores potencialmente interesados en la investigación de un autor. Este cambio en los patrones de comunicación científica, documentado en algunos estudios9 y provocado involuntariamente por los sistemas de evaluación, debe interpretarse no solo como un cambio de forma en la comunicación sino, sobre todo, como un cambio de fondo. La naturaleza de cada disciplina predetermina el canal de comunicación; resulta difícil imaginar una Historia de España o una biografía de un compositor fraccionada y publicada en artículos de revistas, como también resulta improbable que las conclusiones de un estudio clínico sean expuestas en una monografía. Cada tipo de investigación tiene sus propios métodos, su manera de exponer y presentar resultados y sus requerimientos. El libro da a las disciplinas científicas espacio para exponer con detalle, para contrastar, para analizar y establecer relaciones, para recoger las voces de otros autores y discutirlas, para reproducir imágenes o mapas. El libro fue descrito por uno de los investigadores participantes como el “único vehículo eficaz para recopilar las imprescindibles síntesis”. Sirve para publicar la investigación fundamental en Humanidades, Ciencias Sociales y Jurídicas. Pero no se trata solo de lo

9 Weingart, P. (2005). “Impact of bibliometrics upon the science system: Inadvertent consequences?”. Scientometrics, 62 (1), 117-131; Kyvik, S. (2003). “Changing trends in publishing behaviour among university faculty, 1980-2000”. Scientometrics, 58 (1), 35-48; Engels, T. C. E., Ossenblok, T. L. B., y Spruyt, E. H. J. (2012). “Changing publication patterns in the social sciences and humanities, 2000-2009”. Scientometrics, DOI: 10.1007/s11192-012-0680-2.

Gimenez_Malestar.indb 85

04/12/2016 17:26:37

86

Los investigadores ante su evaluación

que el libro da o representa para estas disciplinas, sino también de lo que las revistas científicas no les dan. Como apuntan algunos participantes del ámbito de la Filosofía del Derecho, a veces se unen dos circunstancias: el interés local o regional del tema de investigación no permite publicarlo en revistas extranjeras y, por otra parte, no existen revistas españolas de la especialidad donde publicar esos resultados. Las revistas científicas, que son el eje de la evaluación científica, son también un medio limitado para transmitir los resultados de investigación en algunos campos. En proyectos de investigación grandes, ambiciosos, con una fuerte cohesión entre los subtemas, el libro es un canal mucho más adecuado para la publicación de resultados que las revistas, que obligan a fragmentar o seccionar la investigación, sacándola del contexto en el que mejor se entiende. El libro de investigación requiere tiempo de elaboración; un tiempo quizá más permitido en las Humanidades y en las Ciencias Sociales, y más penalizado en las Ciencias, en las que la inmediatez para comunicar los resultados es obligada (aunque no todos los resultados son de comunicación urgente). Algunos de estos asuntos fueron tratados por Nature en un artículo editorial que concentra en pocas líneas ideas importantísimas sobre el libro como medio de difusión, entre otras: Rather than limit scientific discourse to curt journal papers, researchers should embrace the book as another means of expressing not only their insights but also their visions. Through the various styles of writing, all aspects of science can be explored and laid out for posterity and learning. The expansiveness of a book allows sophisticated arguments to be put forward and widely debated; new ideas that cross disciplinary boundaries can more readily be shared and worked through10.

Algunos humanistas participantes en el estudio señalaron que las mayores aportaciones y las más duraderas se publican en forma de libro en las Humanidades. El director europeo de Princeton University Press mencionaba también esta idea esencial al criticar, con muchos argumentos, los efectos

10 “Back to books”. Nature, 463, 588 (4 February 2010) | DOI:10.1038/463588a; Published online 3 February 2010.

Gimenez_Malestar.indb 86

04/12/2016 17:26:37

El libro científico

87

negativos del anterior Research Assessment Exercise11 sobre la publicación de libros. Pero también se refería al pragmatismo de la evaluación de artículos que aparta, de algún modo, a los libros: There are understandable reasons for the obsession with journals: articles are peer-reviewed (though so, too, are academic books in my experience), a good clutch of articles can be produced within the period of the assessment, journals are “ranked” and there is a whole industry associated with measuring journal prestige (though some recent work on citations by the economist Andrew Oswald casts doubt on the reliability of this as a true measure). Scientific journals can sometimes publish more quickly than a book publisher. The journal article is therefore a handy unit of measurement12.

Al defender el libro como canal de comunicación, se suele defender también calidad frente a cantidad. Los investigadores que aportaron su opinión le otorgan mucho más valor a una sola obra cohesionada y completa (el libro) que a muchos y parciales —en el sentido de que abordan solo una faceta del objeto de estudio— artículos. Así lo expresaba uno de ellos: Ahí donde abundan las contribuciones individuales y no colectivas, y donde los artículos son más largos, el factor de impacto exige períodos aún más largos de maduración. El debate [científico] se produce entre autores y no entre equipos, y el simple proceso de digestión, discusión, escritura, evaluación y publicación puede llevar fácilmente tres años o más incluso en aquellos casos de debate más intenso. Sólo las reseñas —para los libros— anticipan el debate académico, pero ni se valoran las reseñas ni se valoran los libros.

Parece, por tanto, que tanto editores como investigadores de estas áreas se sienten insatisfechos con la ausencia de reconocimiento del libro en los procesos de evaluación, pretenden devolverle el protagonismo que tiene en las disciplinas sociales y humanísticas y defienden su rol con multitud de argumentos. Quizá dé el libro una de las batallas que aún no está perdida

11

http://www.rae.ac.uk/. Baggaley, Richard. (2007). “How the RAE is smothering ‘big idea’ books”. Times Higher Education. http://www.timeshighereducation.co.uk/209113.article. 12

Gimenez_Malestar.indb 87

04/12/2016 17:26:37

88

Los investigadores ante su evaluación

en evaluación científica. No estará exenta, sin embargo, de los mismos problemas que han acuciado a las revistas científicas: los intentos de los grandes grupos empresariales por monopolizar la generación de indicadores de libros, arraigarse profundamente en las políticas científicas de los distintos países y favorecer la automatización de las evaluaciones, traduciendo mecánicamente un indicador en el valor de una investigación. Todo ello, tras décadas de estudios científicos que han criticado la evaluación de las Humanidades y Ciencias Sociales basada únicamente en indicadores de producción e impacto de artículos de revistas y han reclamado la valoración del libro para conocer más certeramente la investigación que se realiza en estas disciplinas13. Diferentes géneros, diferentes sistemas de evaluación El magnífico estudio de Clemens14 y otros autores presenta claramente las revistas y los libros como dos géneros diferentes que dan cabida a temas y a autores distintos. Su estudio, realizado en el campo de la Sociología, analiza muy expresivamente esa relación existente entre el medio y el contenido, la forma en la que el primero condiciona el segundo y, por tanto, la elección del medio que hace cada autor ante el trabajo que ha culminado. Pone de manifiesto la diferente naturaleza de las investigaciones y de los textos a los que da lugar, aun dentro de una misma disciplina. Incluso relaciona el estatus de los investigadores con el tipo de publicaciones que generan, identificando las revistas como el canal de los investigadores más jóvenes y reservando los libros para los más consagrados. Una diferencia sustancial entre la publicación de libros y la publicación de revistas es el proceso de selección de originales. La revisión por expertos es el método más asentado en revistas científicas, aunque no está exento de controversias. Muchas han sido ya descritas en la literatura y tienen que ver con la penalización a autores jóvenes, con el aprovechamiento de las ideas 13 Giménez Toledo, E. y Torres Salinas, D. (2011). “Book citation index: una nueva historia (adaptada) sobre big science y little science”. http://www.thinkepi.net/book-citationindex-una-nueva-historia-adaptada-sobre-big-ccience-y-little-science. 14 Clemens, E. et al. (1995) “Careers in Print: Books, Journals, and Scholarly Reputations”, American Journal of Sociology, 101: 433-94.

Gimenez_Malestar.indb 88

04/12/2016 17:26:37

El libro científico

89

contenidas en los originales por parte de los evaluadores o con la censura interesada que puedan llevar a cabo algunos de ellos cuando los originales están identificados15. Los evaluadores que trabajan para las revistas son elegidos por editores o comités editoriales que, de alguna manera, están marcando el rumbo de la ciencia, pues ellos deciden quién evalúa originales, a quién se evalúa (y a quién se excluye), qué temas se evalúan y qué temas se excluyen. Uno de los investigadores participantes en este estudio expresaba lo siguiente: “Los comités editoriales, sobre todos los de revistas internacionales, tienden a canalizar por cauces bastante estrechos lo que se considera publicable o no, una estrategia que va contra el espíritu innovador de la ciencia”16. Si bien los sistemas de selección por expertos deberían suponer un filtro para la calidad de los artículos, que ayudaran a diferenciar los trabajos de más alta calidad frente al resto, lo cierto es que también se utilizan como filtro de selección de autores y temas. En este sentido, estarían representando un cierto freno al avance de la ciencia. También es verdad que, de no haber filtros —y estos han de ser siempre aplicados por especialistas—, habría mucho ruido, grandes cantidades de información no contrastada. Quienes evalúan también tienen capacidad de influir en el propio trabajo de investigación, pues en ocasiones se recomiendan giros o análisis que potencialmente beneficiarían a otros grupos o líneas de investigación, o bien se recomiendan referencias (coercive citations) que aumentan programadamente el impacto de otros autores. Por otra parte, aunque ha sido el sistema hegemónico utilizado durante décadas en la selección de originales de las revistas, 15 Shatz, D. (2004). Peer Review: a critical inquiry. Oxford: Rowman y Littlefield Publishers; House of Commons. Science and Technology Committee. (2012). Peer review in scientific publications. Eighth Report on Session 2010-2012. London: Parliamentary House of Commons; Campanario, J. M. (2002). “El sistema de revisión por expertos (peer review): Muchos problemas y pocas soluciones”. Revista Española de Documentación Científica, 25 (3): 166-184; Wenneras, C., y Wold, A. (2001). “Nepotism and sexism in peer-review”. Women, science, and technology. 46-52. 16 Kuhn ya se refirió a este fenómeno en su obra: Kuhn, T. S. (1977). The Essential Tension: Selected Studies in Scientific Tradition and Change. Chicago and London: University of Chicago Press. En ella describía precisamente la tensión entre control de la calidad y freno a la innovación. Los límites a la innovación también son objeto de estudio en Horrobin, D. F. (1990). “The philosophical basis of peer review and the suppression of innovation”. Jama, 263 (10), 1438-1441.

Gimenez_Malestar.indb 89

04/12/2016 17:26:37

90

Los investigadores ante su evaluación

puede hablarse ya de un cierto declive17, provocado no solo por ese bloqueo a parte de la ciencia que se hace, sino, sobre todo, porque el movimiento Open Access (OA) ha roto las barreras de acceso al conocimiento y es la propia comunidad científica la que está seleccionando (o podría seleccionar), de facto, lo que quiere leer y lo que no, lo válido de lo inválido, desde el punto de vista científico. A pesar de que son muchas las revistas OA que aplican filtros para lo que publican, existen muchas otras vías para comunicar directamente resultados de investigación. La falta de intermediación entre autor y lector tiene la ventaja de la inmediata accesibilidad a todo tipo de conocimiento, pero también el inconveniente de dejar al lector la valoración de cada uno de los textos que lee, el juicio sobre si es riguroso o no y, en definitiva, el contraste de la información, que tradicionalmente ha recaído en editores y evaluadores. El sistema de selección de originales en editoriales está mucho menos estudiado y documentado que el de las revistas científicas. Se sabe menos del cómo se seleccionan las obras y se sabe que una variable para decidir lo que se publica o lo que no es la comercial, al menos en editoriales de esa naturaleza; es decir, si una obra tendrá más o menos aceptación en el mercado. Esta es una variable que no se da, o al menos no de esta manera, en las revistas científicas. Los resultados de una encuesta realizada en 2010, que recababan la opinión de 3045 investigadores españoles en Humanidades y Ciencias Sociales, aportaron datos muy significativos sobre este aspecto18. Por una parte, aunque el paso más común, previo a la publicación, fue el del contacto del autor con la editorial para remitirle la obra (61,2% de los casos), destaca otro porcentaje: en un 55,4% de las ocasiones los autores fueron directamente llamados por el coordinador de una obra para encargarles la preparación de un capítulo. En otro 37,2% de las situaciones, fueron las propias editoriales las que se pusieron en contacto con los autores. Es decir, el libro por encargo es una fórmula utilizada con frecuencia en el sector editorial académico. El propio término

17 Ellison, G. (2011). “Is peer review in decline?”. Economic Inquiry, 49 (3), 635-657. DOI:10.1111/j.1465-7295.2010.00261.x 18 Giménez Toledo, E. et al. (2011). Categorización de publicaciones científicas de Ciencias Humanas y Sociales. Informe. http://hdl.handle.net/10261/89426.

Gimenez_Malestar.indb 90

04/12/2016 17:26:37

El libro científico

91

puede condicionar el juicio que se haga a priori sobre la calidad; sin embargo, quizá solo el resultado final debería ser objeto de este juicio. Otro dato relevante es que un 32% de los autores pensaban que la información aportada por las editoriales sobre su proceso de selección no era clara y otro 27% no tenían una opinión clara sobre el nivel de información ofrecido por la editorial. También es relevante el porcentaje de autores que declararon que solo algunas veces sus originales habían pasado por una revisión científica antes de ser publicados, que ascendía al 36%. Finalmente, y como dato claramente diferencial con respecto a las revistas científicas, el método de evaluación de originales que se identificó como más frecuente en las editoriales es el realizado por los comités de lectura (evaluación interna), señalado por un 44,9% de los investigadores, mientras que el de evaluación externa con un evaluador fue señalado por el 34,6% y el más extendido en las revistas científicas, la revisión por expertos, anónima, obtuvo el 27,4% de las respuestas. Un estudio reciente19 sobre el grado de transparencia de las editoriales en relación con sus procesos de selección concluye que son muy pocas (el 11,2% de las editoriales españolas analizadas) las que ofrecen información y detalles en ese sentido. La obra que se convertirá en libro entra en un proceso de selección distinto al de los artículos, en el que intervienen otras variables, lo cual implica también que los contenidos que serán publicados serán necesariamente distintos a los que acogen las revistas. Pero incluso en la preparación y redacción de un libro o de un artículo se producen muchas diferencias, más aún si se compara entre áreas. Un artículo de revisión en Ciencias Sociales no es comparable a uno descriptivo de la reacción de una mezcla de componentes químicos ni, desde luego, a un estudio cuantitativo derivado del desarrollo de una encuesta o del análisis masivo de datos. Libros y revistas conforman canales diferentes, posiblemente incomparables o con muchas dificultades para ser equiparados en los procesos de evaluación. En este sentido, resulta imprescindible darles el protagonismo o peso adecuados en los procesos de evaluación, distinguiendo la relevancia que cada tipo de publicación tiene en

19 Giménez Toledo, E., Fernández-Gómez, S., Tejada-Artigas, C., y Mañana-Rodríguez, J. (2014). “From Book Publishers to Authors: Information Transparency in Web Sites”. Journal of Scholarly Publishing, 46 (1), 71-88.

Gimenez_Malestar.indb 91

04/12/2016 17:26:37

92

Los investigadores ante su evaluación

cada disciplina y evitando crear esta ficticia dicotomía entre publicaciones de primer nivel y publicaciones de segundo en función, únicamente, del canal. Estas simplificaciones de la calidad de la investigación están relativamente extendidas, hasta tal punto que se enmarca también en la excepcionalidad de las Humanidades la reivindicación de un sistema de evaluación que considere más y mejor sus formas más habituales de producción científica y no las de otras áreas. El afán por generalizar cuando se habla de evaluación es notorio; solo puede entenderse desde el criterio práctico de aplicar un mismo procedimiento a todos los investigadores, lo que permite automatizar procesos y utilizar una o dos fuentes de información como mucho, o bien desde el criterio político/económico de apoyar las fuentes de evaluación que están fuertemente respaldadas por grandes corporaciones y que, al mismo tiempo, están siendo empleadas en muchos países del mundo. No homologarse a los otros países en cuestión de evaluación científica o ir contracorriente puede dar una señal confusa cuando se trata de competir internacionalmente en ciencia. Sin embargo, se da la paradoja de que en muchos países que son fuertes científicamente, que investigan en Humanidades y Ciencias Sociales y que además se comunican en idiomas distintos al inglés, está abierto el debate —que no siempre salta a la primera línea— sobre la necesidad de evaluar de otro modo en Humanidades y Ciencias Sociales. Y no solo eso, sino que se desarrollan y mantienen sistemas de indicadores que permiten una adecuada evaluación de la producción científica en estas disciplinas. La comunidad científica de estas áreas comparte la idea de que es necesario otro sistema. Mientras, los sistemas de evaluación definidos en muchos países del mundo están dispuestos a atender los hábitos propios de estas disciplinas, aunque en distintos grados. La evaluación de los libros El libro engloba muchos géneros. Algunos de ellos son especialmente relevantes para las disciplinas humanísticas y sociales. Es el caso de las ediciones críticas para Literatura, los catálogos de exposiciones para Arte, los libros etnográficos en Antropología, los libros homenaje en Derecho o en Cine, los ensayos en Filosofía o las monografías de investigación en muchas disciplinas.

Gimenez_Malestar.indb 92

04/12/2016 17:26:37

El libro científico

93

Estas, las monografías de investigación, implican transmisión de resultados de investigación originales, reflexión, contraste o discusión con resultados o teorías anteriores y, en definitiva, profundización y alta especialización. Todas estas características las convierten en objeto esencial e indiscutible de la evaluación científica. Otros géneros de libros serán evaluados solo en algunos casos, pero la monografía de investigación es lo que ineludiblemente está previsto evaluar como output dentro de las Humanidades, de las Ciencias Jurídicas y de algunas Ciencias Sociales. Entre los libros científicos, otro género destacado por sus aportaciones a la comunidad son los handbooks, normalmente editados por investigadores e instituciones destacadas dentro de una disciplina y en el ámbito internacional, que compilan artículos de autores prestigiosos que profundizan en alguno de los temas de su especialidad. Este tipo de obras siguen los mismos estándares de calidad que las revistas científicas en cuanto a la evaluación por expertos (peer review) y al aval que representan los consejos de redacción internacionales. Reúnen una edición científica y técnica profesionalizada de alto nivel, una selección de autores prestigiosos y un análisis y revisión de los principales temas que afronta una disciplina científica. Por ello se convierten en referentes obligados para esa disciplina y, además, perduran en el tiempo. Su valor es indudable. Sin embargo, como apunta uno de los investigadores consultados, son pocos los investigadores españoles que participan en este tipo de obras y su aportación debería tener un valor muy destacado en los procesos de evaluación, probablemente más que un artículo en una revista de impacto. También son muy relevantes las obras colectivas que representan distintos puntos de vista sobre un mismo objeto de estudio y que suelen reunir a distintos especialistas en ese tema. Quien coordina una obra colectiva, bien sea compilador, editor o coordinador, tiene la responsabilidad de crear una obra cohesionada, que abarque de una forma completa los distintos asuntos concernientes a un mismo objeto de estudio y que represente los estudios y perspectivas de los autores más especializados en este tema. Las editoriales suelen elegir a los coordinadores en función de su relevancia en una determinada especialidad científica y de su renombre; a veces, la propuesta editorial procede del propio coordinador de la obra. El mérito que implica este proceso, basado en el reconocimiento de un autor y en su capacidad para crear

Gimenez_Malestar.indb 93

04/12/2016 17:26:37

94

Los investigadores ante su evaluación

una obra nueva a partir de los enfoques de otros autores, no siempre está reconocido en los procesos de evaluación, pues no se llega a concebir la coordinación o edición como una aportación de investigación original del autor, sino como un trabajo de organización o programación de contenidos20. Del otro lado están los autores de cada uno de los capítulos que son invitados a participar. La producción de capítulos de libros es importantísima en Humanidades y Ciencias Sociales, equiparable, de hecho, a la de artículos de revistas21. La invitación a contribuir en una obra colectiva mediante la elaboración de un capítulo supone el reconocimiento dentro de una especialidad; pero para que tenga peso en los procesos de evaluación, el compilador, editor o coordinador ha de ser reconocido también por la comisión evaluadora. De hecho, el editor que actúa sobre los contenidos es uno de los elementos o indicios de calidad a los que se atiende en las agencias de evaluación para asignar uno u otro peso a los capítulos de libros. De alguna manera, la existencia de este elemento prevé y garantiza un lugar para los capítulos de libros en los procesos de evaluación, algo que no sucede con otros tipos de producción comunes entre humanistas22. La necesidad de evaluar o buscar indicadores de calidad para los libros ha estado siempre presente en el discurso sobre los modelos de evaluación para las Humanidades y Ciencias Sociales. De hecho, el proyecto inicial de ERIH (European Reference Index for the Humanities) se refería a los libros como 20

Tampoco suele ser valorada la coordinación de números monográficos de revistas. Un estudio sobre la producción científica de los institutos de Humanidades y Ciencias Sociales del CSIC en el periodo 2003-2007 mostró un 27% de la producción en forma de capítulos de libros, un 29% de artículos de revistas, un 8% de libros y un 32% de ponencias y comunicaciones a congresos. Giménez Toledo et al. (2011). Categorización de publicaciones científicas de Ciencias Humanas y Sociales. Madrid: CSIC. Informe. http://digital.csic.es/handle/10261/89426. Los datos de la CRUE referidos a la producción científica en la universidad española marcan un 42% de capítulos de libros entre todas las publicaciones generadas en Arte y Humanidades. 22 A menudo, en las Humanidades, se da otro tipo de producción que no siempre recibe el calificativo de “científica” y que frecuentemente es objeto de discusión: las voces y asientos en diccionarios y enciclopedias y las reseñas de libros. Algunos investigadores defienden la investigación y el trabajo directo con las fuentes que hay en la producción de este tipo de aportaciones, mientras que en los procesos de evaluación pocas veces son tenidos en cuenta aparentemente por la falta de investigación original que hay en ellas. 21

Gimenez_Malestar.indb 94

04/12/2016 17:26:37

El libro científico

95

elemento ineludible en los procesos de evaluación de la actividad científica de las Humanidades. En el primer capítulo de este libro ya se aludía a la reivindicación por parte de los investigadores de las evaluaciones cualitativas de su producción científica y a lo difícil (costoso en tiempo y dinero) que resulta abordarlas. En contraposición a esto, los indicadores de calidad de revistas, y especialmente el factor de impacto, han permitido mecanizar los procesos de evaluación, de tal forma que en poco tiempo pueden analizarse grandes conjuntos de información, agrupando la producción científica por niveles de calidad. Sin embargo, ni este procedimiento es aceptado por científicos sociales y humanistas, ni puede ser aplicado a los libros, puesto que las fuentes de indicadores están centradas en las revistas, con algunas excepciones que se comentarán más adelante. Esto supone que el juicio que se emite sobre los libros en los procesos de evaluación se apoya, en el mejor de los casos, en valoraciones cualitativas de los miembros del panel de evaluación complementadas con algunos indicios de calidad, bien a nivel de cada libro, bien a nivel de la editorial que lo publica23. En relación con ese primer nivel, tanto el autor o editor como las reseñas, las citas, el número de ediciones o traducciones de un libro o los premios recibidos pueden ayudar a establecer el reconocimiento que ha tenido o el valor adquirido dentro de una disciplina. No siempre es fácil ni hay una manera sistemática de obtener estos datos, pero sí es cierto que hoy existen algunas herramientas que permiten conocer más acerca de la aportación o relevancia de los libros. Una de ellas, Book Citation Index (Thomson Reuters), proporciona las citas recibidas por libros de editoriales seleccionadas, si bien es cierto que con un fuerte sesgo hacia las del ámbito anglosajón24 y

23 Giménez Toledo, E.; Tejada-Artigas, C.; Mañana-Rodríguez, J. (2012). “Evaluation of scientific books’ publishers in social sciences and humanities: results of a survey”. Research Evaluation. DOI: 10.1093/reseval/rvs036. En este trabajo se compilan los indicadores propuestos por las agencias de evaluación españolas así como el indicador de prestigio de la editorial propuesto por los investigadores. 24 Leydesdorff, L. and Felt, U. (2012). “Edited Volumes, Monographs, and Book Chapters in the Book Citation Index (BCI) and Science Citation Index (SCI, SoSCI, A&HCI)”, http://arxiv.org/ftp/arxiv/papers/1204/1204.3717.pdf; Gorraiz, J., Purnell, P. J. and Glänzel,

Gimenez_Malestar.indb 95

04/12/2016 17:26:38

96

Los investigadores ante su evaluación

con limitaciones para ser utilizada con fines bibliométricos25. Book Citation Index sería el ejemplo de producto cerrado, accesible solo bajo suscripción y limitado por la propia naturaleza selectiva del producto. El otro, Google Scholar —más significativo por la cantidad de títulos que abarca, el volumen de citas que recaba, su dinamismo (se actualiza constantemente), su inclusión de citas y reseñas y por ser un producto abierto a todo el mundo— se ha convertido de facto en una fuente de indicadores muy utilizada tanto por autores como por editores, si bien no es reconocida oficialmente en los ejercicios de evaluación. La falta de transparencia en la estructura de los datos con los que trabaja26, la dificultad de su trazabilidad y las posibles manipulaciones de los datos27 pueden ser algunas de las razones para esa falta de reconocimiento. En la consabida pugna entre Thomson Reuters y Elsevier por lograr la mejor base de datos de literatura científica del mundo, el segundo anunció28 su proyecto Book Title Expansion, siguiendo los pasos que Thomson Reuters ha dado para la creación de Book Citation Index. En 2016 hay más de 120.000 títulos individuales incorporados y casi 26.000 integrados en colecciones. El criterio con el que estén seleccionados esos libros tendrá que ser objeto de atención y, sin duda, se sucederán los análisis comparativos entre la cobertura y las prestaciones de ambas fuentes.

W. (2013). “Opportunities for and limitations of the Book Citation Index”. Journal of the American Society of Information Science, 64: 1388-1398. DOI: 10.1002/asi.22875. 25 Torres-Salinas, D., Robinson-García, N., Campanario, J. M. y Delgado López-Cózar, E. (2013). “Coverage, specialization and impact of scientific publishers in the Book Citation Index”. Online Information Review, 38 (1). 26 Van Leeuwen, Thed (2014). “The meaning of referencing and it’s interpretation in an evaluative context”. Presentación realizada por el autor en “La valutazione della ricerca nelle Humanities and Social Sciences”, seminario internacional organizado por ANVUR. Roma, 17 de noviembre de 2014. 27 Delgado López-Cozar, E.; Robinson-García, N.; Torres-Salinas, D. (2012). “Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting”. EC3 Working Papers 6: 29 May, 2012. DOI: arXiv:1212.0638v2. 28 Elsevier Announces its Scopus Book Titles Expansion Program. http://www.elsevier.com/ about/press-releases/science-and-technology/elsevier-announces-its-scopus-book-titles-expansion-program.

Gimenez_Malestar.indb 96

04/12/2016 17:26:38

El libro científico

97

Los libros en los criterios de evaluación de las agencias Entre los documentos emanados de las agencias de evaluación españolas para establecer los criterios de evaluación de profesores e investigadores, instituciones o proyectos, quizá sea el de ANEP/FECYT29 “Criterios de calidad en la investigación en Humanidades”, publicado en 2007, el pionero al referirse específicamente a las Humanidades y al tener en cuenta, en consecuencia, sus modos de trabajo identitarios. Así, es sintomático que el apartado relativo a las publicaciones se abra con los libros y capítulos de libros, como primer tipo de output posible y refiriéndose ya a una primera tipología: monografías, ediciones críticas, ediciones de documentos y corpus documentales, traducciones y capítulos de libros. También fue muy representativo, en su momento, que se propusieran criterios específicos para categorizar las revistas científicas españolas30. Mediante esta propuesta se consiguió considerar la producción científica publicada en revistas españolas, sobre temas más locales y en las diferentes lenguas que se hablan en España, con ciertas garantías de calidad y mitigando un poco los efectos de la evaluación basada únicamente en la Web of Science. Los documentos más recientes de la CNEAI31, en los que se establecen los criterios para la evaluación de la producción científica de los investigadores, son un reflejo de la diferencia entre disciplinas. Se definen criterios específicos de evaluación para once campos científicos que muestran hábitos de trabajo y publicación diferentes y que, en consecuencia, deben ser evaluados también de manera diferente. Este hecho no significa que las exigencias sean más fuertes para unos campos y más débiles para otros. Significa, sencillamente, que se buscan los métodos de evaluación más apropiados para la naturaleza del trabajo en cada campo. Los criterios son establecidos por los propios paneles temáticos o comités de la agencia, que son soberanos en estas 29 ANEP/FECYT. Criterios de calidad de la investigación en Humanidades. Madrid: FECYT, 2007. 30 La categorización de revistas científicas según los criterios establecidos por ANEP fue aplicada por el Grupo EPUC de Evaluación de Publicaciones Científicas y hasta 2012 se ha mantenido actualizada a través de DICE (http://epuc.cchs.csic.es/dice/). 31 http://www.boe.es/boe/dias/2014/12/01/pdfs/BOE-A-2014-12482.pdf (2014) o http:// www.boe.es/boe/dias/2012/11/29/pdfs/BOE-A-2012-14633.pdf (2012).

Gimenez_Malestar.indb 97

04/12/2016 17:26:38

98

Los investigadores ante su evaluación

cuestiones, tal y como apuntaba el director general de política universitaria en un encuentro celebrado en 201432. El libro aparece en todos los campos como un tipo de contribución científica posible, siempre que sean libros de investigación original. Sin embargo, el contenido de la resolución es claramente ilustrativo. Mientras que para los campos científico-tecnológicos el libro se presenta como una opción posible, pero menos probable que los artículos de revista, en Ciencias Sociales, Ciencias Económicas y Empresariales, Derecho y Jurisprudencia, Historia y Expresión Artística y Filosofía, Filología y Literatura el libro cobra un mayor protagonismo. De hecho, en los párrafos dedicados a mostrar los mínimos de producción científica que, con carácter orientativo, darían lugar a una evaluación positiva, el libro solo aparece en algunos de estos campos33. Se prevé, por tanto, que en estos campos el libro sea el tipo de producción científica habitual. Y si bien ese reconocimiento es muestra inequívoca del rol que desempeña el libro en estas disciplinas, también es cierto que sigue habiendo de fondo una mayor valoración de los artículos en revistas científicas. Puede observarse en las equivalencias cuantitativas implícitas que se establecen entre libros y artículos o capítulos de libros. Un ejemplo es la indicación de que para obtener una valoración positiva, es decir, el reconocimiento del tramo de investigación en Historia y Arte34, al menos una de las aportaciones debe ser un libro monográfico de investigación que cuente con difusión y referencia internacionales y cumpla los requisitos que se indican en el apartado 4; o bien que dos de las aportaciones sean artículos publicados en revistas internacionales que cumplan con los requisitos que se indican en el apartado 3; o bien que una de las aportaciones sea un artículo en una revista internacional (…) y otra, un capítulo de libro (…)35.

32

www.une.es/Ent/Events/EventDetail.aspx?ID=996. En los criterios de 2014 se prevé la publicación de libros en todas las áreas citadas, aunque al citar las publicaciones que, orientativamente, darían lugar a una evaluación positiva, solo aparecen nombrados en las disciplinas de Humanidades y en Derecho, aunque de una manera menos precisa. 34 Se establece el mismo criterio para el campo 11 que incluye Filosofía, Filología y Lingüística. 35 http://www.boe.es/boe/dias/2014/12/01/pdfs/BOE-A-2014-12482.pdf, p. 13. 33

Gimenez_Malestar.indb 98

04/12/2016 17:26:38

El libro científico

99

Es necesario recordar que estas orientaciones se refieren a un periodo de seis años de actividad investigadora. Numéricamente, por tanto, un libro equivaldría a dos artículos, lo que representa una infravaloración evidente del libro de investigación frente a los artículos, no solo porque la elaboración de un libro puede llevar años, sino también porque la capacidad del mercado editorial para publicarlos es limitada. Desde luego, no es comparable a la que tiene el sector editorial de las revistas científicas. Al comparar la equivalencia entre libros y artículos con las prácticas de evaluación en otros países, se puede observar una tendencia totalmente opuesta en la que el libro tiene un peso muy superior al de un artículo de revista36. En el caso de ANECA37, existen menciones explícitas al menor valor del libro en Ciencias, Ciencias de la Salud, Ingeniería y Arquitectura, y se llega a indicar que no podrán sustituir —salvo excepciones— la carencia de artículos. De nuevo, en los criterios establecidos para las Ciencias Jurídicas y Sociales y las Artes y Humanidades, el libro ocupa un lugar más destacado, aunque también más limitado que el establecido por CNEAI. Una muestra clara es que en Ciencias Sociales y Jurídicas el primer dato que se aporta como medida orientadora a la hora de obtener una evaluación positiva para catedrático de universidad es el número de artículos que se deben haber publicado en los últimos diez años38, y después se añade que se tendrán en cuenta los libros fundamentalmente en tres disciplinas: Sociología, Ciencias Políticas y Ciencias de la Administración. De este documento se desprende fácilmente, por tanto, una jerarquía clarísima en las contribuciones con valor para las Ciencias Sociales: los artículos tienen mucho más peso que otras contribuciones, pero en las mencionadas disciplinas el libro sí adquiere un valor destacado. ANECA no señala para las Ciencias Sociales un número 36 En el caso de Dinamarca, por ejemplo, un libro de nivel alto tendría 8 puntos frente a los 3 de un artículo de nivel alto también. Véase: Giménez Toledo, E., Mañana-Rodríguez, J., Engels, T., Ingwersen, P., Polonen, J., Sivertsen, G.,Verleysen, F. y Zuccala, A. A. (2015). “The Evaluation of Scholarly Books as Research Output. Current Developments in Europe”. En: Proceedings of the 15th Conference on Scientometrics & Informetrics. Istambul: ISSI. 37 ANECA. (2008). Programa Academia. Principios y Orientaciones para la aplicación de los criterios de evaluación. Madrid: ANECA. http://www.aneca.es/content/download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf (p. 23). 38 Son 16 y la mayor parte de ellos deben estar cubiertos por el Journal Citation Reports.

Gimenez_Malestar.indb 99

04/12/2016 17:26:38

100

Los investigadores ante su evaluación

determinado de libros en el periodo evaluado, pero sí en Ciencias Jurídicas, donde prevé un mayor equilibrio entre la producción de artículos (señala diez como orientación) y tres libros, lo que supone establecer una equivalencia de un libro a tres artículos, de modo que se le da al libro un peso mayor del que le otorga la CNEAI39. En el caso de las Artes y las Humanidades, se señalan treinta y dos aportaciones, sin especificar de qué tipo, pero sí aludiendo a que se pueda contrastar la calidad de la información. Se admite, por tanto, la variedad de los tipos de producción que se pueden generar en estas disciplinas. El examen de los tres documentos de referencia en las agencias de evaluación españolas (ANEP, CNEAI y ANECA) permite observar un grado desigual de consideración y detalle hacia la evaluación de los libros. Solo CNEAI menciona hasta la fecha alguna fuente específica para la obtención de indicadores sobre libros, que es el ranking de prestigio de las editoriales Scholarly Publishers Indicators (SPI)40, aunque las tres se refieren a indicadores de calidad indirectos o indicios que permiten evaluarlos. Sí evidencian la importancia del libro en las Artes, Humanidades, Ciencias Jurídicas y en algunas Ciencias Sociales, así como el lugar que debe ocupar en los procesos de evaluación, pero, al mismo tiempo, se advierte la presión por la publicación a través de artículos de revistas recogidos en la Web of Science. Además, si se atiende al último documento de CNEAI, se observa un endurecimiento de los criterios de evaluación; no basta con publicar en revistas recogidas en la WoS, sino que se empieza a exigir la publicación en primer y segundo cuartil incluso en las Ciencias Sociales. Los artículos WoS no dejan de ser el estándar reconocido para la evaluación de los resultados de investigación y, si bien no pueden obviarse las evidencias del trabajo de investigación en áreas como las Humanidades, lo cierto es que los criterios que se fijan para ellas pueden interpretarse como una excepción que se hace con respecto a estas disciplinas. El salto verdaderamente importante aún ha de darse y se 39 En el denominado “modelo noruego” de evaluación, a un artículo publicado en una revista prestigiosa se le asignan 3 puntos, mientras que a un libro publicado con una editorial muy reconocida se le asignan 8. Sivertsen, G. (2010). A performance indicator based on complete data for the scientific publication output at research institutions. ISSI newsletter, 6(1), 22-28. 40 http://ilia.cchs.csic.es/SPI Se describirá esta fuente más adelante.

Gimenez_Malestar.indb 100

04/12/2016 17:26:38

El libro científico

101

dará cuando lo que hoy se considera excepción se reconozca, simplemente, como diferencia en los hábitos de publicación o, mejor aún, como señas de identidad de las disciplinas científicas. Indicadores de calidad para libros Decir que un libro científico tiene más o menos valor que otro es un acto realmente aventurado. No se puede conocer con precisión el valor de un libro. Nadie puede saber el alcance que tendrá o no tendrá en un futuro cercano o lejano. Nadie puede determinar qué tipo de problemas resolverá, a quién ayudará. El tipo de conocimiento que difunde no siempre —de hecho, casi nunca— es mensurable. Resulta extraño o forzado resumir la calidad de un libro en un valor o en una categoría. Y esa es la sensación que tienen muchos de los investigadores participantes en este estudio. La unión de los términos libro e indicador no suele agradar a la comunidad científica. Pudiera parecer que los indicadores midan milimétricamente el saber contenido en los libros, el esfuerzo realizado para escribirlos. Pero no, no es esa la idea. El indicador, cuando está bien concebido y construido, aporta información sobre algunas de las múltiples dimensiones que tiene un libro y con eso se ayuda en su valoración. El indicador no representa la verdad absoluta sobre el valor de un libro, pero sí dice algo de él. El error es confundir los indicadores con verdades absolutas, con valoraciones categóricas. Conociendo el contexto en el que se realiza la investigación científica y los requerimientos de evaluación, asociada en muchos casos a la asignación de recursos, el empleo de indicadores de calidad indirectos se vuelve fundamental. Quizá la reivindicación más realista para con los procesos de evaluación sea un buen uso de los indicadores relativos, sin traducir automáticamente el valor del indicador con un determinado nivel de calidad, y matizando su significado con la opinión de los especialistas. Realmente no parece posible prescindir de algún tipo de indicador en los actuales procesos de evaluación. Cada vez estamos más inmersos en la cultura de la evaluación y esto implica no solo que cada vez se evalúa más y con más frecuencia, sino también que hay más argumentos para llevarla a cabo, y que la población evaluada los admite o comprende mejor. Claro está que no todos los investigadores

Gimenez_Malestar.indb 101

04/12/2016 17:26:38

102

Los investigadores ante su evaluación

aceptan de igual manera los procesos de evaluación. Tanto en el debate científico público, como en el marco de las instituciones, y en la mayor parte de las respuestas que se analizan en este libro, se puede observar una fuerte y razonada crítica contra el modelo de evaluación que se sigue en las Humanidades y Ciencias Sociales, pero apenas se cuestiona ya la necesidad de evaluar y de hacer seguimiento de la actividad investigadora. El descontento y el bajo grado de aceptación de los sistemas establecidos son manifiestos, pero también, en muchos casos, se opta por adaptarse lo mejor posible al modelo. Las respuestas recabadas son, quizá, más críticas que las voces que se escuchan públicamente y representan desde las posiciones nihilistas, en contra de cualquier sistema de evaluación, hasta las más airadas que renuncian a someterse a procesos de evaluación, pasando por aquellas más adaptativas (formulan críticas al sistema, pero las consideran salvables) o constructivas, aquellas que proponen otros métodos o criterios de evaluación alternativos. Ese bajo grado de aceptación de los sistemas de evaluación colisiona con las necesidades de las agencias e instituciones que deben evaluar la producción científica. La necesidad de evaluar también está plenamente justificada y por ello parece lógico que ambos ámbitos, el libro y el de la evaluación, se acerquen de alguna manera.  De hecho, a pesar de las voces críticas que existen entre humanistas y científicos sociales con respecto a la evaluación, sorprende ver en las respuestas analizadas una reivindicación habitual: los investigadores reclaman sistemas de evaluación/indicadores para libros, en línea con los que existen para revistas y que ayuden, por una parte, a recuperar el peso de los libros en la producción de conocimiento científico y, por otra, a proporcionar elementos de valoración a las comisiones que evalúan para atenuar posibles subjetividades, arbitrariedades o sesgos. En este sentido se está trabajando ya, desde distintos puntos de vista, con distintas metodologías y en distintos entornos, incluyendo los grupos de investigación, pero también las grandes corporaciones de la información científica. La compleja realidad de un libro, compuesta por múltiples variables como el autor, el contenido, su soporte documental, la calidad de la edición, la difusión o el marketing editorial, dificulta mucho resumir la calidad del mismo en términos precisos. Quizá esto solo sea posible con una acertada

Gimenez_Malestar.indb 102

04/12/2016 17:26:38

El libro científico

103

combinación de indicadores que, además, sean manejados por especialistas en la materia del libro. Además de la consideración que merecen los libros en los procesos de evaluación, en función de la disciplina en la que se produzcan, es necesario examinar qué tipo de indicadores de calidad indirectos41 se utilizan como referencia para evaluarlos. Los indicadores de calidad para cualquier tipo de producción científica sirven para poder guiar en el proceso de evaluación, haciendo factibles las evaluaciones en periodos de tiempo cortos, objetivándolas en cierto sentido y estableciendo un marco de referencia que sea garantía para cualquier investigador, proyecto o institución que se someta a evaluación. Como su propio nombre sugiere, los indicadores deberían servir para orientar en la calidad global de las publicaciones, pero no deberían ser el único elemento de juicio en un proceso de evaluación. La fórmula ideal de combinar estos indicadores (bibliométricos o de otro tipo) con la opinión de los especialistas se ha enunciado muchas veces, pero no se aplica tantas. Resulta necesario distinguir los indicadores de calidad, es decir, las variables que se observan, de los valores de esos indicadores y las fuentes en las que se pueden obtener esos valores. En el caso de los libros es especialmente importante hacer esta distinción, pues si bien las agencias de evaluación señalan distintos indicadores de calidad (véase tabla 1), lo cierto es que pocos de ellos encuentran fuentes que reflejen sus valores. Así, por ejemplo, un dato o indicador que se tiene en cuenta en la valoración de un libro es el número de reseñas positivas que ha recibido ese libro en revistas científicas. Sin embargo, hasta hace muy poco no existía ninguna fuente que recogiera reseñas de forma sistemática y, mucho menos, que marcara la reseña como positiva o negativa. De hecho, la base de datos de De Gruyter IBR42 fue una de las pocas especializadas en reseñas de libros en Humanidades y Ciencias Sociales. También Thomson Reuters recoge reseñas dentro de sus bases de datos y, más concretamente, aquellas que aparecen publicadas en sus revistas fuente. Pero actualmente es Google Scholar el producto que va acumulando mayor 41 Puede encontrarse una revisión de estos indicadores y un estudio sobre el prestigio de las editoriales en Giménez Toledo, E.; Tejada-Artigas, C.; Mañana-Rodríguez, J. (2012). “Evaluation of scientific books’ publishers in social sciences and humanities: results of a survey”. Research Evaluation, 22, 1, 64-77. DOI: 10.1093/reseval/rvs036. 42 http://www.degruyter.com/view/serial/35366.

Gimenez_Malestar.indb 103

04/12/2016 17:26:38

104

Los investigadores ante su evaluación

número de reseñas para los libros académicos, entre otras cosas porque rastrea un número de fuentes muy superior al de Thomson Reuters. Mientras que en otros momentos, no hace muchos años, los evaluadores no contaban con información relativa a las reseñas recibidas —a excepción de la proporcionada directamente por el evaluado—, ahora pueden contar con alguna fuente que les permita conocer el eco de una obra en la comunidad científica. Otra cuestión diferente al número de reseñas recibidas por un libro es el balance positivo o negativo que se hace del mismo, algo que está siendo objeto de investigación43. ANECA Especialización Libro de invesgación Presgio de la editorial Calidad cienfica del editor (capítulos) Número de autores Posición de la firma Impacto Número de citas

CNEAI

ANEP

Libro de invesgación Presgio de la editorial Editores

Invesgación original

Número de citas Colección

Citas (autorizadas)

Reseñas en revistas cienficas especializadas Traducciones Inclusión en bibliograas independientes

Reseñas (autorizadas)

Presencia en repertorios Peer review Presencia en bases de datos, catálogos, etc.

Tabla 1. Relación de indicadores indirectos de calidad para libros, por agencias.

Como se señalaba, uno de los indicadores indirectos para la valoración de los libros es el número de reseñas publicadas en revistas científicas. La reseña representa, en primer lugar, que una obra ha sido objeto de atención y se destaca por encima de las muchas que se publican en todo el mundo.

43 Zuccala, A.; Someren, M.; Bellen, M. (2014). “A machine‐learning approach to coding book reviews as quality indicators: Toward a theory of megacitation”. Journal of the Association for Information Science and Technology, 65 (11) 2248-2260.

Gimenez_Malestar.indb 104

04/12/2016 17:26:38

El libro científico

105

Especialmente valiosas cuando se analizan críticamente los contenidos y no cuando suponen una mera loa a la obra y a su autor, las reseñas son tenidas en cuenta por agencias como CNEAI y ANEP. También forman parte del recién creado sello de calidad para colecciones científicas, promovido por la Unión de Editoriales Universitarias Españolas (UNE), que se tratará más adelante44. En ocasiones, el análisis de la obra es tan detallado que la reseña llega a adquirir casi la categoría de artículo: se compara la obra con otras anteriores, se pone en relación lo que dice un autor con lo que han dicho otros previamente, se destacan las fuentes documentales, etc. En ocasiones los autores de reseñas han manifestado su disconformidad con la exclusión de las reseñas como otro resultado de la actividad científica, precisamente por el tiempo dedicado a elaborarlas y porque realmente a veces se convierten en pequeñas investigaciones. En esos casos, el investigador que redacta la reseña debería establecer el límite de ese trabajo y ser consciente de que cada género tiene su fin y sus medios. Cuando la reseña empieza a tornarse en artículo, quizá debiera pensarse en un desdoblamiento del texto: la reseña como comentario crítico de un libro y, por otra parte, el artículo como espacio para desarrollar un tema de investigación que surge de un nuevo libro publicado. La carencia de fuentes también se dio hasta hace poco con las citas recibidas por una obra. Hasta 2011 no hubo ninguna fuente que recabara las citas para libros. En ese año fue Thomson Reuters quien creó Book Citation Index, precisamente para recoger citas recibidas por libros. Este producto, no exento de sesgos45 que limitan su validez como herramienta en los procesos de evaluación, tiene su más directa competencia en Google Scholar, que, además, es una fuente abierta, no sujeta a suscripción. Google Scholar no limita las fuentes que recoge y, por tanto, pueden encontrarse citas para un libro de cualquier disciplina y en cualquier idioma, algo improbable en 44 UNE. (2015). “España crea un sello de calidad para reconocer la excelencia científica del proceso editorial de las colecciones publicadas por las universidades”. Unelibros, 3-9. http://www. une.es/media/Ou1/Image/webabril2015/UNE%20Libros%2030%20DIG.pdf. Véase también la firma del acuerdo: http://www.une.es/Ent/Events/EventDetail.aspx?ID=1143. 45 Leydesdorff, L. y Felt, U. (2012). “Edited Volumes, Monographs, and Book Chapters in the Book Citation Index (BCI) and Science Citation Index (SCI, SSCI, A&HCI)”, http:// arxiv.org/ftp/arxiv/papers/1204/1204.3717.pdf.

Gimenez_Malestar.indb 105

04/12/2016 17:26:39

106

Los investigadores ante su evaluación

Book Citation Index, que recoge, claramente y desde los inicios, literatura científica producida fundamentalmente en inglés46. Un nuevo competidor en escena es Scopus, que incluirá también citas a libros sin que aumente el precio de la suscripción a la base de datos. En marzo de 2016 Scopus ya incluía más de 120.000 títulos de editoriales de todo el mundo47. La existencia de estas fuentes llena un vacío en la evaluación de libros, al menos parcialmente. Del modo en que compitan las empresas productoras, en que evolucionen las herramientas, amplíen su cobertura y, por supuesto, influencien en los gestores de política científica, dependerá que se asienten como herramientas de referencia en los procesos de evaluación. Hasta diciembre de 2014 ninguna de ellas es nombrada explícitamente como herramienta de referencia en las agencias de evaluación españolas48. Es de suponer que cubrirán solo en parte las necesidades de evaluación, pues el núcleo de editoriales que cubren es reducido, aunque se trate de las más prestigiosas del mundo. Sin embargo, si se considera la diversidad49 de editoriales en Humanidades y Ciencias Sociales, tanto extranjeras como españolas, así como la relevancia de las editoriales de cada país para difundir la investigación más local, es fácil advertir que son necesarias otras fuentes de indicadores. Como ha sucedido otras veces, probablemente la consolidación de esas herramientas guardará poca relación con la opinión de la comunidad científica en Humanidades y Ciencias Sociales, normalmente muy crítica con la cita como elemento de valoración de un currículo. La existencia de fuentes de datos permitirá, además, realizar estudios no solo sobre la propia cobertura de libros por parte de unas y otras bases de datos, sino también sobre 46 Testa, J. (2010). “The book Selection Process for the Book Citation Index in Web of Science”, accessed 21 October 2013. 47 La compañía informaba de ello en su blog: blog.scopus.com/topics/books. Tanto en el caso de Book Citation Index como de Scopus Book Expansion Project se incluyen libros de las editoriales más prestigiosas a nivel mundial pero quedan muchísimas otras fuera. Esa falta de cobertura hacia buenas y especializadas editoriales hacen de estas fuentes productos incompletos para la evaluación científica. 48 La única fuente de indicadores explícitamente nombrada por la CNEAI, tanto en 2013 como en 2014, es Scholarly Publishers Indicators (SPI). 49 Los humanistas y científicos sociales españoles que participaron en el proyecto SPI (ilia. cchs.csic.es/SPI) señalaron un total de 504 editoriales españolas y 560 extranjeras.

Gimenez_Malestar.indb 106

04/12/2016 17:26:39

El libro científico

107

los tipos de obras más susceptibles de ser citados. Leydesdorff y Felt50 ya mencionan en los primeros estudios la mayor probabilidad de recibir citas que tienen las obras colectivas frente a las monografías. Otra variable de interés para el análisis será la procedencia de las citas, pues el peso relativo de las mismas puede ser muy distinto si procede de un libro de una editorial científica prestigiosa o de una editorial apenas identificada en la comunidad académica. Precisamente el prestigio de las editoriales es uno de los indicadores a los que, con mayor frecuencia, se refieren las agencias de evaluación. Resulta difícil concretarlo. El prestigio puede derivarse de la calidad de las obras que publica una editorial, pero también de la imagen y el marketing de la misma, de su trayectoria en el mercado, de los editores que trabajen para determinadas colecciones o de la difusión internacional, por citar algunas variables. El prestigio es un concepto que conlleva subjetividad, cada persona puede percibirlo de un modo distinto. Y el contexto (geográfico, lingüístico, político, etc.) desde el que se evalúa también hace variar la noción de prestigio. Además, como apunta Sutton51, el prestigio tarda en adquirirse, pero la calidad puede ser inmediata, lo que situaría a las editoriales más veteranas en una mejor situación que las editoriales más nuevas, en procesos de evaluación que atiendan solo al prestigio de la editorial. Una de las principales críticas hacia este indicador por parte de la comunidad científica es que la editorial no es el libro y que es este, su contenido, lo que debería juzgarse. La separación entre libro y editorial no es, sin embargo, tan sencilla. No es factible, de hecho. El canal en el que se publica un material no es neutral y dota de algunas características al texto que se publica. Baskhar cita en su obra52 la preocupación de algunos autores como Chartier por los elementos no verbales del texto, aquellos que también producen significado. La editorial imprime al libro una marca que hace que el libro se lea o no se lea, se reciba de una manera o de otra. Baskhar indica:

50

Leydesdorff, L. y Felt, U. (2012). En la conferencia pronunciada en la PKP Conference 2013. 52 Bhaskar, Michael. (2014). La máquina de contenido. México: FCE. 51

Gimenez_Malestar.indb 107

04/12/2016 17:26:39

108

Los investigadores ante su evaluación (…) Genette identifica paratextos externos, llamados “epitextos”, como los materiales de mercadotecnia que también participan en la presentación de un obra. Las cuestiones fuera de un libro son aún, para Genette, partes integrales de la presentación de un libro y por ende de su recepción. Si bien el énfasis difiere del de la teoría de la recepción, Bourdieu y Genette comparten con ella y con Goffman la noción de que la producción cultural nunca se experimenta de forma cruda, directa, pues siempre participan construcciones anteriores53.

El libro no es solo el texto del autor, sino el resto de componentes que le confiere la editorial. Son muchos los teóricos que han argumentado acerca de esta relación indisoluble entre editorial y libro, y la aportación de Squires54 es muy interesante en este sentido. Analizando todos esos argumentos, resulta lógico que la editorial sea una base y un elemento de información más para valorar un libro. Cuando un panel de expertos afronta un proceso de evaluación de un investigador y ha de juzgar el valor de sus aportaciones y, en concreto, de los libros o capítulos de libros, se basará en uno u otro momento en el prestigio que la editorial tiene según su percepción. Claro está que en el propio panel de evaluación pueden equilibrarse los pareceres sobre una editorial evitando así los sesgos. Pero no cabe duda de que no disponer de datos más o menos objetivos sobre las editoriales puede dar lugar a evaluaciones heterogéneas, sesgadas o arbitrarias. Buscando cierta objetividad en la determinación del prestigio de las editoriales, surgió el proyecto SPI (Scholarly Publishers Indicators)55, que refleja, entre otras variables, y a través de un indicador, el prestigio de las editoriales científicas establecido por una muestra significativa de la comunidad académica española, en el área de Humanidades y Ciencias Sociales. El ranking al que da lugar el indicador refleja acuerdos y desacuerdos en el prestigio de un 53

Idem. p. 107. Squires, C. (2010). “Books without Borders? Readers, Writers and Publishers in the Global Literary Marketplace”. De Gulden Passer, 88 (2), 133-152. 55 Elaborado por el Grupo de Investigación sobre el Libro Académico (ÍLIA) del CSIC. Disponible en http://ilia.cchs.csic.es/SPI. Analizado y descrito en Giménez Toledo, E. (2012). Hasta la fecha se han publicado dos ediciones, una en 2012 y otra en 2014. SPI, además, ofrece otras informaciones e indicadores como la producción editorial, su grado de especialización y el sistema de evaluación empleado por las editoriales españolas. 54

Gimenez_Malestar.indb 108

04/12/2016 17:26:39

El libro científico

109

conjunto muy amplio de editoriales. Orientativamente aporta información sobre el grado de relevancia o reconocimiento que una editorial tiene en cada disciplina, lo cual puede ayudar en los procesos de evaluación, pues se estaría tratando con el conjunto de opiniones expresadas por más de tres mil investigadores y no solo con el punto de vista de un conjunto muy limitado de expertos que participan en un panel de evaluación. El indicador que se aporta, que debería conjugarse necesariamente con otros, objetiva en cierto modo el prestigio percibido por los investigadores. La información acerca de las editoriales es delicada y comprometida. Al fin y al cabo, asignarles un valor, por muy limitado y matizable que sea, y situarlas frente a la competencia y las agencias de evaluación las expone de forma inmediata. Sus autores reclaman que las editoriales aparezcan en los rankings y esto las obliga —como en su momento sucedió con los editores de revistas científicas— a adentrarse en el terreno de la evaluación científica, a conocer cómo se evalúan las publicaciones y qué responsabilidad tienen ellas en ese escenario en el que se unen evaluación y publicación. Por otra parte, compaginar las reglas y exigencias de la publicación científica (por ejemplo, peer review y transparencia informativa sobre procesos de selección) con las reglas del mercado (rentabilidad de las ediciones, autores mediáticos, temas de moda, etc.) resulta complicado y, de hecho, no todas las editoriales pueden o quieren hacerlo. En especial las editoriales privadas pueden cuestionarse si deben ser transparentes en su política editorial, habida cuenta de que son empresas privadas y de la autonomía que de ello se deriva. Lo cual no deja de ser cierto, pero incompleto: están insertas en el mercado de la publicación científica, en el que no solo están ellas, sino también los autores de los que se nutren y las agencias e instituciones que los evalúan. En ese sistema, los intereses de unos están relacionados con los del otro, por lo que han de establecerse unas mínimas normas que faciliten la confluencia de los intereses de todos. Aunque ya hay algunas iniciativas en marcha56, aún faltan muchos otros estudios e investigación sobre las propias editoriales. Los relativos al proceso 56 Algunos ejemplo son: Verleysen, Frederik T. y Engels, Tim C. E. (2013). “A label for peer-reviewed books. Journal of the American Society for Information Science and Technology”, 64, 2, pp. 428-430. DOI: 10.1002/asi.22836; Giménez Toledo, E. et al. (2012). El proyecto de investigación Evaluación de editoriales científicas (españolas y extranjeras) de libros

Gimenez_Malestar.indb 109

04/12/2016 17:26:39

110

Los investigadores ante su evaluación

de selección de títulos para publicación son un ejemplo y, sin duda, resultan determinantes en el ámbito académico. También las agencias de evaluación mencionan el sistema de revisión por expertos como indicador de calidad indirecto. Analizando y conociendo estos procesos de selección se puede saber más sobre el peso de la calidad de un libro en la decisión de publicarlo; y, por tanto, se puede saber más sobre la calidad científica de una editorial y su relevancia real en las disciplinas en las que publica. En este sentido, se podrán encontrar prácticas en las editoriales muy diversas: desde aquellas en que la calidad del texto científico y su especialización sean las claves fundamentales para publicarlo hasta aquellas que busquen prioritariamente una alta rentabilidad de la edición, pasando por las que traten de lograr el justo medio de calidad/rentabilidad. Precisamente el sistema de selección de originales empleado en cada editorial está siendo objeto del próximo desarrollo dentro de SPI. A través de cuestionarios remitidos a las editoriales, se han recabado informaciones de las mismas relativas al modo en que seleccionan los libros que publican. Actualmente son más de cien las editoriales españolas y latinoamericanas que han informado de esos procesos y que los darán a conocer a través de SPI. Queda aún mucho camino que recorrer, pero todos estos procesos conllevan un mejor conocimiento del sector y, en consecuencia, una mejor base para la toma de decisiones en los procesos de evaluación científica. En ese mismo sentido, los perfiles de especialización de las editoriales también pueden ser muy informativos, no solo para las agencias de evaluación, sino también para los futuros autores. Conocer si una editorial publica gran parte de su producción en una disciplina, en cinco o en todas indica su grado de especialización y, en consecuencia, su relevancia dentro de esas disciplinas y su valor a efectos de evaluación. Para un autor y para un evaluador no tiene el mismo peso publicar una obra dentro de una colección especializada en una editorial también especializada que publicar una obra fuera de colección en una editorial que publica en muchas áreas y que no es referente principal en ninguna. En editoriales pequeñas y medianas la especialización

en Ciencias Humanas y Sociales a través de la opinión de los expertos y del análisis de los procesos HAR2011-30383-C02-01 financiado por el Plan Nacional de I+D (MINECO) o la iniciativa Observatorio de Calidad UNE de la Unión de Editoriales Universitarias Españolas.

Gimenez_Malestar.indb 110

04/12/2016 17:26:39

El libro científico

111

es prácticamente imprescindible. El prestigio percibido mostrado en SPI muestra que el tamaño de una editorial no es tan importante como su grado de especialización y así, algunas editoriales pequeñas y medianas alcanzan posiciones bastante destacadas. En editoriales grandes, especialmente en las comerciales, la diversidad de lo que se publica es amplísima. Las colecciones de libros académicos pueden convivir bajo la misma editorial con las colecciones de libros infantiles o libros prácticos. Pero incluso en editoriales que solo publican libros científicos, las distintas colecciones pueden tener dinámicas de funcionamiento y selección de originales variadas. Por esta razón, también la colección puede convertirse en objeto de estudio si pretenden establecerse indicadores de calidad indirectos para las editoriales. Un ejemplo del interés que despiertan las colecciones en la determinación de la especialización y de la calidad de una editorial es la iniciativa promovida por la Unión de Editoriales Universitarias de España (UNE) para la creación de un sello de calidad para colecciones de libros científicos. Este sello de calidad, diseñado por tres grupos de investigación españoles57 y que fue presentado en noviembre de 2014, consta de trece indicadores de calidad indirectos que, cumplidos conjuntamente, ofrecen una base sólida sobre las buenas prácticas de edición dentro de una colección. Esta breve revisión de las cuestiones que conciernen a la evaluación de libros permite concluir, por una parte, que predominan las críticas al sistema de evaluación establecido, precisamente por el lugar secundario que se reserva al libro, pero, por otra, que se ve la necesidad —y se defiende abiertamente— de trabajar en aquellos aspectos, indicadores o herramientas que ayuden en la evaluación más objetiva de los libros58. Quizá sea esta una de las maneras de devolver al libro el lugar que le corresponde. Para ello, el trabajo conjunto entre investigadores, evaluadores y editores será imprescindible.

57 E-LECTRA (Universidad de Salamanca), ÍLIA (CSIC) y EC3 (Universidad de Granada). Véase UNE (2015). 58 Hay que recordar en este punto que quienes no opinaron en la encuesta que ha dado lugar a este estudio pueden no compartir este punto de vista, entre otras cosas, porque públicamente se muestra la oposición a los indicadores sobre el canal de la publicación (revistas y editoriales).

Gimenez_Malestar.indb 111

04/12/2016 17:26:39

112

Los investigadores ante su evaluación

Algunos rasgos del sector editorial académico La naturaleza de la editorial y su modelo de negocio condicionan necesariamente los criterios de publicación. En el contexto español, las editoriales universitarias han podido publicar obras científicas muy especializadas y, por tanto, minoritarias. Lo hacen a pesar de que en muchos casos las ediciones son deficitarias, es decir, no generan beneficios y, en algunas ocasiones, tienen costes para las universidades. El modelo seguido por muchas universidades españolas ha sido el de una edición sin ánimo de lucro que garantizara la publicación de las investigaciones llevadas a cabo por los investigadores de esa institución. Ese modelo, muy distinto al de las editoriales comerciales y también al de algunas editoriales universitarias extranjeras como las conocidísimas Oxford University Press (OUP) o Cambridge University Press (CUP), está viviendo malos momentos, como muestra la desaparición de Editorial Complutense. La complejidad del momento se acrecienta, además, por las dudas que se despiertan ante la publicación en abierto. La defensa de la publicación en abierto (tanto de libros como de revistas) se junta con la necesidad de hacer sostenibles los servicios de publicaciones o editoriales universitarias y conjugar ambos objetivos parece realmente complicado. El debilitamiento del sector editorial universitario español (que también se da en otros países) está relacionado no solo con las dificultades económicas que entrañan los momentos de crisis y con la necesidad de buscar el equilibrio en los presupuestos de ingresos y gastos, sino también, y fundamentalmente, con la adaptación a un ecosistema de la publicación que está experimentando cambios muy profundos. Afrontar el salto cualitativo de publicar a autores distintos de los institucionales, publicar libros de mayor interés internacional, velar por la más alta calidad de los contenidos, flexibilizar los modelos de edición y apostar por el libro electrónico, en abierto o bajo demanda, encontrar en estas fórmulas el motor de la difusión internacional y la salvaguarda a los tradicionales problemas de distribución son retos ineludibles para el sector.

Gimenez_Malestar.indb 112

04/12/2016 17:26:39

El libro científico

113

Los datos de libros académicos publicados por el Observatorio del Libro y de la Lectura59 a partir de los ISBN concedidos muestran una caída en el número de títulos desde 2011 en el ámbito de las Humanidades y las Ciencias Sociales60. Si desde 2004 el número de ISBN concedidos había ido creciendo paulatinamente hasta los 37.042 en 2011, en 2014 esta cifra bajó hasta los 29.592. En el ámbito del libro científico-técnico, sin embargo, el año 2012 representó un pico en el histograma pues llegaron a publicarse 14.462 títulos; a partir de ese momento, eso sí, se produjo un descenso más brusco y en 2014 se editaron en torno a 9.000 títulos. Los libros de Humanidades y Ciencias Sociales representan un 11,7% de las compras de libros que tuvieron lugar en 2010, mientras que los libros científicos-técnicos, Biología y Medicina suponen el 2,6%61. Esos porcentajes son ligeramente superiores a los de los años precedentes. El dato no deja de sorprender, teniendo en cuenta que los presupuestos de las bibliotecas de investigación en España se han visto reducidos, aunque sea difícil estimar esta reducción; en algunas ocasiones lo que ha sucedido es que los presupuestos se han transformado, aumentando las partidas para libros electrónicos y variando las del libro en papel. En algunas instituciones académicas, la crisis económica ha supuesto también la compra de libros con cargo a los proyectos de investigación y no tanto a los presupuestos institucionales destinados a la adquisición de fondos bibliográficos. Por otra parte, la compra de libro científico por parte de particulares es más limitada. Finalmente, las editoriales científicas tienen cada vez más problemas para sacar adelante las ediciones. De hecho, bien sea por los problemas económicos que afrontan, bien por los modelos de negocio que surgen a raíz del acceso abierto62, lo cierto es que cada 59 Observatorio del Libro y de la lectura. (2015). Panorámica de la edición española de libros 2014. Análisis sectorial del libro. Madrid: Ministerio de Cultura, 58. https://sede.educacion.gob.es/publiventa/descarga.action?f_codigo_agc=14904C. 60 En las estadísticas sobre el libro, y también en el informe citado, se distingue el libro de Humanidades y Ciencias Sociales del libro científico-técnico. En el primer caso, es difícil discernir los libros de investigación o puramente científicos de los que no lo son. 61 Idem. 62 La respuesta que el sector editorial privado ha dado al movimiento Open Access ha sido ofrecer ediciones en abierto (tanto de libros como de revistas) si el autor paga una parte de esa edición. Proporcionan así accesos en abierto, mantienen su negocio y posicionamiento en el sector editorial e incluso cuentan con una vía de financiación antes inexistente. Algunas de

Gimenez_Malestar.indb 113

04/12/2016 17:26:39

114

Los investigadores ante su evaluación

vez son más las editoriales que publican bajo un esquema de cofinanciación editorial/autor. El informe anteriormente citado aporta una cifra que, si bien se refiere al conjunto de la edición —no solo a la científica—, revela un mal momento para la actividad editorial: en 2012, 1.110 editoriales no solicitaron ningún ISBN, es decir, no tuvieron actividad. Los datos de publicación de libros siguen mostrando un aumento en el número de títulos, aunque sería interesante conocer la evolución de las tiradas medias. Sin embargo, la reciente ley de Depósito Legal63 ha introducido modificaciones en la producción de estadística y estas excluyen las tiradas. El sector editorial ante la academia Uno de los investigadores participantes en el estudio que da lugar a este libro (véase introducción) hacía una reflexión interesante en relación con la exigencia de publicar libros, o al menos de publicar alguno, para obtener una evaluación positiva por parte de la CNEAI en algunas áreas y, al mismo tiempo, sobre la incapacidad del mercado editorial para asimilar la producción de libros que pueda darse en el entorno académico. Efectivamente, la debilidad de muchas editoriales, desde los servicios de publicaciones de las universidades hasta las pequeñas y medianas editoriales comerciales científicas, hace que se calcule mejor lo que se publica, se limitan más los títulos y, en definitiva, se estrechan las posibilidades para los académicos. Uno de los efectos de la presión por publicar ha sido el aumento de la autopublicación, fenómeno en expansión64 al que contribuyen también los autores universitarios. La autopublicación representa una puerta abierta a publicar y una solución a esas posibilidades limitadas que ofrecen las editoriales para dar a conocer un trabajo de investigación. Sin embargo, en relación con la las consecuencias de este nuevo modelo pueden leerse en Open Access: HEFCE, REF2020 and the Threat of Academic Freedom. The disorder of things. http://thedisorderofthings. com/2012/12/04/open-access-hefce-ref2020-and-the-threat-to-academic-freedom/. 63 Ley 23/2011, de 29 de julio, de depósito legal. BOE, 30 de julio de 2011. http://www. boe.es/boe/dias/2011/07/30/pdfs/BOE-A-2011-13114.pdf. 64 Geli, C. (2013). “La autoedición explota en Fráncfort”. El País, 12 de octubre. http:// cultura.elpais.com/cultura/2013/10/11/actualidad/1381522683_036441.html.

Gimenez_Malestar.indb 114

04/12/2016 17:26:40

El libro científico

115

evaluación científica, la autopublicación solo puede solucionar un problema, el de la productividad o, dicho de otro modo, el del número de publicaciones. Con una obra autopublicada un autor justifica la producción, la realización de un trabajo y su publicación. Pero la inexistencia de filtros o controles invalidan estas obras en los procesos de evaluación científica. Y es que en estos no se pesa la producción científica; no se trata tanto de productividad como de calidad de lo producido. Y para estimar la calidad en investigación, hoy por hoy, sigue vigente el filtro científico que efectúan los expertos (peer review). Por otra parte, el modelo de publicación en abierto con cargo al autor (este paga a la editorial para que le publique) está tomando fuerza y puede convertirse en una fórmula para la supervivencia de algunas editoriales. No obstante, este modelo solo es factible si los investigadores tienen fondos procedentes de la investigación para realizar ese pago. Esta modalidad de publicación se encuentra ante una doble lectura. Por una parte, la original, la del apoyo al movimiento Open Access, que implica hacer disponible para todo el mundo los resultados de la investigación generada, especialmente la financiada con fondos públicos. Este objetivo filantrópico supone el acercamiento de la ciencia a la sociedad, pero también su extensión y/o popularización en la comunidad científica en general y no solo a la que puede pagar las costosas suscripciones a grandes editoriales. El movimiento Open Access sigue su imparable camino, pero ha topado con los grandes grupos editoriales que, de alguna manera, han visto amenazado su negocio y en consecuencia han debido adaptarse. La adaptación ha sido incluso beneficiosa para ellos, pues no solo se ponen del lado de la ciencia abierta y del objetivo de llevarla allá donde sea necesaria, sino que acceden a una vía de financiación tan inesperada como bienvenida. La vía dorada del Open Access se basa en el pago de los autores a los editores para que publiquen sus artículos en abierto. Así, editoriales como Elsevier, Wiley o Springer65 tienen sus propios programas de publicación en abierto, a través de los cuales se adaptan a las demandas de la comunidad científica (publicar en abierto nunca fue objetivo de las editoriales comerciales) y, al mismo tiempo, obtienen beneficios por los APCs (article processing charges). Estos son pagados por los autores 65 http://www.elsevier.com/about/open-access/open-access-options; www.wileyopenaccess.com/.

Gimenez_Malestar.indb 115

04/12/2016 17:26:40

116

Los investigadores ante su evaluación

o las instituciones académicas con los fondos públicos y privados obtenidos por los investigadores o con cargo a los presupuestos de las propias instituciones. Que un objetivo filantrópico acabe convertido en beneficios para las grandes empresas editoriales no deja de resultar paradójico y, desde luego, requiere de alguna reflexión. Otra más, dentro de las muchas dudas que surgen en el desarrollo del libro académico.

Gimenez_Malestar.indb 116

04/12/2016 17:26:40

Capítulo 4

Internacionalidad de las ciencias y de las publicaciones

La internacionalización de la investigación y de las publicaciones es uno de los puntos de debate en los que también se identifican posiciones muy enfrentadas entre investigadores. En un extremo se encuentran quienes opinan que la ciencia es internacional por definición y que, por tanto, cualquier resultado de investigación de calidad es susceptible de ser publicado en revistas, editoriales u otros canales del ámbito internacional. En el otro, normalmente defendido por investigadores de áreas como la Filología o el Derecho, se insiste en que los resultados de la investigación en estas áreas tienen incidencia, interés e impacto en entornos más cercanos (locales, regionales, nacionales), deben ser comunicados en idiomas distintos al inglés y, además, tienen referentes geográficos muy diferentes, lo que normalmente limita su interés en todo el mundo. A modo de ejemplo, uno de los juristas participantes señalaba que “la mejor doctrina europea es la alemana y la italiana, que siguen publicando buena parte de su producción en las lenguas de origen”. La afirmación abre la reflexión sobre la preponderancia real del inglés en la publicación científica de algunas áreas, así como sobre la diferente concepción de la internacionalidad para investigadores de distintas áreas y también para quienes hacen política científica. Ambas cuestiones surgen de forma recurrente entre los comentarios de los investigadores. En política científica, una publicación internacional no es lo mismo que una publicación extranjera. Como publicaciones internacionales se entienden de facto aquellas recogidas en bases de datos internacionales (léase WoS y Scopus) y entre ellas se encuentran, por ejemplo, revistas españolas de proyección internacional. Sin

Gimenez_Malestar.indb 117

04/12/2016 17:26:40

118

Los investigadores ante su evaluación

embargo, no suelen tener la misma consideración o valoración en los procesos de evaluación aquellas revistas editadas en otros países distintos al del investigador, pero no recogidas en las citadas bases de datos; esto representa un problema para algunas disciplinas, cuyo ámbito de investigación se centra en países o culturas no cubiertas por esas bases de datos. Algunos ejemplos pueden ser el Derecho o los estudios sobre América Latina. Durante la realización de la encuesta que dio lugar a este trabajo se observó con cierta frecuencia una queja por parte de los investigadores que, en cierto modo, es una prueba del desajuste que existe entre las fuentes empleadas para la evaluación científica y las fuentes empleadas para la investigación, especialmente en algunas áreas de conocimiento. En la encuesta se pedía a los investigadores que valoraran revistas científicas, tanto españolas como extranjeras. Para que la cumplimentación del cuestionario fuera más sencilla, se ofrecieron listados exhaustivos de revistas españolas y listados amplios de revistas extranjeras, entre los que los investigadores podían seleccionar las más valoradas por ellos. Si las revistas más valoradas no se encontraban en los listados, podían teclear el título. Los listados propuestos de revistas extranjeras se obtuvieron de la unión de las revistas indexadas en las fuentes que habitualmente se utilizan en evaluación científica (WoS y Scopus), entre otras cosas porque no resulta sencillo obtener listados de revistas científicas de todo el mundo y de todas las especialidades. Estos listados que, como se apunta, representaban solo una ayuda, revelaron una evidencia: las revistas indexadas no son las más útiles ni las mejor valoradas por los investigadores de algunas disciplinas como el Derecho o la Filosofía. Buena parte de los especialistas señalaron la falta de revistas italianas, francesas y alemanas que se les proponían en los listados para ser evaluadas. Si bien se puede pensar que las revistas nacionales publican aquellas investigaciones de carácter más local que necesitan ser comunicadas al entorno más cercano y en el propio idioma, lo cierto es que esa realidad convive con otra: las revistas científicas nacionales publican también lo que no se puede publicar en revistas internacionales, no en razón de su tema, sino en razón de su calidad. Dicho de otro modo, la revista científica nacional alberga en muchas ocasiones investigaciones menores, no comparables a las que se envían y publican en revistas internacionales. Es una creencia o idea bastante extendida entre los investigadores, aunque puede resultar desalentador para algunos editores.

Gimenez_Malestar.indb 118

04/12/2016 17:26:40

Internacionalidad de las ciencias y de las publicaciones

119

El primer argumento —el interés más limitado de las investigaciones locales o nacionales para las revistas internacionales— ha sido descrito y documentado en muchos estudios previos1. Es defendido con insistencia por los investigadores de algunas áreas, entre los que destacan filólogos y especialistas en Derecho. Sin embargo, no es que estos especialistas renuncien a la internacionalidad o crean que las investigaciones de sus áreas no tienen interés allende las fronteras, sino, más bien, que el concepto de internacionalidad que se emplea comúnmente es restrictivo y se aplica solo a lo que procede de Estados Unidos, Reino Unido y algún país más de la considerada mainstream science. En este sentido quedan excluidos de la investigación internacional países con larga e importante trayectoria en la investigación en Humanidades y también, como consecuencia, la producción científica publicada en idiomas distintos al inglés. Alemania, Francia o Italia y sus correspondientes lenguas son referencias fundamentales en el estudio del Derecho. Son las fuentes de las que beben los juristas y también los destinos de sus publicaciones. Sin embargo, como resultado de la homogeneización que se produce, en ocasiones, en los procesos de evaluación, este intercambio internacional no es considerado como tal. Las revistas no publicadas en inglés tienen muchas más dificultades para estar recogidas en las bases de datos internacionales empleadas preferentemente en los procesos de evaluación, y por ello los investigadores que publican en ellas están en cierto modo penalizados, dándose la paradoja de que las revistas en las que están publicando son, probablemente, las más especializadas y las de más alta calidad dentro de su especialidad, pero están fuera del canon de la calidad. Un italianista refería algunas de las características que le habían llevado a elegir una revista de su área como la mejor. Entre ellas estaban que publicaba 1 Rey Rocha, J. y Martín Sempere, M. J. (2004). “Patterns of the foreign contributions in some domestic vs. international journals on Earth Sciences”. Scientometrics, 59 (1), 95115; Román-Román, A. y Giménez Toledo, E. (2010). “Cómo valorar la internacionalidad de las revistas de Ciencias Humanas y su categorización en ERIH”. Revista Española de Documentación Científica, 33 (3), 341-377; ERIH Summary guidelines (s.d.). http://www.esf. org/research-areas/humanities/researchinfrastructures-including-erih/erih-initial-lists.html; Buela Casal, G.; Perakakis, P.; Taylor, M., y Checa, P. (2006). “Measuring internationality: reflections and perspectives on academic journals”. Scientometrics, vol. 67 (1), 45-65. DOI: 10.1007/s11192-006-0050-z.

Gimenez_Malestar.indb 119

04/12/2016 17:26:40

120

Los investigadores ante su evaluación

los mejores autores de la especialidad en todo el mundo, que pertenecía a una asociación de italianística y que era aceptada internacionalmente. La voz de este especialista es oportuna para mostrar que la especialización y la circunscripción de un tema de investigación a un área lingüística y geográfica concreta no está reñida, ni mucho menos, con la internacionalidad. Puede ser que un tema de investigación no sea mundialmente interesante o influyente, lo que no significa que no haya especialistas de distintos países que, por razones históricas, culturales o de otra naturaleza, aborden el objeto de estudio con distintas ópticas, metodologías y motivaciones. Estas son precisamente algunas de las variables que hacen crecer la investigación, que favorecen el contraste entre lo que un investigador crea en su despacho y lo que el resto de especialistas trabajan en otros lugares del mundo. El hecho de sacar la investigación fuera del contexto cercano, conocido y, por tanto, limitado, es fundamental para el avance del conocimiento científico. En ese sentido, la internacionalidad, concebida como puesta en contacto de las investigaciones producidas en distintos puntos del mundo, es vital para la investigación. De toda la producción científica que puede generar un humanista o un científico social, solo una parte podrá ser publicada en revistas internacionales. A estas, por su propio alcance, les suelen interesar aquellos resultados que sean extrapolables a otros contextos y que permitan la comparación con los mismos. Es indudable que hay algunos temas de investigación que tienen un marcado carácter local o regional: los estudios sobre el propio idioma (sobre la lengua española, por ejemplo); aquellos que versan sobre el marco legal, la jurisprudencia o la doctrina en un país; aquellos que abordan las características sociológicas de un determinado grupo de población. La CRUE señala que en Arte y Humanidades la producción de artículos de revista se distribuye en un 63% en revistas españolas y, en consecuencia, un 37% en extranjeras; en Ciencias Sociales, el 55% de los artículos se publican en revistas españolas2. Probablemente haya espacio para internacionalizar una mayor parte de la producción, puesto que algunos resultados sí podrán ser interesantes en otros lugares; en ese sentido, quizá haya que hacer un esfuerzo por traspasar

2 Michavila, F. (dir.). (2012). La Universidad española en cifras. Madrid: CRUE. http://www. crue.org/Documentos%20compartidos/Publicaciones/Universidad%20Espa%C3%B1ola%20 en%20cifras/UEC_12-13.pdf.

Gimenez_Malestar.indb 120

04/12/2016 17:26:40

Internacionalidad de las ciencias y de las publicaciones

121

las fronteras y ponerse en el lugar de potenciales interesados en el tema de investigación en los que quizá no se había pensado en un primer momento. Sin embargo, el patrón de comunicación descrito no se deriva de una postura acomodaticia por parte de humanistas y científicos sociales, tal y como sugiere un reciente estudio3. Encontrar el justo medio entre lo que se publica fuera y lo que se publica dentro debería ser una tarea obligada tanto para los autores como para los evaluadores. Y quizá sea la fórmula para mitigar las tensiones entre unas y otras disciplinas científicas, acercando posiciones en cuanto al nivel de exigencia a los investigadores, pero, al mismo tiempo, respetando los diferentes grados de internacionalidad de las disciplinas. Sin embargo, como bien apuntan algunos de los investigadores participantes en el estudio, en la elección del canal de difusión de resultados debería primar una variable: la calidad. Y es que en ocasiones las revistas que publicaban temas de investigación más locales han sido también las revistas con menos calidad, al menos en lo que se refiere a filtros científicos, visibilidad en bases de datos, reconocimiento por parte de los especialistas y también en criterios de calidad editorial. Un especialista en Derecho describió muy bien, a través de sus comentarios, la difícil internacionalización de algunas disciplinas: En derecho penal el sistema penal anglosajón es muy diferente al sistema penal continental, de modo que hay términos jurídicos en el sistema penal continental que simplemente no existen en el sistema penal anglosajón. Esto significa que, a veces, es muy difícil o imposible realizar la traducción de tales términos (y de los correspondientes conceptos) del castellano al inglés. Por otro lado, en el ámbito de las ciencias jurídicas junto con la publicación de artículos doctrinales en revistas científicas, debemos destacar la publicación de monografías.

También en el ámbito del Derecho, la especialidad de Constitucional es una de las eminentemente nacionales. Tan limitada está a cada frontera que incluso algunos especialistas del área indican que desconocen las revistas extranjeras de su disciplina. 3 Chinchilla-Rodríguez, Z., Miguel, S., y de Moya-Anegón, F. (2014). “What factors affect the visibility of Argentinean publications in humanities and social sciences in Scopus? Some evidence beyond the geographic realm of research”. Scientometrics, 102 (1), 789-810.

Gimenez_Malestar.indb 121

04/12/2016 17:26:40

122

Los investigadores ante su evaluación

La realidad de que no todas las especialidades científicas interesan en todas las partes del mundo y, por tanto, no todas las disciplinas tienen la misma facilidad para proyectarse o internacionalizarse se materializa aquí con el lenguaje. Sencillamente, no existen equivalencias entre los términos, por lo que difícilmente podrán entenderse en un país las realidades de otro. En ocasiones, la ausencia de revistas especializadas en el propio país lleva a los investigadores a publicar sus artículos en revistas extranjeras y eso, como señala uno de los participantes, debilita aún más el sector editorial de las revistas en España. La Didáctica de la Matemática, la Lingüística del discurso, la Organización escolar, la Edición científica o la Filosofía del Derecho son algunas de las especialidades para las que se detecta falta de revistas especializadas. Paradójicamente, los estudios sobre las revistas científicas españolas coinciden en señalar lo prolífico que es el sector. En 2013 se contabilizaban más de 2300 revistas (1800 vivas) en Humanidades y Ciencias Sociales. Este escenario superpoblado, sin embargo, no es lo suficientemente sólido, pues muchas de esas publicaciones tienen serios problemas para subsistir, no reciben apenas originales y eso les impide salir a tiempo. En ocasiones, para poder cumplir con la periodicidad se publica lo que llega a la redacción de la revista pasando por un leve filtro editorial, pero no recibiendo los correspondientes informes de los expertos externos. Esta realidad —falta de originales— contrasta con el vacío de revistas especializadas que detectan los investigadores. Como ya se ha apuntado en ocasiones4, muchas de las revistas españolas generalistas podrían especializarse consiguiendo así reunir una comunidad académica en torno a sí y evitando competir con cientos de revistas generalistas que existen en las distintas disciplinas. Esta especialización, unida a la calidad, podría ser la clave de la subsistencia de muchas publicaciones. Si bien las revistas generalistas pueden acoger trabajos muy especializados, lo cierto es que los autores no se sienten cómodos con esa elección pues, a juzgar por sus opiniones, no encontrarán en ellas a sus lectores naturales. Esta afirmación no es del todo cierta, ya que los investigadores consultan hoy cualquier tipo de revista en la que puedan encontrar información relevante

4 Rodríguez-Yunta, L., y Giménez Toledo, E. (2013). “Fusión, coedición o reestructuración de revistas científicas en humanidades y ciencias sociales”. El Profesional de la información, 22 (1), 36-45.

Gimenez_Malestar.indb 122

04/12/2016 17:26:40

Internacionalidad de las ciencias y de las publicaciones

123

para sus trabajos y lo hacen porque existen herramientas suficientes —buscadores, servicios de alertas, bases de datos, etc.— para localizarlos. Lo que sí es cierto es que una revista científica es, al fin y al cabo, el nodo de una red de investigadores. Son referencia para las disciplinas científicas y ese es uno de los valores que aún permanece y que le da entidad a la revista, frente a las teorías que apuntan a la desaparición de la revista científica como unidad5. La ausencia de revistas especializadas es una razón también apuntada por los investigadores para publicar a través de otros canales como los libros o capítulos de libros, aunque, como se ha visto, estos forman parte arraigada de los hábitos de comunicación de científicos sociales y humanistas. La financiación de la investigación también aparece —y es— como un asunto vinculado a la internacionalidad de las investigaciones. Disponer de más o menos recursos es un asunto clave en la definición de metodologías, en la dimensión del proyecto de investigación, en la posibilidad de establecer redes internacionales de trabajo e incluso en las publicaciones que se generan, teniendo en cuenta que tanto en revistas como en editoriales cada vez es más habitual la aportación económica (cofinanciación) por parte del autor para que se publique. En ese sentido, apuntan algunos investigadores, la investigación realizada en España pocas veces es comparable a la realizada por otros países, precisamente por esa menor inversión que casi siempre ha caracterizado al sistema de I+D español6. La capacidad para generar investigación 5 Van Noorden, R. (2013). “Open Access: the true cost of science publishing”. Nature, 495, 7442. Disponible en http://www.nature.com/news/open-access-the-true-cost-of-science-publishing-1.12676. Camussone, P. F., Cuel, R. y Ponte, D. (2011). “Internet and innovative knowledge evaluation processes: new directions for scientific creativity?”. En Information Technology and Innovation Trends in Organizations. Heidelberg: Physica-Verlag HD, 435-442; Crow, R. (2002). “The case for institutional repositories: a SPARC position paper”.  ARL Bimonthly Report 223; Harnad, S. (2001). “The self-archiving initiative”. Nature, 410 (6832), 1024-1025. 6 El informe de la OCDE sobre inversión en R&D como porcentaje del PIB muestra una inversión en España por debajo de la media de la OCDE y por debajo de la media de EU 27 en todos los años 2004-2011: http://www.oecd-ilibrary.org/science-and-technology/grossdomestic-expenditure-on-r-d_2075843x-table1; Los datos sobre la evolución de las partidas presupuestarias destinadas a I+D en España pueden consultarse en los sucesivos informes de la COSCE: http://www.cosce.org/informes.htm; Santamaría, L., Diaz, M., y Valladares, F. (2013). “Dark Clouds over Spanish Science”. Science, 340 (6138), 1292.

Gimenez_Malestar.indb 123

04/12/2016 17:26:40

124

Los investigadores ante su evaluación

de calidad no está en entredicho. Sí lo está la capacidad de competir en la escena internacional. Los recientes recortes en bibliotecas universitarias y de investigación han traído consigo la cancelación de las suscripciones a revistas clave en las distintas disciplinas científicas. Si un investigador no tiene acceso a la principal revista de su especialidad, ¿cómo podrá saber qué resultados validados están generando sus colegas?, ¿cómo puede competir con ellos si le falta la información científica de base? Si las principales revistas o editoriales internacionales de la especialidad exigen a los autores una parte del coste de la edición, ¿cómo se puede competir si el país en el que se investiga destina fondos muy limitados para la investigación?7. A pesar de que las exigencias en los procesos de evaluación en relación con la internacionalidad han ido creciendo en los últimos años, lo cierto es que la internacionalización de la ciencia española y también de sus publicaciones se apoya en pilares que están debilitados. La financiación es uno de ellos. Y además repercute directamente en las posibilidades de los investigadores de establecer o formar parte de redes internacionales de investigación. La internacionalidad no es una característica sobrevenida, algo a lo que se aspira y que llega inmediatamente. La internacionalidad implica financiación y el propio interés internacional del tema de investigación, pero también mucho esfuerzo por parte de los investigadores. Algunas de las bases fundamentales para internacionalizar la investigación8 son acciones como la participación en proyectos internacionales, la asistencia a congresos en los que participan colegas de distintos países, despertar interés fuera con las investigaciones propias y atender, por ejemplo, la invitación a conferencias, la publicación en las revistas internacionales de la especialidad, seleccionar los temas de mayor interés internacional entre su investigación de marcado carácter local/regional o evaluar artículos o capítulos de publicaciones de otros países. De algunas 7 La diferencia de potencial en publicaciones que tienen países, universidades o disciplinas está siendo estudiada y denunciada, en relación con el movimiento. Véase “Open Access y su financiación Open Access: HEFCE, REF2020 and the Threat to Academic Freedom”. The disorder of things. http://thedisorderofthings.com/2012/12/04/open-access-hefce-ref2020and-the-threat-to-academic-freedom/ [9/4/2014]. 8 Abramo, G., D’Angelo, C. A., y Solazzi, M. (2011). “The relationship between scientists’ research performance and the degree of internationalization of their research”. Scientometrics, 86 (3), 629-643.

Gimenez_Malestar.indb 124

04/12/2016 17:26:40

Internacionalidad de las ciencias y de las publicaciones

125

de estas actividades ni siquiera existen datos, pero, probablemente, no son prácticas tan habituales o extendidas como se quisiera. Sería interesante conocer, por ejemplo, qué porcentaje de investigadores en Humanidades y Ciencias Sociales no solicita proyectos de investigación en convocatorias europeas, de manera que pudieran tomarse medidas para promover su participación en proyectos internacionales. Sí que se conocen algunos datos sobre quienes sí solicitan proyectos europeos. Los datos de participación española en el VII Programa Marco correspondientes a 20119 indican que desde el área de Humanidades y Ciencias Sociales se solicitaron un total de 144 propuestas de proyectos, de los cuales solo 28 eran liderados por españoles. La baja tasa de éxito (6,9%) podrá atribuirse a distintos factores, no solo a la calidad científica de las propuestas, sino a cuestiones relacionadas con la propia formulación del proyecto y, desde luego, a la enorme competencia que existe entre las propuestas de todos los países de la UE. La tasa de éxito baja aún más si se observan los datos de las convocatorias del European Research Council (Starting Grants), donde los investigadores españoles de Humanidades y Ciencias Sociales obtuvieron 19 proyectos de los 363 solicitados en el periodo 2007-201310. Estos datos muestran el camino que aún queda por recorrer, pero también hay que destacar el otro lado de la moneda. Hay una pequeña parte de la comunidad de humanistas y científicos sociales españoles muy competitivos que no solo están desarrollando su investigación a nivel internacional y obteniendo retornos económicos, sino que, además, pueden ser modelos y estímulos para abrir los horizontes de otros investigadores más focalizados en las convocatorias nacionales. No cabe duda de que la proyección internacional de la investigación puede lograrse también en las Humanidades y en las Ciencias Sociales, a pesar del foco más local de sus investigaciones. Pero para que suceda han de darse, al menos, dos condiciones. La primera es que exista el contexto institucional y económico adecuado para hacerlo. La segunda es que el investigador quiera visibilizar su investigación más allá de sus fronteras y, para ello, elija la vía más exigente y el trabajo competitivo que siempre supone enfrentar (en el

9 http://www.cdti.es/recursos/doc/Programas/Cooperacion_internacional/P. Marco_I%20D_de_la_UE/Socioeconomia/10067_34342012173115.pdf. 10 http://erc.europa.eu/projects-and-results/statistics.

Gimenez_Malestar.indb 125

04/12/2016 17:26:41

126

Los investigadores ante su evaluación

mejor sentido de la palabra) la investigación propia con la que hacen el resto de colegas en otros países del mundo. En definitiva, para que la investigación en Humanidades y Ciencias Sociales se internacionalice investigadores y políticos han de hacer esfuerzos dirigidos a ello. Tampoco es sobrevenida la internacionalidad de las publicaciones españolas. Al igual que en el caso de los investigadores, la proyección internacional de una revista requiere de muchos esfuerzos por parte del equipo editorial e incluso de los autores. No todas las revistas tendrán entre sus objetivos difundir internacionalmente la investigación que se produce en un campo, pero, si se quiere hacer o se considera necesario desde el punto de vista de la visibilización de la ciencia española y la integración o conexión con los temas de investigación que se están abordando en otros países, es necesario plantearse una serie de actuaciones que implican cambios en las revistas. Siempre partiendo de la base de que el ámbito de publicación de la revista debe suscitar interés fuera de nuestras fronteras —aunque ello no signifique que tenga un lectorado amplísimo, comparable al de algunas disciplinas claramente internacionales— y de que, en cierto modo, debería convertirse en una referente internacional, especialmente en disciplinas muy pequeñas por especializadas, la revista debería plantearse algunas acciones específicas. Una de ellas sería, por ejemplo, atraer artículos de los autores de otros países; para ello, la revista debería ser reconocida por los autores potenciales, debería estar difundida en otros países mediante las múltiples opciones que existen, desde la presencia de la revista en bases de datos de la especialidad hasta la difusión de contenidos o debates generados por la revista en redes sociales, pasando por la difusión que puedan hacer personalmente los miembros del equipo editorial o del comité científico entre investigadores extranjeros, en congresos o en reuniones especializadas. O, por ejemplo, debería admitir originales en otros idiomas, fundamentalmente en los más extendidos en cada disciplina, para lo cual debería contar con evaluadores competentes en esos idiomas y en esas especialidades científicas. Solo cuando la revista consigue publicar buenas investigaciones e integrar a la comunidad científica internacional es capaz de conseguir impacto bibliométrico (es decir, de recibir citas, que son la medida oficial de la calidad de las revistas). Y aunque las dos primeras condiciones son las que realmente deberían considerarse y las que deberían constituir el objetivo de una revista

Gimenez_Malestar.indb 126

04/12/2016 17:26:41

Internacionalidad de las ciencias y de las publicaciones

127

científica, lo cierto es que el impacto es lo que persiguen algunos editores, movidos por la presiones o exigencias de las agencias de evaluación, tanto hacia ellas como hacia sus autores. Lo anterior es solo una muestra de lo que implica internacionalizar una publicación. El apoyo institucional a los editores, de darse, debería producirse en esos procesos. Solo cuando se consigue ese grado de internacionalización, las bases de datos que se emplean prioritariamente en evaluación, las integradas en Web of Science o Scopus, empiezan a considerarlas para ser incluidas como revistas fuente. Pero ni siquiera ese perfil internacional es suficiente para entrar, pues como se describió anteriormente WoS tiene criterios de selección que pueden excluir a revistas con perfil internacional si la especialidad que tratan está ya suficientemente cubierta en sus bases de datos. En este sentido, no son pocos los editores extrañados con la convocatoria de apoyo a la internacionalización de revistas científicas españolas promovida por la FECYT que afirma: (…) la FECYT viene desarrollando desde el año 2006 una línea de actuación destinada a apoyar la profesionalización e internacionalización de revistas científicas españolas (proyecto ARCE). Uno de los instrumentos fundamentales para articular el mencionado proyecto es la Convocatoria de Evaluación de la Calidad Editorial y Científica de las Revistas Científicas Españolas, que tiene por objeto proporcionar un reconocimiento de las mismas, fomentando su visibilidad y presencia en las bases de datos internacionales, y que se ha venido realizando de manera bienal desde el año 200711.

Y es que el fomento de la visibilidad y presencia de las revistas en bases de datos internacionales que promueve la FECYT en su convocatoria resulta paradójico teniendo en cuenta que entre los criterios de valoración de las revistas españolas para otorgarles el sello de calidad FECYT se encuentra, precisamente, la presencia en bases de datos internacionales o el número de citas recibidas por las revistas en Journal Citation Reports, en Scimago Journal Rank y en otras fuentes, pero priorizando las citadas. Dicho de otro modo, el 11 FECYT. (2013). “Bases de la cuarta convocatoria de evaluación de la calidad editorial y científica de las revistas científicas españolas”. http://evaluacionarce.fecyt.es/documentos/ BasesRenovacionSello_defDG.pdf.

Gimenez_Malestar.indb 127

04/12/2016 17:26:41

128

Los investigadores ante su evaluación

objetivo de la convocatoria se convierte en exigencia de la convocatoria. Para las revistas no incluidas en Wos o Scopus resulta francamente difícil pasar el proceso de evaluación cuando, en realidad, lo que se pretendía —al menos eso se desprende de la convocatoria— es impulsarlas y favorecer su acceso a las bases de datos internacionales. Esta situación contraría a los editores y, lejos de estimularles, provoca reacciones que en nada benefician al maltrecho panorama de la edición de revistas científicas en España. El párrafo que sigue a continuación muestra, en palabras de un editor12, esta situación: Lo que entendíamos que era un proceso convocado por FECYT para el apoyo a las revistas científicas españolas que tuvieran un cierto índice de calidad, con idea de ayudarles a mejorar y a conseguir su posible indexado se convirtió, en nuestro caso, en un proceso en el que se nos negó esa aprobación, pero nunca se nos argumentó nada concreto en contra de la calidad de la revista. El único argumento para que H&A no fuera seleccionada entre las revistas que “aprobaron” el proceso, era que no tenía suficiente presencia en las bases de datos internacionalmente reconocidas. Es decir, que no estaba indexada por Thomson Reuters. (...) la respuesta de la FECYT en ambos casos vino a ser que no nos ayudaban a mejorar y a entrar en el indexado de Thomson Reuters porque no estábamos ya en él. Es decir, una pescadilla que se muerde la cola o un círculo vicioso del que la postura de la FECYT no te ayudaba a salir. (...) En estas condiciones, el posible acuerdo con ELSEVIER se nos plantea prácticamente como la única vía posible para tratar de salir de ese círculo vicioso.13

La política científica en relación con la internacionalización de la investigación y de las publicaciones marca el rumbo de las actuaciones de investigadores, editores y evaluadores. También en consonancia con ella hemos actuado los grupos de investigación que generábamos indicadores indirectos de calidad para las revistas científicas españolas. Sistemas como RESH, DICE o In Recs14, 12 Luis Mª Ortega Basagoiti, Director de Hormigón y Acero, quien ha autorizado la reproducción de este correo electrónico dirigido a la FECYT y a la autora de este libro. 13 El editor se refiere a un acuerdo con Elsevier mediante el cual el editor pagará a la empresa editorial por la gestión de la misma y por su inclusión en Scopus. La indexación en Scopus resuelve uno de los problemas de visibilidad internacional de la publicación. 14 Todos esos sistemas de indicadores, que durante muchos años fueron financiados con fondos públicos, que han comportado el trabajo de muchas personas y que han sido fuentes

Gimenez_Malestar.indb 128

04/12/2016 17:26:41

Internacionalidad de las ciencias y de las publicaciones

129

que ofrecían estos indicadores, trataban de reflejar no solo las normas internacionales de edición científica, sino también los criterios que para las agencias de evaluación españolas eran importantes. No conviene, sin embargo, pensar que son indicadores ad hoc, en el sentido de que se crean específicamente para una comunidad científica concreta —la española— y en su beneficio. Esta interpretación, que a veces se ha querido dar para desacreditar los sistemas públicos de indicadores, no considera que la calidad de las publicaciones científicas gira, en cualquier país del mundo, en torno a una serie de variables limitadas que, al fin, son las que se utilizan de una u otra manera en cualquier proceso de evaluación en el que intervengan publicaciones científicas. Analizar estas variables para el conjunto de revistas de un país les da la oportunidad de mostrar sus estándares de calidad, más allá de la política editorial de las grandes bases de datos internacionales que, por razones comerciales y estratégicas, solo incorporaran un pequeño porcentaje de revistas de cada país. Por otra parte, no parece lógico obviar que quienes forman parte de los paneles de evaluación de las agencias son académicos, conocedores de las especificidades de cada disciplina científica y también del valor relativo de los indicadores. Olvidar ese dato deja huecos en los argumentos contrarios a esos sistemas. Menospreciarlo implica una falta de confianza en los pares y, por tanto, un cierto contrasentido cuando se defiende con vehemencia la revisión por expertos. Muchos investigadores son críticos con los indicadores formales de publicaciones. ¿Acaso es comparable la calidad de una publicación con el número de bases de datos en que esté recogida esa publicación? Evidentemente, no; sobre todo si se habla en términos absolutos. Los indicadores de difusión en bases de datos son, como el resto de indicadores, informaciones que apuntan a una característica de la publicación y que, por tanto, dan pistas sobre la misma. En ningún caso se han utilizado como determinantes en un proceso de evaluación de investigadores, a excepción del factor de impacto, que sí que ha marcado y marca los resultados de evaluación de los científicos. Curiosamente, quienes se oponen a la utilización de indicadores para revistas científicas españolas (también sucede con las de otros países) suelen confiar y defender esta aplicación automática del factor de impacto, mostrando de indicadores para las agencias de evaluación y modelos de referencia en otros países, han dejado de ser elaborados ya por falta de financiación.

Gimenez_Malestar.indb 129

04/12/2016 17:26:41

130

Los investigadores ante su evaluación

nuevamente la existencia de escuelas de pensamiento en torno a la evaluación científica. Pero son los propios investigadores los que reconocen, por ejemplo, que determinadas publicaciones de subespecialidades, como la literatura norteamericana, no llegarán a alcanzar una verdadera proyección internacional o impacto si no están incluidas en bases de datos internacionales. Este tipo de apreciaciones son las que conducen a pensar que si el investigador se abstrae de los aspectos más directamente relacionados con la evaluación —y con la suya personal, en particular— y se centra en la propia trayectoria de las publicaciones, identifica naturalmente aspectos que son cruciales para que una obra llegue a sus lectores, como que la obra debe estar presente en repertorios internacionales para que los investigadores de otros países puedan saber que existe, localizarla, leerla. El hecho de que esa variable se traduzca a un indicador de difusión o de internacionalidad tiene un valor informativo evidente, aunque su aceptación ya resulta más complicada cuando entra a formar parte de los indicadores. Entonces, asume la carga negativa que el término tiene. La cuestión del idioma en la comunicación de la ciencia Que la literatura científica en inglés representa gran parte del volumen de información de las bases de datos que se emplean para evaluación científica es un hecho descrito y analizado por numerosos estudios bibliométricos15. Lo que estos muestran con números es detectado rápidamente por los investigadores, especialmente los de algunas disciplinas. Así, algunos de los autores que participaron en este estudio identificaron rápidamente la ausencia de revistas clave de sus especialidades entre los listados de revistas internacionales que se les proponían, entre ellas las editadas en Francia, Italia o Alemania. Apuntan que la calidad de tales publicaciones es reconocida por los especialistas en el tema y, sin embargo, no aparecen entre las propuestas 15 Dos ejemplos serían: Van Leeuwen, T. N., Moed, H. F., Tijssen, R. J. W., Visser, M. S., y Van Raan, A. F. J. (2001). “Language biases in the coverage of the Science Citation Index and its consequences for international comparisons of national research performance”. Scientometrics, 51(1), 335-346 o Archambault, É. y Larivière, V. (2010). “The limits of bibliometrics for the analysis of the social sciences and humanities literature”. World Social Science Report, 251-254.

Gimenez_Malestar.indb 130

04/12/2016 17:26:41

Internacionalidad de las ciencias y de las publicaciones

131

por el hecho de que no son revistas fuente de los grandes sistemas de información. Estos excluyen —no es nada nuevo— una considerable cantidad de revistas publicadas en idiomas distintos al inglés y que son fundamentales en muchas disciplinas de las Humanidades y de las Ciencias Sociales. Una parte de los investigadores considera que las crecientes dificultades para publicar en español provocan que los destinatarios naturales de las investigaciones no puedan acceder a esos resultados. El caso es que, bien sea porque el objeto de estudio exija la publicación en español (pongamos el evidente ejemplo de la Filología Hispánica), bien sea porque quienes tienen más interés en los resultados de investigación son hispanohablantes, la publicación en inglés resulta forzada16, impide llegar a los lectores naturales y es fruto de las presiones de los procesos de evaluación. “Si no publicas en inglés, no eres nadie”, resume un investigador. Otros, por su parte, se refieren al hecho de que las propias agencias de evaluación deberían manifestar claramente que son las publicaciones en inglés las que realmente se valoran o las que están por encima de las escritas en español o en otros idiomas. Las agencias de evaluación establecen una clara jerarquía entre los artículos de revistas que someten a valoración. Priman las recogidas en la Web of Science; priman, por tanto, las publicaciones en inglés por el consabido sesgo hacia ese idioma de esas bases de datos. Tras ellas, vienen el resto de publicaciones recogidas en distintas fuentes que proporcionan indicadores, pero a ellas se les asigna un peso menor en los procesos de evaluación y su defensa siempre resulta mucho más laboriosa que una publicación WoS. Este mayor valor que se le asigna a las publicaciones indexadas y en inglés y la posibilidad de ser leídas por investigadores angloparlantes, que se convierten así en potenciales citantes de los artículos, hace que algunos editores españoles hayan optado por las ediciones bilingües de sus revistas, mientras otros se lo plantean seriamente. Resulta obvio que la inversión necesaria para ello es enorme y que la edición científica española no ha gozado de grandes márgenes para poder afrontar estos retos. Sin embargo, revistas como The Spanish Journal of Psychology, Applied Econometrics and

16 Todo lo contrario sucede en el ámbito biomédico, donde el factor “normalización” del lenguaje resulta crítico. Véase: Aréchaga, J. (2014). “Lenguaje y comunicación en la investigación biomédica básica”, http://www.esteve.org/monografia-lenguaje..

Gimenez_Malestar.indb 131

04/12/2016 17:26:41

132

Los investigadores ante su evaluación

International Development, Vigo International Journal of Applied Linguistics o Comunicar, por poner solo algunos ejemplos, han conseguido mantener el modelo durante años. Esa estrategia no siempre les ha supuesto un aumento de su factor de impacto, que es, entre otros, uno de los objetivos que se persiguen. En otros casos, la internacionalización de la revista no ha sido solo cuestión de cambio de idioma o de líneas de investigación claramente internacionales, sino que ha supuesto también el paso a una entidad editorial extranjera. Es el caso de The Spanish Journal of Psychology, que, aunque sigue siendo editada por la Universidad Complutense de Madrid y el Colegio Oficial de Psicólogos de Madrid, es una revista de Cambridge University Press17. Gran parte de las revistas españolas de Humanidades y Ciencias Sociales que han conseguido entrar en Journal Citation Reports no alcanzan el primer ni el segundo cuartil. Publicar en inglés y estar en JCR no garantiza un aumento continuado de las citas. Estas dependerán mucho de la especialidad científica de la revista y del tamaño de la comunidad científica, de sus prácticas de citación y también, claro está, de la influencia de las modas y de los colegios invisibles que inclinan la balanza con sus citas para algunos autores o temas. La cuestión del idioma es especialmente acuciante entre los investigadores americanistas, que defienden, como es lógico, la necesidad de transmitir sus resultados de investigación en el idioma de la comunidad que es su objeto de estudio, aunque también se reconoce el uso que tiene el inglés en este campo: el intercambio teórico a nivel internacional. Además, se reivindican a menudo las posibilidades que el idioma, el español, tendría para unir y crear un espacio común con los países latinoamericanos18. En algunos campos como el Derecho, la Geografía, la Filología o la Filosofía se critica seriamente la mejor valoración de las revistas publicadas en 17 Cambridge University Press actúa como publisher de la revista, mientras que las instituciones responsables del contenido asumen la función de editors. http://journals.cambridge. org/action/displayJournal?jid=SJP. 18 Rodríguez-Yunta. L. (2011). El rol de las revistas de Ciencias Sociales y Humanidades en el marco de la cooperación científica iberoamericana y las redes de colaboración en el desarrollo de productos de información bibliográfica. Tesis doctoral. Madrid: Universidad Complutense de Madrid, pp. 233-268. Disponible en http://eprints.ucm.es/12691/1/T33022.pdf.

Gimenez_Malestar.indb 132

04/12/2016 17:26:41

Internacionalidad de las ciencias y de las publicaciones

133

inglés frente a las publicadas en otros idiomas. En algunos campos como los citados existen los idiomas disciplinares, como lo es el alemán para la Filosofía o el Derecho. Son fundamentales en su comunicación; una suerte de lengua culta para la comunicación en esas disciplinas. De ahí que no resulte extraño que sea precisamente de esas áreas de donde provienen la mayor parte de críticas hacia un sistema que promueve la hegemonía del inglés, independientemente de las disciplinas, de sus hábitos de comunicación y de sus fuentes. El idioma en el que se publica está directamente relacionado con las posibilidades de citación. Las dificultades de que una publicación sea citada aumentan si el idioma es minoritario. A menor número de hablantes, menor número de citantes potenciales. A esa evidencia se une la mayor dificultad de que las revistas no publicadas en inglés sean seleccionadas por las grandes bases de datos de citas. Uniendo ambas variables, se obtiene como resultado que las disciplinas o especialidades científicas que utilizan por objeto de estudio, tradición, etc. un idioma distinto al inglés tendrán serias dificultades para ser evaluadas positivamente según los procedimientos más extendidos (presencia en WoS/Scopus y número de citas). La especialización en ciencia está unida, a menudo, a un tamaño más reducido de la comunidad científica que trabaja en torno a la especialidad. En ese sentido, además de considerar que van a recibir menos citas que el resto de disciplinas, habrá que reivindicar —de usarse un indicador de impacto— una medida normalizada que permita comparar disciplinas comparables19. Por otra parte, el sistema se retroalimenta de forma constante. Una investigadora pone el ejemplo de una revista de una pequeña especialidad científica, de alta calidad y con bastantes citas dentro de su especialidad (pero con pocas comparadas con las de la gran disciplina, en este caso, la Educación), que es rechazada por WoS para ser indexada, porque cuenta con un número bajo de citas entre las revistas fuente de WoS. Puesto que esta pequeña especialidad solo tenía una revista indexada en WoS, las únicas citas que se le estaban considerando a la revista que solicitaba entrar eran las de la única revista WoS. De nuevo, la mayor o menor suerte que tengan las revistas no

19 Mañana-Rodríguez, J. (2013). Análisis multidimensional de la especialización en publicaciones de Ciencias Sociales y Humanidades. Tesis Doctoral. Madrid: Universidad Carlos III de Madrid.

Gimenez_Malestar.indb 133

04/12/2016 17:26:41

134

Los investigadores ante su evaluación

depende exclusivamente de la calidad de las mismas, sino de los criterios editoriales que manejen las multinacionales de la información científica. En relación con la hegemonía del inglés como lengua principal en la comunicación científica, un investigador señala que quienes no tenemos el inglés como lengua materna, pero somos capaces de entenderlo y escribirlo, generamos citas a investigadores que son anglohablantes y, sin embargo, el proceso no puede ser a la inversa, pues rara vez los anglohablantes hablan o citan idiomas distintos al suyo. Abundando en el argumento, otros investigadores se refieren a que en el ámbito anglosajón cada vez se desconocen más las publicaciones escritas en otros idiomas distintos al inglés y procedentes de otros países, independientemente de la calidad que tengan sus investigaciones. La competencia lingüística La necesidad de internacionalizar y visibilizar la investigación realizada publicando en inglés hace aflorar de forma constante el problema de la competencia lingüística. Publicar en inglés implica escribir los artículos o los libros en inglés o bien contratar a traductores profesionales, cada vez que se quiera difundir un resultado de investigación. La primera opción resulta complicada, teniendo en cuenta que la enseñanza del inglés entre quienes ocupan ahora plazas de titulares en investigación ha sido débil20 y, desde luego, sus objetivos han estado muy alejados del bilingüismo, algo casi necesario para la comunicación pública en revistas o editoriales especializadas. La continuidad en el uso de las fuentes en idiomas distintos al inglés permite no solo llegar a los destinatarios naturales de esas investigaciones, sino también preservar el idioma y preservar la riqueza cultural que comporta la variedad de lenguas. De hecho, uno de los objetivos del European Reference Index for the Humanities (ERIH) estaba directamente vinculado al plurilingüismo: “To enhance the global visibility of high-quality European research

20 Unos de los barómetros del CIS (http://estaticos.elmundo.es/documentos/2014/03/05/ barometro_CIS.pdf (p. 6) muestra hasta qué punto es débil el conocimiento del inglés en los españoles.

Gimenez_Malestar.indb 134

04/12/2016 17:26:41

Internacionalidad de las ciencias y de las publicaciones

135

in the Humanities across all languages”21. A la evidente riqueza cultural y científica que supone el uso de diversos idiomas en la comunicación de la ciencia, también hay que añadir que se han observado las diferencias interculturales entre anglohablantes nativos y no nativos en el uso de la retórica que muestran hasta qué punto los no nativos comunican de otro modo al publicar en inglés22. Pero además, el uso del español en la comunicación científica puede tener un potencial económico importante, algo que se está dejando de lado en las decisiones que se toman sobre publicaciones científicas, tanto en el plano de la evaluación como en el editorial y en el de la propia estrategia de publicación de los autores. El estudio “Global English in the Humanities?” concluía: Consistent levels of foreign-language citation from humanities scholars indicate a need for U.S. research libraries to continue to purchase foreign-language materials and to recruit catalogers and collection development specialists with foreign-language knowledge23.

La competencia lingüística también es un tema preocupante en la estrategia editorial de las revistas y en sus esquemas de financiación. Como se indicaba anteriormente, en su afán por internacionalizar sus publicaciones, algunos editores han optado por desarrollar versiones bilingües de las revistas o, directamente, por publicar en inglés. Esa decisión deberá tener en cuenta cómo cambiaría —en su caso— la línea editorial por el cambio de idioma, cómo afectaría al tipo de lectores que tendría la nueva revista y cómo cambiarían el equipo editorial y sus funciones. También conlleva una toma de posición en relación con la política lingüística en el ámbito académico y debe llevar aparejada, necesariamente, un cálculo de costes. Publicar en inglés no implica solo que el autor envíe su artículo en ese idioma en una 21

www.esf.org/fileadmin/links/Social/SCSS/6.2_Hoffman.ppt. Pérez-Llantada, C. (2007). “Native and non-native English scholars publishing research internationally: A small-scale study on authorial (in)visibility”. Journal of Applied Linguistics, 4 (2), 217-237. 23 Kellsey, Ch. y Knievel, J. E. (2004). “Global English in the Humanities? A Longitudinal Citation Study of Foreign-Language Use by Humanities Scholars”, College & Research Libraries, 65 (3), 194-204. 22

Gimenez_Malestar.indb 135

04/12/2016 17:26:42

136

Los investigadores ante su evaluación

versión correcta (para lo cual deberá ser bilingüe o bien deberá contratar un servicio de traducción); conlleva también contar con un equipo editorial y de evaluadores con suficientes competencias en inglés como para poder evaluar el original, emitir un informe sobre su calidad o comunicarse con el resto del equipo editorial y con los autores. También supondrá desarrollar una versión en inglés de la web de la revista, del sistema de gestión editorial y de los documentos de trabajo que deban manejar tanto autores como editores y evaluadores. Todos estos requisitos se darán en algunas revistas, pero otras deberán realizar una inversión económica importante para poder responder al objetivo. Por otra parte, será necesario valorar si el coste —en sentido amplio— del cambio de idioma de la publicación podrá obtener los resultados esperados en términos de internacionalización, calidad e impacto.

Gimenez_Malestar.indb 136

04/12/2016 17:26:42

Capítulo 5

La especialización en la evaluación científica

Son muchas las cuestiones relacionadas con la especialización en investigación que tienen alguna incidencia en la evaluación científica. La especialización en la investigación puede venir dada por distintas variables, como el periodo cronológico (Historia contemporánea), el ámbito geográfico (Arqueología mesoamericana), el idioma o el ámbito cultura (Literatura escandinava), las metodologías empleadas (estudios sociales cuantitativos frente a los cualitativos), los enfoques teóricos (Lingüística generativa) o la conjunción de unas disciplinas con otras (estudios neurológicos sobre la lectura). Hay campos en los que la investigación es tan aplicada que resulta difícil clasificar sus revistas como científicas, puesto que el perfil es más técnico o profesional. Puede ser el caso del Urbanismo, la Arquitectura, la Ingeniería, el Marketing, la Empresa, el Derecho, las Bellas Artes e, incluso, la Biblioteconomía. En estos casos, los investigadores se encuentran en una situación difícil, pues la publicación en esas revistas técnico/profesionales puede estar más penalizada por las agencias de evaluación, que se centran en las publicaciones científicas. En ocasiones se observa una diferencia entre las revistas nacionales y las internacionales en estos temas, pues mientras las primeras están más cercanas a los aspectos técnicos y profesionales, las segundas consiguen definir una política editorial más centrada en la investigación científica que sí se realiza en esas áreas, aunque no siempre es lo que se publica. En el caso de las revistas de Ingeniería y Arquitectura, por ejemplo, lo que puede verse publicado es la evidencia de sus resultados de investigación: el puente construido o el edificio levantado. Tras ellos hay investigación, cálculo de

Gimenez_Malestar.indb 137

04/12/2016 17:26:42

138

Los investigadores ante su evaluación

estructuras, pruebas, etc. que pocas veces se recogen en las revistas y que forman parte, más bien, de la literatura gris del proyecto. Algunas asociaciones profesionales españolas han trasladado a las distintas agencias de evaluación sus consideraciones sobre los actuales procedimientos de evaluación de la producción científica, haciendo hincapié en cuestiones como esta. Si la forma habitual de publicación de resultados en un área no es la revista científica, ¿debe forzarse a que lo sea? ¿No resulta más conveniente adaptar los criterios de evaluación a las formas naturales de comunicación científica en cada disciplina? Como indican algunos participantes, algunas de esas revistas técnicas o profesionales son las que realmente alcanzan un mayor impacto en la disciplina. No desde el punto de vista bibliométrico, sino desde el punto de vista de su aplicación o de su utilidad. Y esto produce una especie de contradicción entre lo que es más valorado por las agencias y lo que produce más avances o más conocimientos en el área. Sin duda, las agencias tratan de equiparar exigencias entre las áreas, para no crear agravios, y esa es la razón de que se traten de establecer baremos comparables en las publicaciones, pero en algunos campos resulta realmente complicado. Basta comprobar cómo en Derecho, por ejemplo, los criterios de evaluación de publicaciones son muy diferentes a los de Física. Precisamente en el campo del Derecho, una investigadora se refiere al problema descrito. Señala que en los rankings de revistas no aparecen habitualmente publicaciones que para los investigadores en Derecho son fundamentales como fuente de investigación y de consulta habitual. Es el caso de las revistas que recogen comentarios jurisprudenciales, cuyo estudio resulta fundamental en el área. Si esas revistas no están recogidas o contempladas en los sistemas de evaluación de publicaciones es porque el comentario de la jurisprudencia no se considera trabajo de investigación y, por tanto, la revista que los publica no es considerada científica. Surge, por tanto, un cierto desajuste entre el material que permite aumentar el conocimiento y avanzar en la investigación y aquel que, de forma ortodoxa, es considerado por las agencias de evaluación. La especialización y la evaluación de la investigación están estrechamente ligadas. Especialmente cuando el grado de especialización de un investigador o de una revista es alto, la evaluación puede presentar más complicaciones.

Gimenez_Malestar.indb 138

04/12/2016 17:26:42

La especialización en la evaluación científica

139

Una queja constante de los investigadores es que, a menudo, los comités que evalúan su desempeño científico no cuentan con especialistas de su área y, por tanto, no pueden valorar en la justa medida los méritos de los trabajos científicos que se presentan a evaluación. Los comités de evaluación son numéricamente limitados y no incorporan a representantes de todas las áreas de conocimiento (y, mucho menos, de todas las especialidades científicas), de tal manera que la ausencia de un especialista en Escultura, por ejemplo, en un comité de Historia y Arte puede perjudicar a los investigadores del área. Los cambios que están por venir en los procesos de evaluación en España1 no solo se refieren al giro que pretende darse hacia una evaluación más cualitativa, sino también al establecimiento de más comités o al aumento en la variedad de especialistas, que garantice un mejor ajuste de las evaluaciones. La relación entre especialización y evaluación no solo se deja notar en la composición de los comités y en los correspondientes resultados de evaluación, sino que también afecta, como ya se mencionó en un capítulo anterior, a la propia evaluación de las revistas o de las editoriales. Una microespecialidad tendrá a su alrededor un número reducido de especialistas en todo el mundo. Si la especialidad tiene revistas propias, podrá hacer visible con más facilidad la investigación que se realiza. Sin embargo, de forma inevitable, tenderá a publicar artículos de los mismos autores y el juicio sobre lo que se publica provendrá de los mismos especialistas: al fin y al cabo, esa pequeña comunidad científica es la única que puede alimentar las revistas con sus originales. Se crean así pequeñas redes de especialistas, en cierto modo endogámicas —inevitablemente endogámicas— que pueden fijar sus propias reglas para publicar o evaluar. Otros investigadores no participarán de los procesos editoriales que se den en esas revistas hiperespecializadas y, por otra parte, tampoco citarán habitualmente los trabajos procedentes de esta microespecialidad. El impacto de las revistas será limitado, pues serán pocos los investigadores que puedan citar esos trabajos; también serán limitados los lectores de monografías altamente especializadas. En consecuencia, la menor difusión e impacto de esas investigaciones debe ser tenida en cuenta en los procesos de evaluación. Aunque no resulta factible establecer comités con 1 En el momento de publicar, los cambios ya están anunciados y se empezarán a aplicar próximamente.

Gimenez_Malestar.indb 139

04/12/2016 17:26:42

140

Los investigadores ante su evaluación

integrantes de todas las disciplinas y especialidades, sí se debe atender con cuidado a las dimensiones y posibilidades de una determinada microespecialidad. Por otra parte, resulta ineludible acudir y utilizar indicadores bibliométricos normalizados, cuando los haya, para evitar la comparación de valores (número de citas, por ejemplo) entre disciplinas de muy distintas naturaleza y dimensiones. El proyecto que dio origen a este libro, cuyo objetivo era detectar la mayor o menor relevancia de las revistas científicas españolas a partir de la opinión de científicos sociales y humanistas, dejó ver otra complicación más para las pequeñas especialidades y que, además, fue objeto de comentario entre algunos participantes. En la consulta que entonces hicimos a los investigadores solicitábamos que indicaran las tres revistas españolas y extranjeras más importantes de sus especialidades. Esta reducida selección estaba encaminada a detectar los núcleos de revistas más relevantes, desde una perspectiva cualitativa, pues eran los propios especialistas quienes las seleccionaban en función de su calidad científica. Evidentemente, ante una valoración de estas características puede haber otras motivaciones a la hora de decidirse por una u otra revista. Pero al margen de esto, lo que se debe destacar aquí es que la necesidad de seleccionar hace que el investigador se dirima entre las revistas de investigación generalistas, en cuyas páginas encuentra artículos relevantes para su especialidad, o las propias revistas especializadas. Si el investigador trabaja en una disciplina más o menos grande, reconocerá el mérito, el valor o las aportaciones de las revistas altamente especializadas, pero, quizá, al seleccionar, elija las revistas generalistas. Si el investigador trabaja en una disciplina altamente especializada, normalmente optará por las revistas igualmente especializadas. Pero al procesarse el conjunto de los datos, de todos los profesores participantes, la opinión del especialista quedará en minoría, las revistas especializadas recibirán menos votos o apoyos que las revistas generalistas y, en consecuencia, obtendrán peores posiciones en un ranking. Así se ha comprobado en el ranking de revistas a que dio lugar ese estudio (RESH)2 y además en el ranking de editoriales de libros Scholarly Publishers Indicators (SPI)3, elaborado también a partir de la consulta con especialistas. 2 3

http://epuc.cchs.csic.es/resh. http://ilia.cchs.csic.es/SPI.

Gimenez_Malestar.indb 140

04/12/2016 17:26:42

La especialización en la evaluación científica

141

A título de ejemplo los encuestados mencionan Journal of Literary Semantics, International Journal of Basque Linguistics and Philology, Mexican Studies, American anthropologists, American Antiquity, Estudios de cultura náhuatl o Estudios de cultura novohispana como una muestra de revistas perjudicadas por su propia especialización. Este hecho viene de nuevo a remarcar lo esencial de utilizar los rankings y los indicadores de publicaciones científicas de una manera prudente y no automática, pues, de hacerlo, se perjudicarían seriamente las evaluaciones de determinadas especialidades científicas. La limitación numérica a la hora de elegir revistas resulta también un inconveniente para investigadores que trabajan en disciplinas diferentes pero muy cercanas, como es el caso del arabismo y la historia medieval. Seleccionar revistas implica también seleccionar una de las disciplinas y la consecuencia final es que quedan huecos en la evaluación. Todo ello debe hacer pensar en la necesidad de introducir elementos correctores en la recogida de datos, pero también en su interpretación. Por otra parte, este problema no se da únicamente en la evaluación de revistas científicas, sino que, como apunta uno de los profesores participantes, se produce ya desde el mismo momento de la adscripción de un profesor a una sola área del conocimiento, cuando muchos de esos profesores trabajan en ámbitos interdisciplinares, en la frontera o intersección entre distintas disciplinas. La especialidad científica en la que se trabaje marca el idioma en el que se publica. El español es lengua de comunicación por excelencia en los estudios americanistas, como el inglés lo es en estudios de Física o Economía. Es muy relevante tener este hecho en cuenta por dos cuestiones fundamentales. La primera es que la literatura científica producida en campos que utilicen el español como vehículo de comunicación tendrá muchas más dificultades para ser indexada en las bases de datos que se usan prioritariamente en evaluación científica, como Web of Science o Scopus, pues como se ha demostrado tantas veces tienen un fuerte sesgo hacia lo publicado en inglés. La literatura científica en español se recoge de forma minoritaria en estas bases de datos y eso produce, en ocasiones, una infravaloración de los trabajos científicos que se publican en español. Desprestigiar la producción científica en español, para el caso de los estudios americanistas, o en ruso, para los estudios eslavos, supone una negación del objeto de estudio tan solo porque no existen fuentes para evaluar las

Gimenez_Malestar.indb 141

04/12/2016 17:26:42

142

Los investigadores ante su evaluación

revistas. Por ello, resulta esencial que existan sistemas de evaluación que recojan la diversidad de revistas científicas que edita un país, referidas a las distintas especialidades científicas y escritas en los idiomas naturales de comunicación de esas disciplinas. La distinción de la calidad en las publicaciones debe hacerse entre el total de revistas, no solo entre una selección interesada y que perjudica claramente a algunas especialidades, idiomas y, por tanto, científicos. Además, hay que prever que la sistemática utilización de bases de datos que no reflejan bien la producción científica de un área acabará por modificar el comportamiento de los investigadores, que, lógicamente, no solo quieren investigar y publicar, sino también ser evaluados positivamente por sus respectivas agencias. El amoldamiento a los criterios de evaluación es un proceso que ya se está dando y que, sin duda, puede perjudicar a la investigación de algunas áreas. Uno de los comentarios analizados hace hincapié en este asunto. ¿Para qué publicar en revistas muy especializadas, cuyos procesos de selección son muy rigurosos y sus tasas de rechazo altas, si el factor de impacto de esa revista nunca será tan alto como el de las generalistas? Aunque en otros términos, el investigador se plantea esta cuestión para acabar justificando que muchos académicos opten por la opción más rentable a la hora de publicar: elegir la revista que mejor factor de impacto tenga, independientemente de que no sea la más relevante de la especialidad. En algunos casos, la investigación altamente especializada lo es por la conjunción de distintas disciplinas que antes no habían estado en contacto o sobre las que no se había investigado. Esa circunstancia hace que los investigadores de esa especialidad deban optar por publicar en revistas de esa especialidad, si existen; en revistas generalistas del área, con el riesgo de no encontrar a sus lectores naturales; o, como sucede en otros casos, en revistas de otras áreas que publican trabajos de la especialidad. Un investigador cita un caso clarísimo: “Al trabajar en psicología del tráfico y de la seguridad en el transporte, puedo llegar a publicar en las revistas punteras en este tema, llegando a colaborar en las redes europeas, pero como las revistas no son del área ni tratan sobre temas de impacto académico generalista, aunque sí que lo son desde otros puntos de vista de la investigación, se minusvaloran estas aportaciones”.

Gimenez_Malestar.indb 142

04/12/2016 17:26:42

La especialización en la evaluación científica

143

Si el investigador está adscrito a alguna de las áreas del conocimiento de la Psicología, será complicado el reconocimiento a sus contribuciones en revistas de Transporte y, sin embargo, las revistas de ambas disciplinas podrían acoger perfectamente sus trabajos (la investigación se realiza entre las dos disciplinas), siendo, por tanto, tan relevante publicar en revistas de Transporte como en revistas de Psicología. Este es solo un ejemplo más de cómo la evaluación científica no puede ser un proceso mecánico o más o menos automático. Hay muchos tipos de investigación, con orientaciones e impactos diferentes, y la evaluación debe realizarse teniendo en cuenta el contexto de cada campo de investigación, atendiendo también al contexto de las pequeñas disciplinas. De no hacerlo, las especialidades emergentes, muchas de ellas transversales o interdisciplinares, se verán perjudicadas y una de las consecuencias posibles es que se abandone la investigación en esas especialidades precisamente por la dificultad de obtener proyectos o de promocionar en la carrera investigadora. Por otra parte, su comentario trae a colación, de nuevo, los diferentes impactos que puede tener la investigación. El impacto bibliométrico (citas recibidas por los trabajos) no tiene por qué coincidir con el impacto social o el impacto en la industria que pueda tener una investigación. Evidentemente estos dos últimos tipos de impacto son más difíciles de valorar —o, si se quiere, de medir— que el impacto bibliométrico. Pero no tenerlo en cuenta o considerarlo de una forma secundaria puede llevar a desvirtuar la comunicación científica o la propia investigación. Como se apuntaba anteriormente, cuando un investigador piensa primero en qué revista tiene más impacto para publicar sus resultados y no tanto en qué revista difundirá mejor sus resultados para que llegue a los lectores potencialmente interesados, se está produciendo inevitablemente un desvío en el circuito lógico de la comunicación científica y empiezan a pesar factores más relacionados con la evaluación (positiva) que con la propia investigación. Los especialistas en áreas pequeñas y transversales insisten mucho en este asunto. La diversidad de fuentes que ellos pueden consultar y en la que pueden publicar es mayor que en otras disciplinas más clásicas o más acotadas. Apuntan a la necesidad de considerar las revistas generalistas de sus disciplinas, pero también las de las distintas especialidades que se entrecruzan en su

Gimenez_Malestar.indb 143

04/12/2016 17:26:42

144

Los investigadores ante su evaluación

investigación. Este es un clarísimo ejemplo, en relación con la selección de revistas que un investigador hizo en nuestra encuesta: He introducido las seis revistas de lingüística indoeuropea a mi juicio más importantes de carácter generalista (es decir, no centradas en un ámbito lingüístico concreto), pero resulta fundamental tener en cuenta que la lingüística indoeuropea es un área de conocimiento vastísima en la que existen multitud de subámbitos con sus respectivas revistas de referencia internacional. En el caso de mis líneas de investigación resultan fundamentales, entre otras muchas, revistas como Kadmos, Journal of Near Eastern Studies, Studi Micenei ed egeo-anatolici... (para el ámbito egeo-anatolio) o revistas como Glotta, Studi etruschi, Aion-l... (para el ámbito itálico). Sin una atención específica a los diferentes sub-ámbitos de nuestra área cualquier evaluación de las publicaciones en revistas será altamente insuficiente y sólo servirá para perpetuar la lamentable invisibilidad que aqueja a toda la investigación en humanidades.

El manejo de rankings generalistas y especializados podría ser una solución para evitar los problemas de posicionamiento de las revistas altamente especializadas en rankings de revistas generalistas. El manejo de varios rankings en los procesos de evaluación científica hace imposible la mecanización del proceso, pero garantiza una mejor o más justa valoración. Al construir el ranking de editoriales de libros en Humanidades y Ciencias Sociales Scholarly Publishers Indicators (SPI)4 y, sobre todo, al realizar pruebas de aplicación, se obtuvieron algunas conclusiones muy significativas. El ranking general, desde luego, beneficia a las editoriales de áreas grandes en detrimento de las pequeñas, pero también muestra una relativa mejor posición de las editoriales multidisciplinares frente a las especializadas. En los rankings especializados aparecen siempre menos editoriales que en el general. Puede suceder que los investigadores de las áreas pequeñas publiquen en editoriales muy prestigiosas que aparecen en el ranking general, pero no en los especializados. Si no se manejaran conjuntamente los dos listados, este tipo de investigadores resultarían mal valorados; de hecho, injustamente valorados. Un ejemplo puede servir para ilustrar este caso: Blackwell es una de las veinte editoriales mejor valoradas en la clasificación general. Un investigador de 4

http://ilia.cchs.csic.es/SPI.

Gimenez_Malestar.indb 144

04/12/2016 17:26:42

La especialización en la evaluación científica

145

Ciencias de la Información o de Documentación que publique con Blackwell una obra —algo realmente meritorio— podría ser mal evaluado si se consultase solo el ranking de su disciplina, donde la editorial alcanza valores bajos. Estos valores han podido ser bajos porque la comunidad científica que ha participado en la encuesta de valoración es pequeña o, sencillamente, porque son áreas en las que no es tan frecuente publicar libros. Otro asunto que surge a menudo al hablar de evaluación científica y especialización es la consideración de las disciplinas transversales o interdisciplinares por parte de los evaluadores. El ejercicio de adscribir una pequeña disciplina interdisciplinar a uno de los comités temáticos de las agencias de evaluación puede ser delicado si se desconoce la especialidad. Pero también intervienen aquí cuestiones con el propio posicionamiento que tengan los evaluadores hacia las disciplinas que, por su escasa trayectoria, no se encuentran bien ubicadas en los esquemas clásicos de clasificación de las ciencias. Una concepción purista de la Sociología o de la Musicología podría llevar a excluir de estas áreas a disciplinas pequeñas, emergentes e interdisciplinares, creando así un problema para los investigadores que trabajan en ellas. Por ello, cabe señalar la necesidad de que los ejercicios de evaluación no sigan de forma estricta la organización disciplinar de la academia, sino que haya margen para las pequeñas disciplinas fronterizas. El proyecto de investigación que ha dado lugar a este libro y, más concretamente, la encuesta de valoración de revistas científicas muestran que la (alta) especialización de un investigador repercute, como es lógico, en la selección de revistas que realice. Si las revistas son igualmente especializadas, normalmente, serán seleccionadas por los investigadores de esa especialidad, independientemente de que tengan una calidad comparable a la de una revista consolidada o con un enfoque más tradicional. Es de suponer que la calidad es la variable que lleva a seleccionar unas revistas frente a otras, pero la especialización parece ser también un elemento muy relevante a la hora de elegir revistas. Especialización y calidad no siempre van unidas en las revistas científicas, aunque los editores de revistas científicas altamente especializadas son cada vez más conscientes de que la calidad y su apertura internacional es lo que puede garantizar la supervivencia de las revistas. La influencia de lo conocido (por ejemplo, la especialidad) en lo valorado es obvia, pero debe observarse también en otras direcciones. Así, como apunta

Gimenez_Malestar.indb 145

04/12/2016 17:26:42

146

Los investigadores ante su evaluación

un investigador, cuando se seleccionan revistas para las grandes bases de datos internacionales, los productores también seleccionan en función de sus conocimientos y de sus intereses. De esta forma, si se desconocen más las revistas publicadas en alemán, español o italiano, tendrán menos posibilidades de estar entre las seleccionadas. Este tipo de interpretaciones son necesarias en un contexto en el que las herramientas de evaluación hegemónicas, las que proceden de los sectores y países poderosos, son incontestables, mientras que las alternativas que se proponen desde comunidades más pequeñas se critican con argumentos que se pueden trasladar con facilidad a las herramientas internacionales de evaluación. La valoración que los especialistas hicieron de las revistas en la encuesta de 2009 estaría influida, sin duda, por distintos aspectos. La calidad y la especialización fueron dos de ellos, pero también lo serían su mayor o menor concienciación sobre la posible aplicación de los resultados a procesos de evaluación o el tema particular de investigación sobre el que estaban escribiendo en ese momento. Ese grado de variabilidad posible en los juicios de los especialistas —que puede darse también entre los evaluadores de la actividad científica— debe tenerse en cuenta al utilizarse los rankings de revistas basados en juicios de expertos. Este tipo de herramientas y los indicadores que se utilizan aportan información complementaria al juicio de los evaluadores, ayudan a matizarlo o lo complementan; si bien queda claro que, por sí solas, pueden dar lugar a algunos errores, no generalizados, pero sí con mayor incidencia cuando se trata con determinadas especialidades.

Gimenez_Malestar.indb 146

04/12/2016 17:26:43

Capítulo 6

Problemas intrínsecos a los procesos de publicación

El análisis de contenido abordado en este proyecto, así como el conocimiento del entorno y las numerosas conversaciones con investigadores, editores y evaluadores han permitido identificar algunos problemas intrínsecos a los procesos de publicación. Reflejarlos en las siguientes líneas es también denunciar su existencia y, de este modo, identificarlos como problemas que hay que atajar. De su lectura quizá se desprenda una sensación negativa sobre lo que ocurre con la publicación científica: es la consecuencia de querer poner de relieve lo que sucede y no debería suceder. Pero en este punto también hay que añadir que, además de estas prácticas no deseadas, existen y se dan la alta profesionalidad, los comportamientos íntegros y la confianza en el valor de la investigación y de la comunicación de sus resultados. No resultaría justo que, al describir las malas prácticas, quedaran en la sombra las buenas. Sobre la academia o el poder de los colegios invisibles El clima que existe entre investigadores en la comunidad académica española se presenta en esta investigación como un importante problema de fondo de nuestro sistema que afecta — y mucho— a cómo se desarrollan las publicaciones en nuestro país. Es, de hecho, una constante que aflora en los comentarios de los investigadores, que se refieren al modo en que en España se ha investigado, se ha publicado o se han desarrollado las instituciones

Gimenez_Malestar.indb 147

04/12/2016 17:26:43

148

Los investigadores ante su evaluación

académicas. Lamentablemente, la imagen que proporcionan los comentarios dista mucho de ser ejemplar. Se repiten con asiduidad ideas duras: “Con las miserias de parte —pequeña pero influyente— de nuestro mundo académico y con su pronunciado sectarismo, las citas se convertirían, aún más, en una radiografía de filias y fobias” o “he observado muchas irregularidades y tratos de favor en la mayoría de las revistas que conozco, sin responder a criterios objetivos ni académicos”. Las revistas y sus consejos de redacción aparecen con frecuencia como pequeños nodos de poder, donde se toman decisiones no estrictamente científicas, a favor de unos investigadores y en detrimento de otros. A esta imagen se une un sentimiento de desconfianza que lleva a una conclusión poco esperanzadora: por mucho que los criterios de evaluación se hagan transparentes u objetivables, existe un mar de fondo que impide la asepsia del sistema. Ese mar de fondo es precisamente el que tiene que ver con el factor humano/ideológico que tanto ha marcado y marca este país y del cual, parece ser, no podemos desprendernos. Resulta paradójico que así sea pues, al fin y al cabo, el ámbito del que hablamos es el científico; si bien la investigación en Humanidades y Ciencias Sociales está condicionada por lo inevitable de que somos juez y parte del objeto de estudio, lo cierto es que cabría esperar una mayor neutralidad en lo que sucede en la publicación científica. La neutralidad es prácticamente imposible en este ámbito de la investigación, pero eso no debería significar que puedan darse las altas dosis de parcialidad que se dan en otros ámbitos de actuación, alejados de la ciencia. De todas las opiniones expresadas no puede sino concluirse que parte del malestar que se sufre ante la evaluación científica tiene que ver con la incertidumbre de los resultados, no relacionada con lo oficial —criterios, fuentes o procedimientos—, sino con lo humano —amistades/ enemistades, decisiones arbitrarias, diferencias ideológicas, etc.— Ligada a esta idea de influencia del grupo está la pertenencia a una red —no estrictamente un colegio invisible—, dentro de la cual se facilita la publicación en determinadas revistas o se genera intercambio de citas en beneficio mutuo de los investigadores. La frecuencia con que aparece ese asunto resulta, cuando menos, preocupante.

Gimenez_Malestar.indb 148

04/12/2016 17:26:43

Problemas intrínsecos a los procesos de publicación

149

Endogamia Con la misma contundencia con la que se critica, se defiende la publicación en revistas de la propia institución o en revistas españolas. Sin embargo —y esto puede ser una apreciación subjetiva—, esta defensa es residual. Son pocos los investigadores que expresan la necesidad y lo oportuno de publicar en revistas o editoriales de su propia institución y, a menudo, esa opinión viene acompañada del recuerdo de lo que hicieron sus antecesores, renombrados humanistas. Estos ejemplos, que sin duda muestran la influencia de los maestros y de sus modelos de investigación, caen en cierto modo en el anacronismo, pues no es posible comparar el entorno en el que ellos investigaban y publicaban con el de ahora. Sin embargo, se han podido leer algunos comentarios de este tipo, “las revistas deben hacerse eco de las investigaciones de los grupos que existan en el organismo correspondiente”, lo que lleva a pensar que se perpetúa esa idea de que las revistas institucionales son de los autores institucionales, obviando el modelo de edición científica predominante en los principales países editores, donde, incluso las revistas universitarias, siguen un modelo de publicación basado en la selección de los mejores originales, procedan de donde procedan. Quienes defienden que las revistas universitarias deben ser canal de comunicación científica de los investigadores de la institución defienden también que se haga selección —peer review— de los trabajos que estos envíen. Pero resulta evidente que si tienen por principio dar visibilidad a los autores de la institución, aunque sometan sus trabajos a evaluación, esa variable siempre tendrá un peso específico; algo sustancialmente distinto a lo que ocurre en las revistas internacionales más exigentes: se publica lo mejor —a juicio de expertos y editores—, independientemente de dónde proceda. Otra respuesta posible a la endogamia que se da en revistas y evaluadores sería enviar los originales a expertos extranjeros que estarían más desligados de los intereses locales (disputas por plazas, puestos, etc.) y que podrían emitir un juicio más aséptico y objetivo sobre los artículos. Esta propuesta, sin embargo, cuenta con algunas dificultades, como que no todos los especialistas extranjeros conocen el español como para poder evaluar un artículo en este idioma (la mayor parte de las revistas españolas publican en español y

Gimenez_Malestar.indb 149

04/12/2016 17:26:43

150

Los investigadores ante su evaluación

solo de forma ocasional en inglés). Por otra parte, los colegios invisibles son hoy más internacionales que nunca y si bien internacionalizando la evaluación se ganaría en objetividad y se suprimirían algunas cuestiones relacionadas con la endogamia o con el clientelismo, lo cierto es que surgiría un nuevo problema, que es el de entendimiento del objeto de estudio en su justo contexto y, por otra parte, permanecería el de la influencia de las escuelas de pensamiento e ideologías de los evaluadores. En los comentarios analizados uno de los investigadores propone indicadores para medir la endogamia: son indicadores relacionados con el porcentaje de miembros del consejo de redacción que no pertenecen a la entidad editora y con el porcentaje de artículos de autores que no son de la institución editora. Se refiere, por tanto, a indicadores que ya fueron aplicados en los sistemas de evaluación de revistas DICE y RESH y que aún son públicos. El análisis sobre la endogamia se estuvo realizando hasta 20131, pero ese comentario hace tener dudas del verdadero conocimiento que tienen los académicos en torno a los indicadores y a los sistemas de evaluación que existen. Independientemente de esta valoración, también hay que destacar la diferencia entre las prácticas y los indicadores. Tal y como se apunta en distintas páginas de este libro, los editores han tomado muchas medidas para mejorar los indicadores de sus publicaciones. Algunos con la voluntad de mejorar no solo los indicadores, sino la realidad del propio proceso editorial y de publicación. Otros han optado por cambiar en superficie, pero en el fondo manteniendo exactamente igual la revista. Así, por ejemplo, hay revistas cuyos consejos de redacción no constan como endogámicos, pues oficialmente están integrados por académicos de distintas instituciones, pero en la práctica no son operativos, pues ni se reúnen ni se toman decisiones en él.

1 Momento en el que la ANECA dejó de financiar la producción del sistema DICE, por los recortes en sus presupuestos.

Gimenez_Malestar.indb 150

04/12/2016 17:26:43

Problemas intrínsecos a los procesos de publicación

151

La ética en la publicación científica Quizá sea esta una de las cuestiones esenciales en las que centrarse al tratar la publicación científica. La presión por publicar que se ejerce sobre (o que sienten) los autores, así como la priorización de las revistas indexadas en JCR y, en consecuencia, la presión hacia los editores para que la revista sea citada y admitida en los índices internacionales suponen una combinación peligrosa en la que autores y editores pueden sentirse tentados a obrar como no deberían hacerlo, tratándose como se trata de ciencia. Sin ética, la ciencia pierde sus rasgos característicos y el sistema se tambalea. Por otra parte, el predominio de las citas o el impacto en la evaluación científica es tal que llega a nublar las evidencias científicas y durísimas críticas hacia los indicadores bibliométricos mostradas por algunos investigadores en el ámbito de las revistas de Ciencias2. Mientras, en otro sector de la comunidad científica, la actitud es la de sometimiento a la norma. Uno de los investigadores participantes se refiere a la necesaria honestidad de los editores para evitar la “ingeniería de las citas” o, dicho de otro modo, a todas aquellas formas de citar que no estén relacionadas con el uso natural de una fuente para la investigación. Incitar a citar a una determinada revista o a un determinado autor, y proceder y promocionar el intercambio de citas con otras revistas cercanas para favorecer el aumento de citas sin que se considere autocita son dos prácticas habituales entre editores de revistas científicas. Como se apuntaba en el capítulo 2, son fenómenos descritos como “coercive citations3”, “cárteles de la citación” o, más informalmente, “mercadeo”, en palabras de algunos investigadores participantes en el estudio. Se conocen y, en ocasiones, se penalizan: Thomson Reuters excluye de sus Journal Citation Reports a las revistas con unas elevadas tasas de autocita4. Este hecho no siempre es conocido por los editores y en la carrera por lograr la indexación de su revista, o a veces solo un cierto nivel de reconocimiento, incurren en 2 Un ejemplo de estas críticas es Rossner, M., Van Epps, H. y Hill, E. (2007). “Show me the data”. The Journal of Cell Biology, 179/6, 1091-2. 3 Wilhite, A. W. y Fong, E. A. (2012). “Coercive citation in academic publishing”. Science, 335/6068, 542-3. 4 Thomson Reuters. (2014). Title suppression from Journal Citation Reports. http://wokinfo.com/media/pdf/jcr-suppression.pdf.

Gimenez_Malestar.indb 151

04/12/2016 17:26:43

152

Los investigadores ante su evaluación

malas prácticas que no llevan sino a pervertir el sistema y a un descreimiento generalizado sobre el mismo. Organismos como Committee on Publication Ethics (COPE) incluyen en sus documentos de referencia y directrices algunos puntos específicos relativos a esta cuestión. En uno de los últimos Principles of Transparency and Best Practice in Scholarly Publishing5 se incluye el siguiente principio: Identification of and dealing with allegations of research misconduct: Publishers and editors shall take reasonable steps to identify and prevent the publication of papers where research misconduct has occurred, including plagiarism, citation manipulation, and data falsification/fabrication, among others. In no case shall a journal or its editors encourage such misconduct, or knowingly allow such misconduct to take place6. In the event that a journal’s publisher or editors are made aware of any allegation of research misconduct relating to a published article in their journal — the publisher or editor shall follow COPE’s guidelines (or equivalent) in dealing with allegations.

Aunque las malas conductas solo se den en una parte de los editores y de los autores, resulta conveniente que desde las instituciones académicas y también desde las asociaciones profesionales se forme a editores y autores, se difundan las directrices de las asociaciones de editores científicos, se haga hincapié en las fronteras que no hay que traspasar cuando se publica e incluso se penalicen las malas prácticas que puedan ser detectadas a través de los comités de ética de las instituciones, cuanto estos existan, o mejor aún, de alguna entidad externa a la institución editora. Las agencias de evaluación también podrían estar llamadas a desempeñar un rol en este sentido. La mención expresa a la consideración —negativa— de las altas tasas de autocitas o de las redes de revistas que pactan citarse mutuamente (llamadas granjas de citas) podría poner freno a tales prácticas. Por otra parte, la relativización del JCR o la consideración positiva de revistas de alta calidad no incluidas en Journal Citation Reports también mitigaría ese

5 http://publicationethics.org/files/Principles_of_Transparency_and_Best_Practice_in_ Scholarly_Publishing.pdf [Fecha de consulta: 14/07/14]. 6 La cursiva es de la autora.

Gimenez_Malestar.indb 152

04/12/2016 17:26:43

Problemas intrínsecos a los procesos de publicación

153

objetivo último ansiado por los editores que es la indexación7. Este objetivo no siempre está en sus manos y, por otra parte, les lleva en ocasiones a buscar todas las fórmulas posibles para entrar en JCR o, en el caso de que esté, para mantener su tasa de citación y no correr el riesgo de salir de los índices o permanecer en el cuarto cuartil. La protección del investigador A lo largo de este estudio ha surgido, de forma más o menos expresa, la necesidad de proteger al investigador frente a los abusos o malas prácticas de las revistas científicas. La situación descrita a lo largo de este capítulo deja ver que, a menudo, el investigador común, el menos marcado por ideologías o pertenencia a grupos de especial poder, se encuentra entre la presión por publicar y por hacerlo, además, en determinadas revistas o editoriales, y las condiciones impuestas por las revistas. Entendiendo en este caso condiciones como aquellas extracientíficas que le van a impedir o a dificultar publicar en una revista. Se llega a citar la necesidad de que exista algún órgano para denunciar este tipo de actuaciones que pudiera poner fin a determinadas malas prácticas. Sin duda, debería existir. Y debería hacerlo al margen de una institución concreta; los comités de ética de las instituciones científicas, si existen, podrían estar tan influenciados por el poder político o los intereses puntuales como lo están las revistas, por lo que el problema no solo no se resolvería sino que se haría más profundo. Muchas de esas instituciones son, a su vez, editoras de revistas científicas. Deberían garantizar la protección al investigador, velar por que las revistas cumplieran los códigos éticos internacionales vigentes para la edición científica y resolver así cuestiones no solo relacionadas con los contenidos científicos, sino también con las injurias entre investigadores, los conflictos con las coautorías, los plagios, las destituciones fulgurantes de los consejos de redacción o del equipo editorial, etc. Todos los casos que se dan en este sentido caen en el olvido por la ausencia de observatorios que 7 Por otra parte, las malas prácticas no solo derivan del afán por estar mejor posicionados, sino que en ocasiones responde únicamente a una falta de criterio del editor cuando no a una falta de ética manifiesta.

Gimenez_Malestar.indb 153

04/12/2016 17:26:43

154

Los investigadores ante su evaluación

cuiden de los aspectos éticos en la publicación científica. En organizaciones como COPE (Committee on Publication Ethics) se puede llegar a discutir, entre los socios que la componen, casos concretos de malas conductas. The Office of Research Integrity, del Gobierno de los Estados Unidos, va más allá ofreciendo públicamente casos con sentencia de malas conductas en investigación8. Sin embargo, en España, gran parte de los investigadores quedan desprotegidos ante estos comportamientos, pues no forman parte de esas organizaciones, y la única solución que les queda es afrontar procesos legales en solitario, con el agravante de la escasa jurisprudencia al respecto, de los costes judiciales que asume en ocasiones el demandante y de los retrasos en los procesos. Esa es una de las razones por las que no se erradican las malas prácticas. Si se producen, quedan impunes por falta de estructuras/organizaciones que ayuden a combatirlas. La profesionalidad de los editores El editor de una revista es una figura clave en la publicación. Debe ser especialista en la materia que edita, pero también profesional de la edición científica. Algunos editores de revistas científicas de proyección internacional lo llevan siendo desde hace años, precisamente por su profesionalidad y alta especialización en el puesto. El escrupuloso seguimiento y cuidado del proceso editorial en su conjunto, el interés por cada uno de los aspectos técnicos, la coordinación y máximo aprovechamiento de los saberes de quienes integran su equipo editorial, la constitución de una cantera de buenos evaluadores, el conocimiento de la Bibliometría9 y de las técnicas de visibilización y, por supuesto, el cuidado de todos los aspectos éticos que atañen o surgen en la edición científica son funciones inexcusables. El Council of Science Editors detalla esta relación de funciones10 en un documento sencillo, que debería ser de obligado 8

Misconduct Case Summaries: http://ori.hhs.gov/case_summary. Neophytou, J. (2013). “Bibliometrics for journal editors- an overview”. Science Editors Handbook. [UK]: European Association of Science Editors (EASE), pp. 215-219. 10 Council of Science Editors (2012). Editor Role and Responsabilties: http://www.councilscienceeditors.org/resource-library/editorial-policies/white-paper-on-publication-ethics/21-editor-roles-and-responsibilities/. 9

Gimenez_Malestar.indb 154

04/12/2016 17:26:43

Problemas intrínsecos a los procesos de publicación

155

conocimiento para los editores. Precisamente por la diversidad de funciones que deben asumir los editores y por su responsabilidad en lo que se publica, no se entiende que siga existiendo la edición científica amateur. La alta rotación de los editores principales o directores de las revistas científicas en España —que de algún modo refleja la idea de que cualquier académico puede desempeñar bien la función de editor— no es una buena señal sobre el sistema. En ocasiones, incluso, se observa cómo esta figura está en cierto modo vinculada a las cuotas de poder o, simplemente, a una infravaloración del rol que debe asumir un editor de una revista científica. Entre las cualidades que debe tener un editor está la honestidad y a ella se refieren de forma específica algunos de los investigadores participantes en el estudio. Y a esa honestidad puede añadírsele la ética o el respeto a los principios éticos y códigos de conducta de las asociaciones internacionales de editores científicos11. Sin duda, los editores son garantes y responsables en cierto modo de lo que se publica en la revista. Pueden tomar decisiones sobre los artículos que se publican, las líneas de investigación o las metodologías que se priorizan en la revista o incluso sobre los autores que tienen cabida en ella. También pueden y deben tomar decisiones sobre el funcionamiento de la revista, a veces condicionadas u orientadas por la institución editora, que regulará cómo deben constituirse los consejos de redacción, cómo debe actuarse en casos de malas prácticas, qué evaluadores son invitados a participar, cómo se hace el seguimiento del trabajo de los evaluadores, si se implantan o no herramientas específicas para la gestión editorial y un largo etcétera. El sector editorial de las revistas españolas Las malas prácticas denunciadas repetidamente en este estudio pueden ser un reflejo de hasta qué punto está poco profesionalizado un sector de la edición de revistas científicas en España. Sin pretender —ni mucho menos— hacer extensible este comentario a todas las revistas de Humanidades y Ciencias Sociales y, de hecho, destacando la impoluta y rigurosa labor que

11 Council of Science Editors (2012). White Paper on Publication Ethics. http://www.councilscienceeditors.org/resource-library/editorial-policies/white-paper-on-publication-ethics/.

Gimenez_Malestar.indb 155

04/12/2016 17:26:43

156

Los investigadores ante su evaluación

desempeñan algunas publicaciones de nuestro país, sí que hay subrayar que la imagen que se obtiene de los comentarios de los participantes en este estudio es bastante negativa. Los problemas que atraviesa el sector editorial de las revistas españolas han sido descritos en diversos y recientes estudios12 y no siempre las soluciones que han tratado de darse han resultado exitosas. Así, por ejemplo, las revistas españolas que han tratado de replicar los esquemas de gestión editorial y liderazgo científico del ámbito anglosajón han resultado “torpes”, en palabras de un investigador participante en el estudio; las renovaciones de los consejos de redacción han estado relacionadas, más a menudo de lo deseable, con los cambios de gobierno y los consiguientes repartos de cuotas de poder; la “apertura institucional” que se reclama para que no sea la institución editora quien decida unánimemente lo que se publica se ha producido solo en apariencia: los consejos no se reúnen y las decisiones las toman los profesores de una sola institución; o los informes de los evaluadores distan mucho de la crítica detallada y rigurosa de un artículo que las revistas necesitan, tal y como afirman muchos investigadores y editores de revistas. Todo esto, que surge de los participantes de la encuesta y que no hace sino confirmar lo que se ha comprobado durante más de quince años en el trabajo de evaluación de revistas desarrollado por el grupo EPUC13, pone de 12 Algunos de ellos son: Rodríguez-Yunta, L.; Giménez Toledo, E. (2013). “Fusión, coedición o restructuración de revistas científicas en humanidades y ciencias sociales”. El profesional de la información, enero-febrero, v. 22, n. 1, pp. 36-45. DOI: 10.3145/epi.2013.ene.05; Rodríguez Yunta, L., y Tejada Artigas, C. M. (2013). “El editor técnico: un perfil necesario para la profesionalización de la edición de revistas científicas en el entorno digital”. Anales de Documentación, 16 (2); Aréchaga, J. (2007). “Revistas científicas españolas: donde estamos y hacia donde podríamos ir”. REDVET. Revista electrónica de Veterinaria, 1695, 7504; Abadal, E., y Rius Alcaraz, L. (2008). “Revistas científicas de las universidades españolas: acciones básicas para aumentar su difusión e impacto”. Revista Española de Documentación Científica, 31 (2), 240-260. 13 Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC) del Centro de Ciencias Humanas y Sociales (CCHS) del Consejo Superior de Investigaciones Científicas (CSIC). Fue el grupo pionero en España en el trabajo sobre la calidad de las revistas científicas. Desarrolló DICE y RESH (este último en colaboración con el grupo EC3 de la Universidad de Granada) y desde el comienzo y hasta 2013 representó a España en el sistema Latindex. Hoy está centrado en la investigación sobre el Libro Académico y tiene nuevo nombre: ÍLIA (ilia.cchs.csic.es).

Gimenez_Malestar.indb 156

04/12/2016 17:26:43

Problemas intrínsecos a los procesos de publicación

157

manifiesto que aún hay muchas cosas que deben cambiar en el sector editorial español, pero, sobre todo, como se ha analizado en el resto de apartados de este capítulo, que esos cambios no corresponden solo a las revistas, sino, sobre todo, a la investigación española, a sus instituciones y a sus investigadores. Distorsiones producidas en la evaluación de la actividad científica y de las publicaciones Si bien no puede hablarse de un único modelo de evaluación de la actividad científica, pues existen diferentes procedimientos en agencias e instituciones, lo cierto es que comparten algunos patrones comunes. En las siguientes líneas se hablará de sistema de evaluación en relación con el conjunto de procedimientos de evaluación que se aplican en España y, en particular, con los criterios coincidentes entre ellos. Aunque son muchos los ejemplos que han ido surgiendo sobre los efectos no deseados o las distorsiones que crea el propio sistema de evaluación, o sobre las fuentes que existen de indicadores, conviene recalcar su existencia para evitarlos en la medida de lo posible. Ningún sistema de evaluación es perfecto y probablemente en todos se creen esta serie de desajustes, aunque es necesario saber que existen en un intento por perfeccionar el sistema y por no generar contradicciones. Estos son algunos de los identificados: — El destacado valor que tienen las publicaciones en JCR por encima de otras lleva a que una gran parte de los investigadores envíen a un número reducido de revistas sus artículos. Como consecuencia, los equipos editoriales de las revistas han visto aumentar vertiginosamente el número de artículos que reciben y, por tanto, aumenta asimismo en la misma proporción no solo su trabajo como editores, sino también su tasa de rechazo y los plazos en que pueden comunicar a los autores si sus artículos han sido aceptados o no. Mientras esto sucede, muchas revistas no indexadas en JCR o en Scopus tienen problemas para publicar puntualmente sus números, porque sus autores potenciales emigran a otras revistas mejor valoradas en las agencias de evaluación.

Gimenez_Malestar.indb 157

04/12/2016 17:26:44

158

Los investigadores ante su evaluación

— Esa misma prioridad de los artículos publicados en JCR y la preponderancia de los artículos frente a los libros o capítulos de libros pueden llevar —de hecho, sucede— a un cambio en la estrategia de publicación de los investigadores, que optarán por publicar más en revistas que en libros. Este cambio de patrón de comunicación científica perjudicaría, sin duda, la propia investigación, pues lo que se comunica a través de un canal no es similar ni comparable a lo que se publica en otro. — Un editor de una conocida revista española de Comunicación recomendaba hace poco en una intervención pública: “Desconfiad de aquellos investigadores que solo publican en revistas JCR”. A este perfil de investigador se refieren otros participantes en este estudio como “burócratas del saber” o expresiones similares. Designan a aquellos investigadores que buscan, casi de forma exclusiva, cumplir con los criterios de CNEAI para obtener un sexenio y se ajustan a ellos a la perfección. Publicar el número determinado de artículos JCR en el periodo de seis años evaluado puede ser el único objetivo de estos investigadores, que, por ello mismo, no publican en revistas nacionales, en otros idiomas o en libros, simplemente porque no va a resultarles “rentable” en su objetivo. El sistema, sin quererlo, ha creado un tipo de investigador acomodaticio que publica allí donde se le valora mejor, aunque ello suponga descuidar a sus lectores naturales impidiendo así la transferencia de resultados hacia quien más los espera. A este daño cabe añadir el hecho de que las revistas seleccionadas son proclives a la publicación de trabajos de una determinada naturaleza, rechazando planteamientos o investigaciones más innovadoras, lo que significa que pensar solo en la revista que se elegirá para publicar condicionará también la naturaleza de la investigación que se haga, lo cual puede representar una tremenda limitación en el avance del conocimiento. — La publicación en editoriales extranjeras lleva a vaciar de originales las editoriales españolas, con el consiguiente daño a este sector editorial. — Se sostienen con fondos públicos muchas revistas que luego no son apoyadas o bien valoradas en los procesos de evaluación científica. — Las revistas españolas indexadas se suelen mantener firmes en su naturaleza y suelen ser conservadoras en sus planteamientos, entre otras cosas porque los cambios significativos podrían afectarlas en términos de

Gimenez_Malestar.indb 158

04/12/2016 17:26:44

Problemas intrínsecos a los procesos de publicación

159

impacto. Esto es señalado por algunos investigadores, que observan que en algunas revistas de referencia para cada disciplina lo que se publica no avanza mucho en el conocimiento, apenas es útil y muy pocas veces se busca la aplicación o utilidad social de lo que se ha investigado. Esto representa un destacado problema, pues se promueve la publicación en esas revistas que, sin embargo, no están abiertas a las líneas de investigación que más podrían aportar, en términos sociales. En palabras de un investigador del ámbito de la Sociología, “se está primando una Sociología estrictamente académica con un interés escaso y cada vez más alejada de los problemas sociales”. En relación con este asunto, también se producen algunos comentarios sobre la aceptación o rechazo de un determinado tipo de metodologías, lo que lleva a los investigadores a plantearse si las revistas no están ejerciendo demasiado control sobre la investigación. Si, por ejemplo, no aceptan artículos que empleen metodologías cualitativas, estarán limitando las conclusiones que aporten este tipo de trabajos frente a otros, lo cual no solo restringe la investigación sino que además ejerce un cierto control sobre ella. — Dentro de la llamada ruta dorada del Open Access, los autores pueden pagar por ser publicados en revistas de impacto, pertenecientes a grandes grupos editoriales14. Aunque teóricamente ese pago por publicación se hace una vez que el artículo ha sido evaluado positivamente, lo cierto es que la práctica introduce sospechas sobre el sistema y así lo expresan distintos investigadores. — Otra distorsión del sistema es la teórica aplicación de peer review por parte de las revistas. Dado que este proceso es el esperado en una revista científica y también el exigido por las agencias de evaluación, algunas revistas 14 Este pago por publicación a grandes grupos editoriales se ha descrito como “privatización” del Open Access. Si en sus planteamientos de partida, el OA es un movimiento filantrópico que pretendía y pretende poner a disposición de toda la sociedad el conocimiento científico generado con fondos públicos, en su desarrollo ulterior lo que ha sucedido es que las grandes editoriales privadas han visto en la ruta dorada del Open Access una extraordinaria vía de financiación. Publican en abierto a cambio de un pago y los autores se sienten beneficiados porque participan de acceso abierto, al mismo tiempo que publican con revistas prestigiosas. Véase Giménez Toledo, Elea (2014). “Imposturas en el ecosistema de la publicación científica”. RIE. Revista de Investigación Educativa, 32, 1. http://revistas.um.es/rie/article/view/190251.

Gimenez_Malestar.indb 159

04/12/2016 17:26:44

160

Los investigadores ante su evaluación

que no lo seguían han hecho lo posible por adoptarlo de una manera rigurosa, pero no ha sido así en todos los casos. En algunas, se simula, pero se sigue ejerciendo control editorial sobre lo que se publica, por ejemplo, asignando evaluadores cercanos o de confianza que sin duda alguna aprobarán el artículo de alguien a quien el editor quiere publicar por las razones que sea o, al contrario, seleccionando aquellos que tratarán con excesivo rigor un original. Ante esto, una investigadora llega a proponer que la selección de evaluadores se realice por sorteo y previamente a la llegada de los artículos, de tal forma que haya dos especialistas en un tema determinado que serán los evaluadores para el primer artículo que llegue a la redacción sobre ese tema y así sucesivamente. Probablemente, este sistema plantee otro tipo de problemas, pero sin duda evitaría esa dañina simulación de la revisión por expertos. La creación y el desarrollo de sistemas de indicadores para las publicaciones científicas es considerado por algunos de los participantes como un elemento que distorsiona la propia investigación. Para formular esta crítica se barajan varios argumentos. Uno de ellos es que, al existir indicadores de calidad para revistas o editoriales, se está forzando a los investigadores a publicar en esas revistas; eso se percibe, además, como un control ideológico, pues se promueve la publicación de determinados trabajos que acogen solo determinadas revistas. Otro de los argumentos es el que vincula la medición de las publicaciones con una forma de limitar la investigación, la creatividad y la innovación. También se llega a afirmar que quienes trabajamos en indicadores de calidad para las publicaciones contribuimos a la degradación de la universidad, pues con nuestras herramientas se ampara el modelo de evaluación establecido y se favorece la aparición de las temidas distorsiones. Los grupos de investigación que en España hemos trabajado en el desarrollo de estas herramientas somos conscientes de que la existencia de las mismas da lugar, sin pretenderlo, a la aparición de malas prácticas y de que, en consecuencia, hay que identificarlas, denunciarlas y tratar de erradicarlas. Sin embargo, el origen de estas herramientas es nítido, inconfundible y compartido por muchos países del mundo: si no existieran indicadores de calidad —siempre orientativos— sobre la producción científica de Humanidades y Ciencias Sociales en cada país, las agencias

Gimenez_Malestar.indb 160

04/12/2016 17:26:44

Problemas intrínsecos a los procesos de publicación

161

de evaluación solo dispondrían de la Web of Science, Scopus o, ahora, Google Scholar, para evaluar la actividad científica en forma de publicaciones. Es necesario hacer hincapié en ello. Por otra parte, los propios creadores de indicadores suelen advertir no solo de las limitaciones de los mismos, sino de los malos usos que deben evitarse. La evaluación científica necesita de herramientas que ayuden en el proceso, no que lo determinen o automaticen. Y si las herramientas internacionales que existen, en manos de poderosos grupos empresariales y que además tienen todas las posibilidades de pervivir en el tiempo, representan mal la producción científica española en Humanidades y Ciencias Sociales, la evaluación de estos científicos será más limitada que si se utilizan fuentes de indicadores rigurosos para las publicaciones españolas. Parece extraño que lo que representa una mejora de la evaluación o una evaluación más justa de estas áreas sea considerado como algo negativo para una parte de la comunidad15. Pero en cualquier caso, lo que hay que considerar es la alternativa. Es decir, cómo se podría plantear una evaluación de la actividad investigadora o de las publicaciones que se generan, sin contar con herramientas contaminantes y con un contexto de filias y fobias académicas como el que existe y se ha denunciado en este estudio. De no existir herramientas de estas características (de hecho, en España ya no existen o al menos no están actualizadas), el sistema de evaluación no solo no se volvería más justo —en el sentido que proponen muchos investigadores de evaluar cualitativamente cada contribución—, sino que se basaría únicamente en aquellas fuentes internacionales cuyos sesgos son sobradamente conocidos y afectan especialmente a estas áreas.

15 Hay que insistir en que es solo una parte. A propósito de la paralización de las evaluaciones de revistas que el grupo EPUC realizaba para DICE, el equipo que lo elaboraba recibió centenares de mensajes lamentando la desaparición del sistema, proponiendo soluciones para su supervivencia y comunicándonos las denuncias públicas que habían hecho del asunto en las Juntas de Facultad o en las reuniones departamentales.

Gimenez_Malestar.indb 161

04/12/2016 17:26:44

162

Los investigadores ante su evaluación

En transición: renovación de los valores en la publicación científica A pesar de que el pesimismo se apodera de gran parte del discurso general en torno a la evaluación científica, también puede hacerse, en ocasiones, alguna que otra lectura más positiva o constructiva sobre lo que está ocurriendo. Algunos profesores apuntan al cambio de paradigma al que estamos asistiendo. En concreto, a cómo se empieza a considerar mejor cuál es el canal de comunicación adecuado para difundir los resultados de investigación producidos y cómo se empieza a tener consciencia de una cierta jerarquía en las publicaciones, que lleva al investigador a ser más selectivo. Esto es así no solo porque publicando en determinada revista o editorial se vaya a obtener un mejor resultado en los procesos de evaluación, sino también porque se tiene una idea más clara de que, al elegir determinadas vías para publicar, se logra lo pretendido: difundir al máximo los resultados de investigación. Al mismo tiempo, también se va imponiendo un cierto pragmatismo que lleva a tratar de rentabilizar, en el mejor sentido de la palabra, la investigación realizada, evitando la creación de distintas versiones de un artículo o capítulo, aumentando así de forma innecesaria el número de publicaciones o priorizando la publicación en canales más reconocidos o con más visibilidad en lugar de en obras con difusión más restringida. Quizá esta revisión paulatina de cómo y dónde se está publicando no se estaría produciendo de no tener tanta fuerza e influencia la cultura de la evaluación en la que vivimos. En este sentido, cabe destacar esta positiva aportación sin dejar de prestar atención, por ello, a otras derivas menos constructivas que van desde las malas prácticas para conseguir mejores valores en la evaluación hasta la defensa extremista del factor de impacto como medida universal y válida de la actividad científica, pasando también por el desencanto que produce entre investigadores y profesores la mirada atenta sobre sus publicaciones que representan los procesos de evaluación de la actividad científica. Claro está que en esta transición hacia un cambio en los patrones de comunicación científica hay revistas, editoriales, congresos o sus actas que se van vaciando de contenido ya que los investigadores empiezan a ser más selectivos, bien porque se replantean rigurosamente cuáles son los canales

Gimenez_Malestar.indb 162

04/12/2016 17:26:44

Problemas intrínsecos a los procesos de publicación

163

más adecuados para publicar, bien porque se atienen a las reglas del juego de los procesos de evaluación. En este proceso, habrá que atender a que el sector editorial más serio y competitivo no sufra los envites de unos criterios de evaluación o una interpretación de los mismos que priorizan, por ejemplo, la publicación en editoriales extranjeras sobre las españolas. Una cosa es que se revise la estrategia de publicación y otra muy distinta que se adopte una actitud totalmente pragmática que acabe con proyectos editoriales fundamentales, tanto por el rigor y la seriedad con que trabajan como por la variedad de voces y la pluralidad que aportan a la investigación en Humanidades y Ciencias Sociales.

Gimenez_Malestar.indb 163

04/12/2016 17:26:44

Gimenez_Malestar.indb 164

04/12/2016 17:26:44

Capítulo 7

Los tiempos en la publicación

El factor tiempo está muy presente tanto en la ejecución de los proyectos de investigación, como en la generación de publicaciones y en la evaluación científica. Por eso, no resulta extraño que aparezca mencionado de forma constante en los razonamientos o discusiones que conciernen a la evaluación científica. Resulta necesario, por tanto, detenerse en lo que podría llamarse “los tiempos en la publicación”, pues cada parte de la investigación tiene los suyos propios y la diferencia entre ellos puede tener consecuencias en la evaluación científica. El tiempo de los proyectos El marco en el que normalmente se desarrolla la investigación es el de los proyectos de investigación. Cada convocatoria de proyectos tiene establecidos sus propios plazos de ejecución de la investigación, normalmente plurianuales. En el transcurso de la investigación se están generando ya resultados y, en algunos casos, publicaciones. Tomando como ejemplo un proyecto de tres años del Plan Nacional de I+D+i, puede esperarse que el primer año de investigación en el proyecto dé lugar a resultados —esto variará mucho según las disciplinas y según las metodologías—, pero es más complicado que en esa anualidad puedan justificarse ya publicaciones. La redacción del texto científico y, sobre todo, el proceso de publicación en revistas o libros suelen dilatarse en el tiempo y por ello es más frecuente que las primeras publicaciones lleguen en la segunda o tercera anualidad de los proyectos. El investigador principal ya hace sus previsiones de publicaciones en el momento de la solicitud del proyecto, pero

Gimenez_Malestar.indb 165

04/12/2016 17:26:44

166

Los investigadores ante su evaluación

con los procesos de publicación no se pueden hacer previsiones exactas sino solo aproximadas. Existe, por tanto, un calendario previsto de publicaciones (y de otro tipo de resultados) que debe ser guía para los evaluadores de cada anualidad de proyecto, pero no un cuadro de control definitivo, pues resulta imposible fijar la fecha exacta de publicación de los resultados, con excepción, claro está, del autoarchivo, la autopublicación o la publicación previo pago. Por otra parte, un proyecto que se desarrolla en tres años producirá los mejores o más completos resultados al finalizar ese periodo, por lo que las publicaciones se generan después de que haya terminado el tiempo de ejecución del proyecto y de que se haya justificado el trabajo realizado en la tercera anualidad. Es decir, en la evaluación inmediata, que se lleva a cabo tras la finalización del proyecto, quedan fuera de valoración las publicaciones que saldrán tiempo después, pero que son resultado directo del proyecto. Esas publicaciones serán tenidas en cuenta en otros procesos de evaluación a los que el investigador decida presentarse (evaluaciones personales u otras solicitudes de proyectos), pero no quedan registradas como publicaciones de ese proyecto. Mucho más difícil aún es que puedan observarse en esa evaluación tan inmediata los impactos reales del proyecto, los que están al margen de la cita académica y los que más deberían perseguirse. El tiempo de la preparación de las publicaciones Entre la generación de nuevos resultados de investigación y la preparación de un texto para su publicación en artículos de revistas, libros u otro tipo de documentos, no debería pasar demasiado tiempo, pero tampoco es un proceso inmediato. Plasmar los resultados en un texto implica también detenerse en la revisión de los antecedentes, en enmarcar adecuadamente el estudio, en dedicar tiempo a la discusión de los resultados alcanzados y a la comparación con resultados anteriores. Para los trabajos en coautoría se añaden los tiempos relativos a las revisiones del texto por cada coautor, con sus correspondientes añadidos y modificaciones, y las revisiones generales y concienzudas del autor principal. Y todo ello en mitad del sinfín de trabajos y actividades que exige la carrera investigadora. Cuando esta es activa, se entiende. Trabajo de campo, nuevas solicitudes de proyectos, contratación

Gimenez_Malestar.indb 166

04/12/2016 17:26:44

Los tiempos en la publicación

167

de investigadores cuando los presupuestos lo permiten, asistencia a congresos, docencia en universidades, conferencias en instituciones nacionales y extranjeras, divulgación científica, participación en los medios, gestiones administrativas en la propia institución, reuniones con los agentes interesados en los resultados de investigación, organización de actividades científicas y un largo etcétera que a veces retrasa la publicación, pero que también repercute —positivamente— en su calidad. La actividad científica que rodea a la publicación, y que muchas veces supone un contraste de los resultados con otros especialistas o con otros agentes interesados (al margen del que se da en las propias revistas o editoriales), es irrenunciable en la investigación que se realiza en la actualidad. En esta fase de preparación del original también entran en juego los tiempos dedicados a seleccionar la revista o la editorial adecuada para esos resultados. En el caso de las revistas, los autores considerarán (o deberían considerar) no solo la adecuación del artículo a la cobertura temática de la revista, sino también la periodicidad de la revista, la agilidad de su proceso editorial, los plazos que se dan para completar la revisión por expertos y para comunicar la decisión editorial, si la revista publica en abierto o no y, por supuesto, si los indicadores de calidad de la revista responden a lo que esperan las instituciones y las agencias de evaluación. Que todos estos factores confluyan no siempre es fácil, especialmente en algunas áreas pequeñas o para algunos trabajos con enfoques más novedosos o críticos. La decisión sobre el destino del texto científico, por tanto, también lleva su tiempo. Finalmente, una vez que se ha logrado escribir el texto definitivo, llega la fase de preparación del original conforme a las normas de la revista o de la editorial. Esto implica un cierto tiempo de transformación del aparato crítico, de adaptación al estilo de citación requerido (APA, MLA, etc.), de preparación de gráficos, tablas o imágenes. Aunque existen multitud de herramientas que ayudan al autor en esa fase —desde gestores bibliográficos hasta programas de edición— también es cierto que las revistas cada vez exigen más en la preparación del original. De hecho, otra de los pasos en los que el investigador ha de invertir tiempo, sobre todo las primeras veces, es en el aprendizaje del sistema de gestión editorial para el envío de originales que emplee la revista. No todos los envíos se hacen a través de OJS, sistema con el que gran parte de la comunidad académica está ya familiarizado, sino que

Gimenez_Malestar.indb 167

04/12/2016 17:26:44

168

Los investigadores ante su evaluación

existen otros programas que obligan a los autores a aprenderlos para poder enviar y hacer el seguimiento del proceso editorial del original. Más tarde, además, llegará la decisión editorial y con ella, a veces, la introducción de cambios en el texto que podrá demorarse, más o menos, en función de los requerimientos de los evaluadores. El tiempo de gestión editorial y la publicación El periodo de tiempo que transcurre entre la recepción de un trabajo en una revista o una editorial y su publicación depende de varias cuestiones. Una de ellas es el grado de profesionalización de la revista o de la editorial. En el caso de las revistas, por ejemplo, algunas de las propiedades que pueden garantizar una eficiente gestión editorial son: tener un estricto control sobre los originales que se reciben, contar con un equipo editorial que revise la adecuación de esos originales a los objetivos de la publicación y a sus normas, disponer de una buena cantera de evaluadores comprometidos a quienes enviar los originales para evaluar y que respondan, con informes adecuados, en el plazo establecido, y disponer de un sistema de comunicación ágil con los autores. Pero no es solo la gestión o la profesionalización de la redacción lo que afecta a los tiempos de publicación. También repercuten en ellos otros factores como, por ejemplo, la demanda que tenga la propia publicación. Cuando una agencia de evaluación señala entre sus criterios que se considerarán positivamente las publicaciones en revistas de primer cuartil, según el JCR, para determinada área, se está generando automáticamente un movimiento de originales en esa dirección. Esas revistas señaladas o priorizadas empiezan a recibir más originales, lo que implica una mayor carga de trabajo editorial y también más retrasos; al fin y al cabo, hay más originales que procesar y el equipo editorial es el mismo. Por otra parte, aunque la tasa de rechazo de originales sea alta, habrás más originales que serán aprobados para publicación, pero no todos podrán ser publicados en el número más próximo, sino que algunos tendrán que esperar, con el consiguiente retraso en la difusión de los resultados. Un investigador participante en el estudio indicaba “al depender la promoción de los profesores de las revistas indexadas se está produciendo

Gimenez_Malestar.indb 168

04/12/2016 17:26:44

Los tiempos en la publicación

169

un verdadero colapso en las esperas de esas publicaciones y en muchos casos los criterios para seleccionar un artículo están lejos de ser objetivos o mantener el rigor científico”. Para las revistas —especialmente para las que están indexadas y tienen factor de impacto en JCR— resulta fundamental no incrementar mucho los originales que publican en cada número; la fórmula del factor de impacto pone en relación el número de citas recibidas con el número de originales publicados; si este sube en un año, es decir, si la revista es más productiva, el índice de impacto baja, algo que no interesa a los editores. Por otra parte, la programación de monográficos, que es práctica habitual entre algunos editores, puede hacer que los tiempos de espera para artículos que han superado la evaluación se dilaten si el artículo en cuestión no encaja en el número monográfico. Conviene señalar, además, que la publicación de monográficos es una práctica interesante para los editores, pues son un foco de atracción de citas. Estas necesidades de programación editorial de las revistas repercuten en la agilidad con que se difunden los resultados de la investigación. El tiempo de espera, que variará según la periodicidad de la revista, es asumido en muchos casos por los autores como un mal menor, pues normalmente esa espera es compensada por una buena evaluación. En las disciplinas de Humanidades y Ciencias Sociales, la inmediatez en la publicación de los resultados no es tan crítica como lo es en Medicina, por poner un ejemplo. Sin embargo, estas demoras en los procesos de publicación repercuten —no siempre positivamente— en los procesos de evaluación. El periodo temporal de las evaluaciones Los investigadores de hoy vivimos inmersos en una evaluación continua realizada por distintas instancias. Desde la evaluación que nuestras instituciones realizan anualmente sobre el cumplimiento de nuestros objetivos hasta la evaluación de los tramos de investigación de seis años de la CNEAI, pasando por las evaluaciones de la ANECA para la acreditación y contratación de profesorado, así como por todas las que implican solicitar proyectos de investigación. La investigación es un continuum, una actividad que no cesa

Gimenez_Malestar.indb 169

04/12/2016 17:26:44

170

Los investigadores ante su evaluación

nunca, pero que a efectos de los distintos ejercicios de evaluación es necesario acotar temporalmente. Esta acotación acarrea una serie de problemas que tienen que ver, fundamentalmente, con que no contempla todo lo que un proyecto de investigación produce o todo lo que se ha desarrollado en un año de investigación, sino solo una parte, la que se ha materializado (publicaciones, conferencias invitadas, etc.), no la que está por materializarse. Las evaluaciones anuales que las instituciones académicas necesitan realizar para hacer un seguimiento de objetivos, para asignar complementos de productividad y para la propia justificación ante sus auditores no siempre reflejan fielmente la actividad de un grupo de investigación, de un departamento o de una Facultad. Los ritmos de investigación y de publicación son distintos según las disciplinas y los resultados en un año son solo orientativos del conjunto de la actividad. Un historiador que emplea tres años en la ejecución de un proyecto de investigación y en la preparación de un libro resultado de esa investigación plurianual quizá tenga malos indicadores para cada uno de los años y, sin embargo, puede haber contribuido sustancialmente a su disciplina, tras la finalización del proyecto, con una obra de alta calidad; este tipo de obras necesitan no solo del tiempo de la investigación, sino también de reflexión, de construcción del texto, de edición y de publicación. La inmediatez en la publicación de los resultados de investigación no siempre es la mejor opción o no lo es, al menos, para algunas disciplinas de las Humanidades y las Ciencias Sociales. En palabras de un participante en este estudio, “dar importancia al factor de impacto obliga a acelerar la publicación de resultados y eso impide investigaciones profundas y meditadas y fomenta la feria de las vanidades de la ciencia”. También trata de imprimirse velocidad a la investigación realizada por jóvenes investigadores, pues en los propios procesos de selección de candidatos a becas y contratos para realizar tesis doctorales, uno de los apartados que se suele valorar es el de publicaciones. Un estudiante que inicia su formación predoctoral no solo se adentra en un tema de investigación que deberá conocer, paso a paso, a fondo para posteriormente aportar algo nuevo sobre él, sino que también está aprendiendo a investigar y a comunicar. Todo ello forma parte de un proceso que, por mucho que se quiera, no es rápido. Claro está que puede haber alumnos de grado que, estando integrados en grupos de investigación, han podido ser parte activa de un artículo de investigación

Gimenez_Malestar.indb 170

04/12/2016 17:26:45

Los tiempos en la publicación

171

y, por tanto, son coautores del mismo. Pero de ahí a que toda persona que se inicia en la carrera investigadora pueda aportar publicaciones antes siquiera de comenzar esa trayectoria hay una distancia. Incluso tras un periodo de trabajo como doctorando, dentro de un grupo de investigación o departamento, la producción científica no tendría por qué ser inmediata, aunque ya se exige, en cierto modo. El primer año de investigación de un doctorando es un periodo de adentramiento en el objeto de estudio, por lo que las aportaciones propias pueden ser muy limitadas. Incluso pudiendo aportar algo novedoso en ese periodo tan limitado de tiempo, faltaría por completar toda la fase de redacción, de envío del original y, en el mejor de los casos, de publicación; todas ellas requieren de su correspondiente fase de aprendizaje. Es práctica habitual que los doctorandos que inician una investigación participen en la investigación que se realiza dentro del grupo al que se adscribe. Al hacerlo, además, suelen participar en las publicaciones que se generan, puesto que aportan trabajo e ideas, aunque la iniciativa o la idea original del trabajo sea de un investigador consolidado. Eso les permite ir alimentando su currículo, pero, sobre todo, ir aprendiendo las cuestiones fundamentales sobre investigación y publicación. Exigir resultados en forma de producción científica en el primer año de beca/contrato predoctoral alienta a realizar un trabajo ágil, a tener presentes los objetivos de la investigación, a rendir cuentas del trabajo realizado, pero puede conducir, también, a la carrera por publicar sea lo que sea, sin el debido tiempo de investigación y de preparación de los textos. Encontrar el justo medio sería el reto, pero es fácil que se desvirtúe si la evaluación basada en la producción científica temprana es decisiva para optar a determinados puestos o para renovar los contratos de investigación. Para el conjunto de investigadores y por lo que se ha podido apreciar en los comentarios recibidos, los investigadores se sienten más cómodos con las evaluaciones en el medio/largo plazo, en periodos de varios años que reflejen mejor sus resultados de investigación, su trayectoria y no un momento aislado de su carrera. Se considera además que la existencia de menos procesos de evaluación y con periodos más amplios reduciría la carga de trabajo y los costes de la evaluación, pudiéndose plantear así un proceso de evaluación más cualitativo y menos cuantitativo.

Gimenez_Malestar.indb 171

04/12/2016 17:26:45

172

Los investigadores ante su evaluación

El tiempo del impacto Se espera de la investigación que tenga algún impacto en la sociedad; un impacto que mejore, en sentido amplio, la sociedad. A pesar de que la repercusión o el impacto social de la investigación es algo que se viene estudiando desde hace años, como uno de los puntos de atención en los que se tiene que centrar la evaluación científica, en la academia el impacto está generalmente vinculado a las citas, al impacto que se produce entre científicos. Es esta una cuestión muy arraigada que cuesta revertir y que, por otra parte, se perpetúa. Indudablemente la información sobre el impacto (citas) es indicativa, pero presenta muchas limitaciones, infinitamente descritas. Parte de la comunidad científica critica que el impacto sea la medida de referencia y reivindican otros criterios más acordes con la misión última de la ciencia. La otra parte defiende —normalmente con vehemencia— el indicador; e incluso la comunidad dedicada a la Bibliometría, aquella en la que más limitaciones se han detectado para los indicadores de impacto, mantiene con constancia la actividad investigadora con este material, las citas, y apenas hay huecos para otro tipo de evaluación científica más cualitativa u orientada a medir otro tipo de impactos. El factor de impacto que tiene una revista según Journal Citation Reports es el referente esencial para valorar la producción científica de un investigador, más aún que el número de citas que tiene un artículo concreto. Siendo, como es, medida de referencia en los procesos de evaluación actuales, conviene mencionar (no desarrollar, porque la literatura científica ya lo ha desarrollado suficientemente) distintas cuestiones relacionadas con el tiempo y el impacto. Abramo et al.1 calculan en un estudio el error que se puede producir al variar, en las evaluaciones, el tiempo que pasa desde que se publica un artículo hasta que se contabilizan las citas. Y mencionan explícitamente “the measurement of individual and organizational research productivity should ideally refer to a period with closing date just prior to the evaluation exercise. Therefore it is necessary to compromise between accuracy and timeliness”. 1 Abramo, G.; Cicero, T. y D’Angelo, C. A. (2011). “Assessing the varying level of impact measurement accuracy as a function of the citation window length”. Journal of Informetrics, 5 (4), 659-667.

Gimenez_Malestar.indb 172

04/12/2016 17:26:45

Los tiempos en la publicación

173

Esta consideración es especialmente importante en el caso de las disciplinas en las que la literatura científica envejece más lentamente, es decir, puede empezar a recibir citas años más tarde de su publicación. Así sucede en las Humanidades y en las Ciencias Sociales. La inmediatez en la citación es un fenómeno de las ciencias positivas, pero no de la investigación humanística y social. No es raro que un libro o un artículo publicado sobre Filosofía o sobre Literatura comience a ser citado diez años más tarde de su publicación (o muchos más). También sobre esto hay numerosos estudios científicos que muestran la vida media de la literatura científica en cada campo o la inmediatez en las citaciones. Por otra parte, no solo el ritmo y los periodos de la investigación de las distintas disciplinas marcan la posibilidad de ser citado más o menos rápidamente. También hay temas de investigación y publicaciones a los que no se presta atención en un primer momento, pero que, repentinamente, pueden cobrar un interés inusitado, bien para resolver un nuevo problema, bien porque se convierten en uno de los ejes de los planes de investigación o por otras razones. A este tipo de trabajos Van Raan los denominó las “Bellas durmientes2” o, lo que es lo mismo, trabajos con un reconocimiento tardío que, tras haber pasado por un periodo de “latencia”, empiezan a aportar valor porque un nuevo interés en investigación se ha despertado. El corto plazo favorece los valores del factor de impacto en algunas disciplinas, mientras que a otras las perjudica. Precisamente porque el paso del tiempo no afecta por igual a unas disciplinas que a otras, es imprescindible que si se decide utilizar el factor de impacto, el índice h o el número de citas, se realice evaluación en contexto, es decir, que se deben comparar valores dentro de la misma área y no entre disciplinas, porque entonces habría algunas claramente perjudicadas. A esta consideración sobre las citas y el tiempo se refieren con frecuencia los investigadores consultados en este estudio.

2

Van Raan, A. F. (2004). “Sleeping beauties in science”. Scientometrics, 59 (3), 467-472.

Gimenez_Malestar.indb 173

04/12/2016 17:26:45

174

Los investigadores ante su evaluación

El tiempo en la política científica La dedicación a la investigación y la política científica, que aporta el marco para desarrollarla, deben ser constantes. La política científica ha de reajustarse continuamente para responder mejor a los objetivos de un país con respecto a la ciencia que produce y a su sistema de investigación. Una cuestión que surge en este estudio, también relacionada con el tiempo, es el momento en el que desde la política científica española se empieza a trabajar más activamente en evaluación científica, se crean las agencias encargadas de ello y se empiezan a fijar criterios de evaluación. El valor otorgado a la presencia de las revistas en JCR, en línea con lo que sucedía y sucede en otros países del mundo, tuvo quizá una reacción tardía en las revistas españolas o en las instituciones que podrían haberlas apoyado. Algunos investigadores se refieren precisamente a esta falta de visión estratégica y señalan que algunas de las revistas que sí están cubiertas por la WoS son de peor calidad que algunas de las españolas que no lo están. Si desde un primer momento la consigna que hubieran recibido las revistas hubiera sido la de internacionalizarse —significando esto estar presente en las bases de datos Web of Science y, concretamente, en Journal Citation Reports—, quizá el sector editorial hubiera tenido el objetivo de que estuvieran indexadas desde el primer momento, pero, sobre todo, hubiera habido mayores probabilidades de entrada en esas bases de datos. Sin embargo, ese objetivo específico de internacionalización se empezó a establecer tarde, cuando otros países ya habían aprovechado la oportunidad de incorporar sus revistas a los índices internacionales. A esta tardanza también hay que añadir la entonces escasa profesionalización del sector editorial de las revistas científicas. La revista departamental de las universidades era predominante; en ellas se publicaban fundamentalmente trabajos del propio departamento, las decisiones eran tomadas por dos o tres personas del mismo departamento, académicos, pero sin las coordenadas ni la formación de la edición científica internacional, no había evaluación externa, apenas contaban con un presupuesto para la gestión de la revista; en definitiva, eran revistas que no podían competir internacionalmente. La comparativa

Gimenez_Malestar.indb 174

04/12/2016 17:26:45

Los tiempos en la publicación

175

de algunos de los indicadores recogidos en 2001 y en 20113 para las revistas científicas españolas refleja esa falta de profesionalización. En 2001, solo un 14% de las revistas españolas de Humanidades y Ciencias Sociales seguían un sistema de selección de originales basado en la revisión por pares. En 2011, la situación había mejorado bastante: un 47% aplicaba el método. Sin embargo, como se deduce, aún son muchas las revistas que restan por aplicarlo y eso, sin duda, es una variable que impide a las revistas ser consideradas positivamente en los procesos de evaluación e internacionalizarse. La falta de preparación de las revistas y la falta de reacción a tiempo para solicitar el ingreso en la Web of Science no anularon, sin embargo, la segunda oportunidad para las revistas españolas. La competencia que supuso para la WoS (Thomson Reuters) la aparición de Scopus (Elsevier) y la carrera en la que ambas se encuentran por convertirse en la mejor base de datos de literatura científica del mundo hicieron en 2008 que WoS se planteara y efectuara la ampliación de sus revistas fuente, especialmente en Humanidades y en Ciencias Sociales. Concretamente en esa fecha se incorporaron unas 700 revistas de las denominadas regionales, lo que permitió que algunos países como España consiguieran aumentar considerablemente la cobertura de sus revistas (véase capítulo 2). En definitiva, también los tiempos y decisiones en política científica afectan al modo en que después se desarrollan las evaluaciones o a los resultados de las mismas. Por ello resultan fundamentales cuestiones como la coordinación entre agencias de evaluación (en el entorno europeo, por ejemplo); el intercambio de información entre ellas sobre criterios y fuentes de evaluación; el conocimiento del mercado de la información científica (que incluye el mercado de los indicadores bibliométricos); el diálogo con las asociaciones científicas de cada país; el apoyo en las investigaciones realizadas en cada país sobre las formas de evaluar la producción científica en las distintas disciplinas; y, cómo no, la armonización de todas las políticas que afecten, de una manera u otra, a la comunicación de la ciencia. Sobre este aspecto en concreto se trata en el siguiente capítulo.

3 Cetto, A. M. et al. (2012). “Organized access to the Ibero-American quality journals: The PPL experience”. Scholarly and Research Communication, 4 (1), 19. http://src-online.ca/ index.php/src/article/view/42/116.

Gimenez_Malestar.indb 175

04/12/2016 17:26:45

Gimenez_Malestar.indb 176

04/12/2016 17:26:45

Capítulo 8

Open Access y evaluación científica

No ha habido otro momento en la historia en que publicar fuera más fácil. El censo de revistas científicas y de editoriales está generosamente nutrido. A las revistas y editoriales que han seguido modelos tradicionales de edición se han ido uniendo progresivamente las revistas Open Access, que ya suman, según el Directory of Open Access Journals (DOAJ), más de 10.000 títulos, así como las editoriales. En Directory of Open Access Books se recogen libros de 77 editoriales diferentes y en OAPEN trabajan con 27 editoriales académicas. Además existe la vía de la autopublicación en sus diversas formas, desde working papers que se depositan en repositorios y circulan a gran velocidad a través de las redes sociales académicas hasta autoediciones de libros más o menos profesionales, con toda clase de tecnología y asistencia editorial para sacarlos a la luz. El problema para el investigador no es tanto cómo hacer visible su investigación, cómo publicarla, sino más bien dónde publicarla. El lugar importa más que nunca, pues el valor que se atribuye al canal (la revista o la editorial) repercute directamente en la valoración de la producción científica del investigador; la evaluación del contenido pocas veces se lleva a cabo, aunque es una reivindicación habitual entre los investigadores. La lógica preocupación por obtener buenos resultados en los procesos de evaluación hace que, en muchos casos, se atengan a los criterios que establecen las agencias de evaluación y que, como se apuntaba anteriormente, prioricen los artículos de revistas indexadas en WoS o con valores en Journal Citation Reports. Ese criterio restringe automáticamente el enorme universo de revistas para publicar. Algunas de las que quedan fueran de esa selección podrán tener oportunidad de ser bien consideradas por el hecho

Gimenez_Malestar.indb 177

04/12/2016 17:26:45

178

Los investigadores ante su evaluación

de estar evaluadas en otras fuentes de información (ERIH, Scopus o categorizaciones nacionales de revistas), pero muchas otras quedan absolutamente fuera del sistema. Esta circunstancia afecta especialmente a las revistas Open Access y, más concretamente, a aquellas que no están vinculadas a editoriales comerciales y publican en abierto sus contenidos para que puedan ser consultados por cualquier persona que disponga de una conexión a Internet. Entre ellas hay muchas revistas universitarias o de instituciones de investigación que apoyan el acceso libre al conocimiento científico y que participan de los principios que recoge la Declaración de Berlín o la de Budapest, a través de la firma de sus instituciones. Se presupone que estas revistas, precisamente porque surgen en instituciones académicas, velan por la calidad de los contenidos publicados y aplican procesos de selección de originales basados en el juicio de los expertos. Pero también pertenecen al universo de revistas Open Access aquellas denominadas depredadoras: las que surgen repentinamente, tras el auge del movimiento Open Access, con el claro objetivo de obtener beneficios económicos. Son revistas que publican artículos con gran rapidez a cambio del pago que efectúan los autores. Son revistas que aprovechan la necesidad de los investigadores de publicar para lucrarse; y lo hacen sin ninguna de las garantías propias de la edición científica: selección de originales por pares y proceso editorial profesionalizado. Suelen dirigirse a un gran número de investigadores, a través de envíos masivos, solicitándoles el envío de originales y haciendo campañas de marketing sobre el interés que tiene la publicación. Tras estas revistas hay malas prácticas ya conocidas y descritas, como la aceptación de artículos sin que hayan sido revisados por expertos, la inclusión de expertos en sus comités editoriales sin su consentimiento, la comunicación a los autores de que deben pagar por publicar en el último momento o la réplica de webs de revistas científicas ampliamente reconocidas1. El bibliotecario Jeffrey Bealls, de la Universidad de Denver, recopila en su blog un listado de revistas posiblemente depredadoras2 que ya alcanza más de 600 editores y que puede ser útil a autores y evaluadores. 1

http://en.wikipedia.org/wiki/Predatory_open_access_publishing Conocida como Beall’s list incluye, según su autor, “Potential, possible, or probable predatory scholarly open-access publishers”. Está en constante actualización y puede consultarse en http://scholarlyoa.com/publishers. 2

Gimenez_Malestar.indb 178

04/12/2016 17:26:45

Open Access y evaluación científica

179

La existencia de estas revistas perjudica claramente al resto de revistas científicas Open Access que no comparten, desde luego, esas malas prácticas. El directorio DOAJ indexa revistas OA que presentan garantías de ser revistas científicas serias y profesionales y a día de hoy recoge, como se apuntaba anteriormente, más de 10.000 títulos. Millones de páginas para albergar artículos que sí han pasado por los correspondientes filtros y que, de alguna manera, se ven dañados por las malas prácticas de otras revistas OA y por quienes tratan de generalizar, equiparando OA a mala calidad, por intereses económicos o por proteger la edición científica tradicional. Un estudio firmado por John Bohannon y publicado en Science en 2013 revelaba que muchas de las revistas Open Access no sometían a peer review los originales que recibían. El autor puso en marcha un experimento enviando un artículo falso, creado por él mismo, a distintas revistas científicas OA incluidas en DOAJ, pero también a algunas de las incluidas en la lista Beall’s3. Aunque el comportamiento de los dos grupos de revistas quedaba bien diferenciado —se evaluaba más y se rechazaba más en las revistas DOAJ—, la conclusión general, la que trascendió, es que la publicación Open Access apenas tiene filtros de calidad y esto, inevitablemente, desacredita a este tipo de publicaciones y puede hacer que se pongan en tela de juicio (a todas, no solo a las que registran malas prácticas) en el marco de los procesos de evaluación. Este asunto resulta controvertido por tres razones fundamentales. La primera y más clara es porque, sencillamente, hay revistas OA rigurosas en sus procesos de selección y hay otras que no lo son. Es decir, la edición OA no es un todo homogéneo y, por tanto, no puede juzgarse como tal. La segunda es que en ocasiones el apoyo que los gobiernos dan al conocimiento científico en abierto no se ve reflejado en las políticas de evaluación, a pesar de que este es un aspecto previsto en la propia Declaración de Berlín: “We intend to make progress by (…) advocating that open access publication be recognized in promotion and tenure evaluation4”.

3

Bohannon, J. (2013). “Who’s afraid of peer review?”. Science, 342 (6154), 60-65. The Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities (2013). http://openaccess.mpg.de/Berlin-Declaration. 4

Gimenez_Malestar.indb 179

04/12/2016 17:26:45

180

Los investigadores ante su evaluación

La Ley 14/2011 de la Ciencia, la Tecnología y la Innovación, por poner el ejemplo español, apoya y promueve la publicación en abierto en muchos de los artículos que reúne. Sin embargo, los criterios de evaluación que aplican las distintas agencias priorizan —atribuyen más valor— a las publicaciones recogidas en la Web of Science y, más concretamente, en Journal Citation Reports, siendo la mayor parte de ellas publicadas por grandes grupos editoriales; algunas de ellas, denominadas híbridas, dan la opción de publicar artículos en abierto si el autor o la institución que lo respalda paga los Article Processing Charges (APCs). En consecuencia, el investigador tiene que elegir entre difundir sus resultados de investigación en revistas OA puras, es decir, aquellas que no basan su existencia en las transacciones comerciales y que publican todos sus contenidos en abierto, o publicarlos en revistas presentes en JCR u otros rankings internacionales, editadas por grandes empresas editoriales y a las que habrá que pagar por ver el artículo publicado en abierto. Prácticamente la única manera que queda de compaginar ambos intereses —publicación en abierto y, además, reconocida por las agencias de evaluación— es optar por una de las vías doradas del Open Access o, lo que es lo mismo, por pagar a un editor comercial por publicar en abierto. En el caso que nos ocupa el investigador pagaría a unos editores y no a otros, precisamente por: a) el prestigio que pueda aportar el editor a un artículo; b) porque la revista pertenezca a un gran grupo editorial cuya calidad se da por descontado (aunque puede haber diferencias de calidad entre lo que publica); o c) porque es una revista bien posicionada en los rankings internacionales y, en consecuencia, repercuta positivamente en la evaluación de un investigador. La vía dorada de la publicación Open Access se recomienda desde distintos ámbitos5, puesto que supone por una parte publicar en abierto y por otra publicar en una revista o sitio web, con trabajo editorial asociado y con proceso de peer review para los originales. Los editores hacen frente a los gastos de edición de distintas maneras, incluyendo la publicidad, las donaciones y, quizá la fórmula más común, el cobro a los autores por publicar. El pago de los denominados APCs, concebidos para hacer sostenible la publicación en 5 Uno de los ejemplos es el Finch Report: http://www.researchinfonet.org/wp-content/ uploads/2012/06/Finch-Group-report-FINAL-VERSION.pdf.

Gimenez_Malestar.indb 180

04/12/2016 17:26:45

Open Access y evaluación científica

181

abierto de artículos científicos, ha derivado en una vía de ingresos importante, especialmente para los grandes grupos editoriales. A partir de 2004 los principales editores científicos de revistas comenzaron a ofrecer la posibilidad de publicar en abierto los artículos que hubieran pasado la evaluación dentro de revistas comerciales6, es decir, que requieren estar suscrito para acceder a sus contenidos. Estas revistas híbridas combinan, por tanto, la publicación de artículos cerrados (hay que pagar por acceder a ellos) con la de artículos abiertos; en este último caso, es el autor o su institución quien paga al editor por liberar su artículo, por ponerlo en abierto. El estudio de Bjork y Solomon7 aporta datos muy expresivos sobre el crecimiento de las revistas híbridas en el seno de los grupos editoriales y apenas deja lugar a dudas sobre lo interesante que resulta este modelo de negocio para las grandes editoriales.

Figura 2. Crecimiento del número de revistas OA por editor. Fuente: Bjork y Solomon, 2014. 6 Björk, B. C. (2012). “The hybrid model for open access publication of scholarly articles: A failed experiment?”.  Journal of the American Society for Information Science and Technology, 63 (8), 1496-1504. 7 Björk, Bo-Christer, and David Solomon (2014). “Developing an Effective Market for Open Access Article Processing Charges”. URL: http://www.wellcome.ac.uk/stellent/groups/corporatesite/@ policy _ communications/documents/web_document/wtp055910. pdf.

Gimenez_Malestar.indb 181

04/12/2016 17:26:46

182

Los investigadores ante su evaluación

Las revistas híbridas representan la apertura de algunos artículos dentro de las revistas de suscripción. Pero este destacado crecimiento de revistas híbridas hace pensar también en que la filantropía inicial del movimiento OA ha evolucionado hacia otro negocio, produciéndose un cambio de rumbo en los planteamientos iniciales del movimiento. Si el objetivo era promover el conocimiento en abierto y para ello había que buscar fórmulas que permitieran hacer sostenible el sistema de la publicación, el negocio que se deriva de esta privatización8 del Open Access no debe pasar desapercibido. Si se revisan los textos fundacionales del OA, como la Declaración de Budapest9, puede observarse un claro contraste entre los planteamientos filantrópicos y casi idealistas del acceso abierto, y el hecho de que los grandes grupos editoriales hayan capitalizado la idea, promoviendo también el Open Access a cambio de una lucrativa vía de ingresos: Removing access barriers to this literature will accelerate research, enrich education, share the learning of the rich with the poor and the poor with the rich, make this literature as useful as it can be, and lay the foundation for uniting humanity in a common intellectual conversation and quest for knowledge. We invite governments, universities, libraries, journal editors, publishers, foundations, learned societies, professional associations, and individual scholars who share our vision to join us in the task of removing the barriers to open access and building a future in which research and education in every part of the world are that much more free to flourish.

Al cumplirse los diez años de la Declaración de Berlín en 2013 la Max Planck Society emitió un documento10 en el que destacaba que en aquel momento solo un 10% de la literatura científica revisada por expertos se publicaba en revistas OA. Es decir, que el camino por recorrer todavía es largo.

8 Giménez Toledo, E. (2014). “Imposturas en el ecosistema de la publicación científica”. Revista de Investigación Educativa, 32(1), 13-23. 9 Budapest Open Access Initiative (2012). http://www.budapestopenaccessinitiative.org/ read 10 Ten Years After the Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities (2013). http://openaccess.mpg.de/mission-statement_en

Gimenez_Malestar.indb 182

04/12/2016 17:26:46

Open Access y evaluación científica

183

Además, y en lo que concierne a la dimensión económica del OA, se puede leer lo siguiente: Adopt mutually compatible policies that will allow scholars access to funding for OA publishing fees, and find comparable ways to support or subsidise no‐fee OA journals. These policies should permit the greatest possible re‐purposing of money currently used for subscriptions into funding for such fees and subsidies, and they should create a truly competitive, efficient, and scalable market where publishers compete with one another for the best scholarly publications.

Este párrafo alude a algunas cuestiones especialmente relevantes en relación con la publicación científica. Por una parte, pretende establecer un equilibrio entre la publicación en revistas híbridas, mediante el pago de las correspondientes tarifas, y la publicación en otro tipo de revistas OA sin pago por publicación y que se basan en otros modelos de negocio (sería el caso de las revistas de universidades públicas, por ejemplo). Por otra parte, se refiere a la financiación; si los investigadores han de pagar por que cada uno de los artículos que producen sean publicados en una revista híbrida, es necesario pensar de dónde van a salir esos fondos. Actualmente muchas convocatorias de proyectos de investigación aceptan la inclusión de partidas presupuestarias para publicaciones. Pero hay muchas consideraciones que hacer a este respecto. La primera es que la financiación disponible para investigar es muy distinta según los países e incluso dentro del mismo país, según las regiones o las universidades. Si la publicación depende de la financiación, está claro que habrá países, grupos e investigadores ricos y pobres en publicación. Una nueva desigualdad sobrevenida y no deseada dentro del movimiento Open Access. Otro tipo de desigualdades que pueden producirse y que ya han sido descritas en la literatura se dan en el seno de las propias instituciones académicas. Si la institución destina una cierta cantidad de fondos a la financiación de la publicación de los resultados que generan sus investigadores, podrá elegir entre aquellos trabajos que financia y aquellos que no, priorizando algunas disciplinas o algunos autores y generando las consiguientes tensiones intramuros.

Gimenez_Malestar.indb 183

04/12/2016 17:26:46

184

Los investigadores ante su evaluación

Las grandes editoriales privadas han creado distintas fórmulas para favorecer la publicación OA, siempre bajo el esquema del pago por publicación. El pago puede ser efectuado por el autor, individualmente o con cargo a sus proyectos (si la convocatoria se lo permite), o bien por la propia institución, que podrá financiar o cofinanciar las publicaciones. Para ello puede optar por suscribirse a programas como el Open Access membership program de Springer11 o Wiley Open Access for institutions and funders12. Estas opciones pueden resultar interesantes a las instituciones académicas para alentar a sus investigadores a que publiquen en OA, aunque también pueden contribuir a generar diferencias entre los investigadores. Por otra parte, permiten la cofinanciación (autor/institución) de cada artículo OA, lo que resulta fundamental teniendo en cuenta las tasas que existen para publicar. En el mencionado estudio de Bjork y Solomon se muestran los rangos de precios en dólares para las revistas de Elsevier, por disciplinas. El precio mínimo son 750 dólares por artículo y el máximo, 5000 en Biomedicina. Son cifras suficientemente expresivas como para saber que la financiación de los proyectos de investigación y de las instituciones académicas se verá claramente afectada por poder publicar en abierto en revistas que son reconocidas por las agencias de evaluación y que aparecen en los rankings internacionales de publicaciones científicas. Estos datos deben conducir también a otra reflexión relacionada con el esfuerzo en I+D de los distintos países. Si la vía del pago por publicar en revistas de grandes grupos editoriales es la que se impone y, por otra parte, si las partidas para pagar esas publicaciones se detraen de los fondos asignados a proyectos de investigación, la conclusión obvia es que se reducen los fondos que existen para investigar. Esto es especialmente delicado en países como España, cuya inversión en I+D está por debajo de la media europea13, ha decrecido en los últimos años y es, de algún modo, incierta. No ha habido una apuesta decidida y continuada en el tiempo por la investigación en el país.

11

http://www.springer.com/gp/open-access/springer-open#c6414. http://www.wileyopenaccess.com/view/index.html. 13 Eurostat. “Gross Domestic Expenditure in R&D”. http://epp.eurostat.ec.europa. eu/statistics_explained/images/b/b6/Gross_domestic_expenditure_on_R%26D_by_ sector%2C_2007_and_2012_%28%25_of_GDP%29_YB14.png. 12

Gimenez_Malestar.indb 184

04/12/2016 17:26:46

Open Access y evaluación científica

185

No es fácil de cuantificar, pero, si este es el esquema a seguir, habrá menos fondos para investigar y más fondos para los grandes grupos editoriales. A ello hay que añadir que son estos, lo grandes editores, los que siguen subiendo los precios de suscripciones a las revistas, provocando que las bibliotecas académicas suscriban menos títulos con el mismo presupuesto o incluso con presupuestos mayores. Los investigadores generamos conocimiento que publicamos a través de esas revistas. Pero sus editores nos cobran cada vez más no solo por publicarlos (en abierto), sino también por consultarlos, a través de nuestras bibliotecas. Una denuncia de esta situación es la acción The cost of Knowledge14, el boicot de cerca de 15.000 investigadores a Elsevier. Baste este ejemplo para mostrar la disparidad entre los orígenes del OA y su actual desarrollo o, en definitiva, entre la creación del conocimiento para la sociedad y la mercantilización máxima de los contenidos científicos.

14

http://thecostofknowledge.com/.

Gimenez_Malestar.indb 185

04/12/2016 17:26:46

Gimenez_Malestar.indb 186

04/12/2016 17:26:46

Epílogo

Una de las conclusiones que pueden alcanzarse de todo este análisis es que los especialistas —investigadores en cada disciplina— deben participar en la evaluación científica mucho más de lo que lo hacen. Esta participación no se refiere a la colaboración ocasional de una selección de expertos con las agencias de evaluación, como miembros de las comisiones o de los paneles de expertos, sino a una aportación más sectorial, procedente del propio campo de investigación. Una voz colectiva como puede ser la de las asociaciones profesionales o de grupos plurales de investigadores puede aportar un juicio cualitativo sobre muchas de las cuestiones que se analizan en los procesos de evaluación. Si un factor clave en el asentamiento de los sistemas de evaluación es la aceptación de los mismos por parte de la comunidad científica, parece necesario que el diseño de los sistemas se haga de abajo a arriba, recogiendo adecuadamente los argumentos e indicaciones de cada una de las comunidades científicas. Un listado categorizado de revistas o editoriales de libros que haya sido elaborado y consensuado por un grupo de especialistas en una determinada disciplina será más aceptado por la comunidad científica como herramienta de evaluación. No es esta una solución que acabe con los problemas de estos procesos, porque podrá criticarse —y se hará— la composición de tal o cual sociedad científica o la presencia de investigadores que favorecen unos intereses frente a otros o unas disciplinas frente a otras. Sin embargo, la evaluación de las revistas en función de su contenido o calidad partiría desde la propia comunidad científica y sería más cualitativa, precisamente por tener en cuenta fundamentalmente los contenidos. A partir de ahí, los grupos de investigación de distintas partes del mundo que estudiamos y analizamos las publicaciones podríamos aportar indicadores indirectos de calidad. Estos ayudarían a homogeneizar —en el mejor

Gimenez_Malestar.indb 187

04/12/2016 17:26:46

188

Los investigadores ante su evaluación

sentido de la palabra— los listados y a hacer comparable lo verdaderamente comparable. Las agencias de evaluación podrían contar así con listados de publicaciones que combinen un juicio cualitativo de las publicaciones, con indicadores que muestran la profesionalidad en la edición y el rigor en la selección de aportaciones. De este modo, los distintos sectores de la academia participarían del proceso, aportando cada uno su especialidad de manera más o menos coordinada. Este modelo mixto de evaluación de publicaciones parece estar dando resultados en algunos países europeos y podría ser una solución al anquilosado problema de los indicadores y de las herramientas de evaluación. El modelo implica aceptar que cada una de las partes (especialistas/investigadores en publicaciones/agencias) cumple una función en este proceso tan delicado, intrincado y complejo que es la evaluación científica, especialmente cuando esta se refiere a investigadores. Implica reconocer, por tanto, que deben aprovecharse al máximo las capacidades de cada uno a favor de un sistema que afecta a todos. Por otra parte, resulta esencial relativizar el valor del impacto (citas) en los procesos de evaluación y, especialmente, aquellos vinculados a una única fuente de información. La dependencia de una sola fuente facilita la evaluación, pero, como se ha visto, genera también agravios entre áreas, malas prácticas entre editores y autores, falta de consideración de algunos tipos de documentos y otro tipo de efectos no deseados ni recomendables en la evaluación científica. Alcanzar la conclusión de que las fuentes hegemónicas de indicadores no son la panacea ni definen el modelo perfecto de evaluación es muy sencillo si se atiende a lo que apuntan multitud de científicos dedicados precisamente a la Bibliometría. Compensar la información que ofrecen las fuentes internacionales con las fuentes nacionales —si existen— puede ser una vía correcta para evaluar de manera más precisa las publicaciones de los investigadores. El peso de la comunidad científica en la determinación del valor de sus publicaciones debe ser mayor; y el trabajo conjunto de los distintos especialistas con quienes realizamos estudios sobre las mismas debe dar lugar a resultados constructivos y, quizá, más aceptados. Esa fue una de las razones que nos llevaron a nosotros, y a otros grupos de investigación españoles, a elaborar fuentes de indicadores como RESH, DICE, In Recs o MIAR. Con excepción de este último,

Gimenez_Malestar.indb 188

04/12/2016 17:26:46

Epílogo

189

los demás están desactualizados por falta de financiación para mantenerlos. Esta situación supone que los humanistas y científicos sociales que publican en revistas españolas no cubiertas por fuentes internacionales tienen menos posibilidades de ser evaluados con precisión. A nuestro entender, se trata de recursos cuyos costes son muy bajos y sus beneficios, altos. Contribuían, al fin y al cabo, a que la evaluación de la producción científica fuera más ajustada a la realidad. Pero por encima de todas estas cuestiones está el hecho de que exista una buena coordinación entre las políticas y normativas relativas a la actividad científica, tanto a nivel nacional como internacional. Un rumbo claro en la investigación de un país ayuda a definir prioridades y criterios en la evaluación científica. En nuestro caso, además, la referencia a lo que está haciendo Europa en materia de evaluación debería servir también de guía. Quizá la relativización (o ausencia) de las medidas tradicionales para las publicaciones que se observa en las evaluaciones del European Research Council o del Research Excellence Framework sea un horizonte al que mirar. Parece lógico pensar que el sistema será mejor si se dan conjuntamente un marco estimulante para la investigación y una alta exigencia a los investigadores, establecida mediante un sistema aceptable para la mayoría.

Gimenez_Malestar.indb 189

04/12/2016 17:26:46

Gimenez_Malestar.indb 190

04/12/2016 17:26:46

Bibliografía citada

Abadal, E. y Rius Alcaraz, L. (2008). “Revistas científicas de las universidades españolas: acciones básicas para aumentar su difusión e impacto”. Revista Española de Documentación Científica, 31(2), 240-260. Abramo, G., Cicero, T. y D’Angelo, C. A. (2011). “Assessing the varying level of impact measurement accuracy as a function of the citation window length”. Journal of Informetrics, 5 (4), 659-667. Abramo, G.; D’Angelo, C. A. y Solazzi, M. (2011). “The relationship between scientists’ research performance and the degree of internationalization of their research”. Scientometrics, 86 (3), 629-643. Adler, N. J. y Harzing, A. W. (2009). “When knowledge wins: Transcending the sense and nonsense of academic rankings”. Academy of Management Learning & Education, 8 (1), 72-95. Andersen, H. (2000). “Influence and reputation in the Social Sciences. How much researchers agree?”. Journal of Documentation, 56 (6), 690. ANECA (2008). Programa Academia. Principios y orientaciones para la aplicación de los criterios de evaluación. Madrid: ANECA. Disponible en: http://www.aneca. es/content/download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf [Consulta: 19/03/2015]. Archambault, É. y Larivière, V. (2010). “The limits of bibliometrics for the analysis of the social sciences and humanities literature”. En: World Social Science Report: Knowledge divides. Paris: UNESCO, 251-254. Archambault, É.; Vignola-Gagne, É.; Côté, G.; Larivière, V. y Gingrasb, Y. (2006). “Benchmarking scientific output in the social sciences and humanities: The limits of existing databases”. Scientometrics, 68 (3), 329-342. Aréchaga, J. (2007). “Revistas científicas españolas: dónde estamos y hacia dónde podríamos ir”. REDVET. Revista Electrónica de Veterinaria, 1695, 7504. Disponible en: http://www.sebbm.com/pdf/154/d02154.pdf [Consulta: 15/09/2013]. — (2014). “Lenguaje y comunicación en la investigación biomédica básica”. En: B. M. Gutiérrez Rodilla y F. A. Navarro (eds.), La importancia del lenguaje en el

Gimenez_Malestar.indb 191

04/12/2016 17:26:47

192

Los investigadores ante su evaluación

entorno biosanitario. Barcelona: Fundación Dr. Antonio Esteve. Disponible en: http://www.esteve.org/monografia-lenguaje [Consulta: 12/11/2013]. Axarloglou, K. y Theoharakis, V. (2003). “Diversity in Economics: An Analysis of Journal Quality Perceptions”. Journal of the European Economic Association, 1, 1402-1423. “Back to books” [editorial] (2010). Nature, 463, 588. Disponible en: http://www.nature.com/nature/journal/v463/n7281/full/463588a.html [Consulta: 18/02/2013]. Baggaley, R. (2007). “How the RAE is smothering ‘big idea’ books”. Times Higher Education. Disponible en: http://www.timeshighereducation.co.uk/209113.article [Consulta: 15/02/2013]. Bar-Ilan, J. (2008). “Which h-index? - A comparison of WoS, Scopus and Google Scholar”. Scientometrics, 74(2), 257-271. Bhaskar, M. (2014). La máquina de contenido. México: Fondo de Cultura Económica. Björk, B. C. (2012). “The hybrid model for open access publication of scholarly articles: A failed experiment?”. Journal of the American Society for Information Science and Technology, 63 (8), 1496-1504. Björk, B. C. y Solomon, D. (2014). “Developing an Effective Market for Open Access Article Processing Charges”. Informe. Disponible en: http://www.wellcome. ac.uk/stellent/groups/corporatesite/@policy_communications/documents/web _document/wtp055910.pdf [Consulta: 10/01/2015]. Bohannon, J. (2013). “Who’s afraid of peer review?”. Science, 342 (6154), 60-65. Bordons, M.; Sancho, R.; Morillo, F. y Gómez Caridad, I. (2010). “Perfil de actividad científica de las universidades españolas en cuatro áreas temáticas: un enfoque multifactorial”. Revista Española de Documentación Científica, 33 (1), 9-33. Budapest Open Access Initiative (2012). http://www.budapestopenaccessinitiative.org/read [Consulta: 21/10/2014]. Buela Casal, G.; Perakakis, P.; Taylor, M. y Checa, P. (2006). “Measuring internationality: reflections and perspectives on academic journals”. Scientometrics, vol. 67 (1), 45-65. Disponible en: http://link.springer.com/article/10.1007%2Fs11192006-0050-z [Consulta: 2/03/2015]. Calero, C. y Costas, R. (2012). “Journal Citation Cartels: can they be detected? The 17th Workshop on Bibliometrics and Research Policy”. Campanario, J. M. (2002). “El sistema de revisión por expertos (peer review): Muchos problemas y pocas soluciones”. Revista Española de Documentación Científica, 25 (3), 166-184. Camussone, P. F., Cuel, R. y Ponte, D. (2011). “Internet and innovative knowledge evaluation processes: new directions for scientific creativity?” En: A. D’Atri, M.

Gimenez_Malestar.indb 192

04/12/2016 17:26:47

Bibliografía citada

193

Ferrara, J. George y P. Spagnoletti (eds.), Information Technology and Innovation Trends in Organizations. Heidelberg: Physica-Verlag. Castañeda, M.; Ordorika, T.; Flores, N. y Olivos, L. (2014). “Las investigadoras de la UNAM y los sistemas de evaluación”. En: N. Blázquez Graf (comp.), Evaluación académica: sesgos de género. México: CEIICH/UNAM. Cetto, A. M.; Alonso-Gamboa, J. O.; Córdoba González, S.; Giménez Toledo, E. y Chávez Sánchez, G. (2012). “Organized access to the Ibero-American quality journals: The PPL experience”. Scholarly and Research Communication, 4 (1). Disponible en http://src-online.ca/index.php/src/article/view/42/116 [Consulta: 04/11/2014]. Chinchilla-Rodríguez, Z.; Miguel, S. y Moya-Anegón, F. de (2014). “What factors affect the visibility of Argentinean publications in humanities and social sciences in Scopus? Some evidence beyond the geographic realm of research”. Scientometrics, 102 (1), 789-810. Clemens, E. S.; Powell, W. W.; McIlwaine, K. y Okamoto, D. (1995). “Careers in Print: Books, Journals, and Scholarly Reputations”. American Journal of Sociology, 101, 433-494. Committee on Publications Ethics (COPE) (s. d.). “Principles of Transparency and Best Practice in Scholarly Publishing”. Disponible en: http://publicationethics.org/files/Principles_of_Transparency_and_Best_Practice_in_Scholarly_ Publishing.pdf [Consulta: 13/02/2015]. Cooper, S. y Poletti, A. (2011). “The new ERA of journal ranking”. Australian Universities’ Review, 53 (1), 57-65. Council of Science Editors (2012). White Paper on Publication Ethics. Disponible en: http://www.councilscienceeditors.org/resource-library/editorial-policies/ white-paper-on-publication-ethics/ [Consulta: 10/01/2015]. — (2012). “Editor Roles and Responsibilities”. En White Paper on Publication Ethics. Disponible en: http://www.councilscienceeditors.org/resource-library/ editorial-policies/white-paper-on-publication-ethics/2-1-editor-roles-and-responsibilities/ [Consulta: 28/10/2015]. Crane, D. (1967). “The gatekeepers of science: Some factors affecting the selection of articles for scientific journals”. The American Sociologist, 2(4), 195-201. Cronin, B. (1982). “Invisible colleges and information transfer. A review and commentary with particular reference to the social sciences”. Journal of Documentation, 38 (3), 212-236. Crow, R. (2002). “The case for institutional repositories: a SPARC position paper”. ARL Bimonthly Report, 223.

Gimenez_Malestar.indb 193

04/12/2016 17:26:47

194

Los investigadores ante su evaluación

Daston, L. y Galison, P. (2007). Objectivity. New York: Zone Books. Davison, R. M., Chismar, W. y Kock, N. (2001). “Professional ethics in information systems”. En: Proceedings of the 34th Annual Hawaii International Conference on System Sciences (HICSS-34), vol. 8. De Solla Price, D. J. (1986). Little Science, Big Science... and Beyond. New York: Columbia University Press. Delgado López-Cozar, E., Robinson-García, N. y Torres Salinas, D. (2012). “Manipulating Google Scholar Citations and Google Scholar Metrics: simple, easy and tempting”. EC3 Working Papers 6, 29 May. Discepolo, T. (2013). La traición de los editores. Madrid: Trama. Domingo Baguer, I. (2013). Para qué han servido los libros. Zaragoza: Prensas de la Universidad de Zaragoza. Ellison, G. (2011). “Is peer review in decline?”. Economic Inquiry, 49 (3), 635-657. Disponible en: http://www.nber.org/papers/w13272. [Consulta: 29/01/2015]. Emerson, G. B., Warme, W. J., Wolf, F. M., Heckman, J. D., Brand, R. A. y Leopold, S. S. (2010). “Testing for the Presence of Positive-Outcome Bias in Peer Review: A Randomized Controlled Trial”. Archives of Internal Medicine, 170 (21), 1934-1939. Disponible en: http://www.ncbi.nlm.nih.gov/pubmed/21098355 [Consulta: 05/12/2014]. Engels, T. C. E., Ossenblok, T. L. B. y Spruyt, E. H. J. (2012). “Changing publication patterns in the social sciences and humanities, 2000-2009”. Scientometrics, 93 (2), 373-390. Disponible en: http://link.springer.com/article/10.1007 %2Fs11192-012-0680-2 [Consulta: 20/07/2014]. Entrevista a Marcel Gauchet (2009). Le Monde, 22 de abril. Disponible en: http://www. lemonde.fr/societe/article/2009/04/22/marcel-gauchet-l-autonomie-veut-dire-lamise-au-pas-des-universitaires_1183753_3224.html [Consulta: 13/01/15]. ERIH Summary guidelines (s. d.). http://www.esf.org/research-areas/humanities/researchinfrastructures-including-erih/erih-initial-lists.html [Consulta: 2/11/2014]. Eurostat. “Gross Domestic Expenditure in R&D”. Disponible en: http://epp.eurostat.ec.europa.eu/statistics_explained/images/b/b6/Gross_domestic_expenditure_on_R%26D_by_sector%2C_2007_and_2012_%28%25_of_GDP%29_ YB14.png [Consulta: 20/01/2015]. Falagas, M. E. y Alexiou, V. G. (2008). “The top-ten in journal impact factor manipulation”. Archivum immunologiae et therapiae experimentalis, 56 (4), 223-226. Favaloro E. J. (2008). “Measuring the quality of journals and journal articles: the impact factor tells but a portion of the story”. Seminars in thrombosis and hemostasis, 34 (1), 7-25. Disponible en: http://www.ncbi.nlm.nih.gov/pubmed/18393139 [Consulta: 11/02/2015].

Gimenez_Malestar.indb 194

04/12/2016 17:26:47

Bibliografía citada

195

FECYT (2011). Análisis de la presencia de revistas científicas españolas en el JCR 2010. Disponible en: http://www.revistacomunicar.com/pdf/2012-03-revistasjcr-2010.pdf [Consulta: 23/01/2015]. — (2013). Bases de la cuarta convocatoria de evaluación de la calidad editorial y científica de las revistas científicas españolas. Disponible en: http://evaluacionarce.fecyt. es/documentos/BasesRenovacionSello_defDG.pdf [Consulta: 21/10/2014]. Fernández-Quijada, D. “El artículo no se acaba con la publicación”. Blog for papers. Disponible en: https://www.ehu.eus/documents/2069587/2214001/El_articulo_no_se_acaba_con_la_publicacion.pdf [Consulta: 01/12/2015]. Ferré Vidal, J. A. (2010). “Prólogo”. En: L’avaluació de la recerca en Humanitats i Ciències Socials. Barcelona: AQU Catalunya. Finch, J. (2012). Accessibility, sustainability, excellence: how to expand access to research publications. Informe. Disponible en: http://www.researchinfonet.org/ wp-content/uploads/2012/06/Finch-Group-report-FINAL-VERSION.pdf [Consulta: 11/01/2015]. Fox, R.; Andersen, H.; Ariew, R.; Feingold, M.; Bag, A. K.; Barrow-Green, J. y Levere, T. (2009). “Journals under threat. A joint response from History of Science, Technology and Medicine editors”. Medical History, 53 (1), 1-4. Disponible en: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2629173/ [Consulta: 12/11/2014]. Frandsen, T. F. y Nicolaisen, J. (2008). “Reactive tendencies of bibliometric indicators: trends in the alphabetization of authorship in economics and information science”. Proceedings of the American Society for Information Science and Technology, 45 (1), 1-10. Garfield, E. (2006). “The history and meaning of the journal impact factor”. JAMA: the journal of the American Medical Association, 295 (1), 90-93. Geli, C. (2013). “La autoedición explota en Fráncfort”. El País, 12 de octubre. Disponible en: http://cultura.elpais.com/cultura/2013/10/11/actualidad/13815226 83_036441.html [Consulta: 2/03/2015]. Genoni, P. y Haddow, G. (2009). “ERA and the Ranking of Australian Humanities Journals”. Australian Humanities Review, 46. Disponible en: http://www. australianhumanitiesreview.org/archive/Issue-May-2009/genoni&haddow.htm [Consulta: 3/11/2014]. Geuna, A. y Martin, B. R. (2003). “University research evaluation and funding: An international comparison”. Minerva, 41 (4), 277-304. Giménez Toledo, E. (2007). “Reflexiones a partir de la jornada de FECYT sobre las medidas de apoyo a las revistas científicas españolas”. Revista Española de Documentación Científica, 30 (2), 257-260.

Gimenez_Malestar.indb 195

04/12/2016 17:26:47

196

Los investigadores ante su evaluación

— (2013). “Reflexiones sobre las revistas científicas españolas”. Anuario ThinkEPI, 2013, 7, 118-121. Disponible en: http://www.thinkepi.net/revistas-cientificas-2012-trilogia-reflexion-accion#sthash.gaj2drYF.JRcW0Nvp.dpuf [Consulta: 24/09/2014]. — (2014). “Imposturas en el ecosistema de la publicación científica”. RIE. Revista de Investigación Educativa, 32 (1), http://revistas.um.es/rie/article/view/190251 [Consulta: 16/02/2014]. Giménez Toledo, E.; Román-Román, A.; Tejada Artigas, C. y Sorli-Rojo, A. (2011). Categorización de publicaciones científicas de Ciencias Humanas y Sociales. Informe. Disponible en: http://hdl.handle.net/10261/89426. [Consulta: 03/07/2016]. Giménez Toledo, E. y Torres-Salinas, D. (2011). “Book citation index: nueva historia sobre big science y little science”. Anuario ThinkEPI, v. 5, 203-205. Disponible en: http://www.thinkepi.net/book-citation-index-una-nueva-historia-adaptadasobre-big-ccience-y-little-science#sthash.gNXdzACc.dpuf [Consulta: 7/10/2014]. Giménez Toledo, E.; Tejada-Artigas, C. y Mañana-Rodríguez, J. (2012). “Evaluation of scientific books’ publishers in social sciences and humanities: results of a survey”. Research Evaluation, 22 (1), 64-77. Disponible en: http://rev.oxfordjournals.org/content/22/1/64.abstract [Consulta: 9/03/2015]. Giménez Toledo, E.; Fernández-Gómez, S.; Tejada-Artigas, C. y MañanaRodríguez, J. (2014). “From Book Publishers to Authors: Information Transparency in Web Sites”. Journal of Scholarly Publishing, 46 (1), 71-88. Giménez Toledo, E., Mañana-Rodríguez, J., Engels, T. C., Ingwersen, P., Pölönen, J., Sivertsen, G., Y Zuccala, A. A. (2016). “Taking scholarly books into account: current developments in five European countries”. Scientometrics, 107 (2), 685-699. Glänzel, W. y Schoepflin, U. (1999). “A bibliometric study of reference literature in the sciences and social sciences”. Information processing & management, 35(1), 31-44. Gobierno de España, Ministerio de Educación, Cultura y Deporte. “Resolución de 17 de septiembre de 2012, de la Secretaría General Técnica, por la que se publican las cuentas anuales de la Fundación española para la ciencia y la tecnología del ejercicio 2011”. Disponible en: http://www.boe.es/boe/dias/2012/10/04/ pdfs/BOE-A-2012-12404.pdf [Consulta: 03/12/2014]. — “Resolución de 19 de noviembre de 2012, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación”. 29 de noviembre de 2012. Disponible en: http://www.boe.es/boe/dias/2012/11/29/pdfs/BOE-A-2012-14633.pdf [Consulta: 10/12/14].

Gimenez_Malestar.indb 196

04/12/2016 17:26:47

Bibliografía citada

197

— “Resolución de 26 de noviembre de 2015, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación”. 30 de noviembre de 2015. Disponible en: https://www.boe.es/boe/dias/2015/11/30/pdfs/BOE-A-2015-12970.pdf [Consulta: 10/12/15]. Gorraiz, J.; Purnell, P. J. y Glänzel, W. (2013). “Opportunities for and limitations of the Book Citation Index”. Journal of the American Society of Information Science, 64, 1388-1398. Disponible en: http://onlinelibrary.wiley.com/ doi/10.1002/asi.22875/abstract [Consulta: 17/01/2015]. Hammond, M.; Oppenheim, C. y Curtis, G. (2013). Access to Citation Data. Cost-benefit and Risk Review and Forward Look. Informe JISC. Disponible en: http://repository.jisc.ac.uk/5371/1/Access-to-Citation-data-report-final.pdf [Consulta: 22/10/2014]. Harnad, S. (2001). “The self-archiving initiative”. Nature, 410 (6832), 1024-1025. Hecht, F.; Hecht, B. K. y Sandberg, A. A. (1998). “The journal “impact factor”: a misnamed, misleading, misused measure”. Cancer genetics and cytogenetics, 104 (2), 77-81. Hess, C, y Ostrom, E. (2007). Understanding Knowledge as a Commons: from Theory to Practice. Cambridge: MIT Press. Hicks, D. (2005). “The four literatures of social science”. En: H. Moed, W. Glänzel y U. Schmoch (eds.), Handbook of Quantitative Science and Technology Research. Amsterdam: Springer Netherlands, 473-496. Hicks, D. y Wang, J. (2011). “Coverage and overlap of the new social sciences and humanities journal lists”. Journal of the American Society for Information Science and Technology, 62 (2), 284-294. Hicks, D.; Wouters, P.; Waltman, L.; de Rijcke, S. y Rafols, I. (2015). “Bibliometrics: The Leiden Manifesto for research metrics”. Nature, 520, 429-431. Disponible en: http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351 [Consulta: 27/11/2015]. Horrobin, D. F. (1990). “The philosophical basis of peer review and the suppression of innovation”. Jama, 263 (10), 1438-1441. House of Commons. Science and Technology Committee (2012). Peer review in scientific publications. Eighth Report on Session 2010-2012. London: Parliamentary House of Commons. Howard, J. (2008). “New Ratings of Humanities Journals Do More than RankThey Rankle”. Chronicle of Higher Education, 55 (7). Disponible en: http://chronicle.com/weekly/v55/i07/07a01001.htm [Consulta: 24/09/2015].

Gimenez_Malestar.indb 197

04/12/2016 17:26:47

198

Los investigadores ante su evaluación

Indicadores del Sistema Español de Ciencia, Tecnología e Innovación (2013). Madrid: FECYT. Instituto Cervantes (2012). El español en el mundo. Anuario del Instituto Cervantes. Disponible en: http://cvc.cervantes.es/lengua/anuario/anuario_12/default. htm [Consulta: 13/11/2014] Kellsey, C. y Knievel, J. (2004). “Global English in the Humanities? A Longitudinal Citation Study of Foreign-Language Use by Humanities Scholars”. College & Research Libraries, 65 (3), 194-204. Kuhn, T. S. (1977). The Essential Tension: Selected Studies in Scientific Tradition and Change. Chicago/London: University of Chicago Press. Kyvik, S. (2003). “Changing trends in publishing behaviour among university faculty, 1980-2000”. Scientometrics, 58 (1), 35-48. Laband, D. N. y Piette, M. J. (1994). “Favoritism versus search for good papers: Empirical evidence regarding the behavior of journal editors”. The Journal of Political Economy, 102 (1), 194-203. Langfeldt, L. (2004). “Expert panels evaluating research: decision-making and sources of bias”. Research Evaluation, 13 (1), 51-62. Lee, C. J.; Sugimoto, C. R.; Zhang, G. y Cronin, B. (2013). “Bias in peer review”. Journal of the American Society for Information Science and Technology, 64 (1), 2-17. Ley 23/2011, de 29 de julio, de depósito legal. BOE, 30 de julio de 2011. Disponible en: http://www.boe.es/boe/dias/2011/07/30/pdfs/BOE-A-2011-13114.pdf [Consulta: 18/09/2014]. Leydesdorff, L. y Felt, U. (2012). “Edited Volumes, Monographs, and Book Chapters in the Book Citation Index (BCI) and Science Citation Index (SCI, SoSCI, A&HCI)”. Journal of Scientometric Research. Preprint. Disponible en: http://arxiv.org/ftp/arxiv/papers/1204/1204.3717.pdf [Consulta: 5/10/2014]. Mañana-Rodríguez, J. (2013). Análisis multidimensional de la especialización en publicaciones de Ciencias Sociales y Humanidades. Tesis doctoral. Madrid: Universidad Carlos III de Madrid. Disponible en: http://e-archivo.uc3m.es/handle/10016/16964 [Consulta: 14/01/2015]. — (2014). “A critical review of SCImago Journal & Country Rank”. Research Evaluation. Disponible en: http://rev.oxfordjournals.org/content/early/2014/03/14/ reseval.rvu008 [Consulta: 14/01/2015]. Martin, B. R. (2011). “The Research Excellence Framework and the ‘impact agenda’: are we creating a Frankenstein monster?”. Research Evaluation, 20 (3), 247-254. Marusic, A.; Katavic, V. y Marusic, M. (2007). “Role of editors and journals in detecting and preventing scientific misconduct: strengths, weaknesses, opportunities, and threats”. Medicine and law, 26 (3), 545.

Gimenez_Malestar.indb 198

04/12/2016 17:26:47

Bibliografía citada

199

Michavila, F. (dir.) (2012). La Universidad española en cifras. Madrid: CRUE. Disponible en: http://www.crue.org/Documentos%20compartidos/Publicaciones/Universidad%20Espa%C3%B1ola%20en%20cifras/UEC_12-13.pdf. Moed, H. F. (2010). “The Source-Normalized Impact per Paper (SNIP) is a valid and sophisticated indicator of journal citation impact”. Preprint. Disponible en: http://arxiv.org/ftp/arxiv/papers/1005/1005.4906.pdf [Consulta: 14/01/2015]. Myers, R. y Harris, M. (1989). Fakes & Frauds: varieties of deception in print & manuscript. Winchester: St. Paul’s Bibliographies. Nederhof, A. J. (2006). “Bibliometric monitoring of research performance in the social sciences and the humanities: A review”. Scientometrics, 66 (1), 81-100. Nederhof, A. J.; Zwaan, R. A.; De Bruin, R. E. y Dekker, P. J. (1989). “Assessing the usefulness of bibliometric indicators for the humanities and the social and behavioural sciences: A comparative study”. Scientometrics, 15 (5), 423-435. Neophytou, J. (2013). “Bibliometrics for journal editors- an overview”. En: Science Editors Handbook. [London]: European Association of Science Editors (EASE), 215-219. Observatorio del Libro y de la Lectura (2015). Panorámica de la edición española de libros 2014. Análisis sectorial del libro. Madrid: Ministerio de Cultura. Disponible en: https://sede.educacion.gob.es/publiventa/descarga.action?f_codigo_agc=14904C [Consulta: 11/11/2015]. Ochsner, M.; Hug, S. E. y Daniel, H. D. (2014). “Setting the stage for the assessment of research quality in the humanities. Consolidating the results of four empirical studies”. Zeitschrift für Erziehungswissenschaft, 17 (6), 111-132. Pérez-Llantada, C. (2007). “Native and non-native English scholars publishing research internationally: A small-scale study on authorial (in)visibility”. Journal of Applied Linguistics, 4 (2), 217-237. Pudovkin, A. I. y Garfield, E. (2004). “Rank‐normalized impact factor: A way to compare journal performance across subject categories”. Proceedings of the American Society for Information Science and Technology, 41 (1), 507-515. Ray, J. G. (2002). “Judging the judges: the role of journal editors”. QJM: an international journal of Medicine, 95 (12), 769-774. Rey Rocha, J. y Martín Sempere, M. J. (2004). “Patterns of the foreign contributions in some domestic vs. international journals on Earth Sciences”. Scientometrics, 59 (1), 95-115. Rodríguez-Yunta, L. (2011). El rol de las revistas de Ciencias Sociales y Humanidades en el marco de la cooperación científica iberoamericana y las redes de colaboración en el desarrollo de productos de información bibliográfica. Tesis doctoral.

Gimenez_Malestar.indb 199

04/12/2016 17:26:47

200

Los investigadores ante su evaluación

Madrid: Universidad Complutense de Madrid. Disponible en: http://eprints. ucm.es/12691/1/T33022.pdf [Consulta: 5/02/2015]. Rodríguez-Yunta, L. y Giménez Toledo, E. (2013). “Fusión, coedición o reestructuración de revistas científicas en humanidades y ciencias sociales”. El Profesional de la información, 22 (1), 36-45. Disponible en: http://dx.doi.org/10.3145/ epi.2013.ene.05 [Consulta: 25/11/2014]. Rodríguez Yunta, L. y Tejada Artigas, C. M. (2013). “El editor técnico: un perfil necesario para la profesionalización de la edición de revistas científicas en el entorno digital”. Anales de Documentación, 16 (2). Disponible en: https:// digitum.um.es/xmlui/handle/10201/37334 [Consulta: 28/11/2014]. Roediger III, H. L. (1987). “The role of journal editors in the scientific process”. En: D. N. Jackson y J. Ph. Rushton (eds.), Scientific excellence: Origins and assessment. Thousand Oaks, CA, US: Sage Publications, Inc, 222-252. Román-Román, A. y Giménez Toledo, E. (2010). “Cómo valorar la internacionalidad de las revistas de Ciencias Humanas y su categorización en ERIH”. Revista Española de Documentación Científica, 33 (3), 341-377. Rossner, M., Van Epps, H. y Hill, E. (2007). “Show me the data”. The Journal of Cell Biology, 179 (6), 1091-1092. Sabaratnam, M. y Kirby, P. (2012). “Open Access: HEFCE, REF2020 and the Threat to Academic Freedom”. Disponible en: http://thedisorderofthings. com/2012/12/04/open-access-hefce-ref2020-and-the-threat-to-academic-freedom/ [Consulta: 20/09/2014]. San Francisco Declaration on Research Assessment (DORA). http://www.ascb.org/dora/ [Consulta: 11/01/2016]. Santamaría, L., Diaz, M. y Valladares, F. (2013). “Dark Clouds over Spanish Science”. Science, 340 (6138), 1292. Schiffrin, A. (2010). La edición sin editores. Barcelona: Península. Schneider, J. W. (2009). “An outline of the bibliometric indicator used for performance-based funding of research institutions in Norway”. European Political Science, 8 (3), 364-378. Seglen, P. O. (1997). “Why the impact factor of journals should not be used for evaluating research”. British Medical Journal, 314 (7079), 498. Shatz, D. (2004). Peer Review: a critical inquiry. Oxford: Rowman & Littlefield Publishers. Sivertsen, G. (2010). “A performance indicator based on complete data for the scientific publication output at research institutions”. ISSI newsletter, 6 (1), 22-28.

Gimenez_Malestar.indb 200

04/12/2016 17:26:47

Bibliografía citada

201

Smith, R. (1998). “Unscientific practice flourishes in science Impact factors of journals should not be used in research assessment”. British Medical Journal, 316 (7137), 1036. Squires, C. (2010). “Books without Borders? Readers, Writers and Publishers in the Global Literary Marketplace”. De Gulden Passer, 88 (2), 133-152. Ten Years After the Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities (2013). http://openaccess.mpg.de/mission-statement_en [Consulta: 21/10/14]. Testa, J. (2010). The book Selection Process for the Book Citation Index in Web of Science. Disponible en: http://wokinfo.com/products_tools/multidisciplinary/ bookcitationindex [Consulta: 23/09/2014]. The Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities (2013). http://openaccess.mpg.de/Berlin-Declaration [Consulta: 23/09/2014]. The PLoS Medicine Editors (2006). “The impact factor game”. PLoS Med, 3(6), e291. Disponible en: http://journals.plos.org/plosmedicine/article?id=10.1371/ journal.pmed.0030291 [Consulta: 18/09/2014]. Thomson Reuters Journals selection process: http://thomsonreuters.com/products_services/science/free/essays/journal_selection_process/ [Consulta: 7/09/2014]. Thomson Reuters (2014). Title suppression from Journal Citation Reports. Disponible en: http://wokinfo.com/media/pdf/jcr-suppression.pdf [Consulta: 7/09/ 2014]. Torres-Salinas, D.; Robinson-García, N.; Campanario, J. M. y Delgado López-Cózar, E. (2013). “Coverage, specialization and impact of scientific publishers in the Book Citation Index”. Online Information Review, 38 (1). UNE (2015). “España crea un sello de calidad para reconocer la excelencia científica del proceso editorial de las colecciones publicadas por las universidades”. Unelibros, 3-9. Disponible en: http://www.une.es/media/Ou1/Image/webabril2015/ UNE%20Libros%2030%20DIG.pdf [Consulta: 02/11/2015]. Van Leeuwen, T. N.; Moed, H. F.; Tijssen, R. J. W.; Visser, M. S. y Van Raan, A. F. J. (2001). “Language biases in the coverage of the Science Citation Index and its consequences for international comparisons of national research performance”. Scientometrics, 51 (1), 335-346. Van Leeuwen, T. (2014). “The meaning of referencing and its interpretation in an evaluative context”. Presentación realizada por el autor en La valutazione della ricerca nelle Humanities and Social Sciences, seminario internacional organizado por ANVUR. Roma, 17 de noviembre de 2014.

Gimenez_Malestar.indb 201

04/12/2016 17:26:48

202

Los investigadores ante su evaluación

Van Noorden, R. (2013). “Open Access: the true cost of science publishing”. Nature, 495, 7442. Disponible en: http://www.nature.com/news/open-access-thetrue-cost-of-science-publishing-1.12676 [Consulta: 12/02/2015] — (2014). “Record number of journals banned for boosting impact factor with self citations”. Disponible en: http://blogs.nature.com/news/2012/06/recordnumber-of-journals-banned-for-boosting-impact-factor-with-self-citations. html [Consulta: 21/10/2015]. Van Raan, A. F. (2004). “Sleeping beauties in science”. Scientometrics, 59 (3), 467472. Vanclay, J. K. (2011). “An evaluation of the Australian Research Council’s journal ranking”. Journal of Informetrics, 5 (2), 265-274. Verleysen, F. y Engels, T. (2013). “A label for peer-reviewed books”. Journal of the American Society for Information Science and Technology, 64 (2), 428-430. Disponible en: http://onlinelibrary.wiley.com/doi/10.1002/asi.22836/abstract [Consulta: 3/02/2015]. Weingart, P. (2005). “Impact of bibliometrics upon the science system: Inadvertent consequences?”. Scientometrics, 62 (1), 117-131. Wenneras, C. y Wold, A. (2001). “Nepotism and sexism in peer-review”. Women, science, and technology, 46-52. Wilhite, A. W. y Fong, E. A. (2012). “Coercive citation in academic publishing”. Science, 335 (6068), 542-543. Wu, X., Fu, Q. y Zhang, Y. (2008). “How many Chinese journals are included in the newly indexed 700 regional journals on Web of Science?”. Report. Journal of Zheijang University, 9 (7), 1011-1014. Disponible en: http://eprints.rclis. org/11887/1/A080719--E-LIS.pdf [Consulta: 4/10/2014]. Zuccala, A., Someren, M. y Bellen, M. (2014). “A machine‐learning approach to coding book reviews as quality indicators: Toward a theory of megacitation”. Journal of the Association for Information Science and Technology, 65 (11), 22482260.

Gimenez_Malestar.indb 202

04/12/2016 17:26:48

Índice onomástico, de términos y de conceptos

VII Programa Marco: 125 Acceso a información científica: 124, 185 Aceptación/rechazo de la evaluación: 37, 38, 102, 187, 189 Aceptación/rechazo del peer review: 36, 37, 38 Acreditación: 169 Actividad científica: 157 AGAUR: 46 Agencias de evaluación: p. 23, 26, 44, 45, 103, 106, 107, 110, 127, 129, 138, 152, 157, 160, 167, 174, 175, 177, 180, 187 Altmetrics: 58 Americanistas: 132, 141 ANECA: 20, 23, 99, 100, 104, 150, 169 ANEP: 23, 97, 100, 104, 105 APA: 167 Applied Econometrics and International Development: 131, 132 ARCE: 73, 127 Article level metrics: 58 Article processing charges (APCs): 57, 115, 180 Article processing fees: 57, 115, 180 Arts & Humanities Citation Index: 35 (véase además Web of Science) Asociaciones científicas: 34, 37, 51, 120, 138, 175, 187 Asociaciones de editores científicos: 111, 152, 155. Atomización de la publicación: 162 Autocitas: 52, 54, 64, 151, 152 Autopublicación: 114, 115, 177

Gimenez_Malestar.indb 203

Bases de datos: 26, 27, 62, 88, 127, 129, 130, 131 Bealls, Jeffrey (véase también lista Beall’s): 178 Bellas durmientes: 173 Bhaskar, Michael: 107 Bibliómetras: 28, 39, 44, 71, 76 Bibliometría: 172, 188 Bibliotecas universitarias: 113 Björk, B.C.: 181, 184 Blackwell: 144 Bohannon, John: 179 Book Citation Index: 88, 95, 96, 105, 106 Book Title Expansion Program (Scopus): 96 British Journal for the History of Science: p. 24 Burócratas en la evaluación científica: 38, 158 Búsqueda de autores: 34 Calendario de publicaciones: 166 Calidad en la edición de libros: 110 Calidad en la edición de revistas: 45, 121, 129, 145, 146 Cambridge University Press: 112, 131 Capítulos del libro: 94, 123, 158 Categorización de editoriales: 47, 187 Categorización de revistas: 35, 37, 47, 187 Chartier, Roger: 107 Chinese Citation Index: 72 Ciencias positivas: 31, 49, 66, 80 Científicos sociales y humanistas: 43, 45, 76, 79, 101, 102, 108, 109, 114, 120, 125, 140, 189 Círculos de citación: 52

04/12/2016 17:26:48

204

Los investigadores ante su evaluación

Cita negativa: 51 Cita positiva: 51 Citas (impacto): 47, 49, 51, 58, 61, 70, 76, 126, 127, 132, 143, 151, 172, 173, 188 Citas a libros: 105, 106, 107 Citas sugeridas por el editor: 52 Citas sugeridas por el evaluador: 53 Citation cartels (cárteles de citación): 64, 151 CNEAI: 20, 23, 77, 97, 99, 100, 104, 105, 106, 114, 158, 169 Cobertura de las bases de datos: 73, 74, 75, 76, 96, 106, 130, 141, 175 Coercive citations: 54, 64, 89, 151 Cofinanciación de publicaciones: 114, 123, 159, 180, 184 Colegio Oficial de Psicólogos de Madrid: 132 Colegios invisibles: 55, 147, 148, 150 Committee on Publication Ethics (COPE): 152, 154 Comparabilidad internacional de la investigación: 92 Competencia lingüística: 134, 135, 136 Competitividad internacional en investigación: 124 Comunicar: 131 Concepto actual de revista: 41, 123 Conferencia de Rectores de Universidades Españolas (CRUE): 82, 120 Consejo Superior de Investigaciones Científicas (CSIC): 42 Consejos de redacción: 25, 32, 36, 40, 43, 44, 66, 71, 93, 148, 150, 153 Contratación de profesores/investigadores: 166, 167, 169 Coordinador de obra colectiva: 93, 94 Council of Science Editors: 154 Coste de la evaluación: 46 Crecimiento del conocimiento científico: 51 Críticas al peer review: 28, 29 Crossref: 58

Gimenez_Malestar.indb 204

Cuartiles: 63 Cultura de la evaluación: 101, 162 Cumplimiento aparente de los indicadores: 44 Curators: 26 Declaración de Berlín: 178, 179, 182 Declaración de Budapest: 178, 182 Declaración de San Francisco: 24 Depósito Legal: 114 Desavenencias en la academia: 31, 34, 35, 36, 37, 83, 84 Descubribilidad de las revistas: 122, 123 De Gruyter IBR: 103 DICE: 128, 150, 161, 188 Difusión de la actividad científica: 56, 57, 162 Directory of Open Access Books: 177 Directory of Open Access Journals (DOAJ): 177, 179 Directrices en publicación científica: 152 Doctorandos: 170, 171 Edición bilingüe de revistas: 131, 134, 135 Edición universitaria: 112 Editores: 25, 26, 32, 33, 34, 35, 37, 39, 41, 43, 44, 45, 46, 59, 90, 127, 128, 151, 152, 154, 155, 184 Editorial Complutense: 112 Editoriales de Humanidades y Ciencias Sociales: 106, 108, 109, 110, 113, 114, 163 Elsevier: 59, 60, 184, 185 Endogamia en revistas: 149, 150 Envejecimiento de la literatura científica: 173 Equivalencia libro/artículo: 98, 99 ERIH Plus: 35 Escuelas de pensamiento: 31, 38, 130 Español (lengua de comunicación científica): 62, 63, 131, 132, 135 Especialización (veáse también revistas especializadas): 65, 120, 133, 137, 141, 142, 143, 144, 145, 146 Especialización temática en editoriales: 110

04/12/2016 17:26:48

Índice onomástico, de términos y de conceptos Ética en la publicación: 151, 153, 155 European Reference Index for the Humanities (ERIH): 34, 35, 37, 76, 94, 134 European Research Council (ERC): 125, 189 Evaluación anónima de artículos: 25 Evaluación cualitativa: 24, 26, 27, 30, 31, 33, 35, 39, 40, 42, 43, 46, 47, 83, 95, 171, 172, 187, 188 Evaluación de artículos: 25, 39, 40, 41 Evaluación de colecciones: 105, 111 Evaluación de editoriales: 24, 30, 105, 106, 107, 177 Evaluación de investigadores: 23, 25, 45, 73, 129, 137, 143 Evaluación de la actividad investigadora: 23, 73, 83, 84, 101, 102, 115, 119, 137, 145, 157, 161, 162, 163, 170, 174, 188 Evaluación de libros: 92, 101, 102, 106, 107 Evaluación de revistas: 24, 30, 41, 141, 175, 177 Evaluación en contexto: 142, 173 Evaluación en tiempo (ver también Tiempo en la evaluación): 27, 30, 31, 38 Evaluación mecanicista: 30, 38, 62, 64, 88, 95, 143, 144 Evaluadores (referees): 53, 89, 90, 149 Evaluadores y evaluados: 38, 45, 53 Excepcionalidad de las Humanidades: 92 Expertos como conjunto heterogéneo: 37 Factor de impacto: 49, 59, 60, 64, 67, 68, 69, 129, 173 Filtro científico en las revistas: 25, 26, 41, 89, 90 Financiación de la investigación: 123, 183 Fragmentación de las publicaciones: 87 Fuentes de indicadores para revistas: 118, 128, 129, 138, 141, 146, 150, 160, 161, 175, 178, 187, 188 Fuentes de indicadores para libros: 103, 105, 106, 187, 188 Fundación Española para la Ciencia y la Tecnología (FECYT): 63, 73, 74, 80, 97, 127, 188

Gimenez_Malestar.indb 205

205

Gatekeepers: 26, 89 Géneros de publicaciones: 32, 33, 88, 91, 92 Gestión editorial: 168 Gestores de política científica: 28, 62, 69, 71, 106, 117 Google scholar: 58, 68, 71, 74, 96, 103, 105, 161 Granjas de citas: 152 Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC): 42, 71, 75, 156, 161 Grupo de Investigación sobre el Libro Académico (ILIA): 42 Grupos de interés (lobbies): 65 Grupos editoriales: 115, 159, 180, 181, 182, 184, 185 Handbooks: 93 Humanidades y Ciencias Sociales: 31, 32, 36, 42, 44, 50, 66, 67, 68, 70, 74, 75, 79, 80, 81, 82, 85, 88, 92, 93, 94, 101, 103, 112, 148, 161, 173, 175 Impacto normalizado: 65, 140 Imperialismo (evaluación científica): 59 Indexación: 27, 43, 60, 72, 73, 75, 76, 79, 81, 118, 128, 131, 133, 141, 151, 153, 157, 158, 168, 169, 174, 177, 179, Indicadores bibliométricos: 16, 27, 31, 40, 55, 103, 126, 138, 130, 143, 151, 175 Indicadores como marco de referencia: 29 Indicadores de calidad para las publicaciones: 24, 26, 27, 28, 30, 39, 40, 42, 83, 95, 128, 129, 130, 141, 150, 160, 175, 187, 188 Indicadores de calidad para libros: 83, 88, 94, 95, 97, 100, 101, 102, 103, 104, 105, 106, 109, 110, 111 Indicadores de impacto en Humanidades y Ciencias Sociales: 40, 66, 67, 68, 70, 71, 126, 138 Índice h: 74, 173 Indicios de calidad: 29 Informed peer review (evaluación cualitativa y cuantitativa): 44, 62, 74, 102, 103

04/12/2016 17:26:48

206

Los investigadores ante su evaluación

Ingeniería de citas: 151 Ingeniería financiera (sector del libro): 60 Inglés (vehículo de comunicación científica): 134 In-Recs: 128, 188 In-Rech: 68 Intencionalidad en la cita: 52 Interdisciplinariedad: 141, 143, 145 Interés intrínseco de las publicaciones: 41 Internacionalidad de la ciencia/investigación: 117, 118, 119, 120, 121, 123, 124, 125, 126, 174 Internacionalidad de las publicaciones: 117, 118, 119, 120, 121, 126, 127, 129, 131, 134, 135, 136, 150, 174, 175 Investigación local o regional: 62, 676, 86, 97, 106, 117-121, 124, 125 Impacto de la investigación en la sociedad: 76, 143, 172 Inversión en I+D: 47, 123, 184 ISBN: 113, 114 Journals under threat: 34 Journal Citation Reports: 62, 67, 69, 85, 99, 127, 132, 151, 152, 172, 174, 177, 180 Jóvenes investigadores: 88, 170, 171 Ley 14/2011 de la Ciencia, la Tecnología y la Innovación: 180 Licencias nacionales de acceso a bases de datos: 72, 73 Libro científico: 75, 79, 80, 81-85, 87, 88, 98, 158 Libro por encargo: 90 Libros vs revistas: 88, 123, 158 Lista Beall’s: 179 Mainstream science: 119 Malas prácticas en revistas: 40, 44, 66, 71, 147, 150, 151, 152, 153, 156, 160, 178, 179 Manifiesto de Leiden: p. 25 Marketing en la investigación: 55, 56, 57 Max Planck Society: 182 Mercantilismo (evaluación científica): 59 MIAR: 188

Gimenez_Malestar.indb 206

MLA: 167 Modificación en la comunicación científica: 85 Monografías: 92, 98 Monográficos: 169 Norwegian Social Sciences Data Services (NSD): 35 OAPEN: 177 Objetivación de la evaluación: 27, 29, 40, 45, 103, 108, 109 Objetivación mecánica: 30 Obras colectivas: 93 Observatorio del Libro y de la Lectura: 113 Office of Research Integrity: 154 OJS (Open Journal System): 167 Open Access: 57, 90, 112, 113, 115, 159, 178, 179, 180, 182, 183, 184, 185 Open Access y evaluación científica: 58, 90, 177, 184 ORCID: 58 Originales (artículos): 45, 157 Originales (libros): 45, 110 Oxford University Press: 112 Pago por publicación: 159, 180, 183, 184 Paneles de expertos: 27, 30, 33, 34, 35, 39, 46, 62, 108, 129, 139, 146, 187 Patrón de citación en Humanidades y Ciencias Sociales: 28, 61, 65, 67, 68, 132, 173 Patrón de publicación en Humanidades y Ciencias Sociales: 28, 61, 65, 79, 80, 82, 84, 85, 90, 97, 113, 137, 138, 142 Peer review: 25, 26, 28, 33, 39, 53, 88, 89, 93, 109, 110, 115, 129, 149, 159, 160, 175, 178, 179, 180 Plan Nacional de I+D: 80, 165 Plurilingüismo: 134, 135 Política científica: 28, 62, 72, 174 Política lingüística: 135 Preparación del original: 167 Presión por publicar: 151, 153 Prestigio de las editoriales: 106, 107, 108, 109, 111 Prestigio de las revistas: 66, 140

04/12/2016 17:26:48

Índice onomástico, de términos y de conceptos Principles of transparency and best practice in scholarly communication: 152 Procomún (generación de conocimiento colectivo): 52 Producción científica: 51, 75, 82, 115, 120, 160, 161 Producción científica temprana: 170, 171 Profesionalización en revistas científicas: 26, 34, 45, 60, 93, 127, 147, 154, 155, 168, 174, 175, 178, 179, 188 Programación editorial: 169 Promoción de la producción científica: 54, 57 Proyectos de investigación en Humanidades y Ciencias Sociales: 125, 165, 183, 184 Publicación de libros: 32, 87 Publicaciones científicas: 23, 32 Publicar en español: 131, 132, 141, 149 Publicar en inglés: 85, 117, 131, 132, 136, 141 Ranking de editoriales: 100, 108, 109, 140, 144 Ranking de revistas: 24, 27, 37, 43, 44, 45, 45, 46, 61, 62, 67, 68, 138, 140, 141, 144, 146, 180 Ranking of Australian Humanities Journals: 37 Reacción ante la evaluación: 42, 43, 44, 45, 60, 61, 85, 101, 142, 162 Reconocimiento académico: 50, 51, 76 Redes sociales académicas: 177 Relación entre citado/leído: 52 Relación idioma/cita: 133 Repositorios: 177 Representatividad disciplinar en los paneles de expertos: 139, 140 Reputación de las revistas: 43, 44 Reputación de los investigadores: 56 Research Assessment Exercise (RAE): 87 Research Excellence Framework (REF): 46, 188 RESH (Revistas Españolas de Ciencias Sociales y Humanidades): 42, 67, 69, 128, 140, 150, 175, 188

Gimenez_Malestar.indb 207

207

Reseñas de libros: 103, 104, 105 Revisión por expertos: 28, 39, 175 Revistas científicas españolas: 31, 32, 40, 67, 75, 97, 117, 118, 122, 128, 129, 140, 148, 155, 156, 158, 174, 175, 189 Revistas comerciales: 54, 181 Revistas de referencia: 39, 159 Revistas depredadoras: 178 Revistas especializadas: 61, 62, 64, 122, 123, 140, 141, 142, 144, 145 Revistas fuente: 62, 63, 67, 131 Revistas generalistas: 62 Revistas híbridas: 180, 181, 182, 183 Revistas iberoamericanas: 63 Revistas institucionales: 149 Revistas internacionales: 62, 117, 118, 119, 121, 124, 158 Revista multidisciplinares: 64 Revistas nacionales: 62, 117, 118, 119, 121 Revistas regionales: 73, 175 Revistas técnico/profesionales: 137, 138 Revistas universitarias: 54, 149, 178, 183 Revistas vs libros: 88, 91 Riesgo del editor: 34 Schaffer, Simon: 24 Scholarly Publishers Indicators (SPI): 100, 108, 110, 111, 140, 144 Science: 179 Science Citation Index: 96, 130 Scimago Journal Rank (SJR): 64, 67, 69, 76 Scopus: 60, 62, 67, 72, 74, 75, 76, 77, 96, 106, 117, 118, 121, 127, 128, 133, 141, 157, 161, 175, 178 Sector del libro: 60 Sector editorial académico: 112, 113, 114, 155 Selección de expertos: 34, 37 Selección de originales en editoriales: 32, 34, 90, 91, 110 Selección de originales en revistas: 25, 26, 32, 157, 178, 179

04/12/2016 17:26:48

208

Los investigadores ante su evaluación

Selección de revistas: 27, 62, 63, 167 Sello de calidad para colecciones: 111 Sesgo idiomático de las bases de datos: 130 Sistemas de gestión de originales: 167 Solomon, David: 181, 184 Sostenibilidad de la edición académica: 112 Springer: 184 Starting Grants: 125 Tasa de rechazo: 168 Temas de investigación más citables: 65, 173 The cost of knowledge: 185 The Spanish Journal of Psychology: 131, 132 Thomson Reuters: 49, 59, 64, 67, 69, 72 Tiempo en la evaluación: 165, 166, 167, 168, 169, 170, 171, 172 Trabajos en coautoría: 166 Tramos de investigación (sexenios): 169 Transferencia de resultados de investigación: 76

Gimenez_Malestar.indb 208

Transparencia en editoriales: 91, 109 Unión de Editoriales Universitarias Españolas (UNE): 105, 111 Universidad Complutense de Madrid: 132 Universitat Autònoma de Barcelona: 46 VABB-SHW (Flandes): 61 Van Raan, A. F.: 173 Ventana de citación: 67, 68 Vía dorada (OA): 57, 115, 159, 180 Vigo International Journal of Applied Linguistics: 132 Visibilidad internacional de las revistas: 26, 119, 127, 129, 130 Web of Science (WoS): 35, 58, 59, 60, 62, 63, 64, 66, 68, 71-77, 79, 82, 97, 100, 106, 117, 118, 127, 128, 131, 133, 141, 161, 174, 175, 180 Wiley: 184 Wilhite & Fong: 54 Working papers: 177

04/12/2016 17:26:48

a.f Cubierta MALESTAR.pdf

C

M

Y

CM

MY

CY

CMY

K

1

27/06/16

10:56