Peer reviewers en revistas jurídicas: ¿inquisidores frustrados?

El sistema de la revisión por pares, como tantas otras conductas –actualmente pretéritas y descartadas– en el mundo científico, se ha convertido en una especie de método incuestionable de valoración de la calidad de un trabajo científico. Hubo un tiempo en que el único criterio de control de calidad fue el del editor de la obra publicada, que arriesgaba su dinero. También existieron los censores, que ponían su “nihil obstat” o sus tachones cuando leían algo que no les gustaba siguiendo criterios religiosos, morales, o por contradecir la autoridad de textos incuestionables, habitualmente también religiosos.

Pero ya hacia el siglo XIX, con la aparición de las primeras revistas científicas, primaba el criterio del director de la revista o del consejo de redacción, que no pocas veces publicaban simplemente por la identidad del autor. Con todo, finalmente el éxito del trabajo dependía, de hecho igual que ahora, de la aceptación de la doctrina en general, que por desgracia se fiaba –y se sigue fiando– de la opinión de los eventualmente considerados “primeros espadas” en cada momento. Pese a que el paso del tiempo suele poner a cada uno en su sitio.

El sistema, como es obvio, se prestaba a la corrupción. Al final, directores y consejos de redacción publicaban los trabajos de aquellos que querían favorecer, sobre todo de cara a concursos universitarios, o incluso simplemente por satisfacer la vanidad del autor, valor que, como todos sabemos, en el ámbito universitario cotiza demasiado alto, y pecar contra él es sinónimo de granjearte enemigos a muerte de por vida. Por ello, pocos se arriesgan.

Es por todo ello por lo que desde hace algunas décadas solamente –la historia de Henry Oldenburg del siglo XVII es una leyenda–, y tal vez en el fondo para evitar las incomodidades “políticas” del rechazo del consejo de redacción, pareció una mejor solución que los trabajos los evaluaran colegas de la disciplina que no revelarían su identidad, y que tampoco conocerían la del autor. De esa manera, el rechazo a la publicación aparentaría ser, en principio, más objetivo, y desde luego el consejo de redacción podría escudarse en el parecer de los “pares” para no incomodarse con los autores.

A priori, el sistema puede parecer perfecto, y tal vez pueda funcionar debidamente –aunque es muy controvertido– en materias no jurídicas en las que el papel de los revisores es sobre todo comprobar el uso del método científico y la realidad del apoyo estadístico de los resultados, aunque para esos casos se está proponiendo como alternativa el sistema del registered report, lo que algo quiere decir, y no positivo para la peer review. Pero sea como fuere, en estas materias el papel del evaluador está concebido de manera muy objetiva a priori, sin perjuicio de que en ocasiones pueda ir más allá de lo indicado encontrando siempre variables subjetivas para hacerlo. En todo caso, no pretendo analizar la validez del sistema para esas materias, y por ello no me extenderé en este punto.

Sin embargo, en el campo jurídico la peer review presenta gravísimos inconvenientes, dado que salvo que se descubran en el trabajo errores garrafales –luego trataré ese punto, la ciencia jurídica es esencialmente argumentativa, con la subjetividad inevitable que ello provoca. Las conclusiones pueden ser desacertadas, pero salvo que se pueda explicar con claridad la razón del error, en muchas ocasiones el supuesto “error” no es más que una discrepancia de parecer sobre un tema que puede tener diversas lecturas, todas legítimas. Por ello, en Derecho 2+2 no siempre es igual a 4, si se me permite la comparación. Un mismo problema jurídico puede tener soluciones incompatibles entre sí pero que conduzcan a resultados que verdaderamente funcionen de forma aceptable en la realidad.

Por todo ello, en este escrito destacaré solamente los cuatro problemas de la evaluación por pares en materia jurídica que parecen más evidentes: la escasez de la muestra estadística, la corrupción en la selección de los evaluadores, la dudosa legitimidad científica de los mismos y la procedencia de ciertas observaciones/correcciones.

El primero –la escasez de la muestra estadística– es de tal evidencia que no merece mucho comentario. Pongamos por caso una materia que en un solo país posee a 200 expertos del máximo nivel. Ciertamente, recurrir solamente al parecer de dos de ellos, incluso siendo del todo coincidente con el del autor –pocas veces lo es– supone dejar la opinión de la comunidad científica en manos del 1% de sus integrantes, lo que es enormemente desacertado particularmente en materia jurídica, insisto, en la que la diversidad de pareceres es bastante natural en muchísimos puntos.

El segundo –corrupción en la selección de evaluadores– es más serio. Pocas revistas desclasifican su sistema de confección de las listas de evaluadores y su selección final. Es algo que queda en manos de los consejos de redacción, que obviamente pueden hacer y hacen al respecto lo que quieren, quedando el completo sistema dependiendo exclusivamente de la honestidad de los integrantes de dicho consejo. Si en el futuro se debiera seguir confiando tan ciegamente en el sistema de la revisión por pares, tal vez convendría que se elaboraran pautas de selección de evaluadores con criterios de calidad, de manera que no todo dependa del criterio de los consejos de redacción. Ello planteará otros muchos problemas –disponibilidad de los evaluadores, boicots de los mismos, evaluación de su calidad, precaria tantas veces, etc.–, pero tal y como es el actual sistema, consiste en hacerse trampas al solitario.

El tercero, relacionado íntimamente con el anterior –legitimidad científica de los evaluadores–, es un problema gravísimo y hasta doloroso desde el punto de vista de la vanidad al que antes me refería. Habría que asumir algo que hasta parece un pecado decirlo: la mayoría de los colegas no están legitimados para evaluar debidamente un trabajo científico, porque nunca abordaron en profundidad el tema tratado por el autor. Y si sí lo hicieron, se corre el riesgo de que el evaluador piense que él es el único ser sobre la faz de la tierra que tiene la razón sobre el tema, lo que le puede llevar a evaluar negativamente trabajos, especialmente aquellos que, dramáticamente, no le han citado, o que desgraciadamente contradicen sus conclusiones. En estas condiciones, encontrar un evaluador auténticamente informado e imparcial es una misión verdaderamente difícil. No imposible, pero sí demasiado compleja como para que podamos tener confianza en un sistema que le cuesta tantísimo integrar a los sujetos que le dan vida.

El cuarto –legitimidad de las observaciones/correcciones– es tal vez lo de menos, aunque a menudo lo que más enoja. Con demasiada frecuencia, el evaluador percibe banalmente que le ha llegado su momento de gloria, y sintiéndose amparado por la máscara del anonimato, experimenta un placer sádico en formular comentarios desagradables y denigratorios del autor y su obra, que además la mayoría de las veces ni siquiera son científicamente útiles. Es habitual, por ejemplo, que se quejen de que no se ha utilizado tal o cual obra, sin decir por qué esos materiales sean importantes o qué ideas aportarían.

También formulan propuestas de reforma de índices, simplemente porque ellos lo habrían hecho de otra manera, aunque sin decir por qué la opción del autor es tan errónea que oscurece la comprensión del trabajo. Finalmente, para no hacer esta lista inacabable, los evaluadores, escolásticos obedientes con sus mayores, acostumbran a ser hostiles a las conclusiones que no se basan en otros trabajos doctrinales anteriores, como si la creatividad o la originalidad fueran un pecado contra los argumentos de autoridad, cuando son la principal fuente de generación de ciencia jurídica, por muy reprimida que suela estar precisamente porque en nuestra materia la tradición y los argumentos de autoridad parecen absurdamente intocables. Dos simples falacias –ad verecundiam y ad antiquitatem– que han lastrado la investigación en nuestro ámbito desde la Edad Media, y que todavía suponen una carga del peso de una losa en ocasiones para el conjunto de la comunidad científica.

El sistema también fracasa cuando el consejo de redacción dispone una lista de evaluadores que siempre dicen sí, es decir, que sistemáticamente aceptan los trabajos para ser publicados. Son puros amigos de dicho consejo dispuestos a aparentar una labor para obtener indexaciones o sellos de calidad de la revista, lo que también da al traste con el objetivo final: la localización de la calidad y hasta del talento.

Es por ello también por lo que, realmente, convendría que los indexadores suprimieran de inmediato la peer review entre los criterios de calidad, al menos en materia jurídica, devolviendo a los consejos de redacción su poder, jugándose dicho consejo su prestigio con nombre y apellidos y detectando esa calidad. Actualmente, además, pueden contar con un indicio fácil de obtener, pero que –esto es importante– se trata de un simple indicio editorial, y no de un criterio objetivo de evaluación de la calidad, que no lo es en absoluto. Insisto, se trata de una simple orientación editorial para los propios consejos de redacción: número de bajadas de los artículos de los mismos. Si la revista publica trabajos valiosos, las consultas serán más numerosas. De lo contrario, nadie entrará en la página de la revista para ver qué publicaron en el último número. En todo caso, es forzoso controlar tecnológicamente la manipulación en el número de bajadas.

Si al número de consultas se añade el número de citas y se combinan ambos factores, se evitará que las revistas publiquen arteramente trabajos que pretendan alguno de los dos objetivos, que en materia jurídica son con frecuencia incompatibles. Los trabajos “prácticos” tienen muchas bajadas, pero pocas citas doctrinales. Y las obras que son solamente disquisiciones teóricas y que a menudo generan citas, no le interesan realmente a nadie fuera de la Academia, habida cuenta de su ausencia de empirismo, precisamente. Acompasar ambos objetivos es auténtica ciencia: investigar cuestiones relevantes en la realidad de un modo científicamente impecable. No debiera ser tan difícil encontrar un consejo de redacción comprometido con tales objetivos, es decir, con la ciencia.

Aunque debo insistir una vez más, para finalizar y para evitar confusiones, que la combinación del número de bajadas con el de citas no es un detector objetivo de calidad, por lo que desaconsejo enérgicamente desde ahora su uso en otras valoraciones de trabajos científicos. Simplemente es un criterio editorial a posteriori para el consejo de redacción a fin de mantener el nivel de difusión de la revista científica. La apreciación de la calidad científica no es tan sencilla, ojalá lo fuera… De ahí la exigencia inexcusable de que la revista posea un consejo de redacción realmente prestigioso desde el punto de vista estrictamente científico.