Peer reviewers en revistas jurídicas: ¿inquisidores frustrados?

El sistema de la revisión por pares, como tantas otras conductas –actualmente pretéritas y descartadas– en el mundo científico, se ha convertido en una especie de método incuestionable de valoración de la calidad de un trabajo científico. Hubo un tiempo en que el único criterio de control de calidad fue el del editor de la obra publicada, que arriesgaba su dinero. También existieron los censores, que ponían su “nihil obstat” o sus tachones cuando leían algo que no les gustaba siguiendo criterios religiosos, morales, o por contradecir la autoridad de textos incuestionables, habitualmente también religiosos.

Pero ya hacia el siglo XIX, con la aparición de las primeras revistas científicas, primaba el criterio del director de la revista o del consejo de redacción, que no pocas veces publicaban simplemente por la identidad del autor. Con todo, finalmente el éxito del trabajo dependía, de hecho igual que ahora, de la aceptación de la doctrina en general, que por desgracia se fiaba –y se sigue fiando– de la opinión de los eventualmente considerados “primeros espadas” en cada momento. Pese a que el paso del tiempo suele poner a cada uno en su sitio.

El sistema, como es obvio, se prestaba a la corrupción. Al final, directores y consejos de redacción publicaban los trabajos de aquellos que querían favorecer, sobre todo de cara a concursos universitarios, o incluso simplemente por satisfacer la vanidad del autor, valor que, como todos sabemos, en el ámbito universitario cotiza demasiado alto, y pecar contra él es sinónimo de granjearte enemigos a muerte de por vida. Por ello, pocos se arriesgan.

Es por todo ello por lo que desde hace algunas décadas solamente –la historia de Henry Oldenburg del siglo XVII es una leyenda–, y tal vez en el fondo para evitar las incomodidades “políticas” del rechazo del consejo de redacción, pareció una mejor solución que los trabajos los evaluaran colegas de la disciplina que no revelarían su identidad, y que tampoco conocerían la del autor. De esa manera, el rechazo a la publicación aparentaría ser, en principio, más objetivo, y desde luego el consejo de redacción podría escudarse en el parecer de los “pares” para no incomodarse con los autores.

A priori, el sistema puede parecer perfecto, y tal vez pueda funcionar debidamente –aunque es muy controvertido– en materias no jurídicas en las que el papel de los revisores es sobre todo comprobar el uso del método científico y la realidad del apoyo estadístico de los resultados, aunque para esos casos se está proponiendo como alternativa el sistema del registered report, lo que algo quiere decir, y no positivo para la peer review. Pero sea como fuere, en estas materias el papel del evaluador está concebido de manera muy objetiva a priori, sin perjuicio de que en ocasiones pueda ir más allá de lo indicado encontrando siempre variables subjetivas para hacerlo. En todo caso, no pretendo analizar la validez del sistema para esas materias, y por ello no me extenderé en este punto.

Sin embargo, en el campo jurídico la peer review presenta gravísimos inconvenientes, dado que salvo que se descubran en el trabajo errores garrafales –luego trataré ese punto, la ciencia jurídica es esencialmente argumentativa, con la subjetividad inevitable que ello provoca. Las conclusiones pueden ser desacertadas, pero salvo que se pueda explicar con claridad la razón del error, en muchas ocasiones el supuesto “error” no es más que una discrepancia de parecer sobre un tema que puede tener diversas lecturas, todas legítimas. Por ello, en Derecho 2+2 no siempre es igual a 4, si se me permite la comparación. Un mismo problema jurídico puede tener soluciones incompatibles entre sí pero que conduzcan a resultados que verdaderamente funcionen de forma aceptable en la realidad.

Por todo ello, en este escrito destacaré solamente los cuatro problemas de la evaluación por pares en materia jurídica que parecen más evidentes: la escasez de la muestra estadística, la corrupción en la selección de los evaluadores, la dudosa legitimidad científica de los mismos y la procedencia de ciertas observaciones/correcciones.

El primero –la escasez de la muestra estadística– es de tal evidencia que no merece mucho comentario. Pongamos por caso una materia que en un solo país posee a 200 expertos del máximo nivel. Ciertamente, recurrir solamente al parecer de dos de ellos, incluso siendo del todo coincidente con el del autor –pocas veces lo es– supone dejar la opinión de la comunidad científica en manos del 1% de sus integrantes, lo que es enormemente desacertado particularmente en materia jurídica, insisto, en la que la diversidad de pareceres es bastante natural en muchísimos puntos.

El segundo –corrupción en la selección de evaluadores– es más serio. Pocas revistas desclasifican su sistema de confección de las listas de evaluadores y su selección final. Es algo que queda en manos de los consejos de redacción, que obviamente pueden hacer y hacen al respecto lo que quieren, quedando el completo sistema dependiendo exclusivamente de la honestidad de los integrantes de dicho consejo. Si en el futuro se debiera seguir confiando tan ciegamente en el sistema de la revisión por pares, tal vez convendría que se elaboraran pautas de selección de evaluadores con criterios de calidad, de manera que no todo dependa del criterio de los consejos de redacción. Ello planteará otros muchos problemas –disponibilidad de los evaluadores, boicots de los mismos, evaluación de su calidad, precaria tantas veces, etc.–, pero tal y como es el actual sistema, consiste en hacerse trampas al solitario.

El tercero, relacionado íntimamente con el anterior –legitimidad científica de los evaluadores–, es un problema gravísimo y hasta doloroso desde el punto de vista de la vanidad al que antes me refería. Habría que asumir algo que hasta parece un pecado decirlo: la mayoría de los colegas no están legitimados para evaluar debidamente un trabajo científico, porque nunca abordaron en profundidad el tema tratado por el autor. Y si sí lo hicieron, se corre el riesgo de que el evaluador piense que él es el único ser sobre la faz de la tierra que tiene la razón sobre el tema, lo que le puede llevar a evaluar negativamente trabajos, especialmente aquellos que, dramáticamente, no le han citado, o que desgraciadamente contradicen sus conclusiones. En estas condiciones, encontrar un evaluador auténticamente informado e imparcial es una misión verdaderamente difícil. No imposible, pero sí demasiado compleja como para que podamos tener confianza en un sistema que le cuesta tantísimo integrar a los sujetos que le dan vida.

El cuarto –legitimidad de las observaciones/correcciones– es tal vez lo de menos, aunque a menudo lo que más enoja. Con demasiada frecuencia, el evaluador percibe banalmente que le ha llegado su momento de gloria, y sintiéndose amparado por la máscara del anonimato, experimenta un placer sádico en formular comentarios desagradables y denigratorios del autor y su obra, que además la mayoría de las veces ni siquiera son científicamente útiles. Es habitual, por ejemplo, que se quejen de que no se ha utilizado tal o cual obra, sin decir por qué esos materiales sean importantes o qué ideas aportarían.

También formulan propuestas de reforma de índices, simplemente porque ellos lo habrían hecho de otra manera, aunque sin decir por qué la opción del autor es tan errónea que oscurece la comprensión del trabajo. Finalmente, para no hacer esta lista inacabable, los evaluadores, escolásticos obedientes con sus mayores, acostumbran a ser hostiles a las conclusiones que no se basan en otros trabajos doctrinales anteriores, como si la creatividad o la originalidad fueran un pecado contra los argumentos de autoridad, cuando son la principal fuente de generación de ciencia jurídica, por muy reprimida que suela estar precisamente porque en nuestra materia la tradición y los argumentos de autoridad parecen absurdamente intocables. Dos simples falacias –ad verecundiam y ad antiquitatem– que han lastrado la investigación en nuestro ámbito desde la Edad Media, y que todavía suponen una carga del peso de una losa en ocasiones para el conjunto de la comunidad científica.

El sistema también fracasa cuando el consejo de redacción dispone una lista de evaluadores que siempre dicen sí, es decir, que sistemáticamente aceptan los trabajos para ser publicados. Son puros amigos de dicho consejo dispuestos a aparentar una labor para obtener indexaciones o sellos de calidad de la revista, lo que también da al traste con el objetivo final: la localización de la calidad y hasta del talento.

Es por ello también por lo que, realmente, convendría que los indexadores suprimieran de inmediato la peer review entre los criterios de calidad, al menos en materia jurídica, devolviendo a los consejos de redacción su poder, jugándose dicho consejo su prestigio con nombre y apellidos y detectando esa calidad. Actualmente, además, pueden contar con un indicio fácil de obtener, pero que –esto es importante– se trata de un simple indicio editorial, y no de un criterio objetivo de evaluación de la calidad, que no lo es en absoluto. Insisto, se trata de una simple orientación editorial para los propios consejos de redacción: número de bajadas de los artículos de los mismos. Si la revista publica trabajos valiosos, las consultas serán más numerosas. De lo contrario, nadie entrará en la página de la revista para ver qué publicaron en el último número. En todo caso, es forzoso controlar tecnológicamente la manipulación en el número de bajadas.

Si al número de consultas se añade el número de citas y se combinan ambos factores, se evitará que las revistas publiquen arteramente trabajos que pretendan alguno de los dos objetivos, que en materia jurídica son con frecuencia incompatibles. Los trabajos “prácticos” tienen muchas bajadas, pero pocas citas doctrinales. Y las obras que son solamente disquisiciones teóricas y que a menudo generan citas, no le interesan realmente a nadie fuera de la Academia, habida cuenta de su ausencia de empirismo, precisamente. Acompasar ambos objetivos es auténtica ciencia: investigar cuestiones relevantes en la realidad de un modo científicamente impecable. No debiera ser tan difícil encontrar un consejo de redacción comprometido con tales objetivos, es decir, con la ciencia.

Aunque debo insistir una vez más, para finalizar y para evitar confusiones, que la combinación del número de bajadas con el de citas no es un detector objetivo de calidad, por lo que desaconsejo enérgicamente desde ahora su uso en otras valoraciones de trabajos científicos. Simplemente es un criterio editorial a posteriori para el consejo de redacción a fin de mantener el nivel de difusión de la revista científica. La apreciación de la calidad científica no es tan sencilla, ojalá lo fuera… De ahí la exigencia inexcusable de que la revista posea un consejo de redacción realmente prestigioso desde el punto de vista estrictamente científico.

3 comentarios
  1. maria jose
    maria jose Dice:

    PUES MEJOR NO PROFUNDICES EN OTRAS MATERIAS!!!! ES ABERRANTE LA SITUACIÓN, Y LO PEOR ES QUE REPERCUTE EN LA CONCESIÓN DE SEXENIOS DE INVESTIGACIÓN, CREADOS COMO SUBIDA ENCUBIERTAS DE SUELDO, QUE ESTE PAIS, Y EN CONCRETO A LA UNIVERSIDAD, NECESITA LA MEDICACIÓN “DE MEMORY”, Y EN LA GENERALIZADA CREENCIA DE QUE CUANTOS MÁS SEXENIOS ACUMULES MÁS “GUAY” ERES EN TODOS LOS ASPECTOS, SIN TENER EN CUENTA QUE LAS AREAS NO SON COMPARABLES Y QUE, EN ALGUNAS DE ELLAS, LA CONCESIÓN DE SEXENIOS ESTÁ CONDICONADA POR TUS “CONTACTOS”. EN DEFINITIVA, LA PESCADILLA QUE SE MUERDE LA COLA, ¿QUÉ UNIVERSIDAD ESTAMOS DEJANDO A LOS JOVENES DOCENTES-INVESTIGADORES?¿QUÉ VALORES ETICOS LES ESTAMOS TRANSMITIENDO?¿HASTA DONDE TIENEN QUE AGUANTAR PARA LLEGAR? QUÉ HORROR!!!

  2. O'farrill
    O'farrill Dice:

    La interesante aportación del autor por desgracia es algo sistémico. Algo consolidado desde la imposición de figuras más o menos representativas, contra lo que deben luchar opiniones y teorías del considerado “lumpen” ignorante. En la Ciencia lo importante es el debate, no su impedimento.
    Lo hemos conocido en todos los ámbitos y, sobre todo, en el ámbito científico más recientemente. La existencia de “expertos” de todo tipo anunciando teorías a cada cual más acientífica y falta de sentido.
    En el ámbito jurídico entiendo que no sirve el “corta” y “pega” de las resoluciones, sino el análisis neutral, imparcial, no contaminado ideológicamente de cada caso para obtener el objetivo final: nada menos que la Justicia. Es una gran responsabilidad personal que no envidio, pues sus consecuencias pueden destruir a las personas. No valen los tiempos ni el número de resoluciones a producir, ya que ello deslegitima institucionalmente a quien lo impone. ¡Qué decir de las “modas” según los medios de comunicación…!
    Gracias por reflexiones tan oportunas en tiempos revueltos.
    Un saludo.

  3. Whistleblower
    Whistleblower Dice:

    Alerta de Anticonstitucionalidad de Catedraticos,Abogados del Estado, ….Patronato, Consejo y Director del Instituto Cervantes por excluir a perpetuidad de todo empleo al separado,al despedido,al inhabilitado,…

    Requisito anticonstitucional de acceso al Instituto Cervantes

    – No haber sido separado mediante expediente disciplinario del servicio de cualquiera de las Administraciones Públicas o no estar inhabilitado o en situación equivalente que impida el acceso al empleo público

    https://www.cervantes.es/sobre_instituto_cervantes/organos_rectores/consejo_administracion.htm

    https://www.cervantes.es/sobre_instituto_cervantes/organos_rectores/director.htm

    https://www.cervantes.es/sobre_instituto_cervantes/organos_rectores/patronato.htm

    https://www.unir.net/educacion/revista/trabajar-en-instituto-cervantes/

    Requisitos de acceso al Instituto Cervantes

    Para ser admitidos en el proceso de selección, los candidatos deben acreditar los requisitos que cada convocatoria establezca. Los requisitos exigidos para realizar el proceso selectivo son:

    – Tener la nacionalidad española, de un Estado miembro de la UE o de alguno de los Estados con los que la UE ha ratificado tratados de libre circulación de trabajadores
    – Aquellos que, no cumpliendo el requisito anterior, estén en España en situación de legalidad

    – Ser mayor de 16 años y no superar la edad máxima de jubilación

    – Contar con un título de licenciatura o grado

    – No haber sido separado mediante expediente disciplinario del servicio de cualquiera de las Administraciones Públicas o no estar inhabilitado o en situación equivalente que impida el acceso al empleo público.

    – No tener antecedentes de delitos sexuales

    – Acreditar experiencia como docente de español como lengua extranjera y la formación específica en español como segunda lengua (en UNIR ofrecemos el máster en Enseñanza de Español como Lengua Extranjera, que al ser oficial concede puntos en las oposiciones o concursos de la Administración Pública).

    – También será necesario acreditar una competencia lingüística de nivel C2 en español para aquellos candidatos de nacionalidad distinta a la española o de países en los que el español no es la lengua oficial.

    https://www.cervantes.es/sobre_instituto_cervantes/organos_rectores/consejo_administracion.htm

    https://www.cervantes.es/sobre_instituto_cervantes/organos_rectores/director.htm

    Recordemos que Jorge Edwards y Ayala fueron separados de servicio y exilados.

    Todos los que no hayan abjurado de ese juramento franquista deben responder de sus actuaciones.

    Todas las convocatorias, oposiciones y nombramientos son nulos

    Veamos quienes son garantes de esa Anticonstitucionalidad rogando Hay Derecho y al Catedratico Jordi Nieva que condenen ese requisito.

    Patronato
    Presidencia de honor
    Su Majestad el Rey
    D. Felipe VI
    Presidencia ejecutiva
    Presidente del Gobierno
    Sr. D. Pedro Sánchez Pérez-Castejón

    Miembros natos

    Ministro de Asuntos Exteriores, Unión Europea y Cooperación
    Sr. D. José Manuel Albares Bueno

    Ministrade Educación y Formación Profesional
    Sra. D.ª Pilar Alegría Continente

    Ministro de Cultura y Deporte
    Sr. D. Miquel Octavi Iceta Llorens

    Presidenta del Consejo de Administración y
    Secretaria de Estado de Cooperación Internacional
    Sr.ª D.ª Pilar Cancela Rodríguez

    Subsecretario de Asuntos Exteriores, Unión Europea y Cooperación
    Sr. D. Luis Manuel Cuesta Civís

    Subsecretario de Educación y Formación Profesional
    Sr. D. Fernando Gurrea Casamayor

    Subsecretario de Cultura y Deporte
    Sr. D. Eduardo Fernández Palomares

    Director del Instituto Cervantes
    Sr. D. Luis García Montero

    Presidente del Instituto de España
    Director de la Real Academia de Bellas Artes de San Fernando
    Sr. D. Tomás Marco Aragón

    Director de la Real Academia Española
    Sr. D. Santiago Muñoz Machado

    Secretario General de la Comisión Permanente de la Asociación de Academias de la Lengua Española
    Sr. D. Francisco Javier Pérez Hernández

    Autores galardonados con el Premio Miguel de Cervantes de Literatura

    Sr. D. José Manuel Caballero Bonald († 9-V-2021)

    Sr. D. Jorge Edwards

    Sr. D. Antonio Gamoneda

    Sr. D. Joan Margarit († 16-II-2021)

    Sr. D. Eduardo Mendoza

    Sr.ª D.ª Elena Poniatowska

    Sr. D. Sergio Ramírez

    Sr. D. Mario Vargas Llosa

    Sr.ª D.ª Ida Vitale

    Sr. D. Francisco Brines Bañó († 20-V-2021)

    Vocales
    En representación de las letras y la cultura españolas:

    Sr.ª D.ª M.ª Victoria Atencia

    Sr.ª D.ª Isabel Coixet

    Sr.ª D.ª Estrella de Diego

    Sr.ª D.ª Cristina Fernández Cubas

    Sr.ª D.ª Carmen Linares

    Sr. D. José Carlos Plaza

    Sr. D. Joan Manuel Serrat

    En representación de las letras y la cultura hispanoamericanas:
    Sr.ª D.ª Piedad Bonnett

    Sr. D. Gonzalo Celorio

    Sr. D. Ricardo Darín

    Sr. D. Enrique Graue Wiechers, rector de la Universidad Nacional Autónoma de México

    Sr. D. Carlos Herrera, director del Centro Cultural Inca Garcilaso

    Sr.ª D.ª Carmen Millán de Benavides, directora del Instituto Caro y Cuervo

    En representación de la universidad y de las reales academias:

    Presidente de la Academia de las Artes y las Ciencias Cinematográficas de España, Sr. D. Mariano Barroso

    Presidente de la Conferencia de Rectores de las Universidades Españolas, Sr. D. José Carlos Gómez Villamandos

    Presidente de la Real Academia de Ingeniería, Sr. D. Antonio Colino Martínez

    Rectora Magnífica de la Universidad de Granada, Sr.ª D.ª Pilar Aranda

    Rector Magnífico de la Universidad de Salamanca, Sr. D. Ricardo Rivero

    En representación de las instituciones sociales de carácter cultural
    Presidente de la Asociación para la Enseñanza del Español como Lengua Extranjera (ASELE), Sr. D. Javier Muñoz-Basols

    Presidente del Foro de Marcas Renombradas Españolas, Sr. D. Ignacio Osborne

    Presidente de la Fundación Telefónica, Sr. D. César Alierta

    Secretaría
    Secretaria General del Instituto Cervantes
    Sr.ª D.ª Carmen Noguero Galilea

    Director
    Luis García Montero

    Luis García Montero (Granada, 1958) es catedráti­co de Literatura Española en la Universidad de Granada, en la que ha desempeñado diversos cargos como la dirección del Secretariado de Extensión Universitaria.

    Como poeta, narrador y ensayista ha recibido, entre otros, el Premio Nacional de Literatura (1994), Premio Nacional de la Crítica (2003), Premio del Gremio de Libreros de Madrid (2009), Premio Poetas del Mundo Latino (México, 2010), Premio Ramón López Velarde (México, 2017) y Premio Paralelo 0 (Ecuador, 2018).

    Ha estudiado la obra de autores españoles y latinoamericanos como Gustavo Adolfo Bécquer, Rosalía de Castro, Rafael Alberti, Federico García Lorca, Luis Rosales, Rubén Bonifaz Nuño, Francisco Ayala o José Emilio Pacheco. Es, además, profesor honorario de la Universidad de Mar del Plata (Argentina) y en 2017 fue nombrado Hijo Predilecto de Andalucía.
    [2/5 17:57] jjmoll: Instituto Cervantes

    Consejo de Administración
    (Última actualización: octubre de 2021)

    Es el órgano que aprueba los planes generales del Instituto.

    Está integrado por representantes del Ministerio de Asuntos Exteriores, Unión Europea y Cooperación, el Ministerio de Educación y Formación Profesional, el Ministerio de Cultura y Deporte, y el Ministerio de Hacienda, así como del Patronato.

    La composición del Consejo de Administración aquí recogida está elaborada a la luz de los nuevos organigramas de los ministerios de Asuntos Exteriores, Unión Europea y Cooperación, de Educación y Formación Profesional, y de Cultura y Deporte. Figuran los titulares que ocupan los cargos de quienes hasta ahora formaban parte del Consejo de Administración, a falta de una modificación o nombramientos expresos.

    Presidenta

    Secretaria de Estado de Cooperación Internacional. Ministerio de Asuntos Exteriores, Unión Europea y Cooperación
    D.ª Pilar Cancela Rodríguez

    Vocales

    En representación del Patronato

    D. Francisco Javier Pérez Hernández

    En representación de los Ministerios

    Subsecretario de Cultura y Deporte
    Ministerio de Cultura y Deporte
    D. Eduardo Fernández Palomares

    Subsecretario de Educación y Formación Profesional
    Ministerio de Educación y Formación Profesional
    D. Fernando Gurrea Casamayor

    Subsecretario del Ministerio de Asuntos Exteriores, Unión Europea y Cooperación
    D. Luis Manuel Cuesta Civís

    Director de Relaciones Culturales y Científicas
    Agencia Española de Cooperación Internacional para el Desarrollo
    Ministerio de Asuntos Exteriores, Unión Europea y Cooperación
    D. Guzmán Palacios Fernández

    Directora General del Libro y Fomento de la lectura
    Ministerio de Cultura y Deporte
    D.ª María José Gálvez Salvador

    Director General de Planificación y Gestión Educativa
    Ministerio de Educación y Formación Profesional
    D. José Manuel Bar Cedón

    Director General de Presupuestos
    Ministerio de Hacienda
    D. Jaime Iglesias Quintana

    Director del Instituto Cervantes
    D. Luis García Montero

    Secretaria General del Instituto Cervantes
    D.ª Carmen Noguero Galilea

Los comentarios están desactivados.