La AEVAL: crónica de una muerte anunciada

La Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) se constituyó  el 1 de enero de 2007 (ley 28/2006, de 18 de julio) con el propósito de contribuir al buen gobierno y a la mejora de la acción pública mediante la institucionalización de la evaluación de las políticas públicas y el impulso de la calidad de los servicios públicos y respondiendo al nuevo modelo de gestión pública basada en los principios de responsabilidad, eficiencia y participación. Tenía una doble finalidad: política (rendición de cuentas, transparencia, calidad democrática) y económica (racionalización en el uso de los recursos, mejora de las decisiones basadas en la evidencia, impactos en la sociedad).

Se pretendía que la evaluación rigurosa y basada en la evidencia se convirtiera en una herramienta clave para la modernización de la administración española. Inicialmente, su ámbito se circunscribía a las políticas y programas públicos cuya gestión corresponde a la Administración General del Estado, aunque se establecía que podría evaluar políticas y programas públicos gestionados por las Comunidades Autónomas, previo convenio con éstas.

Nuestra percepción al analizar los informes anuales de la agencia es que se comenzó con una gran ilusión. La AEVAL se creyó la misión que le habían asignado. Pero poco a poco la agencia se fue apagando, y la ilusión con ella, posiblemente por graves deficiencias en su diseño institucional que vamos a analizar. Finalmente el Real Decreto 769/2017, de 28 de julio, estableció en su disposición adicional novena la disolución de la AEVAL, cuyas funciones serían asumidas por la Secretaría de Estado de Función Pública. Sin ninguna justificación.

Tanto la evolución del personal como de los presupuestos, muestra bien esa situación de ilusión inicial y el posterior declive (que por cierto llegó pronto).

El número máximo de personas se alcanzó en el 2009 (en torno a 60) y bajó hasta 39 en el 2014. Si analizamos el presupuesto se ve la misma tendencia, crecimiento hasta el 2009 y posterior declive.

La AEVAL se adscribió al Ministerio de Administraciones Públicas. Posiblemente esa fue la primera decisión errónea que se tomó. Los programas y políticas evaluados se aprobaban por el Consejo de Ministros (segunda decisión errónea). Adicionalmente, la agencia debía presentar anualmente un Informe al Congreso de los Diputados, acerca de la actividad desplegada por las agencias estatales, y sus compromisos para mejorar la calidad de los servicios prestados a los ciudadanos. Así se hizo desde al año 2010 (informe del 2008) hasta el 2017 (informe del 2015). Curiosamente, no se incluía la obligación de informar al Congreso de las actividades de los propios Ministerios (aunque si hacía un informe de calidad sobre ellos). En cualquier caso, ha dado igual porque no hemos encontrado ninguna referencia a que se solicitará la comparecencia de la AEVAL en el Congreso para presentar las conclusiones de ninguno de sus informes o evaluaciones. Solo hemos encontrado una referencia indirecta a la AEVAL en las comparecencias del congreso y fue para solicitar la comparecencia de la DG de Desarrollo Rural y Política Forestal del Ministerio a raíz de una evaluación llevada a cabo por la agencia. Una única referencia (indirecta) a la institución en las comparecencias del Congreso cuando nosotros pensamos que ese debía haber sido el papel fundamental de la AEVAL: ser el perro guardián del poder legislativo y representación del pueblo (el Congreso) ante la ejecución de las políticas del poder Ejecutivo (el Gobierno). La escasa relación entre la agencia y el poder legislativo es, en nuestra opinión, el gran problema que ha tenido la AEVAL.

Pero vamos a ver con un poco más de detalle la historia de la AEVAL para entender y valorar lo ocurrido.

El estatuto de la agencia se aprobó por el Real Decreto 1418/2006, de 1 de diciembre. En su estatuto es establecía que la agencia de evaluación era un proyecto de largo recorrido, aunque finalmente el recorrido fue bastante corto. En el estatuto se fijaban como principales órganos de Gobierno el Presidente y el Consejo Rector. El Presidente era nombrado por el Consejo de Ministros a propuesta del Ministerio de Administraciones Públicas. También el Consejo Rector estaba controlado por el poder ejecutivo. Si bien se proponían 3 miembros independientes de reconocido prestigio, la mayor parte de los miembros eran cargos políticos (o de nombramiento político para ser más exactos) de varios ministerios (6 con rango de, al menos, Director General). Adicionalmente había un representante de las CCAA y otro de los sindicatos. Quitando a los expertos, se diría que se pensó en una estructura más pensada para velar por los intereses del poder que por los intereses de los ciudadanos (poner al vigilado a vigilar al vigilante, el otro gran error). En el último Consejo Rector no se cumplían exactamente estas cuotas. Lo componían 2 Secretarios de Estado y la Subsecretaria del Ministerio de Hacienda y AAPP y el DG de relaciones con las Cortes, además de los 3 profesionales independientes.

En el año 2008 se aprobó el contrato de gestión de la agencia (orden PRE/2650/2008, de 4 de septiembre). Es el primero y único que se aprobó (a pesar de que su vigencia era cuatrienal). Tenía como objeto regular la actividad de la agencia, asignar los recursos presupuestarios y la dotación de personal y reglar las relaciones con los Ministerios de Administraciones Públicas (adscripción) y de Economía y Hacienda (financiación). En el contrato se establecían 4 ejes estratégicos: (1) El compromiso de «CREAR» Agencia; (2) La promoción de la cultura evaluadora; (3) La realización de evaluaciones con éxito y; (4) La mejora de la calidad en la gestión de las organizaciones públicas. Los Ministerios asumían un papel clave en el seguimiento del contrato. Se fijó un crecimiento del personal del 10% anual hasta alcanzar 79 en el 2009 (no se cumplió) y marcó como objetivo la realización de 7 evaluaciones en el 2008 y 9 en el 2009.

Podemos concluir que la agencia nació mermada en sus funciones y sobre todo en su independencia. En lugar de depender del (y responder al) poder legislativo se sometió totalmente (órganos de control, presupuestos y plan de trabajo) al poder ejecutivo, el mismo al que se suponía que debía evaluar. La AEVAL ya nació con las alas cortadas. Solo la buena voluntad de los evaluados hubiera permitido que la agencia desarrollará todo su potencial. Como era de esperar, al final no fue así. Si fue algo premeditado o no, lo desconocemos.

Demos un paso más y analicemos la estructura de la agencia y las principales actividades llevadas a cabo durante estos años. En la Agencia, había 2 grandes áreas de ejecución, una de evaluación y otra de calidad de los servicios, hasta ahí nada anormal.

Usando los propios informes de actividad de la agencia hemos podido analizar la composición del personal, y en particular la distribución del personal por estudios y por niveles. Para ello usamos datos del 2007 para los estudios y una media entre el 2007 y 2014 para los niveles.

 

Aunque nos parece que la proporción entre funcionarios de niveles superiores y auxiliares administrativos seguía siendo bajo para una organización como la AEVAL, es mejor que la media de la AGE (ver post), posiblemente por ser una administración más joven y construida a medida. La distribución de los titulados por rama de estudio tampoco está mal, quizá echamos de menos más perfiles especializados. En países sajones habría un número importante de “policy analists”, pero como ya comentamos en su día es una profesión que en nuestro país no existe (ver post).

Pero vayamos a lo que importa, qué es lo que ha hecho la AEVAL durante sus 11 años de vida. Las principales actividades que ha desarrollado la agencia se pueden dividir en 3 grandes áreas: evaluaciones, calidad y difusión.

Evaluaciones

Incluye las evaluaciones propiamente dichas y la elaboración de guías metodológicas. Llama la atención el bajo número de evaluaciones que se han llevado a cabo (46 en 11 años algo más de 4 por año de media), cuando esa era la función básica de la agencia. Además el número ha ido poco a poco descendiendo, mostrando ese deterioro paulatino de la agencia.

Se han evaluado todo tipo de políticas. Desde algunas de escasa relevancia, como el “Programa Aprendiendo a Exportar APEX” o los “Programas de Vacaciones para Personas Mayores y Termalismo Social” a otras de más transcendencia, como el “Plan Español de Energías Renovables” o “La participación de la Administración General del Estado en el sistema para la autonomía y atención a la dependencia”. Hay un poco de todo. Los criterios de elección de las políticas evaluadas no están del todo claros aunque tenemos la percepción de que la selección respondía más a criterios de oportunidad (el que se deje o el que nos dejen) que de estrategia. El contrato de gestión establecía evaluar 9 políticas contenidas en el Programa Nacional de Reformas de España durante los años 2008 y 2009 (5 y 4 respectivamente). Adicionalmente la agencia elaboraba un plan anual de trabajo que debía ser aprobado por el Consejo de Ministros. Nuevamente es el vigilado el que aprueba lo que le vigilan.

En cuanto a las evaluaciones en sí mismas, yo diría que son rigurosas y están bien trabajadas. Quizá se les podría criticar una tendencia hacia analizar más el procedimiento administrativo vinculado a la política (cómo se ejecuta) que los impactos en sí de la política (qué resultados provoca), algo típico de los modelos de evaluación continentales frente a los sajones (que por el contrario están más orientados a los resultados que al procedimiento). Pero, en cualquier caso, creemos que el problema de la AEVAL no ha sido de falta de calidad de sus trabajos de evaluación. Otra duda que nos surge es hasta qué punto estas evaluaciones han servido para modificar/rectificar las políticas evaluadas. De eso no hay información pero nos tememos que el impacto real no habrá sido muy alto.

También se echa de menos que la agencia no hubiera sido más activa en la realización de evaluaciones ex-ante (por ejemplo análisis de coste-beneficio) para analizar el coste e impacto socio-económico de nuevas propuestas legislativas y de políticas públicas para poder valorar su diseño y la conveniencia de llevarlas a cabo.

Calidad

Incluye la realización de los informes de seguimiento de las actuaciones de calidad llevadas a cabo por las agencias estatales (para informar al Congreso), los ministerios y los informes de percepción de la calidad de los servicios públicos (todos ellos anuales). También se incluyen guías específicas en materia de calidad. Y en esta área, una de las actividades más exitosas de la agencia ha sido la de certificar/acreditar en materia de calidad a otras administraciones públicas. No tenemos nada claro que esta actividad debe corresponder a una administración pública cuando existen un gran número de empresas que proporcionan este mismo servicio. Podemos asumir que una administración se siente más cómoda siendo certificada por otra administración y eso tiene un efecto positivo en el conjunto de administraciones que se animan a certificarse, pero no es nada evidente. Lo cierto es que la AEVAL ha sido muy activa en este ámbito y ha realizado un total de 281 certificaciones a diferentes organismos públicos usando 3 modelos: EFQM, CAF y EVAM:

Difusión y promoción

Creemos que esta área de actividad merece un apartado aparte. Ya en el contrato programa se establecía que una de las actividades de la agencia era la promoción de la actividad evaluadora, difusión de actividades, etc. Y aquí si hay que decir que la agencia cumplió con creces. Como ejemplo la agencia ha publicado 374 noticias en sus 10 años de existencia, ha constituido el premio a la Calidad e Innovación en la Gestión Pública y ha asistido a numerosos congresos y jornadas. Muchos de ellos en Latinoamérica.

Si bien pensamos que es importante hacer este tipo de actividades, da que pensar su importancia en comparación al escaso número de evaluaciones llevadas a cabo. De hecho, según iban disminuyendo las evaluaciones (que debería haber sido el núcleo de su actividad) iba aumentando su actividad de promoción y difusión.

Y para terminar podemos comparar lo que se hace en EEUU, un país muy acostumbrado a la “accountability” con nuestra extinta AEVAL. En EEUU hay 2 organismos dependientes directamente del Congreso (primera gran diferencia), la “Government Accountability Office” (GAO) y el “Congressional Budget Office” (CBO). Me podrán decir que el GAO es el equivalente a nuestro Tribunal de Cuentas. Pero hay una diferencia muy relevante. La GAO, es denominada por ellos mismos el “congressional watchdog”, el perro guardián del Congreso, y no se limita a controlar que la actividad económico financiera del sector público cumple con la legalidad vigente y con los principios de buena gestión financiera (como hace nuestro Tribunal de Cuentas) sino que va un paso más allá para informar sobre la medida en que los programas y políticas gubernamentales están cumpliendo sus objetivos y realizar análisis de políticas y esbozar opciones para la consideración del Congreso. Lo que debería haber hecho la AEVAL. El CBO se dedica más al análisis ex-ante y cada año produce docenas de informes y cientos de estimaciones de costos sobre las propuestas legislativas (algo que podría haber hecho también la AEVAL). También el CBO podría considerarse que tiene algunas funciones similares a nuestra reciente Autoridad Independiente de Responsabilidad Fiscal, aunque creemos que el CBO va bastante más allá en sus análisis (habrá que darle tiempo a la AIRF).

El diablo está en los detalles. Y es ahí donde salen a la luz las principales flaquezas de la AEVAL. Los responsables de la GAO testifican ante el Congreso unas 200 veces al año (frente a ninguna conocida la AEVAL). El máximo responsable de la GAO es nombrado para un mandato de 15 años por el Presidente de los EEUU entre una terna de candidatos propuestos por el Congreso (el Presidente de la AEVAL era nombrado por el Consejo de Ministros a propuesta del Ministerio y, obviamente, podía ser cesado en cualquier momento). En el caso del CBO, el Presidente de la Cámara de Representantes y el presidente pro tempore del Senado nombran conjuntamente al Director, después de considerar las recomendaciones de los dos Comités Presupuestarios. Los directores son nombrados por un período de 4 años. El 73 por ciento de las recomendaciones que la GAO hizo cuatro años antes (en el año fiscal 2012) han sido implementadas (en España solo obtener el dato es casi impensable). El presupuesto de la GAO (555.3 M$ en el 2016) es unas 100 veces mayor que los que tenía la AEVAL y el número de empleados unas 50 veces superior. Aun corrigiendo por PIB las diferencias son tremendas. El CBO es más pequeño (unas 235 personas). Y es muy relevante que ambas instituciones presumen del alto nivel y del perfil multidisciplinar de sus empleados, aunque ya hemos comentado que en eso, la AEVAL, no lo hizo del todo mal.

Como conclusión diríamos que la constitución de la AEVAL fue una buena noticia para España y debería haber contribuido a una notable mejora en el diseño de nuestras políticas públicas. Y en sus 11 años de historia hizo unas cuantas cosas bien. Pero se diseñó (¿intencionadamente?) para que su actividad pudiera estar celosamente controlada (y financiada) por los mismos que iban a ser evaluados. Y ello constituyó un lastre que la agencia no pudo sobrellevar y que le llevó a un decline sostenido hasta su desaparición. Puede que los gestores de la AEVAL no hayan sido lo suficientemente hábiles o ingeniosos para haber encontrado su hueco en ese entorno tan adverso, pero lo cierto es que el control y la dependencia a la que se vieron sometidos por un gobierno, que no se caracteriza por su transparencia y asunción de errores, no les facilitó en nada su actividad. Hasta su desaparición. Esperemos que en poco tiempo, España pueda tener una nueva y verdaderamente independiente AEVAL.