INTRODUCCIÓN

La naturaleza evolutiva del Estado moderno ha fomentado la promoción de mecanismos de control, internos y externos, a través de los cuales el público en general, así como políticos, funcionarios y grupos de interés, pueden evaluar la capacidad del Estado para responder a las demandas sociales. En el contexto de la gobernanza moderna, el uso de técnicas de evaluación ha surgido como un instrumento común para identificar la efectividad de las políticas públicas. Sin embargo, la política de la evaluación requiere ser analizada en profundidad para comprender cómo los diversos actores pueden influir en su proceso y resultados en función de sus intereses, de buscar ventajas políticas o de producir cambios dentro de la estructura del Estado¹.

El objetivo de este artículo es proponer un marco analítico que facilite la comprensión de la relación entre política y evaluación². La relevancia de esto consiste en profundizar en lo político de esta actividad para entender sus implicaciones en la práctica. Desde esta óptica, será posible profundizar en las distintas dimensiones de la evaluación que son susceptibles de influencia política y la forma en la que esto afecta -positiva o negativamente- sus resultados. Con este propósito, el texto hace una revisión de la literatura en esta materia que permite identificar una serie de variables clave para estructurar la discusión sobre lo político de la evaluación. En la primera parte se abordan los conceptos de política y evaluación para, posteriormente, discutir las ideas clave de la propuesta de marco analítico de la política de la evaluación. Finalmente, se presentan algunas reflexiones sobre el estudio de esta dimensión de la evaluación en el ámbito empírico.

1. EVALUACIÓN Y POLÍTICA: ¿UN VÍNCULO INDISOLUBLE?

La naturaleza política de la evaluación ha sido reconocida por distintos estudiosos del tema (Banner, 1947; Palumbo, 1987 y Weiss, 1973). Dado que la evaluación implica adoptar valores políticos que afectan sus procesos y resultados, frecuentemente su naturaleza política se esconde tras el componente tecnocrático asociado con esta actividad. La evaluación es vista como un instrumento objetivo y racional para analizar los distintos aspectos de la política pública³.

Como una primera aproximación al tema es necesario aludir al concepto de política, el cual ha sido estudiado extensamente en la literatura (ver: Aristóteles, 1995; Flinders, 2009; McAnulla, 2006; Tansey, 2008). Aunque la política ha representado un tema central para los estudiosos de varias disciplinas, no se ha logra llegar a un consenso sobre su definición. Lasswell (1990), por ejemplo, entiende la política como quién consigue qué, cuándo y cómo. Esta definición -aparentemente simple- ha alimentado numerosos debates sobre la multidimensionalidad de la política y su interpretación. Hay (2007), en su obra Why We Hate Politics identifica una docena de conceptualizaciones de la política, entre las que destacan:

1. 1. La política como toda interacción social que ocurre dentro de la esfera del gobierno;
2. 2. La política como gobierno, donde el gobierno es entendido como un proceso de toma de decisiones cuyos resultados son vinculantes para el miembro de la comunidad en cuestión;
3. 3. La política como conjunto público y formal de procesos y rituales, a través del cual los ciudadanos del estado pueden participar, a menudo a distancia, en el proceso del gobierno;

   [...]

4. 4. La política como proceso de deliberación pública y escrutinio de asuntos de interés colectivo o de interés para una comunidad;
5. 5. La política como un proceso para responsabilizar a los tomadores de decisiones colectivas dentro de la comunidad.

   [...] .

Mirar la política como un medio para escudriñar a aquéllos con el poder de influir en la esfera pública, e.g. al gobierno, contribuye a entender el rol de la evaluación en este proceso. Esto exige que se examinen las relaciones entre los involucrados y el poder de escrutinio conferido a la evaluación. La política, entonces, se entiende aquí como la forma en que los actores utilizan sus recursos (incluido el poder) para participar e influir en el proceso y los resultados de la evaluación, según sus propias agendas.

El concepto de evaluación también ha evolucionado. De la necesidad de evidencia objetiva y “libre de valores” obtenida a través de metodologías sólidas, el desarrollo académico se ha movido hacia el reconocimiento de la imposibilidad -más no la deseabilidad- de abstraer la evaluación de su contexto político (Krathwohl, 1980). Así, se identifican dos contribuciones principales de la evaluación. La primera, su capacidad para documentar los efectos de la política pública (Morton, 2009). La segunda, su rol como mecanismo para fortalecer el proceso de políticas mediante el uso de la información que produce para hacer los ajustes necesarios (Bemelmans-Videc et al., 2003).

Mientras algunos autores abordan la evaluación como un mecanismo generador de evidencia (Berriet-Solliec et al., 2014; Dunworthet et al., 2008), otros se centran en su papel como herramienta para medir la efectividad de la política pública (Altschuld y Zheng, 1995; Chen, 2005). El entendimiento sobre este concepto se ha modificado a medida que existe más evidencia empírica sobre su contribución al proceso de políticas. Para Picciotto, la evaluación “consiste en reunir evidencias relevantes, identificar estándares valorativos adecuados y utilizar métodos de análisis válidos y justos” (2005: 134). Esta definición pone, en el núcleo del concepto, la generación de evidencia y el uso de mecanismos robustos para su obtención, pero también conduce a reflexionar sobre quién determinará la validez y legitimidad de estos mecanismos. Por el contrario, Parsons (1995) enfatiza el análisis objetivo y sistemático de los efectos de las políticas. Albaek coincide en priorizar la objetividad:

El papel de la investigación evaluativa en el proceso racional de políticas es proporcionar conocimiento factual y objetivo (i. e. premisas causales libres de valores para la toma de decisiones) [...] la investigación evaluativa producirá un conocimiento objetivo y libre de valor, dado que está basado en procedimientos de investigación social cuantitativos positivistas (1995: 7).

Como instrumento para reducir la incertidumbre en la toma de decisiones, la evaluación “implica la determinación del impacto de las políticas sobre el objetivo para el uso directo y oportuno de los responsables de una intervención política” (Owen y Rogers, 1999: 32). La evaluación ofrece diferentes alternativas para explicar por qué los programas públicos han tenido o no éxito. Su uso creciente en el sector público puede explicarse por varias razones (Campbell et al., 2009). La primera es su función como actividad para probar una teoría (Leeuw, 1999) lo que permite analizar las posibles desviaciones entre lo que señala la teoría sobre el funcionamiento de un programa y los resultados obtenidos.

Esto revela tres elementos importantes con respecto de la política inherente a la evaluación. Uno, que la evaluación está ligada a ideas de racionalidad, objetividad y neutralidad que pueden darle el sentido de una actividad altamente técnica y apolítica. Dos, existe un conjunto de actores involucrados en la política pública cuyos intereses y preferencias pueden influir en el proceso. Tres, la política pública no es el resultado de una decisión única, conlleva diferentes valores que deben considerarse al evaluar (Sanderson, 2006). Como otras etapas del proceso de políticas, la evaluación se inserta en un contexto político (Palumbo, 1987). Por tanto, su etiqueta de racionalidad puede ser un mecanismo para disfrazar la política presente en esta actividad.

La evaluación examina la relación entre insumos y productos, esto recae en una serie de supuestos teóricos. Según Rossi y Wright (1977) el primero es que los objetivos políticos están bien definidos y establecen las premisas básicas para un diseño adecuado de la evaluación. Esto significa que existe una comprensión clara del problema de política y de la mejor solución disponible (Foss Hansen, 2005). En la práctica, el proceso de políticas no es tan simple pues exige la interacción de diferentes actores y el establecimiento de redes, no siempre dirigidas por propósitos racionales (Hans Klijn y Koppenjan, 2014).

El segundo es que la evaluación tiene lugar en un contexto político, ergo, está expuesta a la influencia de los actores involucrados. Aunque el enfoque de evaluación se desarrolló bajo la presunción de que traería más racionalidad al proceso de políticas, esto es difícil de lograr pues el proceso no es totalmente racional. El uso de evidencia puede proporcionar a los hacedores de políticas más elementos para el diseño y la implementación, pero no todas las decisiones se basan en la información generada por la evaluación (Rutter, 2012). El argumento principal que subyace esta idea es que si los políticos obtienen información confiable y oportuna la utilizarán para tomar mejores decisiones, pero esto no ocurre de facto. En realidad, intervienen múltiples factores y es una decisión discrecional cómo cada actor establece sus prioridades.

Desde los setentas, comenzó el debate sobre la interacción entre evaluación y política (Palumbo, 1987; Weiss, 1973). En ese momento, la discusión se centró en las presiones que enfrentaban los evaluadores y la reticencia de los operadores para cooperar con el proceso. Desde entonces, la discusión ha alcanzado otros niveles, aunque aún se encuentra en una etapa temprana de desarrollo, particularmente, en términos de evidencia empírica.

El conocimiento sobre la política inmersa en la evaluación se basó principalmente en la perspectiva de los evaluadores, quienes identificaron la lógica de la ejecución de las evaluaciones y los valores en juego (Datta, 2011). Ellos enfrentaron el conflicto de preservar los valores asociados a su rol (i.e. independencia, credibilidad, etc.), a la vez que buscaron promover la evaluación como una actividad más influyente en la formulación de políticas (Patton, 1986). Una de las contribuciones más valiosas en este campo es el trabajo de Weiss, quien identificó tres formas clave en que la política afecta la evaluación:

En primer lugar, las políticas y programas con los que trata la evaluación son creaciones de decisiones políticas [...] En segundo lugar, porque la evaluación se lleva a cabo para alimentar el proceso de políticas […] En tercer lugar y, tal vez lo menos reconocido, es que la propia evaluación tiene una postura política [...] hace declaraciones políticas implícitas sobre temas como la naturaleza problemática de algunos programas. La legitimidad de los objetivos del programa y las estrategias del programa, la utilidad de la reforma incremental e incluso el papel apropiado del científico social en la formulación de políticas y programas (1973: 94).

La contribución de Weiss es notable, pero es limitada considerando las transformaciones que ha sufrido el Estado. La política pública es el resultado de decisiones políticas y la evaluación está inmersa en dinámicas en las que valores y creencias están constantemente en conflicto. También la propia naturaleza de la evaluación aumenta su posición política, pues ahora existen más actores involucrados en el espacio público. Esta realidad, por tanto, es mucho más compleja que la descrita por Weiss en los setentas; no obstante, estableció bases teóricas significativas para el estudio de las políticas de evaluación (Palumbo, 1987).

El componente político de la evaluación puede verse tanto como una ventaja como una limitación o, como Datta (2011: 274) lo describe, como “un mal amo, pero un buen amigo”. Como explica Hedrick (1988), la evaluación puede beneficiarse de desacuerdos políticos apoyando el desarrollo de estudios realizados por terceros, es decir, agencias independientes. A la vez, puede generar sesgos en el alcance, implementación y difusión de evaluaciones. Bovens et al. incluyen la dimensión política en su definición de evaluación al verla como...

...un acto inherentemente normativo, una cuestión de juicio político [...], en el mejor de los casos puede informar, pero nunca está completamente dominado por los esfuerzos de los eruditos para llevar la lógica de la razón, el cálculo y la verdad desapasionada al mundo del proceso de políticas (2006: 319).

Reconocer la naturaleza política de la evaluación permite hacer un mejor uso de esta como herramienta para el logro de sus objetivos, e.g. legitimar un programa. Más recientemente, el debate se ha centrado en la función de abogacía de los evaluadores (Mohan, 2014) y en la naturaleza política de los instrumentos de evaluación (Chelimsky, 2012).

Los múltiples actores involucrados en el proceso de políticas públicas, i.e. sociedad civil, medios de comunicación y partidos políticos, han promovido la idea de que la evaluación puede convertirse en un instrumento para perseguir sus intereses. Tal y como afirman Taylor y Balloch (2005: 2): “Diferentes opiniones e intereses de las partes interesadas son expresadas desde posiciones de más o menos poder y estas relaciones de poder son capaces de entenderse de manera independiente”. Esto ha fomentado el desarrollo de enfoques de evaluación que incorporen esta nueva dinámica. La evaluación responsiva, por ejemplo:

...se centra en los asuntos de los actores interesados y los compromete a diálogos sobre la calidad de su práctica. El objetivo es aumentar la comprensión personal y mutua de las partes interesadas como un vehículo para la mejora de la práctica… (Abma, 2006: 31).

La necesidad de involucrar a los distintos actores en la evaluación no está exenta de política considerando que están inmersos en una dinámica de poder asimétrico. La naturaleza política de la evaluación se refiere también a la transformación de su rol…

...pasar de una estructura de evaluación cuya función ha sido entregar material que pueda ser utilizado en la construcción de diversos programas de bienestar, a una función evaluativa con el propósito de alimentar el proceso de control administrativo y toma de decisiones en curso (Karlsson, 2003: 9).

La evidencia que genera la evaluación puede servir a diferentes actores para apoyar o descalificar una decisión política. Esto puede explicar por qué los enfoques participativos de evaluación han cobrado importancia. Para Taylor y Balloch (2005) existen dos perspectivas para entender esta relación. La primera es la postura racionalista (realismo científico) centrada en los valores de la objetividad y la neutralidad que se basa en el supuesto de que la evaluación se realiza con rigor científico y libre de influencia política (Pawson y Tilley, 1997; Saunders, 2006). Su propósito es proteger a la evaluación de las presiones políticas, ignorando su posible influencia y construyendo óptimos de políticas que puedan medirse a través de evaluaciones (Bovens, 't Hart y Kuipers, 2006).

El segundo enfoque es el constructivismo social o evaluación argumentativa, el cual supone que no puede haber división entre política y evaluación. El conocimiento derivado de las evaluaciones es subjetivo y contextual.

Para los constructivistas sociales, la evaluación genera información construida sobre los valores y creencias de los participantes y necesita ser interpretada sistemáticamente:

La razón de la importancia de la argumentación en la política pública es simple: a medida que aumenta el número de actores involucrados en la toma de decisiones, aumenta la necesidad de negociación, discusión y argumentación (Valovirta, 2002: 65).

Si bien el comportamiento de los actores puede ser altamente impredecible, la existencia de arreglos institucionales para la evaluación ayuda a reducir la incertidumbre, proporcionándoles una mejor idea de cómo funciona el proceso (o se supone que funcione). La hipótesis planteada sugiere que el marco institucional influye en la interacción entre política y evaluación y en cómo se diseña e implementa una política de evaluación: “el propósito y la utilización (prevista) deben ser el punto de partida para definir el diseño institucional más apropiado” (Widmer y Neuenschwander, 2004: 406). El valor dado a las instituciones como elementos que limitan y, en cierta medida, predicen el comportamiento de los actores involucrados cobra importancia, específicamente en cómo estas pueden fortalecer la influencia de la evaluación (Gaarder y Briceño, 2010). La evaluación ha pasado de estar usualmente restringida al poder ejecutivo para formar parte de la estructura legislativa e incluso a ser una actividad promovida por las Organizaciones no Gubernamentales, ahora “los hallazgos de la evaluación tienen que pasar por el escrutinio de una variedad de individuos que representan a numerosas instituciones con múltiples intereses” (Henry, 2001: 422). Como cualquier otra etapa del ciclo de políticas, la evaluación está constreñida por el poder y su distribución es un elemento clave para revelar su matiz político⁴. El poder puede entenderse como la capacidad de los actores para ejercer sus recursos, por ejemplo, financieros, de información, para perseguir los intereses que podrían verse afectados por la evaluación (Orr, 2010).

Esta discusión proporciona un panorama de lo que significa la política inherente a la evaluación. El debate teórico hace hincapié en tres argumentos: 1) La evaluación está per se inmersa en un contexto político, su objeto de estudio, los valores que la sustentan y las potenciales consecuencias de sus resultados están afectadas por decisiones políticas. 2) El creciente número de actores involucrados en la evaluación inevitablemente genera disputas políticas por los múltiples intereses que intervienen y las relaciones de poder asimétricas existentes. 3) Existe un vacío en el conocimiento, los académicos han subrayado la política presente en la evaluación y la necesidad de que operadores y evaluadores tomen consciencia de sus implicaciones, pero existe poca referencia a cómo el marco institucional afecta la dinámica entre política y evaluación.

2. MARCO TEMÁTICO PARA COMPRENDER LA POLÍTICA INHERENTE A LA EVALUACIÓN

Este artículo propone un marco temático que proporciona una guía estructurada para la comprensión de la política inherente a la evaluación. Representa una contribución original y relevante al conocimiento en, al menos, dos sentidos. Por un lado, da una conceptualización más clara sobre cómo interactúan política y evaluación. Por otro, la identificación de variables clave relacionadas con esta interacción facilita su estudio en un contexto empírico. A pesar de la intangibilidad de la política, este marco puede servir como base para estudiar diferentes casos a través de una lente estructurada y establecer condiciones de comparabilidad (tabla 1).

Tabla 1

Marco temático para comprender la política inherente a la evaluación

Fuente Elaboración propia

A) PROPÓSITO

El diseño y planificación de una evaluación incluye el establecimiento de sus objetivos, la definición de las preguntas que deben ser respondidas y de la audiencia potencial a la que está dirigida⁵. Su omisión produce “el riesgo de que la evaluación se centre en inquietudes erróneas, que se generen conclusiones equivocadas y se proporcionen recomendaciones que no serán útiles para quienes están dirigidas” (My M&E. 2004). Establece una postura sobre los valores y las creencias políticas que guiarán esta actividad. Se trata de un privilegio limitado a uno o varios actores y es una de las razones por las que constituye un aspecto político clave. Quien controla esta variable tiene el poder de definir elementos sustantivos de la evaluación tales como los programas a evaluar y el momento de hacerlo. Influye tanto en la contribución esperada al interior, como al exterior del gobierno. La evaluación se inserta en un contexto político en el que valores y creencias afectan las decisiones tomadas en esta etapa (Palumbo, 1987).

Desde una perspectiva instrumental, la evaluación puede proporcionar información acerca del funcionamiento de un programa y la forma en que los procesos se convierten en productos (Berriet-Solliec y Laurent, 2014). Diferentes actores utilizan las evaluaciones para apoyar soluciones en las que ya creen. Esto puede verse más claramente en el debate sobre la adopción de un modelo de evaluación interno o externo y las reglas que determinan su naturaleza (Conley-Tyler, 2005). Si bien algunos sistemas favorecen la autoevaluación por diferentes razones, incluyendo un conocimiento más detallado del objeto de evaluación; otros valoran la independencia y la credibilidad que una evaluación externa puede ofrecer (ASK Inyathelo, s.f.). Estos valores son priorizados por los involucrados y afecta cómo se diseñan las reglas para la evaluación (Contandriopoulos, 1999). El objeto de la evaluación depende también de la definición del propósito. La evaluación puede estudiar una política, un programa, una organización o incluso un individuo (Owen y Rogers, 1999). Esto refleja el nivel de análisis y especificidad que puede alcanzar (Vartiainen, 2002), además del nivel de cooperación requerido para su ejecución. Las fallas encontradas a nivel de política pueden considerarse menos amenazantes que aquéllas a nivel individual. Esto resuena con las ideas de Hood (2011) sobre “el juego de la culpa” (blame game) en términos de que la responsabilidad por el éxito o el fracaso de una política posiblemente se diluya en el proceso⁶.

La selección del objeto puede determinar a priori el tipo de información que se producirá, “el uso primario de la investigación, señalado por algunos, está motivado, en primera instancia, por el deseo de apoyar posturas previas en lugar de informar las decisiones” (Bogenschneider y Corbett, 2010: 2). El alcance está vinculado con el nivel de profundidad analítica. Como decisión política, esta puede verse limitada por los intereses de los actores involucrados, quienes pueden aspirar a que la evaluación considere sólo aquellas variables que podrían conducir a resultados positivos y evitar áreas vulnerables, es decir, “abordar sólo una perspectiva, quizás de forma intencional” (Hedrick, 1988). Otro tema importante es cuándo evaluar, algo relacionado con conveniencia política. Por ejemplo, evaluaciones previas a tiempos electorales pueden ser un mecanismo para visibilizar las metas alcanzadas por un actor durante un período, e.g. el partido en el poder (Balthasar, 2009).

Todo esto es relevante para discutir el marco institucional. Las normas para la evaluación son “una señal para toda la organización y actores interesados, comunicando qué evaluaciones deben hacerse, qué recursos se gastan, quién es responsable, cómo se deben llevar a cabo” (Trochim, 2009: 17). Estos factores determinarán el comportamiento de los actores, incluyendo aquéllos que definen el propósito (Mark, Cooksy y Trochim, 2009). Blomberg y Waldo (2002) afirman que una definición clara del propósito y del compromiso de los involucrados puede servir para enfrentar el contexto político. Si este compromiso existe, es más probable que actores con diferentes posturas lleguen a acuerdos sobre la base de que la información es confiable. El predominio de un actor en particular en el proceso de evaluación permite controlar aquellas variables que podrían afectar sus intereses, reduciendo la incertidumbre de los resultados potenciales de la evaluación (Hedrick, 1988). Por eso, “requiere negociaciones políticas, éticas y metodológicas que se entrelazan entre sí en el marco de la toma de decisiones acerca de un programa” (Scheirer, 1998: 385). Estas negociaciones se verán afectadas por las reglas formales e informales existentes.

B) RECURSOS

La planificación demanda decidir sobre la disponibilidad y asignación de recursos para el desempeño de las evaluaciones. Bamberger (1991) identifica algunos aspectos políticos clave de la evaluación relacionados con el control sobre los recursos afecta a la evaluación⁷. El financiamiento parece ser una de las formas más efectivas de influir el proceso. Quien financia tiene el derecho (explícito o no) de definir los términos de la evaluación, las variables a considerar y las preguntas a responder. Afecta las condiciones y promueve el establecimiento de una relación dominante con los evaluadores. Vistos como clientes, los financiadores pueden establecer las características del producto. Como House (2008: 419), observa, “los académicos están vinculados con los patrocinadores a través de contratos detallados que limitan la independencia en todos los sentidos”. Independientemente de quién financie una evaluación, está claro que su desarrollo depende de esto (Chaplowe y Engo-Tjéga, 2007). Los organismos internacionales “deben demostrar el valor de sus inversiones para justificar esos gastos y continuar financiando” (De Lay y Manda, 2004: 19). Esto alude al valor simbólico de la evaluación. Aparte de los beneficios potenciales para el proceso de políticas y la rendición de cuentas, la evaluación también puede ser una actividad políticamente rentable asociada con una imagen de compromiso con valores como transparencia y eficiencia (Radaelli, 1995). Incluso en un escenario hipotético de no percibir ningún beneficio instrumental es posible que, debido a su valor político, evaluar siga siendo un relevante para la agenda gubernamental.

La relación entre evaluación y financiadores tiene otras consecuencias políticas. Según O'Brien et al., (2010: 432)“los operadores buscan presentar a sus organizaciones de la mejor manera posible, en particular ante los ojos de los organismos que financian”. La evaluación puede convertirse en un medio para lograr mejor asignación de recursos basada en evidencia. Puede representar una moneda de cambio entre organizaciones públicas y financiadores (Newcomer y Caudle, 1991). Como señalan Fletcher y Dyson(2013: 421): “Vivimos en un clima político que requiere evidencia a cambio de financiamiento” Este vínculo entre los resultados positivos de la evaluación y la asignación de presupuesto también fue identificado por Chelimsky (2008). El control del financiamiento es una manera de aumentar el poder de los actores, dándoles mejores condiciones para negociar (Azzam, 2010). Esto resuena con la pregunta sobre cómo se produce la evidencia y cuáles son las condiciones para generar información relevante y útil: ¿Cómo afectan las decisiones sobre los recursos estas condiciones y los resultados de evaluación?

Los datos, por ejemplo, pueden ser objeto de manipulación política en al menos dos sentidos. Primero, por el acceso y divulgación de la información que necesitan los evaluadores para hacer sus juicios. El contexto político “puede imponer limitaciones -algunas veces hasta la restricción total o la clasificación de la información- al acceso del evaluador a los datos” (Chelimsky, 1995: 221). Esto puede ser un instrumento de control para la protección de los intereses de los involucrados en la evaluación. Los evaluadores pueden enfrentar obstáculos para obtener datos, particularmente cuando se trata de un tema políticamente sensible (McLemore y Neumann, 1987). Guenther (2008) señala que esta resistencia puede explicarse por dos motivos: el temor de que la información se utilice en detrimento del evaluado y la cultura organizacional que restringe la información a terceros.

La identificación de fuentes de información para desarrollar preguntas de investigación factibles y pertinentes es central para el análisis. Por ejemplo, en áreas como la salud, la recolección y sistematización de la información, exige la participación de múltiples agencias (Saunders y Heflinger, 2004). Por consiguiente, se requieren conexiones para acceder a diferentes fuentes de información. Debe negociarse durante todo el proceso para generar las condiciones para la evaluación, no sólo respecto de los recursos, sino también sobre su administración y el acceso a los datos (Williams y Hawkes, 2003). El surgimiento de estas relaciones depende de la confianza entre los actores involucrados y sus conexiones políticas (Norris, 2007).

Otro tema importante es la posible manipulación política de la información, e. g. la supresión o modificación de información potencialmente perjudicial para algún actor. De Lay y Manda observaron esto en su estudio sobre la crisis del VIH/SIDA en África:

Los datos pueden ser inexactos, atribuirse a la población equivocada o amenazar a los líderes políticos [...] Los que se dedican a monitoreo y evaluación tienen la responsabilidad profesional y ética de señalar claramente los límites de las fuentes de datos y de los análisis basados en ellos para asegurar que la escala y alcance de los problemas sean tan bien retratados como sea posible... (2004: 25).

Los datos pueden ser un elemento importante del control político en situaciones en las que el acceso a información crucial se retrasa, se obstruye, o incluso se niega. Los funcionarios públicos pueden resistirse a compartir información con los evaluadores temiendo que esto pueda afectarlos individualmente, por ejemplo, en la seguridad de su empleo⁸, además puede convertirse en un instrumento para aumentar su influencia en el proceso. Kniker (2011: 68) explica, al recordar su experiencia como jefe de evaluación en el Departamento de Estado de los Estados Unidos, “entre más datos compartíamos con los actores interesados, más dependían de estos, convirtiéndonos poco a poco en un recurso invaluable”. Por un lado, el control en el acceso a datos clave para la evaluación puede influir en los resultados. Por otro, esto puede dar más influencia a los actores involucrados para apoyar el proceso de toma de decisiones y obtener una posición más privilegiada.

Los recursos humanos para la evaluación también son susceptibles de influencia política. El desarrollo de capacidades de evaluación dentro de las organizaciones públicas es reconocido como un elemento clave para un sistema de evaluación efectivo (Mackay, 2007). Esto influye en el nivel de poder y discrecionalidad (Raina, 1999). Las responsabilidades para la conducción de una política de evaluación pueden determinar el poder que tendrán actores dentro del gobierno, i.e. unidades de finanzas y planeación (Lopez-Acevedo, Krause y Mackay, 2012). Invertir en capacidades de evaluación es una decisión política. Más conocimiento significa también más conciencia acerca del uso potencial de la evaluación. Un cuerpo más profesional puede impactar el nivel de compromiso de los actores interesados, ya que modifica valores, creencias y rutinas en las organizaciones (Milstein, Chapel, Wetterhall y Cotton, 2002).

La otra cuestión se refiere al mercado de evaluadores. A principios de los años 2000, Donaldson y Scriven (2003: ix) señalaron que la evaluación estaba “en un segundo gran período de auge en su relativamente corta historia”, producido por una amplia gama de ámbitos políticos que exigían la participación de evaluadores En Europa, “el número de empresas de consultoría activas en el campo de la evaluación ha aumentado considerablemente en todos los países” (Leeuw, Toulemonde y Brouwers, 1999: 488). Este crecimiento relativamente reciente es consecuencia de las crisis financieras y de legitimidad de los gobiernos y de una mayor demanda por rendición de cuentas (Pollitt, 1998). A todos niveles (supranacional, nacional y local), el auge de la evaluación generó un mercado de conocimiento. Como Bogenschneider y Corbett (2010) observan, hay productores y consumidores de conocimiento que interactúan de manera regular. La información derivada de la evaluación representa un activo en este mercado, compuesto por agencias públicas que comisionan continuamente estudios de evaluación. Esto no parece ser diferente de la compra de cualquier otro producto en cualquier otro mercado; sin embargo, la forma en que interactúan los actores es diferente. El número de compradores y vendedores es reducido y los precios no pueden ser determinados por el mercado debido a esta falta de competencia. Como House (1997: 38)identificó en el caso de los Estados Unidos:

Sólo hay unos pocos compradores -las agencias gubernamentales- que contratan evaluaciones, por lo que el mercado es imperfecto en el lado de la demanda (gubernamental), el mercado también es imperfecto en el lado de la oferta (evaluadores) [...] típicamente, sólo algunas firmas pugnan por contratos en la mayoría de los casos.

Un reducido universo de organizaciones públicas encargadas de las evaluaciones actúa según las condiciones establecidas por el marco legal, e.g. licitación pública de contratos de evaluación. El lado de la oferta es similar. La evaluación requiere conocimientos y competencias especializados, ergo pocas personas pueden acceder a este mercado. Aunque esto ha contribuido al crecimiento del sector del “negocio de la evidencia” (PWC, 2012), vale la pena reflexionar sobre cómo esta situación ha modificado el comportamiento de los evaluadores. Los académicos tienen intereses de investigación a perseguir, como proveedores de servicios, sus intereses pueden cambiar y generar sesgos (Luo, 2010).

Como actividad económica, la evaluación implica una lucha entre los intereses del comprador (organizaciones públicas) y el vendedor (evaluadores). La dinámica de poder influye en cómo se realiza la evaluación (Jacob, 2011). Esto se vincula con el marco institucional, pues en este se establecen límites y mecanismos de control para su interacción. Aquí, la independencia surge como una variable importante es estas relaciones (Lonsdale, 2008). La influencia política en la gestión de los recursos en una evaluación se sustenta en la negociación continua entre evaluadores y quienes comisionan (Chelimsky, 2008).

La metodología también es un recurso susceptible a la política. Las herramientas seleccionadas para la recolección, la sistematización y el análisis de datos para la evaluación afectan tanto el proceso como los resultados. El marco institucional también puede influir en la selección metodológica al dar la prerrogativa de esta decisión a actores en una posición privilegiada. En ocasiones esta decisión es tomada por quien comisiona, en otras, los evaluadores pueden seleccionar libremente las herramientas que consideren más adecuadas. La aplicación de instrumentos estandarizados basados en una metodología también puede ser un elemento definido por el marco institucional:

La creciente tendencia de los gobiernos a prescribir las características de una buena evaluación proporcionando directrices y las normas para sus contratos de evaluación se deriva de un deseo comprensible de alcanzar previsibilidad y control sobre el contenido y el proceso de evaluación (Norris, 2005: 584).

Chelimsky (2012) afirma que la selección metodológica está limitada por factores políticos. Por ejemplo, algunas agencias mantienen fuertes vínculos con ciertos métodos, e.g. pruebas controladas aleatorizadas (RTC en inglés), generando cierta resistencia a probar otros métodos. Esto se explica por diferentes razones como preferencias de los actores o rutinas organizacionales, pero también por el interés de elegir métodos que pueden traer más beneficios a un actor en particular, o que estén más alineados con sus expectativas (Faulkner, 2014)⁹. Chelimsky (2012: 77) lo denomina narrativa única...

..una narrativa observada por un número cada vez mayor de programas y políticas gubernamentales que encarna una única idea que establece una relación simple y directa de causa y efecto, ambas establecidas no por pruebas, sino más bien por la supresión de réplicas existentes que se contrapongan a una idea particular o una relación que está siendo promovida.

Esta es una amenaza importante derivada del control ejercido sobre el proceso y de la percepción sobre los beneficios potenciales de ciertos métodos (Chelimsky, 2012), lo cual resuena también con el prejuicio metodológico discutido por Patton (1987) que ocurre cuando los evaluadores están dispuestos a usar los métodos que son más familiares a sus disciplinas. Esto puede ser una forma consciente o no de sesgar la evaluación, provocar el rechazo de otros actores y afectar la credibilidad:

La credibilidad metodológica tiene gran importancia no sólo en la planificación y la ejecución, sino también en la supervivencia y el uso de una evaluación. Por lo tanto, es crucial que los evaluadores retengan el control de la elección de sus métodos [...], especialmente debido a las presiones políticas, que son una constante en el gobierno y contra las cuales deben eventualmente defender esas elecciones (Chelimsky, 2007: 30).

Las creencias y valores de los interesados afectarán las decisiones tomadas y viceversa (Schwandt y Dahler-Larsen, 2006). El nivel al cual puede suceder esto dependerá de las condiciones establecidas por el marco institucional. Un recurso final que discutir es el tiempo. Las restricciones temporales pueden interferir con el trabajo de un evaluador y con su capacidad para realizar un estudio robusto. Como Mohan y Sullivan (2006) sugieren, esto implica una negociación entre los actores para establecer un marco de tiempo adecuado. El control del tiempo, usualmente por quienes comisionan las evaluaciones, es una forma política de limitar el alcance de un estudio y de ejercer poder. Los contratos sirven como un mecanismo para definir ex ante las condiciones que regirán la evaluación, incluyendo el tiempo disponible para el análisis. Los evaluadores están obligados a trabajar bajo este esquema sin la posibilidad de ampliar el enfoque de su trabajo, afectando sus elecciones metodológicas (Sturges, 2014).

Salisbury et al. consideran que el tiempo es una variable que crea tensión porque los responsables del proceso de políticas necesitan información útil en un lapso relativamente corto y los evaluadores pueden ver esto como “un riesgo para la robustez metodológica” (2010: 110). Los actores involucrados exigirán productos diferenciados de acuerdo con sus necesidades e intereses. Los políticos podrían dar más valor a hallazgos prácticos que les permitan sacar provecho de un momentum político que a un documento académico sólido con poca aplicación práctica. Esto podría producir conflictos entre los distintos actores, pero su solución consiste en definir prioridades, negociar y, eventualmente, aceptar el hecho de que predominen los intereses de alguien (Salisbury et al., 2010).

C) PROCESO

Las reglas para comisionar, ejecutar y supervisar una evaluación proporcionan a los actores el poder de influir en este proceso. Es posible identificar dos diseños institucionales para la evaluación. El primero da esta prerrogativa a las organizaciones públicas, i.e. ministerios para llevar a cabo la evaluación internamente o para comisionarla a un tercero. El segundo implica la existencia de una agencia de evaluación que funge como intermediario entre evaluadores y evaluados (Balthasar, 2009). En ambos modelos, las relaciones establecidas pueden llegar a ser extremadamente políticas pues se basan en los recursos y el poder de los involucrados, definiendo el grado en que se estos están dispuestos a cooperar.

Una de las conexiones más políticas ocurre entre quienes comisionan los estudios y los evaluadores, lo cual produce una especie de “socialización” (House, 1997). De acuerdo con este autor, ambas partes tienen información privilegiada que no podrían obtener en un mercado más competitivo, lo que genera distorsiones en los resultados. Las consecuencias de esta “socialización" pueden diferenciarse en relación con el actor en cuestión. Las organizaciones públicas, por ejemplo, pueden beneficiarse de averiguar qué empresas son confiables y capaces de administrar sus contratos. También pueden identificar quién puede llevar a cabo con éxito el trabajo conforme a sus estándares y quién es más proclive a establecer “acuerdos informales” para cumplir con los requisitos establecidos por el marco legal.

Dado que las empresas dependen en gran medida de los contratos que proporcionan las organizaciones públicas, estas podrían estar dispuestas a adaptarse para satisfacer sus necesidades. Además, esta “cercanía” les permite conocer los procedimientos administrativos del sector público y obtener información relevante sobre el presupuesto, la relación con otras organizaciones, etc. Esto puede generar mayor influencia en sus ideas y creencias y sesgar en los resultados de la evaluación (House, 1997). La cercanía excesiva conlleva el riesgo de afectar la objetividad del proceso. Esto también se puede percibir en la presión que las organizaciones públicas ejercen sobre los evaluadores. Esto ocurre principalmente en tres etapas del proceso: diseño y planificación, gestión de la evaluación y diseminación de resultados:

La limitante más efectiva parece encontrarse al inicio cuando el gobierno especifica la naturaleza de la investigación que debe realizarse. Ninguna otra forma de restricción tiene un efecto tan poderoso en el grado en el que las conclusiones generales de los investigadores llegan a apoyar la política gubernamental (LSE GV314 Group, 2014: 236).

Lo que destaca de esta discusión es que existen múltiples intereses inmersos en la evaluación, los actores involucrados tratarán de influir en el proceso a través de diferentes medios. Sin embargo, esto no puede ser demasiado explícito ya que perjudicaría la credibilidad de un estudio y, posiblemente, la reputación del actor. En su lugar, la influencia se disfraza como intervenciones menores, i. e. decisiones metodológicas, control de datos, etc., las cuales, en el agregado, pueden afectar los productos de la evaluación.

Otro elemento interesante de esta relación es quién asume los costos de la evaluación. Balthasar (2009) identifica esto como un factor importante que impacta en la distancia entre evaluadores y evaluados. Esto expone la relevancia del marco institucional respecto de las reglas para la conducción de los subprocesos de evaluación, así como las implicaciones para la independencia a través del control de los pagos. La independencia y la credibilidad son valores altamente interiorizados (ver International Federation of Accountants, 2010). Lonsdale define la independencia en la evaluación como “la capacidad de determinar qué, cómo y cuándo se emprende el trabajo sin interferencia indebida” (2008: 228). Se basa fundamentalmente en la capacidad de los evaluadores para realizar un juicio basado en evidencia objetiva y para informarlo libre de restricciones o imposiciones de otros, lo cual no sólo es una salvaguarda para la robustez de un estudio, sino que también tiene implicaciones políticas. La evaluación producirá desacuerdos políticos, por ejemplo, entre las agencias del Ejecutivo y los órganos legislativos (Chelimsky, 2008).

La discusión sobre si la evaluación debe ser interna o externa (ver: Pérouse de Montclos, 2012) se ha sustentado en la falsa idea de que los evaluadores externos serán más independientes, ignorando el hecho de que el proceso de subcontratación no está exento de influencia política (Brown y Klerman, 2012):

La realidad de su independencia está determinada principalmente por quién los financia, y puede verse comprometida si es por las mismas personas a cargo de las actividades de evaluación. Ninguna influencia indebida debe ejercerse por parte de los administradores para evitar que la situación se vea comprometida, ya que los consultores pueden autocensurarse para mantener a sus clientes (Gaarder y Briceño, 2010: 6).

Existe una diferencia, como observa Weaver (2010: 375), entre la independencia de jure y de facto. Incluso si el marco institucional establece la creación de una unidad de evaluación independiente, esta puede verse comprometida mediante el control de otras variables, tales como “presupuesto, personal y estructuras de presentación de informes”. En este caso, los evaluadores desempeñan un papel clave porque se basan en la preservación de su credibilidad (LSE GV314 Group, 2014). Sin embargo, no debe olvidarse que podrían estar interesados en mantener una buena relación con quienes comisionan para asegurar futuros contratos, ya que “la evaluación es un negocio” (Brown y Klerman, 2012: 191). Esto hace eco en la reflexión de Picciotto (2013: 19) acerca de que los evaluadores actúan más como consultores, ya que “favorecen un papel de apoyo estrictamente consultivo que no cuestiona los valores implícitos de sus empleadores ni el proceso que subyace al desempeño organizacional”. En cuanto a la credibilidad, Copestake (2014: 416-417) entiende esto como...

...una de las partes puede ofrecer una combinación suficiente de evidencia y explicación para convencer a la otra parte de que una proposición es razonable en el sentido de ser lo suficientemente plausible para actuar -no racionalmente en un sentido lógico, tal vez, pero tampoco irracional.

Los actores interesados relacionan tanto la independencia como la credibilidad con la legitimidad de esta actividad y el reconocimiento de la confiabilidad de los hallazgos. Esto puede ayudar a mejorar no sólo el proceso de políticas públicas sino también su sostenibilidad política (Lustig, 2011). La vinculación entre la evaluación y valores democráticos como la transparencia, la inclusión y la rendición de cuentas se considera una herramienta para incluir las opiniones de los actores involucrados en la política (Mathison, 2000). De acuerdo con House y Howe (1999), la participación de los diferentes actores conlleva la inclusión, el diálogo y la deliberación (elementos vinculados con la negociación). Este enfoque se basa más en el establecimiento de reglas informales de interacción que en normas estrictas definidas por el marco institucional. Un ejemplo es el papel que esta perspectiva da a los evaluadores como facilitadores o mediadores en la negociación de intereses (Barbier, 1999). La asociación de la evaluación con la democracia resuena con su papel como mecanismo para la reducción del riesgo, así como herramienta para incluir diferentes puntos de vista en el proceso de políticas públicas. Como existe competencia por los recursos y el comportamiento de los actores es impredecible, la formalización de los procesos de evaluación puede ayudar a reducir la incertidumbre:

La evaluación se concibió como una forma de ayudar a identificar y, en caso necesario, de llenar el déficit democrático incorporado en las políticas y programas públicos: limitada transparencia; rendición de cuentas débil, participación limitada de grupos desfavorecidos, desprecio de la equidad social, etc. (Picciotto, 2015: 156).

La contribución de la evaluación a la democracia, como un mecanismo que favorece la transparencia y la rendición de cuentas, está sujeta al uso dado a las conclusiones y al reconocimiento de las circunstancias en las que se produce (Hanberger, 2006). La democratización de la evaluación se basa en la apertura del proceso a las diferentes posturas de los actores, en términos de poder y recursos.

D) PRODUCTOS

El uso que se da a los productos de la evaluación, tales como informes, encuestas o estudios, depende de los diferentes arreglos que tienen lugar entre los actores involucrados, pues “la evaluación no puede considerarse neutral; tiene poder y busca satisfacer sus propios intereses” (Furubo y Karlsson, 2011: 33). Así, se abordan dos temas principales: la utilización y la diseminación. Considerando las asimetrías de poder y recursos, los actores involucrados pueden utilizar los productos de la evaluación de diferentes maneras. El actor que controla el proceso se encuentra en una posición privilegiada para promover, difundir o incluso descartar los resultados de una evaluación, de acuerdo con sus criterios e intereses. Esta ventaja se puede observar en el uso de los productos de la evaluación para sustentar una postura política preestablecida. Según un estudio desarrollado en Gran Bretaña:

El uso de la evidencia tendía a apoyar una cierta manera de pensar sobre el mundo; un estilo de pensamiento que se produce a través de la distribución desigual del poder y que luego juega un rol en su reproducción (Stevens, 2011: 251).

La función legitimadora de la evaluación se utiliza para validar una determinada postura preconcebida. En algunos casos, desde su creación, ya ha sido determinado el uso que se hará de los hallazgos y está vinculado con las preferencias del usuario. Neuman et al. (2013) enfatizan la importancia de comprometerse con la evaluación para promover su utilización. Esto es un elemento central del enfoque participativo o democrático discutido anteriormente (Lloyd y Harrington, 2012; Mensa-Bonsu y Holm Andersen, 2010; Greene, 2011)¹⁰. Se pueden observar diferentes reacciones a los productos de la evaluación por parte de los actores interesados, oscilando entre recibir positivamente un informe hasta una reacción adversa a los hallazgos e inclusive suprimirlos por completo. La reacción negativa a la evaluación puede explicarse por la ansiedad que genera esta actividad (Geva-May y Thorngate, 2003). Como señala Weiss, la evaluación puede utilizarse como un medio de legitimación o incluso como “una excusa para la inacción” (1998: 25). El capital político construido en torno a las políticas públicas puede influir en los diferentes niveles de impacto que tendrá la evaluación y el apalancamiento dado a los resultados de la evaluación depende en gran medida de la capacidad de los evaluadores para comunicar su relevancia a los tomadores de decisiones (Blomberg y Waldo, 2002). Por lo tanto, las conclusiones de la evaluación de una política de alto perfil tenderían a atraer más atención que las de programas más modestos.

Un segundo elemento es la difusión, también una decisión política. Esto se refiere a “la adecuación de los medios utilizados para facilitar el acceso a la evaluación” (Feinstein, 2002: 434). Los actores involucrados pueden facilitar o dificultar el acceso a la evaluación de las distintas audiencias, incluso en la actualidad cuando la tecnología puede simplificar considerablemente este proceso (Bozeman, 2004). Quienes comisionan o financian las evaluaciones tienen un importante rol en la difusión dado que, por lo general, tienen mayor influencia en esta etapa. Esto no se refiere necesariamente a la manipulación deliberada de los hallazgos, sino a la supresión intencional de informes que podrían ser desfavorables para los intereses de los actores:

Si las conclusiones se consideran políticamente sensibles, pueden no ser publicadas o ser ignoradas [...] una posibilidad adicional es que el departamento que comisionó la evaluación se reestructure y los resultados de la evaluación ya no tengan relevancia (Guenther y Arnott, 2010).

Weiss (1973: 101) argumenta: “Si los hallazgos son negativos, los funcionarios pueden no enterrar completamente el informe (aunque a veces lo intentan), pero al menos pueden publicarlo con sus propias interpretaciones”. Pensando en la evaluación como una herramienta para la reducción del riesgo, los hallazgos negativos pueden ser vistos como una amenaza potencial a sus intereses. Los matices de cómo afecta la política a la difusión de los productos de la evaluación se relacionan con el nivel de control y poder de los actores involucrados. Se esperaría que la inclusión de nuevos participantes en el proceso de evaluación la hiciera más democrática. Chelimsky (1995: 220) destaca el rol de abogacía de los evaluadores y la importancia de preservar su integridad:

Aunque el uso de los hallazgos en el proceso de política pública se reducirá seguramente en situaciones en donde los opositores son lo suficientemente poderosos, aun así -una vez que las evaluaciones con conclusiones importantes se han publicado, no importa cuán a regañadientes- es deber de los evaluadores llevar hacia adelante su conocimiento.

Es cierto que una lucha de intereses podría surgir en esta etapa. Sin embargo, los evaluadores no son los únicos responsables de proteger de interferencia política los hallazgos. El establecimiento de salvaguardias institucionales para este fin y la promoción de la cultura de la evaluación podrían fomentar una adecuada difusión.

E) RESULTADOS

Los resultados, entendidos como los efectos a largo plazo de la evaluación en el proceso de políticas públicas, pueden ser muy difíciles de observar porque implican hacer algunas suposiciones que no siempre pueden sustentarse empíricamente. La primera es que todas las evaluaciones son robustas/de alta calidad y generan resultados relevantes y pertinentes. En realidad, el establecimiento de criterios para medir la calidad de la evaluación puede ser subjetivo y no concluyente (Forss y Carlsson, 1997). La segunda se refiere a cómo usan los funcionarios los resultados para apoyar sus tareas. Las dificultades para aislar el efecto neto de la evaluación impiden medir con precisión su contribución (Fukuyama, 2013)¹¹. Como Rauschmayer et al (2009: 164) observan, establecer una relación causal entre los insumos y los productos puede conducir a la mala interpretación de las contribuciones de la evaluación:

Si observamos sólo las consecuencias, no evaluamos el grado en que una intervención específica es responsable de la situación cambiada. Si examinamos los productos directamente, es decir, las leyes, las normas, los programas, las actividades y las asignaciones presupuestarias producidas por el proceso de gobernanza, seguimos siendo incapaces de determinar si los productos han tenido los efectos deseados.

Boardman (2014) está de acuerdo en subrayar la necesidad de un enfoque integral que examine tanto el proceso como los resultados de la política pública. Esto resuena con la discusión sobre el alcance y propósito de la evaluación: ¿Quién determinará las áreas que serán priorizadas para la evaluación? ¿En qué medida esta priorización está motivada por razones políticas? Esto variará según los intereses de cada actor. Para los políticos, por ejemplo, la evidencia sobre los resultados de una política será más útil que la del proceso. El enfoque en los resultados puede representar un elemento importante en el contexto de la gobernanza. Consistentemente, Rotberg (2014) sostiene que las mediciones del desempeño permiten distinguir los elementos de la maquinaria del gobierno que está funcionando de la que no. Esto da mayor relevancia de facto a ciertos aspectos de una política que a otros. La información sobre el desempeño, como insumo para la evaluación, puede proporcionar una identificación más clara de los criterios para medir la efectividad de los gobiernos y facilitar a los evaluadores la comprensión de la lógica de un programa. El enfoque en el valor generado por las políticas públicas parece ser consecuencia de los nuevos enfoques en los que los beneficiarios/clientes de los servicios públicos están en el centro del proceso (Schalock y Bonham, 2003).

El elemento clave aquí no es en qué medida la evaluación influye en el proceso de políticas públicas, sino la medida en que ha sido capaz de permear la lógica de los hacedores de políticas. La evaluación necesita encontrar caminos más efectivos en la dinámica política y trascender su papel gerencial para convertirse en un elemento para el debate político. Como dice Richardson (2014: 142):

Las barreras a un uso pleno y efectivo de las ciencias sociales en el proceso de políticas públicas están relacionadas con la separación entre la producción de conocimiento y su consumo y utilización, así como por la falta de mecanismos que permitan la naturaleza política de la transferencia de conocimientos y la toma de decisiones.

La construcción de argumentos basados en evidencia de la evaluación puede generar más credibilidad debido a los valores “racionales” y “objetivos” que la sustentan (Partridge, 2011). Asumir el contexto político puede dar mayor valor a la evaluación ya que “la política pública debe analizarse como resultado político y como una fuerza que influye en los actores políticos, organiza los acuerdos políticos y estructura las relaciones políticas” (Soss y Moynihan, 2014: 322).

La evaluación puede generar información sobre la eficacia de las políticas públicas, al mismo tiempo que puede identificar nuevos problemas públicos y determinar su magnitud (Hoefer, 2000). También podría fortalecer los procesos presupuestarios y proporcionar evidencia sobre la asignación y uso adecuados de los fondos públicos. Además, la evaluación es especialmente útil en la construcción de argumentos para la justificación y legitimidad de la acción pública (Gris Legorreta, 2011). La participación de muchos actores durante la implementación impide identificar a aquéllos que son responsables de esa política. En la evaluación, cuando los resultados muestran un pobre desempeño, también es difícil determinar qué fue exactamente lo que falló durante el proceso. La evaluación y la rendición de cuentas pueden ser actividades complementarias, pero es importante considerar los posibles límites de la evaluación y la necesidad de desarrollar acuerdos institucionales eficaces que puedan maximizar esta relación.

Aquí, las reflexiones de Hood sobre la rendición de cuentas y la evasión de la culpa “como lados opuestos de la misma moneda” cobran sentido (Hood, 2014). La evaluación puede ser utilizada tanto para propósitos de rendición de cuentas, i.e. generando evidencia acerca de la consecución de los objetivos para evadir la culpa, i.e. difundiendo discrecionalmente sólo los hallazgos positivos. Esta dualidad dependerá de la intención política que sustente la evaluación.

El reconocimiento de la naturaleza política de la evaluación favorece estar consciente de los posibles efectos negativos asociados, e.g. manipulación de los hallazgos, y fomentar los elementos políticos que pueden ser beneficiosos, e. g. ampliar la difusión de los resultados. El siguiente apartado se centra en presentar algunas reflexiones sobre el uso de este marco analítico en el ámbito empírico.

CONCLUSIONES

La política, como un componente inherente a la evaluación, constituye un aspecto que requiere ser analizado con detalle para entender sus implicaciones potenciales en el proceso y resultados de esta actividad. Al ser la política un elemento intangible relacionado con la interacción entre los actores participantes y el uso que hacen de sus recursos para alcanzar sus objetivos es necesario desarrollar instrumentos que favorezcan el análisis de este componente de forma más estructurada. Como se propone en este texto, la utilización de un marco analítico que guie el estudio de la política de la evaluación favorece su comprensión, a la vez que apoya el establecimiento de reglas y procedimientos para la ejecución de evaluaciones. En línea con esto a continuación se presentan algunas reflexiones sobre el uso de este marco analítico en el contexto empírico:

• Cada una de las cinco variables (ver tabla 1) contempla una serie de preguntas que pueden guiar la obtención de evidencia sobre el nivel de influencia política que existe en una determinada política de evaluación. Esto permite operacionalizar las variables de acuerdo con el contexto que se pretenda estudiar, haciendo, por ejemplo, distinciones entre las condiciones que plantea cada marco institucional que rige la evaluación.

• La recolección de información de cada una de las variables puede realizarse a través de distintos métodos, por ejemplo, encuestas, entrevistas a actores clave, investigación documental, entre otros, de tal forma que sea posible contrastar distintas fuentes y enriquecer el conocimiento que existe sobre cómo se diseña e implementa una política de evaluación en un contexto determinado.

• Un aspecto interesante sobre el uso de este marco analítico es que las variables que contempla están vinculadas con las condiciones que plantea el marco institucional para la evaluación, lo que permite observar en qué medida este provee espacios de discrecionalidad para que los actores participantes para influir en esta actividad.

• Asimismo, la estructuración que provee este marco favorece la identificación de los actores clave que participan en el diseño e implementación de una política de evaluación y, por consiguiente, la capacidad que tiene cada uno para promover su propia agenda.

• Finalmente, la relevancia de esta propuesta es ampliar el conocimiento sobre la dimensión política de la evaluación, un aspecto que, aunque está estudiado teóricamente, existe poca evidencia empírica sobre el mismo.

A) CONSIDERACIONES METODOLÓGICAS

Para el desarrollo de este texto, se llevó a cabo un análisis conceptual centrado en la relación entre política y evaluación. De acuerdo con Guirao, este tipo de análisis “es un método por el cual los conceptos que son de interés para una disciplina se examinan con el fin de aclarar sus características y conseguir una mejor comprensión del significado de ese concepto” (2015:10-11). Así, se realizaron las siguientes actividades:

• Delimitación del campo de estudio (estudios de evaluación)

• Se identificaron textos clave relacionados con el componente político de la evaluación.

• Se establecieron cinco rubros principales de análisis para el desarrollo del marco conceptual (propósito, recursos, proceso, productos y resultados)

• Se determinaron preguntas y variables clave para cada rubro.

• Finalmente, se incorporaron textos clave en donde se desarrollan dichos conceptos en la literatura especializada.

BIBLIOGRAFÍA

Abma, T. A. (2006) “The Practice and Politics of Responsive Evaluation”. American Journal of Evaluation 27 (1), USA.

Albaek, E. (1995) “Policy Evaluation: Design and Utilization”. En Policy Evaluation. Ed. por Ray C. Rist. Hants, Edward Elgar Publishing Company, England.

Altschuld, J. W., y H. Y. Zheng (1995) “Assessing the Effectiveness of Research Organizations: An Examination of Multiple Approaches”. Evaluation Review 19 (2) USA.

Aristóteles (1995) Politics. Ed. Clarendon, Oxford UK.

ASK Inyathelo. (s. f.) Advantages and Disadvantages of Internal and External Evaluations. USA.

Azzam, T., y B. Levine (2014) “Negotiating Truth, Beauty, and Justice: A Politically Responsive Approach”. New Directions for Evaluation 2014 (142), USA.

Balthasar, A. (2009) “Institutional Design and Utilization of Evaluation: A Contribution to a Theory of Evaluation Influence Based on Swiss Experience”. Evaluation Review 33 (3), USA.

Bamberger, M. (1991) “The Politics of Policy Evaluation in Developing Countries”. Evaluation and Program Planning 14 (4), USA.

Banner, D. K. (1974) “The politics of evaluation research”. Omega 2 (6), USA.

Barbier, J. (1999) “Inter-governmental Evaluation: Balancing Stakeholders' Expectations with Enlightenment Objectives?” Evaluation 5 (4), USA.

Berriet-Solliec, M., P. Labarthe, y C. Laurent (2014) “Goals of evaluation and types of evidence”. Evaluation 20 (2), USA.

Bjørnholt, B., y F. Larsen. (2014) “The politics of performance measurement: ‘Evaluation use as mediator for politics”. Evaluation 20 (4), USA.

Blomberg, T. G., y G. P. Waldo (2002) “Evaluation Research, Policy, and Politics”. Evaluation Review 26 (3), USA.

Boardman, C. (2014) “Assessing Governance: The Importance of Evaluating Policy Outcomes in National Mission Areas”. Governance 27 (3), USA.

Bovens, M., P. 't Hart, y S. Kuipers. (2006) “The Politics of Policy Evaluation”. En The Oxford Handbook of Public Policy, editado por M. Moran, M. Rein, and R. E. Goodin. Ed. Oxford University Press, Oxford, UK.

Bogenschneider, K., y T. J. Corbett (2010) Evidence-Based Policymaking: Insights from Policy-Minded Researchers and Research-Minded Policymakers. Ed. Routledge, New York, USA.

Brown, A. B., y J. A. Klerman (2012) “Independent Evaluation: Insights from Public Accounting”. Evaluation Review 36 (3), USA.

Bozeman, B. (2004) “The Internet’s Impact on Policy Evaluation: Information Compression and Credibility”. Evaluation Review 28 (2), USA.

Campbell, D. T., y J. C. Stanley (1966) Experimental and Quasi-Experimental Designs for Research. Ed. Houghton Mifflin, Chicago, USA.

Chaplowe, S. G., y R. B. Engo-Tjéga (2007) “Civil Society Organizations and Evaluation: Lessons from Africa.” Evaluation 13 (2), USA.

Chelimsky, E. (1995) “The Political Environment of Evaluation and What it Means for the Development of the Field: Evaluation for a New Century: A Global Perspective”. American Journal of Evaluation 16 (3), USA.

Chelimsky, E. (2008) “A Clash of Cultures: Improving the “Fit” Between Evaluative Independence and the Political Requirements of a Democratic Society”. American Journal of Evaluation 29 (4) USA.

Chelimsky, E. (2012) “Valuing, Evaluation Methods, and the Politicization of the Evaluation Process.” New Directions for Evaluation 2012 (133), USA.

Chen, H. T. (2005) Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness. London, Ed. SAGE, UK, London.

Conley-Tyler, M. (2005) “A fundamental choice: Internal or external evaluation?”. Evaluation Journal of Australasia 4 (1&2), Australia.

Contandriopoulos, A. P. (1999) “Is the institutionalization of evaluation sufficient to guarantee its practice?”. Cadernos de Saúde Pública 15, Brasil.

Copestake, J. (2014) “Credible impact evaluation in complex contexts: Confirmatory and exploratory approaches”. Evaluation 20 (4), USA.

Datta, L. E. (2011) “Politics and Evaluation: More Than Methodology.” American Journal of Evaluation 32 (2), USA.

De Lay, P., y V. Manda. (2004) “Politics of Monitoring and Evaluation: Lessons from the AIDS Epidemic.” New Directions for Evaluation 2004 (103), USA.

Dunworth, T., J. Hannaway, J. Holahan, y M. Austin Turner (2008) Beyond Ideology, Politics and Guesswork: The Case for Evidence-Based Policy. Editado por Urban Institute, USA.

Faulkner, W. N. (2014) “A critical analysis of a randomized controlled trial evaluation in Mexico: Norm, mistake or exemplar?” Evaluation 20 (2), USA.

Feinstein, O. N. (2002) “Use of Evaluations and the Evaluation of their Use”. Evaluation 8 (4), USA.

Fletcher, G., y S. Dyson (2013) “Evaluation as work in progress: Stories of shared learning and development”. Evaluation 19(4): 419-30, USA.

Flinders, M. (Ed.) (2009) The Oxford Handbook of British Politics. Oxford University Press, Oxford, UK.

Foss Hansen, H. (2005) “Choosing Evaluation Models: A Discussion on Evaluation Design”. Evaluation 11 (4), USA.

Fukuyama, F. (2013) “What Is Governance?”. Governance 26 (3) USA.

Furubo, J., y O. Karlsson (2011) “Evaluation: For Public Good or Professional Power?”. En Evaluation: Seeking Truth or Power?, editado por P. Eliadis, J. E. Furubo, y S. Jacob.: Transaction Publishers, New Jersey, USA.

Gaarder, M. M., y B. Briceño (2010) “Institutionalisation of Government Evaluation: Balancing Trade-Offs”. International Initiative for Impact Evaluation (3ie), USA.

Geva-May, I., y W. Thorngate (2003) “Reducing Anxiety and Resistance in Policy and Programme Evaluations. A Socio-Psychological Analysis”. Evaluation 9 (2), USA.

Greene, J. C. (2001) “Dialogue in Evaluation: A Relational Perspective”. Evaluation 7 (2), USA.

Gris Legorreta, P. C. (2011) “La evaluación de políticas públicas como instrumento para la rendición de cuentas”. Trimestre Fiscal 99: 89-103, España.

Gris Legorreta, P. C. (2015) “The hidden politics of evaluation: Towards a Smarter State”. PhD thesis. The University of Sheffield. Sheffield. Available at: http://etheses.whiterose.ac.uk/11124/1/PCGLThesis_SubmissionFile.pdf

Guenther, J. (2008) “The Role of the Evaluator in Remote Contexts”. En Public Seminar. Centre for Remote Health, Alice Springs.

Guenther, J., E. Williams, y A. Arnott. (2010) “The politics of evaluation: evidence-based policy or policy-based evidence?”. En NARU Public Seminar Series. Darwin, Australia.

Guirao, S. J. A. (2015) “Utilidad y tipos de revisión de literatura”. En Revista de Enfermería 9 (2) Universidad de Valencia, España.

Hanberger, A. (2006) “Evaluation of and for Democracy”. Evaluation 12 (1) USA.

Hans Klijn, E., y J. F.M. Koppenjan (2014) “Accountable Networks”. En The Oxford Handbook of Public Accountability. Editado por M. Bovens, R. E. Goodin, y T. Schillemans. Oxford University Press, Oxford, UK.

Hay, C. (2007) Why we hate politics. Polity Press, Cambridge, UK.

Hedrick, T. E. (1988) “The Interaction of Politics and Evaluation”. American Journal of Evaluation, 9 (3), USA.

Henry, G. T. (2001) “How Modern Democracies Are Shaping Evaluation and the Emerging Challenges for Evaluation”. American Journal of Evaluation 22 (3), USA.

Hoefer, R. (2000) “Accountability in Action?: Program Evaluation in Nonprofit Human Service Agencies”. Nonprofit Management and Leadership 11 (2), USA.

Hood, C. (2011) The Blame Game: Spin, bureaucracy, and self preservation in government. Princeton University Press, New Jersey, USA.

Hood, C. (2014) “Accountability and Blame-Avoidance”. En The Oxford Handbook of Public Accountability. Editado por M. Bovens, R. E. Goodin, y T. Schillemans, Oxford, UK.

House, E. R. (1997) “Evaluation in the Government Marketplace”. American Journal of Evaluation, 18 (1), USA.

House, E. R., y K. R. Howe (1999) Values in Evaluation and Social Research. Sage, London, UK.

Howell, E. M., y A. Yemane (2006) “An Assessment of Evaluation Designs: Case Studies of 12 Large Federal Evaluations”. American Journal of Evaluation 27 (2), USA.

Jacob, S. (2011) “Sharing Power among Evaluation Players: Mission Possible?”. En Evaluation. Seeking Truth or Power? Editado por P. Eliadis, J. E. Furubo, y S. Jacob. Transaction Publishers, New Jersey, USA.

Karlsson, O. (2003) “Evaluation Politics in Europe: Trends and Tendencies”. Studies in Educational Policy and Educational Philosophym, Switzerland.

Kniker, T. (2011) “Evaluation Survivor: How to Outwit, Outplay, and Outlast as an Internal Government Evaluator”. New Directions for Evaluation, (132), USA.

Krathwohl, D. R. (1980) “The Myth of Value-Free Evaluation”. Educational Evaluation and Policy Analysis. 2 (1) USA.

Leeuw, F. L., J. Toulemonde, y A. Brouwers (1999) “Evaluation Activities in Europe: A Quick Scan of the Market in 1998”. Evaluation Review 5 (4), USA.

Lloyd, N., y L. Harrington (2012) “The challenges to effective outcome evaluation of a national, multi-agency initiative: The experience of Sure Start”. Evaluation, 18 (1), USA.

Lopez-Acevedo, G., P. Krause, and K. Mackay (Eds.) (2012) Building Better Policies. The Nuts and Bolts of Monitoring and Evaluation Systems. The World Bank, Washington, D.C., USA.

Lonsdale, J. (2008) “Balancing Independence and Responsiveness: A Practitioner Perspective on the Relationships Shaping Performance Audit”. Evaluation, 14 (2), USA.

LSE GV314 Group (2014) “Evaluation under contract: Government pressure and the production of policy research”. Public Administration 92 (1), USA.

Luo, H. (2010) “The Role for an Evaluator: A Fundamental Issue for Evaluation of Education and Social Programs”. International Education Studies 3 (2), USA.

Lustig, N. (2011) Scholars who became practitioners. The influence of research on the design, evaluation and political survival of Mexico's Antipoverty Program Progresa/Oportunidades. Editado por Center for Global Development, USA.

Mackay, K. (2007) “How to build M & E systems to support better government”. The World Bank Washington, D.C., USA.

Mark, M. M., L. J. Cooksy, y W. M. K. Trochim (2009) “Evaluation policy: An introduction and overview”. New Directions for Evaluation 2009 (123), USA.

Mathison, S. (2000) “Deliberation, Evaluation, and Democracy”. New Directions for Evaluation (85), USA.

McAnulla, S. (2006) British Politics: A Critical Introduction. Continuum, London, UK.

McLemore, J. R., y J. E. Neumann (1987) “The inherently political nature of program evaluators and evaluation research”. Evaluation and Program Planning 10 (1), USA.

Mensa Bonsu, I. F., y M. Holm Andersen (2010) “Involving Developing Countries in the Evaluation of Development Cooperation: The Case of a Joint Evaluation of Development Cooperation between Ghana and Denmark”. Evaluation 16 (3), USA.

Mohan, R. (2014) “Evaluator Advocacy: It Is All in a Day’s Work”. American Journal of Evaluation 35 (3), USA.

Morton, M. H. (2009) “Applicability of Impact Evaluation to Cohesion Policy”. En The World Bank (2009) Making Smart Policy: Using Impact Evaluation for Policy Making. Case Studies on Evaluations that Influenced Policy. Washington, D.C., US.

Neuman, A., N. Shahor, I. Shina, A. Sarid, y Z. Saar. (2013) “Evaluation utilization research— Developing a theory and putting it to use.” Evaluation and Program Planning 36 (1), USA.

Newcomer, K. E., y S. L. Caudle. (1991) “Evaluating Public Sector Information Systems: More Than Meets the Eye”. Public Administration Review 51 (5), USA.

Norris, N. (2007) “Evaluation and Trust”. En Dilemmas of Engagement: Evaluation and the New Public Management. Editado por S. Kushner y N. Norris, JAI Press Inc, USA.

Orr, S. K. (2010) “Exploring Stakeholder Values and Interests in Evaluation”. American Journal of Evaluation 31 (4)., USA.

Owen, J. M., y P. J. Rogers (1999) Program Evaluation. Forms and approaches. Ed. SAGE, Melbourne, Australia.

Palumbo, D. J. (1987) The Politics of Program Evaluation. California. Ed. SAGE, USA.

Parsons, W. (1995) Public Policy: An Introduction to the Theory and Practice of Policy Analysis. Edward Elgar Publishing Ltd, London, UK.

Patton, M. Q. (1986) Utilization-focused evaluation. Ed. SAGE, London, UK.

Pawson, R., y N. Tilley (1997) Realistic Evaluation. Ed. SAGE, London, UK.

Picciotto, R. (2015) “Democratic evaluation for the 21st century”. Evaluation, 21 (2), USA.

Pollitt, C. (1998) “Evaluation in Europe: Boom or Bubble?”. Evaluation Review, 4 (2), USA.

PWC (2012) “The Business of Evidence. A report prepared for the Market Research Society”. London, UK

Radaelli, C. M. (1995) “The role of knowledge in the policy process”. Journal of European Public Policy 2 (2), Brussels, Belgium.

Rossi, P. H., y S. R. Wright (1977) “Evaluation Research: An Assessment of Theory, Practice, and Politics”, Evaluation Review 1 (1), USA.

Rotberg, R. I. (2014) “Good Governance Means Performance and Results”. Governance 27 (3), USA.

Rutter, J. (2012) “Evidence and Evaluation in Policy Making. A problem of supply or demand?”. Editado por Institute for Government, USA.

Salisbury, C., K. Stewart, A. Cameron, S. Peckham, M. Calnan, R. Lart, S. Purdy, y H. Thorp (2010) Making the Most of Policy Evaluations: Overview and synthesis of evaluations of the White Paper ‘Our health, our care, our say. University of Bristol, Bristol, UK.

Sanderson, I. (2002) “Evaluation, Policy Learning and Evidence-Based Policy Making.” Public Administration 80 (1), USA.

Sanderson, I. (2006) “Complexity, 'practical rationality' and evidence-based policy making.” Policy & Politics 34 (1), USA.

Saunders, M. (2006) “Do We Hear the Voices?: The ‘Presence’ of Evaluation Theory and Practice in Social Development.” Evaluation Review 12 (2), USA.

Saunders, R. C., y C. A. Heflinger (2004) “Integrating Data from Multiple Public Sources. Opportunities and Challenges for Evaluators”. Evaluation Review 10 (3), USA.

Schalock, R. L., y G. S. Bonham (2003) “Measuring outcomes and managing for results”. Evaluation and Program Planning 26 (3), USA.

Schwandt, T., y P. Dahler-Larsen (2006) “When Evaluation Meets the ‘Rough Ground’ in Communities”. Evaluation Review 12 (4), USA.

Soss, J., y D. P. Moynihan (2014) “Policy Feedback and the Politics of Administration”. Public Administration Review 74 (3), USA.

Sturges, K. M. (2014) “External Evaluation as Contract Work: The Production of Evaluator Identity”. American Journal of Evaluation 35 (3), USA.

Tansey, S. D. (2008) Politics: The Basics. Routledge, London.

Taylor, D., y S. Balloch (Eds.) (2005) The Politics of Policy Evaluation. The Policy Press, UK.

Trochim, W. M. K. (2009) “Evaluation policy and evaluation practice”. New Directions for Evaluation, (123) USA.

Valovirta, V. (2002) “Evaluation Utilization as Argumentation.” Evaluation, 8 (1), USA.

Weiss, C. H. (1973) “Where Politics and Evaluation Research Meet”. American Journal of Evaluation 14 (1) USA.

Weiss, C. H. (1998) “Have We Learned Anything New About the Use of Evaluation?”. American Journal of Evaluation 19 (1) USA.

Widmer, T., y P. Neuenschwander. (2004) “Embedding Evaluation in the Swiss Federal Administration: Purpose, Institutional Design and Utilization.” Evaluation Review 10 (4), USA.

Williams, D. D., y M. L. Hawkes. (2003) “Issues and Practices Related to Mainstreaming Evaluation: Where Do We Flow From Here?”. New Directions for Evaluation 2003 (99), USA.

Notas

Notas de autor

Información adicional

Cómo citar: Gris Legorreta, Perla Carolina “Evaluación y política: Una revisión teórica de la relación entre ambos conceptos” e-ISSN:2683-1643 Revista Buen Gobierno 28. Enero –Junio 2020 Fundación Mexicana de Estudios Políticos y Administrativos A.C. México