6.10 Investigación y análisis

por Javier Brun González

En un contexto social en el que la información y el conocimiento emergen como piezas clave, verdadero capital que hace girar el mundo actual, gestores y gestoras culturales no pueden actuar como meros transmisores de una serie de instrumentos heredados ni como perpetuadores de metodologías que marcaron su impronta hace en la segunda mitad del siglo XX. La gestión cultural debe incorporar una serie de técnicas que conviertan cada intervención, cada programa o proyecto, en un elemento capaz de ofrecer información y renovar el conocimiento sobre nuestras sí mismos y apunten avances de cara a una mejor consecución de objetivos.

1. Introducción

Por mucho que nos hayamos acostumbrado a trabajar y a escribir de forma lineal, en una hoja de papel, la gestión cultural, como la vida, es un fenómeno cíclico, como cíclicos son los años, las estaciones, las generaciones, o la existencia misma de las personas. Con sus entradas y salidas constantes que nos permiten tomar consciencia de nuestra realidad con perspectiva, con esos paréntesis que nos permiten respirar y reflexionar, pero que, en el fondo forman parte del mismo proceso profesional, laboral, vital, social, etc.

En la sociedad de nuestros abuelos, hace solamente 3 ó 4 generaciones, el capital o el poder coercitivo marcaban la diferencia de clases que frecuentemente venía determinada por los propios orígenes familiares. Y las personas perpetuaban el papel de sus antepasados. En la actualidad, aunque sabemos que lo financiero sigue condicionando de manera importante, la información y el conocimiento se convierten en ascensores sociales y, de forma cada vez más clara, en capitales productivos.

En estos últimos años que hemos vivido de crisis hemos podido comprobar que, sin género de dudas, aquellas soluciones que fueron válidas y que constituyeron dogma en nuestro país desde los años 70, han dejado de funcionar de la misma manera, y que algunas han caído en la obsolescencia por el mero hecho de no ponerlas constantemente en revisión.

Poco importa que estemos hablando de cambio de ciclo —de paradigma dicen algunos- lo cierto es que el impulso que produjo esa inercia que nos ha traído profesionalmente hasta aquí se ha agotado o está próximo a su fin.

¿Cuál es la razón de ello? Sin duda serán muchas, pero se pueden resumir en una sola, de carácter general: La sociedad ha cambiado. Pero, ¿Ha sido esto de la noche a la mañana? ¿No ha habido señales de alarma que nos advirtieran de ello?

Aquí podríamos enumerar una serie de motivos por los que no hemos estado atentos a los síntomas que sin duda se podía haber detectado. Baste decir, sin embargo que, seguramente la relativa opulencia en la que se vivió en los años anteriores a la crisis pudo permitir que el sistema funcionara a pesar de los pesares.

El resultado es que ahora nos devanamos los sesos en encontrar «nuevos modelos» de funcionamiento acordes con la situación que ha cambiado. La gestión cultural en el cambio de paradigma y una serie de títulos similares, grandilocuentes que nos permiten jugar a visionarios entre la ignorancia, la prospección y la profecía.

Seamos serios. Si queremos que la Gestión Cultural sea una profesión respetada, debemos olvidarnos cada vez más de la pura intuición y el chamanismo e incorporar esos chivatos que, a poder ser, entiempo real, nos estén dando información sobre la evolución de nuestra intervención, pero también del entorno en el que actuamos.

Ante la lectura del título de este capítulo Investigación y análisis seguramente más de una persona se habrá dicho: Esto no va conmigo. Yo no voy a trabajar en la universidad. Yo voy a hacer gestión. No voy a investigar…

Pero, ¿por qué se titula este capítulo Investigación y análisis? La palabra investigación se nos suele antojar excesivamente pretenciosa o sinónimo de gran complejidad. No nos estamos refiriendo a movernos en el mundo académico. En realidad, todos y cada uno de los proyectos o las intervenciones que realizamos en cultura son pequeñas investigaciones,.. o deberían serlo.

Cada proyecto cultural en el fondo plantea una hipótesis:

Quiero conseguir transformar A en B, y para eso, la mejor solución es hacer X.

Intuitivamente hacemos esto siempre. Si partiéramos de cero, nos veríamos obligados a plantear innumerables posibilidades:

…si un tenor canta por la noche, durante el sueño de los habitantes… durante una semana… al cabo de la semana, toda la ciudadanía amará la música y asistirá a todos los conciertos… (Solución para generar audiencia: contratar un tenor nocturno)

Nuestra observación desordenada nos informa previamente de que las cosas no son tan sencillas como en este ejemplo absurdo. Tenemos intuiciones, tenemos experiencia. Sin duda, ya tomamos nota de algunas cosas, aunque sea de forma inconsciente. …Ya sabemos que el público más apropiado para un concierto de música trance no es el de los residentes en un centro de la tercera edad. Hay cosas que aprendemos. Hay realidades que, aunque no lo hagamos de forma sistemática, llegamos a interpretar …las actividades de tiempo libre se hacen mejor por la tarde, noche o fines de semana…

Pero hay otras muchas cosas que se nos escapan. Se dice que el ser humano, o incluso los animales aprenden por el sistema de ensayo-error y por eso mismo es por lo que cada proyecto cultural debe ser un proyecto de investigación en sí mismo. Equivocarse es aceptable (es humano, dicen). Lo que no es aceptable, y mucho menos en profesionales, es no aprender de los errores… o de los aciertos.

No es admisible tampoco el planteamiento: si esto lo hice así y salió bien, siempre lo repetiré así y siempre saldrá bien. Nuestro sociólogo y filósofo de cabecera Zygmunt Bauman emplea la expresión Modernidad Líquida para calificar a la sociedad en que vivimos, como una forma de ilustrar el carácter cambiante de la misma, como una metáfora de la labilidad de las estructuras sociales. Pues bien, dada la rápida evolución de los contextos en los que nos movemos, sin duda nos recomendaría adoptar medidas para asegurar una Gestión Cultural Líquida que fuera más adaptativa a las mutaciones constantes que no nos permiten, sin más, asegurar que rentabilidades pasadas garanticen rentabilidades futuras, parafraseando al sistema financiero.

Para finalizar esta introducción, nada mejor que una imagen que ilustra perfectamente esa integración de la investigación como generadora de conocimiento en el ciclo de la intervención cultural.

Integración de la investigación

Naturalmente, como tantas otras cosas, esta imagen no es más que un esquema que tiende a simplificar para que sea más comprensible. EL flujo de entrada y salida de información es algo que está –o debería estar- más integrado en el conjunto de fases del ciclo.

2. De la interrelación de estas herramientas

En el capítulo 5 de este manual se hablaba de Planificación. Sería bueno, no obstante, puntualizar algunas cosas. De entre las muchas definiciones que podemos ofrecer sobre planificación cultural, podríamos entresacar, en primer lugar, una propia e intuitiva:

(Planificación cultural). Procedimiento, normalmente con un enfoque temporal más corto que en el caso de la planificación estratégica (de uno a tres años, habitualmente), por el cual una entidad o equipamiento cultural desarrolla sus líneas prioritarias de actuación y, a través de la programación, las materializa en servicios, programas, proyectos y actividades.

Requiere, en su más correcta formulación, de una toma en consideración de los contextos territoriales, sectoriales, jurídicos y socio-políticos.

O bien, ésta más centrada en un marco estratégico

La planificación cultural es un proceso inclusivo de consulta de la comunidad y de toma de decisiones que ayuda a la administración (municipal) a identificar los recursos culturales y pensar estratégicamente sobre cómo estos recursos pueden ayudar a la comunidad a conseguir sus objetivos cívicos. Es también un enfoque estratégico que integra directamente e indirectamente los recursos culturales de la comunidad en una amplia gama de actividades programadas.

Elijamos una u otra, en el fondo estamos hablando de tomar decisiones sobre dónde queremos llegar, qué metas queremos alcanzar. En realidad, los objetivos no hacen más que definir y concretar el punto de llegada.

La planificación, dicho llanamente, nos marca el camino que hemos de seguir para no perdernos. Es, en el fondo, nuestro itinerario. Pero, si tenemos una meta, para trazar el camino, nos faltará otro elemento más. ¿Alguien ha intentado alguna vez consultar un mapa de una ciudad, de esos que se encuentran en las bocas de metro? Podemos buscar con relativamente facilidad nuestro destino, pero, como no sepamos en qué punto nos encontramos, con toda seguridad, no seremos capaces de llegar. Por eso es tan importante ese círculo rojo que dice usted se encuentra aquí.

Pues bien, para conocer especialmente dónde estamos y cómo es el terreno que pisamos (figuradamente) en el marco de una intervención cultural es donde intervienen las técnicas de diagnóstico previo y que va a ser lo primero que veamos.

Los más veteranos en la materia recordarán que a esto le llamábamos de otra manera, en concreto solíamos hablar de análisis de la realidad. Ambos conceptos están íntimamente relacionados por, como ya sabemos, las modas cambian y los instrumentos evolucionan.

En ese sentido, hablaremos de algunos conceptos como Diagnóstico territorial, cartografía, mapeo, indicadores de contexto…

3. Herramientas de diagnóstico, mapeo, cartografía cultural

Existen muchas herramientas de diagnóstico, pero he querido señalar básicamente dos grupos de las mismas, de diferente tipología y que pueden ser complementarias:

  1. La primera intenta determinar cómo está el entorno en el que intervenimos, es decir en qué terreno de juego nos movemos y, en cierto modo «de qué jugamos» en ese entorno. En este sentido, hablamos de «dibujar» o de cartografiar o mapear.
  2. La otra intenta analizar, determinar la situación en la que se encuentra la organización/entidad/proyecto en el que trabajo como gestor. Para eso, la técnica más socorrida es el análisis DAFO (también FODA, según el orden de las siglas, o SWOT en inglés). Es un análisis, dicho de algún modo, interno, aunque ello no impide que intentemos en ocasiones tener una visión exterior de nosotros mismos.

Mapas culturales

Una primera aclaración. Cuando hablamos de mapa, tenemos la inclinación natural a pensar siempre en clave de espacio físico, a relacionarlo con un territorio tangible. No siempre es así.

  • Diagnóstico territorial: Un mapeo puede estar dirigido a diagnosticar el panorama existente en un territorio en concreto sobre el que desarrollemos nuestra acción, es decir, una ciudad, una provincia, una región, un país, … o una realidad geográfica que no coincida con una división administrativa (por ejemplo, conjunto de asentamientos de población de origen húngara en el centro de Europa, que pueden tomar trozos de la propia Hungría, Austria, Rumanía, Serbia, Eslovaquia o Ucrania.

Territorio de población húngara en Europa Central

    • Entendamos también que en la actualidad el concepto de territorio es muy variable, especialmente cuando entramos en el mundo digital e interconectado.

 

  • Diagnóstico sectorial: Pero un mapeo puede estar dirigido a ilustrar la realidad de un determinado sector cultural en concreto, una disciplina artística particular. Será el caso que posiblemente interesará a un agente cultural especializado. Seguramente no requerirá de la totalidad de la información relevante culturalmente de una zona determinada, sino del análisis y la imagen de cuáles son las características del ámbito temático en el que desenvuelve su actividad.

Naturalmente, por pura combinación de ambos, en muchas ocasiones estaremos hablando de diagnósticos de tipo mixto, es decir, dedicados a un determinado sector en un territorio determinado. Por ejemplo, el mapa de las artes escénicas en Andalucía.

Sea cual sea el ámbito que abordemos, temático o geográfico, numerosos elementos son comunes. Vamos a abordarlos:

Entendemos como Cartografía Cultural un proceso de inventario y catalogación ordenada jerárquica, exhaustivamente, espacialmente y por categorías de los recursos culturales de un territorio/sector en cuestión.

La primera pregunta sería pues, ¿qué es lo que inventariamos en un territorio?

Una primera aproximación nos dará respuestas muy evidentes:

  • Agentes Culturales (a su vez clasificados por sus tipologías principales. Al menos: públicos, privados, tercer sector)
  • Creadores (Que también pueden subdividirse en varias categorías. Por un lado, atendiendo a su disciplina en concreto (música, artes escénicas, net art, literatura, artes tradicionales,… según consideremos la división de las mismas), pero también en función de su dedicación: amateur, profesional, en transición entre ambos…
  • Equipamientos (centros culturales, espacios de uso posible). Estableciendo las subdivisiones que queramos: por titularidad, por distritos, por disciplina: generalista, de proximidad, salas de conciertos (públicas/privadas/asociativas…), dedicados a la lectura pública (bibliotecas), de carácter patrimonial: museos, archivos… etc, etc. Pero también escenarios naturales, espacio público de uso para actividades culturales,…
  • Elementos patrimoniales o identificativos: Lugares de especial interés o con una significación especial para la comunidad y que son importantes de tener en cuenta.
  • Recursos económicos, financiadores. Nos permite saber de dónde salen, quiénes se dedican a ello, más allá del conocimiento intuitivo que seguramente tenemos, es recomendable conocer estos aspectos de forma sistemática.
  • Principales eventos, celebraciones, programas, programaciones, festivales, fiestas populares… Tener en cuenta los ciclos de actividades existentes. Algo que ya hacemos también un poco de memoria, para no coincidir con otros y contraprogramarnos, pero teniéndolo de una manera más determinada.

Pero, además debemos valorar los intangibles que en cultura son muchas veces decisivos, aunque se trate de variables de carácter más abstracto o conceptual, como por ejemplo:

    • Principales dinámicas culturales del territorio (flujos de información, liderazgos, relaciones, actitudes…).

 

    • Para que se entienda el concepto, igual es conveniente poner algunos ejemplos de dinámicas culturales que se pueden detectar, en un territorio o sector:

 

    • Gusto por lo tradicional / Gusto por lo innovador
    • Difícil relación entre comunidades étnicas distintas
    • Existencia de un grupo cultural predominante sobre otros
    • Tendencia preferente a consumir actuaciones en directo
    • Poco consumo culturalv
    • Orgullo por la cultura propia
    • Endogamia
    • «¡Qué inventen ellos!»
    • Falta de costumbre en acudir a eventos fuera del centro histórico, etc.

…todo esto dicho de manera no exhaustiva y señalando algunas dinámicas habituales y que se nos pueden ocurrir en general. Naturalmente, puede haber otras muchas que caractericen la relación entre agentes o entre el público y los agentes en un determinado territorio o sector.

Los autores, entre ellos destacaría los aportes hechos en su día por Robert Palmer, también señalan como importantes

  • Valores culturales dominantes, culturas y subculturas significativas,…
  • Catálogo de imaginarios colectivos,…
  • Elementos constitutivos de la memoria del lugar

Como el mismo Palmer indica, Las historias, leyendas, … son los cromosomas de la cultura local. Deberíamos contestarnos las siguientes preguntas:

  • ¿Qué es lo que define a este lugar, a este territorio?
  • -¿qué iconos lo definen?
  • sus lugares de interés
  • Historias, leyendas
  • Lo que produce la calidad de vida del lugar
  • ¿Cuál es la narrativa que conforma el imaginario de un lugar y cultura?

Naturalmente, este proceso, que puede ser objeto de un trabajo en profundidad, debe ser de alguna manera actualizado con cierta periodicidad pues no se nos debe escapar lo cambiante de los entornos en los que trabajamos.

¿De qué forma materializamos una cartografía cultural?

Como tantas otras cosas, la materialización de un mapa cultural dependerá de los objetivos que hayamos perseguido a la hora de realizarlo. Puede que sea importante que la información se presente en relación con la realidad territorial que hemos pretendido estudiar, precisamente porque la distribución espacial tiene importancia. O puede que simplemente sea importante tener una relación ordenada de los recursos que hemos venido estudiando y su distribución geográfica no sea significativamente importante, aunque sí que nos importe la interrelación entre los elementos detectados, así como las tendencias apuntadas.

En ese sentido, lo más habitual es que tome alguna de las siguientes formas:

  • Un mapa gráfico (elaborado por un diseñador, artista) a partir de los datos que le ofrecemos
Mapa gráfico
  • Con un soporte de SIG, lo que permite posteriormente trabajar informática y espacialmente.
Mapa gráfico

Mapa de Centros Culturales municipales de la Ciudad de Huesca

  • Como un mapa conceptual. Este proceso puede aplicarse, por ejemplo a un sector y toda su cadena de valor, en el que es más interesante el papel que juega cada agente en la misma que no su determinada situación geográfica.
Mapa Gráfico

Visto lo anterior, sería bueno centrarnos en explicar un poco más estos dos últimos conceptos, dado que son los que tienen un poco más de complejidad. (El primero de los tres es una traslación gráfica aproximativa de los datos obtenidos).

Sistemas de Información geográfica y mapas culturales:

SIG: Un sistema de información geográfica (SIG o GIS, en su acrónimo inglés Geographic Information System) es una integración organizada de hardware, software y datos geográficos diseñada para capturar, almacenar, manipular, analizar y desplegar en todas sus formas la información geográficamente referenciada con el fin de resolver problemas complejos de planificación y gestión geográfica. También puede definirse como un modelo de una parte de la realidad referido a un sistema de coordenadas terrestre y construido para satisfacer unas necesidades concretas de información.

En el sentido más estricto, es cualquier sistema

 de información capaz de integrar, almacenar, editar, analizar, compartir y mostrar la información geográficamente referenciada. En un sentido más genérico, los SIG son herramientas que permiten a los usuarios crear consultas interactivas, analizar la información espacial, editar datos, mapas y presentar los resultados de todas estas operaciones.

Yendo a un terreno más conocido, los SIGs que más habitualmente tenemos a nuestro alcance son los que se sirven del mashup de Google Maps, que en las figuras ya estaban representados y cuya utilización estatal alcance de cada uno de nosotros.

Mapas sectoriales, cruzar territorio y cadenas de valor:

Así, si esquematizamos lo que sería una cadena de valor de un sector según el siguiente gráfico:

  • Dado un territorio en concreto –que puede ser todo lo amplio que queramos-resulta de mayor importancia a la hora de analizar un sector o un subsector culturales identificar los distintos agentes y recursos en relación con la función que tienen en el «ecosistema sectorial» en concreto.

    Para eso nos debería ser de utilidad el esquema que aparece en la siguiente figura:

Esquema identificación de agentes

Esquema para la identificación de agentes en los distintos estadios de una cadena de valor de un sector cultural en general

Se trataría de ir identificando, en la medida de lo posible y si es aplicable, los anteriores elementos descritos en cada una de las casillas. También analizar cómo son esas relaciones entre agentes, bien sean de una misma parte de la cadena, o de distintas.

Finalmente, sacar conclusiones y elaborar un informe al respecto, que intente ser una especie de «foto fija» del sector que, juntamente con los otros nos servirá para tener la visión de conjunto.

A este respecto, es recomendable observar el trabajo concreto que se da como referencia y que analiza la cadena de valor de las empresas culturales de cuatro sectores en la ciudad de Cali, Colombia, pues considero que es un ejercicio interesante que ilustra todo lo que intentamos explicar aquí.

La perspectiva que nos ofrece este ejercicio sectorial también nos permite hacer dos tipos de análisis:

  1. Por un lado, para que un sector goce de buena salud en un territorio/contexto determinados, será necesario que no muestre fragilidades o vacíos en ninguno de los eslabones de la cadena de valor. Si nos encontramos en una posición de agente público, regulador, financiador, formativo… es decir, en el eje superior de ese esquema, los resultados de este ejercicio nos darán pistas sobre qué decisiones tomar a la hora de fortalecer un determinado sector.
  2. También, y en relación con esto, decir que sin duda, cuando abordamos un trabajo de mapeo, y salvo que tengamos un papel de consultor o investigador académico, normalmente seremos parte del sector que estemos analizando. El ver el panorama ordenado por pasos de la cadena de valor, nos permitirá analizar la existencia de competidores, de servicios que no son prestados por nadie, analizar las necesidades del sector que son susceptibles de ser proveídas por nuestra organización.

Es, pues, importante ver en dónde se sitúa nuestra organización o nuestro proyecto. Puede ser una entidad que intervenga en más de una de las casillas contempladas. De algún modo, tenemos que hacer esa doble reflexión, que se puede ilustrar con un símil deportivo:

  • Saber cómo es el terreno de juego
  • Saber en qué posición juego yo, cuál es mi cometido.
Estrategia de baloncesto

Esquema de estrategia de juego de baloncesto

Como culminación del tema de los mapas y cartografías culturales sería bueno dejar como referencia algunos trabajos que me parecen destacados ejercicios y que permiten, más allá de razonamientos abstractos que hemos manejado hasta ahora, ilustrar lo ya comentado.

Algunos ejemplos interesantes de mapas culturales:

    • Un elemento que me parece a destacar, al margen de los ya reseñados anteriormente es el glosario final que aparece en el trabajo. Es de suma utilidad, dado que las clasificaciones que podemos hacer a la hora de elaborar los inventarios que, en el fondo nutren un mapa cultural, pueden tener un cierto grado de subjetividad. Es importante, pues, explicar a qué nos referimos a la hora de haber realizado una serie de categorizaciones.
    • Además de la complejidad del ejercicio en sí, destacar el alto grado de importancia que en este atlas tienen las estadísticas y las puestas en relación con otra serie de datos, como la población, por ejemplo, los índices de bienestar,…lo que nos hace avanzar un poco en lo que vamos a ir viendo más adelante en relación con indicadores, en este caso, como ya apuntábamos antes, indicadores de contexto.
    • De carácter distinto a los anteriores y que completa el panorama que presentamos como ejemplos.

Análisis DAFO. Una herramienta intuitiva y manejable para saber algo más de nosotros mismos, de nuestra organización y de su entorno

El nombre de DAFO proviene de las iniciales de los componentes que se analizan con respecto a una organización: Debilidades, Amenazas, Fortalezas y Oportunidades. También conocido por sus siglas en inglés SWOT ( Strengths, Weaknesses, Opportunities, Threats)

Se trata de una herramienta que hemos tomado prestada (como otras) del mundo empresarial. Tiene la virtud de que es extremadamente sencilla e intuitiva. Como no pocas metodologías del mundo de la gestión empresarial, se trata de un compromiso entre la necesidad de saber para tomar decisiones y la agilidad de que el proceso sea viable y no comporte excesivos recursos, desde el punto de vista humano económico o temporal.

Su valor aumenta (y esto entronca con el tema de la Gestión del Conocimiento) cuando se realiza de manera participativa con las personas implicadas en la organización o con los socios habituales u otros agentes que intervienen en nuestro territorio o sector.

Se trata de un análisis pormenorizado de debilidades y fortalezas de un territorio o de una organización en un entorno cultural, en relación a los recursos técnicos, humanos y económicos. Se trata de señalar aquellos aspectos que dificultarían realmente la consecución de los objetivos estratégicos; o los que se han convertido en los principales activos de la entidad.

Si nos fijamos bien en la estructura de este tipo de análisis, existe una parte del mismo que aborda la realidad interna, propia de la organización: Las Fortalezas y las Debilidades:

  • Fortalezas: Serían aquellos factores internos de la entidad, territorio o centro; que suponen una cualidad óptima o punto de partida aventajado para abordar este proceso y lograr dichos objetivos.
  • Debilidades: Las debilidades serían los factores internos de la entidad, territorio o centro que pueden suponer un freno al proceso en la consecución de los objetivos marcados.

Paralelamente, se realiza un análisis del entorno, lo cual lo pone en relación con todo el ejercicio anterior, naturalmente con un alcance mucho más modesto. Analizar las oportunidades y las amenazas que el entorno en el que nos movemos nos ofrece:

  • Oportunidades: Serían aquellos factores externos a la entidad, territorio, centro; que podrían facilitar el cumplimiento de la misión y los objetivos en concreto.
  • Amenazas: Serían los factores externos a la entidad, territorio, centro; que pueden suponer un freno en la consecución de los objetivos

Nunca será suficiente volver a insistir sobre la importancia de que este ejercicio reflexivo no se haga exclusivamente y aisladamente por parte de un directivo, un jefe de estrategia, etc. Es vital que todos los estamentos de la organización participen en él. Esto tiene dos razones.

  1. Por un lado, permite tener una visión más completa, plural y posiblemente menos sesgada de la situación interna y externa de nuestra organización.
  2. Por otro, es una buena excusa para conseguir del equipo humano de la organización:
    1. Un mayor grado de motivación en el trabajo y en el papel en la entidad.
    2. Es una oportunidad para que se ponga en marcha el círculo virtuoso de la gestión del conocimiento, que se comparta información, métodos de trabajo, etc.

El ejercicio no se queda en la mera descripción y toma de conciencia de la situación, que ya es de por sí importante y el punto de inicio para resolver los problemas detectados (recordar que estamos hablando de lo que se denominaba análisis de la realidad). Se completa el trabajo con una batería de medidas recomendadas para convertir las amenazas en oportunidades y las debilidades en fortalezas, lo que en sí es el objetivo fundamental de cualquier entidad que pretenda mejorar su gestión.

Lógicamente, éste no es el único método para realizar un análisis interno y externo de nuestra entidad u organización, pero, con mucho es el más conocido y practicado. Lo más importante de este aprendizaje no es que hagamos los análisis de forma impecable, sino que nos apropiemos de las metodologías y las utilicemos. No dejaremos de insistir en este capítulo sobre la importancia de priorizar lo posible sobre lo deseable, es decir, que la búsqueda de la perfección no bloquee a consecución de avances aunque sean tímidos y paulatinos.

4. Indicadores culturales. Evaluación, tipos, niveles, comparabilidad de resultados

En este manual web se aborda en otro apartado, y a nivel de proyecto, el tema de la evaluación. Sin embargo, cuando estamos hablando de niveles superiores al de una actividad o proyecto en concreto, la complejidad de la misma aumenta. Es un tema que se puede abordar empezando de muy diversas maneras. Para quien suscribe estas líneas es importante no perder de vista el conjunto y las motivaciones para abordar la evaluación, que pueden ser varias, pero que terminan estando siempre en relación con los objetivos perseguidos. Rebobinemos, pues, un poco, para tomar perspectiva.

Volvamos, por ello, a hablar otra vez de planificación, a los niveles que queramos, estratégico, anual, programación,… En todos ellos tenemos, como ya comentábamos en la introducción, dos elementos:

  • Un punto de partida
  • Una meta, un punto deseado de llegada.

El punto de partida lo hemos, de alguna manera, identificado con las técnicas de diagnóstico que hemos ido explicando, y que se pueden completar con herramientas mucho más complejas y costosas, como por ejemplo, las encuestas de consumo y hábitos culturales, o con la utilización de estadísticas existentes. En el Estado Español, por ejemplo, y con grado de desagregación de datos desigual, encontramos interesantes y numerosas fuentes estadísticas útiles para la gestión cultural en organismos tales como:

  • Ministerio de Administraciones Públicas
  • Ministerio de Fomento
  • Ministerio de Industria, Turismo y Comercio, a través del organismo adscrito Instituto de ?Estudios Turísticos
  • Ministerio de Economía y Hacienda, y organismos adscritos como el Instituto Nacional de ?Estadística
  • Ministerio de Educación, Cultura y Deporte, con servicios propios y organismos adscritos como el Instituto ?Nacional de las Artes Escénicas y de la Música (INAEM), además de las innumerables estadísticas de los servicios educativos, bibliotecarios,…
  • Sociedad General de Autores y Editores (SGAE)

…tal y como señala el estudio Información sobre la Acción Cultural Local Disponible en Organismos de Ámbito Estatal, encargado por la Federación Española de Municipios y Provincias a Interarts. Esta información se complementa de manera importante con los organismos dependientes de las distintas comunidades autónomas, tales como los institutos autonómicos de estadística, por poner un ejemplo.

El punto final, la meta, es algo que se fija mediante la determinación, en el proceso de Planificación, de objetivos generales y objetivos específicos. Los objetivos generales nos marcan metas que tienen que ver más con cambios sociales que estamos buscando, con lo que identificaremos más adelante como efectos e impactos. Los objetivos específicos u operativos, nos tienen que concretar estos marcos generales, permitiéndonos encontrar variables medibles.

Todo esto se entiende un poco mejor, si observamos el esquema de lo que es una matriz de planificación, que es el corazón de la misma:

En esta matriz aparece por primera vez la palabra clave en este apartado, el concepto Indicador. Habla de indicadores de resultado. En realidad, los indicadores de resultado son los que más habitualmente medimos, ya sea en un proyecto, como se verá en el capítulo correspondiente, pero también en una programación o planificación, pero deberíamos tener en cuenta que son un tipo concreto de indicadores.

Llegados a este punto, se hace necesario precisar qué es y qué no es un indicador y, por otro lado, qué tipos de ellos tenemos. Nada mejor que aprovechar la excepcional publicación que realizó AECID en su momento sobre el tema y en la que Salvador Carrasco aborda cuestiones metodológicas de importancia:

Un indicador es la manifestación generalmente numérica del análisis de un proceso de identificación y medición de una información. Si la finalidad del indicador es realizar un seguimiento y evaluación de las variables clave de una organización o institución, mediante la comparación en dos momentos del tiempo estamos ante indicadores de desempeño. Existe amplia literatura al respecto en la que podemos encontrar diferentes acepciones de indicador. (Miguel, J. M. & Sevilla-Guzman, E. 1973; Gallopin, 1996; Carrasco, S. 2006; AECA, 2002; Bonnefoi, J.C. & Armijo, M 2005; MAEC, 2007). Carrasco, S. en (AECID,2009;45).

Tipos de indicadores

En relación a si se trata de magnitudes numéricas o no, se clasifican en dos grandes grupos:

  • Indicadores cuantitativos: Un indicador cuantitativo es un dato estadístico que ha sido procesado y puesto en relación con otros datos estadísticos con el fin de entregar una información específica.

Ejemplos de indicadores cuantitativos los podemos ver en esta imagen:

Indicadores cuantitativos

Fuente: Ghía para la evaluación de las políticas culturales locales. FEMP 2009

  • Indicadores cualitativos: Pueden provenir de respuestas, si/no, de consultas para seleccionar un ítem entre varios

En la figura siguiente, podemos ver algunos ejemplos de indicadores cualitativos:

Ejemplo de indicadores cuantitativos

Fuente: Guía para la evaluación de las políticas culturales locales. FEMP – 2009

El sueño de cualquier evaluador/a es poder tener el máximo de indicadores obtenibles de tipo cuantitativo. No siempre es tarea fácil, y una excesiva preocupación por tener datos numéricos nos puede alejar de valorar cuestiones realmente importantes. Por el contrario, también existen formas sencillas de traducir cuantitativamente indicadores de origen cualitativo. Por ejemplo, se pueden plantear porcentajes de respuestas afirmativas o de valoraciones positivas en una encuesta de satisfacción, por citar dos casos bastante evidentes, pero hay otras muchas técnicas para ello.

Otra manera de categorizar los indicadores es atendiendo a lo que observan. Podemos distinguir los siguientes tipos:

  • Contexto: recogen toda la información del entorno que influye directamente en el proyecto y que a su vez es externo a él.
  • Producto / Resultado: nos aportan información numérica de cantidad y calidad de producto, bienes o servicios que se generan a partir de las actividades programadas, los procesos realizados o las acciones implementadas. Es el resultado a corto plazo, el propósito directo de la planificación.
  • Proceso: Nos analizan cómo ha sido la realización de las acciones, procesos, actividades o actuaciones programadas.
  • Recurso: a partir de los cuales conocemos la naturaleza y cuantía de los factores que directa o indirectamente se utilizan para llevar a término la intervención para alcanzar el propósito especificado en el proyecto.
  • Efecto: tratan de medir los efectos como resultados directos y a medio plazo sobre los usuarios a quien van dirigidos los proyectos.
  • Impacto: miden el resultado final obtenido a largo plazo como consecuencia de la intervención y que repercuten en el entorno de los usuarios.

Si observamos esta misma distribución de tipología de indicadores, vemos que tiene en sí mismo una cierta lógica cíclica. Los indicadores de contexto están íntimamente relacionados con lo que hemos estado viendo en la fase de diagnóstico y mapeo y, en realidad los indicadores de impacto (y en cierto modo los de efecto) tienen que ver con el cambio producido, a medio plazo, de esos mismos indicadores de contexto. En la parte central de este esquema, los indicadores de resultado, proceso o recurso, guardan una mayor relación con la implementación de las acciones y el desarrollo de las mismas.

Los de Proceso sirven para ejercer un control sobre cuestiones más de fondo, de calidad, de valores a la hora de llevar adelante una intervención.

Por otro lado, si los de Resultado nos miden, en términos generales, si hemos sido eficaces en la consecución de los objetivos, los de Recurso nos ayudan a valorar la eficiencia de la intervención.

Finalmente, si se supone que perseguimos unas finalidades de cambio social, los indicadores de Efecto y de Impacto nos van a dar respuestas, en el corto o en el medio-largo plazo, respectivamente y, lógicamente tendrán una relación más cercana con los grandes objetivos, más en la esfera política de la intervención, en el sentido amplio de la palabra política, no en el restrictivo que solemos utilizar, es decir, no como definición de una esfera de poder, sino como, por ejemplo define la Wikipedia: rama de la moral que se ocupa de la actividad, en virtud de la cual una sociedad libre, compuesta por hombres libres, resuelve los problemas que le plantea su convivencia colectiva.

La construcción de los indicadores

El tema de la obtención de los indicadores se puede abordar de diferentes maneras dependiendo del objeto de nuestro trabajo y en ello es decisivo el nivel de gestión/planificación al cual estemos planteando un sistema de evaluación. No es lo mismo que estemos a un nivel de proyecto cultural o incluso de programa cultural o planificación anual de un servicio, que lo que estemos haciendo es proponer un sistema para evaluar una política o un Plan de actuación amplio.

Salvador Carrasco (op.cit) ilustra muy bien esta diferencia y estos niveles en los siguientes esquemas:

Niveles de intervención

Niveles de intervención en el Planeamiento estratégico. (AECID, 2009)

Si estamos trabajando a un nivel que tenga que ver más con un proyecto en concreto o una planificación de carácter anual, puede ser una tarea más sencilla plantear de manera directa la construcción de los indicadores a partir de la matriz de planificación y siguiendo el esquema que diversos modelos de planificación nos marcan. Nos referimos, naturalmente a lo planteado por el enfoque de marco lógico, u otras metodologías de planificación relacionadas, como la programación orientada a resultados, por poner ejemplo significativo.

Volvamos a observar la figura «esquema de una matriz de planificación».

La forma más directa de operar en un caso como éste es la deducción, a partir de los objetivos operativos, los resultados esperados y, de ahí, los indicadores a utilizar. Posteriormente, como veremos, habrá que ver de dónde sacamos los datos que nos permitan ponerle valor a los mismos.

Se trata de un ejercicio realizado «a medida», con los pros y contras que ello supone. Hay una gran parte de proceso artesanal en ello y tiene también la dificultad de lo particular: se adapta muy bien al contexto concreto para el que es creado, pero tiene una cierta subjetividad la elección de los indicadores y plantea otros problemas de los que vamos a hablar, como el de la comparabilidad. Sin embargo, para los niveles «bajos» de planificación y programación sería el más aconsejable por su viabilidad.

La otra manera de abordar el problema de la construcción de indicadores es utilizar el método sistemático que plantea Salvador Carrasco en la obra antes citada, un método que, en contraposición al anterior, podríamos calificar de «industrial» y que tiene un amplio margen de aplicabilidad, de validez para muy diversas políticas y planes de intervención.

Tabla de variables

Como explica en el texto el propio autor, El primer conjunto de variables (X), directamente vinculadas a cada una de las AP, se obtienen a partir de la identificación y cuantificación de las acciones, los recursos destinados para su obtención y los participantes en la actuación, es decir, Acción, Beneficiarios, Actores, Recursos financieros, Recursos Humanos y Equipamientos/Infraestructuras. El procedimiento para obtener las variables ha sido dar respuesta a preguntas como: ¿qué acción?, ¿a quién va dirigida?, ¿quién actúa?, ¿con qué presupuesto?, ¿con qué personal? y ¿con qué equipamiento? (AECID,2009;52)

Por poner un ejemplo algo menos abstracto, aplicándolo a un objetivo estratégico de un museo, tendríamos la siguiente parrilla:

Esquema de parrilla

Esquema de parrilla para el caso de un museo. (Elaboración del autor)

A partir de ahí, se trataría ahora de cruzar unas variables con otras para obtener todas las posibles variaciones. Por ejemplo, si cruzamos la variable X2 con la Y3, nos encontraríamos con lo siguiente:

  • Variable 1: nº de beneficiarios que participan en Acciones realizadas para la obtención del objetivo ____ que asisten espontáneamente al Museo
  • Variable 2: nº de beneficiarios que participan en Acciones realizadas para la obtención del objetivo ____ que se pueden considerar como publico concertado (visitas organizadas, actividades pedagógicas…)

De este modo, la redacción de los posibles indicadores se realiza de una manera prácticamente automática, lo cual da lugar a una cantidad ingente de los mismos y nos coloca ante una nueva tesitura: la selección de los indicadores más interesantes para nuestro objeto de estudio, teniendo en cuenta que una evaluación debe dar como resultado una foto fiable de la realidad, con los menores datos posibles, es decir una foto lo más pixelada posible pero que nos represente la realidad según nuestras necesidades. No queremos la realidad misma, sino una representación de ella (…y aquí no insistiremos sobre la pipa de Magritte…)

Para seleccionarlos lo haremos atendiendo a los criterios -seguramente ya conocidos por la persona que lee estas líneas- de Relevancia, Pertinencia, Fiabilidad y Eficiencia.

Finalmente, nos quedaría habitualmente un tema por resolver que es el de los efectos y los impactos, que tienen más que ver con cómo concretamos el objetivo que estamos persiguiendo y que nos reconduciría a un esquema más relacionado con el sistema artesanal que hemos visto al principio.

Las fuentes de verificación:

Para todo ello es importante añadir una última columna en la anterior matriz de planificación, o en los cuadrantes del sistema de indicadores que nos explicaría «de dónde vamos a sacar los datos» o lo que se expresa más habitualmente como fuentes de verificación, tema que suele dejarse un poco para el final, pero que es vital, dado que, por definición y sentido común, el proceso de evaluación no puede paralizar nuestra actividad, ni puede comprometer un exceso de recursos económicos o humanos.

Por decirlo de alguna manera, la evaluación es una herramienta de investigación, un método de ayuda para la toma de decisiones y una parte del proceso de gestión, pero no es el fin último, no es una finalidad en sí misma, salvo que seamos evaluadores profesionales, lo cual es una profesión muy específica.

En ese sentido, y con el fin de garantizar la sostenibilidad de un sistema de evaluación tenemos que observar cuál es la mejor manera de integrarla en el funcionamiento habitual de una organización.

Por decirlo de manera directa, en mayor o menor medida todos solemos estar en una situación en la que o pedimos cuentas a algunos u otros nos piden cuentas. O dicho de otro modo, normalmente otorgamos ayudas o recibimos ayudas, o contratamos o somos contratados, o muchas veces las dos cosas a la vez.

Mucho se ha ido avanzando (aunque no siempre sea suficiente) en la justificación económica de las ayudas o en el seguimiento de los pagos efectuados. Años de escándalos han hecho falta para que se construyeran sistemas de control económico.

Se ha avanzado mucho en saber si alguien se ha quedado con parte del dinero de manera fraudulenta. Sin embargo, poco se ha avanzado en saber qué se ha hecho con ese dinero. Me explicaré mejor, las exigencias a la hora de saber si lo que se ha hecho con una ayuda o subvención es lo que se prometió hacer son aún muy débiles. Es muy importante poder determinar que el fin del dinero otorgado o recibido se corresponde con el inicialmente explicado, no solamente en el sentido ético y moral, sino en cuanto a eficacia y eficiencia, si se obtienen los resultados buscados.

Aunque pudiera parecer un trabajo ímprobo, es preciso que, conjuntamente con las memorias económicas, imprescindibles en toda administración, se elaboren memorias de ejecución que vayan más allá de la literatura vacua actual, en la que utilizamos ese espacio para decir lo bien que hemos trabajado.

Es ya la hora de que las memorias justificativas respondan a ítems bien definidos y procesables informáticamente, de manera que se puedan hacer mejor los seguimientos y finalmente obtengamos datos de manera más o menos automática y con la economía necesaria.

Resumiendo en una frase, es necesario estandarizar los procedimientos, los protocolos y, en la medida de lo posible, elaborar formularios que canalicen datos y obliguen a las organizaciones a un rendimiento de los resultados y explicación de los procesos que vaya más allá del punto actual. Solamente así iremos avanzando en hacer que la evaluación sea realmente factible. Seguramente ésta es la mejor manera de detectar una gran parte de las fuentes de verificación más económicas.

Benchmarking, esa horrible palabra que nos habla de la comparabilidad

Algo que sí es muy importante que señalemos es que estos procesos de diagnóstico y de evaluación de intervenciones o políticas nos pueden permitir saber en qué situación se encuentra la ciudad, centro o servicio en relación a otros, algo muy importante de cara a tener una visión lo más objetiva posible de nuestra situación.

Medir, como ya se sabe, es comparar una realidad, bien sea con unos parámetros, pero también puede ser con otras realidades. Para poder hacer eso es necesario que los datos que se obtienen sean comparables y, para ello, debe darse un proceso de integración y armonización en la utilización de indicadores.

Esto se suele denominar «Benchmarking», extraña y frecuente palabra que hace referencia precisamente a esa comparabilidad.

Varios son los organismos internacionales que en estos momentos están haciendo trabajos en esta línea. Está claro que se trata de esfuerzos que deben tener una componente supranacional en el mejor de los escenarios. En la documentación se indican los trabajos de UNESCO –en los que he tenido la suerte de trabajar-, así como los indicadores que utiliza EUROSTAT.

En un contexto nacional también es importante marcar unas magnitudes claramente de referencia. Solamente de esta manera conseguiremos generar estándares, lo cual en materia de Política Cultural sería todo un logro en muchos de los territorios que todos conocemos.

Algunos sectores (Bibliotecas, archivos, museos,…) han avanzado más en ello que otros, pero queda dicho que es un reto que no puede ser pospuesto durante más tiempo.

Es de destacar el enorme esfuerzo realizado por la FEMP que permitió sacar la publicación que se referencia en este trabajo y que ha intentado simplificarse para darle mayor viabilidad, en colaboración con la Universidad de Valencia, para materializarse en el proyecto BÁCULO, que se enlaza al final de este apartado. Naturalmente, se sigue echando de menos el papel que debería jugar aquí el Ministerio encargado de los asuntos culturales, llámese como se llame en cada periodo político.

Evaluar, obtener datos, poner en marcha estadísticas,… son procesos costosos económicamente y requieren de series anuales para sacar algunas conclusiones. Si no se avanza en este aspecto, estamos condenando a seguir trabajando, en gran medida, en el voluntarismo, la buena voluntad o la arbitrariedad.

Referencias:

    • UNESCO: Culture for Development Indicator Suite
    • EUROSTAT: Cultural Statistics
    • CGLU: : cultura en la Agenda de desarrollo Post-2015
    • BÁCULO- Barómetro Cultural Local – Sistema de Indicadores para la evaluación de las Políticas Culturales Locales

Los indicadores: Una herramienta para los procesos de contratación pública y para la selección de solicitudes de subvenciones y ayudas

Uno de los usos más importantes de este tipo de metodologías, especialmente cuando tenemos responsabilidades en entidades de carácter público, ya sea en los niveles local, distrital, regional o estatal es el de la valoración de proyectos ajenos.

En un sistema democrático sano y homologable, es preciso que todo tipo de procesos selectivos se realicen atendiendo a unos principios generales de publicidad de las convocatorias, transparencia de los procesos, libre concurrencia, objetividad, igualdad y no discriminación.

En ese contexto, es preciso, en primer lugar, que las reglas del juego estén expresadas a priori, al lanzar la convocatoria a la que se van a presentar los proyectos.

Cuando hablamos de convocatoria podemos referirnos a procesos de contratación de servicios que han de ser prestados por terceras empresas o bien a procesos de subvenciones y ayudas a proyectos artísticos o culturales en general.

En la documentación se adjunta la descripción de un proceso real de selección de 7 proyectos en el ámbito de las Artes Escénicas y de cómo se preparó esa convocatoria, haciendo un énfasis especial en que no era solamente el aspecto artístico el valorable. Se aporta, al margen de otras consideraciones, por poner un ejemplo auténtico que ilustra el esfuerzo por buscar indicadores que permitan objetivar evaluaciones ex -ante en entornos típicamente subjetivos, como es el mundo de las artes en vivo.

Ni qué decir tiene que una de las obligaciones en todo proceso de contratación pública es el control de la ejecución de los trabajos. Este tipo de seguimiento se puede hacer construyendo un pequeño sistema de indicadores a partir de los proyectos de ejecución ofertados por los licitadores.

Este tipo de prácticas pueden ayudar a aportar credibilidad a la relación entre las entidades públicas, los creadores y las empresas del sector. Quizá es utópico pretender desterrar para siempre las sospechas o los infundios sobre favoritismos o clientelismos, pero sin duda disminuyen el margen de sospecha o credibilidad respecto a supuestos vicios en todos estos procedimientos.

Por otro lado, también es un sano ejercicio el exigir esquemas de evaluación a través de definición de indicadores a las empresas que licitan. Eso nos sirve para dos cosas eminentemente prácticas y posibilistas: Por un lado es un mecanismo claro de control de su contrato. Por otro es una manera de construir y asegurar la práctica evaluativa en nuestros servicios aprovechando el propio esfuerzo de las empresas colaboradoras en un contexto en el que la rutina y la burocracia nos lastra nuestra capacidad de acción.

Referencia:

    • Brun, J. La experiencia aragonesa de evaluación de proyectos escénicos

5. Los observatorios. Estructuras estables para producir innovación en las intervenciones a partir del conocimiento

Una perspectiva de su evolución

En la década anterior y lógicamente antes de la crisis que barrió casi todo, en España había crecido la conciencia de una carencia en cuanto a datos y reflexiones que ayudasen a un mejor conocimiento del sector cultural, y fue cuajando la hipótesis de la figura de un observatorio como herramienta de apoyo a la toma de decisiones y de apoyo a los agentes, en algunas comunidades autónomas.

Algunas de las primeras iniciativas que se habían producido lo fueron vinculadas a las diputaciones provinciales, aunque tuvieron en su desarrollo un marcado acento como elementos formativos: El pionero de todos ellos fue el Centre de Recursos Culturals – CERC – de la Diputación de Barcelona, al que siguió miméticamente el SARC en Valencia. No fue hasta bastantes años después cuando se vio reflejada esta posibilidad en algunos programas políticos o planes estratégicos a nivel autonómico, como por ejemplo, en Cataluña, con el primer gobierno tripartito o en Euskadi, a partir del primer Plan Vasco de la Cultura.

A ellos se unió en un segundo momento la Diputación de Cádiz, con el Observatorio El Vigía, una estructura muy sencilla, pero que ha dado algunos frutos interesantes. Así mismo hubo una efímera presencia de un así auto-denominado Observatorio, el CERC en la Diputación de Granada, que tuvo en su corta duración una discreta intervención.

De todos ellos, a la postre, el que se consolidó de una forma más clara fue el Observatorio Vasco de Cultura, cuya creación se derivó del Plan Vasco de Cultura.

Paralelamente, y a un nivel local, la Comisión de Cultura de la Federación Española de Municipios y Provincias empezó a tener en esa década una cierta receptividad acerca de este tema, a partir de un proceso convergente que comenzó con el establecimiento de una Agenda Cultural de municipios y provincias, siguió por un proceso de redefinición del papel de los entes intermedios (Diputaciones, Cabildos, …) en la administración local en cultura, que se reafirmó en el Estudio de Estándares de diferentes tipologías de equipamientos culturales, así como ha culminado finalmente en la realización de la Guía para la evaluación de las políticas culturales locales, presentada en Madrid la semana pasada y en cuyo proceso este Gobierno ha participado activamente.

Finalmente, por cerrar este primer acercamiento cronológico, en el contexto europeo, ha habido diferentes iniciativas supranacionales . Por mencionar algunas, tenemos los observatorios de Grénoble en Francia y de Piamonte, en Italia, así como el ya clásico Departamento de Estudios y Prospectiva del Ministerio de Cultura Francés, toda una referencia a nivel continental.

Además, hubo un primer amago de creación de un observatorio dependiendo de la Comisión Europea hace algo más de 10 años, a partir del llamado Informe Ruffolo, redactado en 2001 y que señalaba que la unión Europea debía dotarse de una agencia de esta índole .

A partir de ese punto, con la participación de las redes culturales,, evoluciona el concepto que, finalmente recoge la Fundación Europea de la Cultura, con sede en Ámsterdam que pone en marcha un Laboratorio, fundamentalmente como una instancia de coordinación de iniciativas ya existentes.

Entre los otros proyectos a los que merece la pena hacer referencia está el denominado Eurocult 21 que, dentro del 5º Programa Marco Europeo de Investigación, a través de la red Eurocities y con participación de la red Encact y diversos municipios europeos abordó entre otros objetivos la creación de indicadores a través de talleres estatales. El correspondiente a España se celebró en octubre de 2004, y la conferencia final del proyecto tuvo lugar en Barcelona en Marzo de 2005.

Con la restauración del Ministerio de Cultura, tras las elecciones de 2004, se empezó a hablar de un posible observatorio cultural, vinculado a la Dirección General de Cooperación Cultural.

En noviembre de ese mismo año, el grupo socialista (PSOE) presenta y aprueba en el Congreso de los Diputados una proposición, no de ley, para el establecimiento de un sistema de información cultural.

Durante aproximadamente dos años desde la Dirección General de Cooperación Cultural se trabajó en la puesta en marcha de estos mecanismos de recogida de datos y reflexión. No obstante, el Ministerio se encontró ante una situación multipolar, a dos niveles:

Un primer nivel, especializado y por parte de agentes universitarios, independientes o del sector privado, en el que se encuentran Interarts (Barcelona), la Fundación Autor (SGAE-Sociedad General de Autores y Editores) (Madrid) o la Universidad de Deusto (Bilbao)

Un segundo nivel, los entes que habían trabajado desde un punto de vista territorial (Municipal, Autonómico), para lo cual estableció un convenio con la mencionada Federación Española de Municipios y Provincias (FEMP).

Sin especificar nunca muy bien cómo, la voluntad del Ministerio era articular todas estas iniciativas mediante dos instancias como eran:

  • El Servicio Estadístico del Ministerio de Cultura
  • La Conferencia Sectorial de Cultura (interautonómica)

Paralelamente, el Ministerio de Cultura estuvo realizando el Estudio sobre Hábitos y Consumo Culturales, apoyándose en la infraestructura de la Sociedad General de Autores y Editores (SGAE).

Por otro lado, internacionalmente y fuera del contexto europeo ha tenido mucha relevancia el Observatorio sobre la Diversidad Cultural, de Montreal, con un papel muy activo de cara a las discusiones que sobre ese asunto se celebraron en la UNESCO y que desembocaron en la Convención sobre la Diversidad Cultural.

La idea de creación de este Observatorio Red desde el Ministerio fue chocando con la complejidad del Estado Autonómico y sus diversas prioridades, así como la asimetría en el desarrollo de los distintos territorios.

Finalmente, con los cambios ministeriales que conllevaron la desaparición de la Dirección General de Cooperación Cultural y la puesta en marcha de una Dirección General de Industrias Culturales en su lugar, terminaron por aparcar ese proyecto.

Los observatorios, como uno de los posibles modelos para visualizar la función evaluadora de políticas culturales

Hay que señalar que uno de los ejes principales alrededor del cual debería articular su acción un observatorio de políticas culturales sería el de evaluar éstas, algo que no siempre es tenido en cuenta, al menos en el entorno geográfico en el que operamos habitualmente. La tradición evaluadora es escasa comparada con otros ámbitos de la acción pública: políticas medioambientales, cooperación al desarrollo, etc.

Quizá ello también pueda derivar de una perogrullada que, no por evidente, deja de tener sentido: Para poder evaluar las políticas hay que conocerlas primero y, para ello, antes habría que formularlas.

Según la profesora María Bustelo, la evaluación tiene la función, por un lado, de retroalimentar y mejorar la acción por otro, realizar un control de responsabilidades, y finalmente su comunicación. En sus propias palabras, improvement (la mejora), la accountability (la rendición de cuentas) y el enlightenment (la explicación pública).

También señala dicha autora que los procesos evaluadores deben tener cuatro niveles de análisis para ser completos:

  • Hallazgos empíricos: recogida de hechos, datos e información
  • Interpretaciones: Explicación sobre estos hechos y datos
  • Juicios: Valoraciones acerca de los hallazgos y sus interpretaciones.
  • Recomendaciones: sugerencias sobre posible líneas de acción

Como ya sabemos, los propósitos de la evaluación son facilitar el proceso de toma de decisiones, así como favorecer el aprendizaje organizativo. Frecuentemente se tiende a caer en lo que algunos han venido a denominar el espejismo tecnocrático, es decir la creencia que con poseer datos estadísticos tenemos resuelto el problema, sin elaborar conclusiones y reflexiones a partir de los mismos.

Algunas de las características principales de la evaluación de políticas culturales es que tienen un carácter político (las políticas y programas que evaluamos son resultado de decisiones políticas) y que dependen mucho del contexto, lo cual redunda en esa dificultad de lograr esa comparabilidad de la que ya hemos hablado.

Hemos de tener en cuenta algo importante para situarnos en su contexto apropiado, que no debemos confundir evaluación con investigación,. En un primer estadío, según mi forma de ver, se debe realizar una labor evaluadora antes que investigadora. Las diferencias principales entre ambos conceptos radican en el carácter de «aplicada» y «dirigida a la acción» que tiene la evaluación, frente al carácter «teórico» o «básico», que tiene la segunda.

Bibliografía

Agencia Española de Cooperación Internacional para el Desarrollo. Manual del sistema de programación operativa. Madrid: AECID, 2011.

Agencia Española de Cooperación Internacional para el Desarrollo. Cómo evaluar proyectos de cultura para el desarrollo: una aproximación metodológica a la construcción de indicadores. Madrid: AECID, D.L. 2009. 366 p. ISBN: 978-84-8347-098-5

BRUN, Javier. «La experiencia aragonesa de evaluación de proyectos escénicos». En: L´avaluació externa de proyectes culturals. Lluis Bonet i Agustí (coord.). [Barcelona] : DCMC, 2010. (Quaders de Cultura, n.3). ISBN 978-84-938519-0-3.

CARRASCO ARROYO, Salvador. «Medir la Cultura: una tarea inacabada» [en línea]. En: Periférica, n. 7, 2006, p. 140-168. ISSN 1577-1172. Disponible en: revistas.uca.es

CARRASCO ARROYO, Salvador. «Una aproximación a la creación de indicadores para la estrategia de cultura y desarrollo: metodología» [en línea]. En: Cómo evaluar proyectos de cultura para el desarrollo: una aproximación metodológica a la construcción de indicadores. Juana Escudero (coord.). Madrid: AECID, 2009, p. 27-61. ISBN: 978-84-8347-098-5. Disponible en: www.ccemx.org

Culture as a goal in the post-2015 development agenda [en línea]. Disponible en: www.agenda21culture.net

Cultural statistics [en línea]. European Comission; Michel Glaude; Jean Louis Mercy (dirs.); Marta Beck-Dom?alska (coord.). Luxembourg: Office for Official Publications of the European Communities, 2007. 185 p. ISBN 978-92-79-05547-8. Disponible en: epp.eurostat.ec.europa.eu

Guía para la evaluación de las políticas culturales locales [en línea]. Luis Ben Andrés [et al.]; Eduard Miralles y Veintimilla (dir.); Juana Escudero Méndez (coord.) . Madrid: Federación Española de Municipios y Provincias, 2009. 275 p. ISBN. 978-84-92494-00-2. Disponible en: www.femp.es

Indicadores estadísticos para políticas de arte [en línea]. International Federations of Arts Councils and Culture Agencies (IFACCA). Disponible en: www.ifacca.org

Introducción conceptual a la Gestión del Conocimiento [en línea]. Barcelona: Fundación Iberoamericana del Conocimiento. www.gestiondelconocimiento.com

Knowledge Management in Non-Governmental Organisations: A Partnership for the Future [en línea]. José Vasconcelos [et al.]. En: Proceedings of the 7th International Conference, Enterprise Information Systems ICEIS. (Miami. 2005). ISBN 978-8865-19-8. Disponible en: ssrn.com

MERCER, Colin. «From data to wisdom: building the knowledge base for cultural policy» [en línea]. En: Insight, n. 3, 2004. Disponible en: www.policiesforculture.org

PRESCHERN, Pamela. Hacia un enfoque de gestión por resultados en el sector público: la experiencia de Trinidad y Tobago [en línea]. Sofía Izquierdo (ed.); Cristina Costa (trad.). [s.l.]: Programa de las Naciones Unidas para el Desarrollo (PNUD); Centro Regional para América Latina y el Caribe, 2011, v. XI, 44 p. ISBN 978-9962-663-05-8. Disponible en: compartir.undp-regionalcentrelac.org

STEWART, Sue. Cultural Mapping Toolkit [en línea]. [s.l.]: 2010 Legacies now; Creative City Network of Canada, 2010. 88 p. Disponible en: www.creativecity.ca

The urban audit toward the benchmarking of quality of life in 58 European Cities. Volume I: the Yearbook [en línea]. Marcello Roma; Mireille Grubert (coord.). Luxemburgo: Office for Official Publications of the European Communities, 2000. ISBN 92-828-9241-7. 174 p. Disponible en:ec.europa.eu

UNESCO. Culture for Development Indicators (CDIS) [en línea]. Disponible en: www.unesco.org

UNESCO. The 2009 UNESCO framework for cultural statistics (FCS) [en línea]. Montreal: UNESCO Institute for Statistics, 2009. 98 p. ISBN 978-92-9189-075-0. Disponible en: www.uis.unesco.org

WENGER, Etienne. Comunidades de práctica: aprendizaje, significado e identidad. Genís Sánchez Barberán (trad.). Barcelona: Paidós Ibérica, [2001]. 348 p. ISBN 84-493-1111-X.