Kushner, Saville. (2002). Personalizar la evaluación. Reseñado por Eva Espido Bello

	Kushner, Saville. (2002). Personalizar la evaluación. Madrid: Morata-Fundación Paideia Galiza. Pp. 231 Precio sin IVA: 17,88 euros     ISBN 84-7112-472-6 Reseñado por Eva Espido Bello Universidad de A Coruña 17 de febrero de 2003 Resumen de la reseña El libro Personalizar la evaluación se centra en la evaluación de programas. Propone que en lugar de documentar el programa e interpretar la vida de los individuos en ese contexto, documentemos la vida y el trabajo de las personas de modo que nos permitan conocer el significado que tienen para ellas los programas. En el libro, Saville Kushner nos muestra cómo comprender y documentar la complejidad de un programa y las conexiones entre éste, la organización que lo hace posible y la institución o instituciones en las que se desarrolla. Su propuesta entra dentro de la evaluación con estudio de caso, principalmente del modelo de evaluación democrática de Barry MacDonald. Entiende que la metodología naturalista es un constructo personal, emergente y toma como referencia el campo de la educación musical para ejemplificar cómo la construye. El pensar y actuar metodológicamente implica entender la evaluación como una actividad ética y política, pues las opciones metodológicas están impregnadas de decisiones políticas. En ese proceso, como evaluadoras y evaluadores tenemos que tomar decisiones acerca de a quién le damos voz en los informes, cual es nuestro papel en la evaluación, que estrategias de negociación empleamos para el acceso y para la difusión de la información, que tipo de información recabamos y a través de que medios, como documentamos la complejidad de los programas, etc. Personalizar la evaluación implica preocuparse más de lo que habitualmente lo hacemos por las personas, tanto por las evaluadas como por la de quien evalúa, buscando su autonomía intelectual. Estas son algunas de las ideas en las que Saville Kushner insiste en el libro. Personalizar la evaluación En este libro, Saville Kushner nos invita a interactuar con su forma personal e idiosincrásica de entender y hacer evaluación. Le parece necesario que la evaluación de programas se preocupe más por las personas de lo que lo hace, de ahí su interés por personalizar la evaluación. Para ello, da voz a las personas vinculadas a los programas, elabora retratos de la situación educativa y los presenta para que las lectoras y lectores hagan sus propios juicios. Su propósito es reducir la dependencia de las lectoras y lectores del análisis que hace de la situación quien evalúa para incluirlos en el análisis. Con ello pretende aumentar la confianza del lector en el evaluador como retratista de acontecimientos y personas, pero reducir la confianza en él como juez de la significación de esos retratos. Este principio de procedimiento lo emplea también en el libro de tal modo que, a través de su discurso, consigue crear un espacio crítico que nos incita a emitir nuestro propio juicio a partir de las cuñas que establece entre descripción y juicio y a partir de nuestra propia experiencia. Su posición, tanto al dar voz a las personas vinculadas a los programas – especialmente a los que participan en su desarrollo- como al evitar que sus juicios prevalezcan frente a los juicios de otras personas, es coherente con el primer supuesto del que parte en el libro, que dice que medir un programa con respecto a sus objetivos o en relación a un conjunto de indicadores impuesto externamente es un ejercicio carente en sí mismo de significado, pues esos objetivos e indicadores se relacionan de maneras muy diferentes con la vida de las personas vinculadas a los programas. Lo que Saville Kushner nos ofrece en el libro no es un modelo –su propuesta constituye un desafío a los modelos, ya que limitan la autonomía intelectual- de cómo hacer evaluación de programas sino, un relato personal en el que pone al descubierto la confusión, complejidad y contradicciones a las que, a menudo, tiene que enfrentarse la persona que evalúa. Lo que propone entra dentro de la rúbrica de evaluación con estudio de caso, principalmente del modelo de evaluación democrática de Barry MacDonald. En el libro nos habla de la importancia que tuvieron durante las décadas de 1970 y 1980 los seminarios que se celebraron en la Universidad de Cambridge, Inglaterra, en los que participaron evaluadores tanto del Reino Unido como de Estados Unidos que empleaban metodologías sensibles a la situación –en palabras de Michael Quinn Patton- o acordes con enfoques pluralistas –según la denominación Ernest House. Helen Simons, participante en estos seminarios y una de las personas que documentó el surgimiento del estudio de caso, da cuenta de los pasos que fueron dando en estos seminarios con el propósito de crear un movimiento y unos principios de procedimiento consensuados que orientasen el quehacer de los evaluadores y evaluadoras que compartían los valores de estas nuevas formas de entender y hacer evaluación. Saville Kushner resalta la importancia que tuvo ese “colegio invisible” y algunas publicaciones como las de Parlett y Hamilton (1977) sobre “evaluación iluminativa”, las que emanaron del Centre for Applied Research in Education (CARE) (MacDonald y Walker, 1974; Norris, 1985) o un artículo de Barry MacDonald de 1987 centrado en el modelo que él generó, denominado Evaluación democrática. Los conceptos más relevantes de este modelo son la negociación, la confidencialidad y la accesibilidad; el concepto justificativo clave es el derecho a saber. Saville Kushner se formó en esa comunidad de evaluadores y profesionales prácticos en investigación aplicada y en ella desarrolló parte de sus pensamientos. Aunque su experiencia de evaluación abarca diversos campos, para el desarrollo del contenido del libro se apoya en las experiencias de evaluación correspondientes a tres programas innovadores de educación musical. Dos de esas evaluaciones fueron realizadas por él y la tercera por su amigo y colega Richard Davies. El campo elegido es fundamentalmente un recurso para hablar de evaluación más que constituir el centro de su estudio. Lo elige por las oportunidades que ofrece para comprender el reto y las tensiones a las que se enfrentan las personas que participan en estos programas innovadores de educación musical al tiempo que se forman en contextos institucionales en los que la tradición tiene mucho peso. Otra de las razones que explican su elección quizá obedezca a la satisfacción que le ha producido realizar estas evaluaciones y a la incidencia que han tenido en la creación de su identidad como evaluador. Recurre a un campo específico para ejemplificar cómo construye la metodología en cada evaluación, pues entiende que varía según la situación. Actuar metodológicamente exige hacer un esfuerzo por combinar la justicia con la autonomía intelectual. Saville Kushner dice que existe una falta de autenticidad cuando se evalúan programas sociales, pues, a menudo, se evitan preguntas que tienen que ver con la justicia social y el contrato democrático. La evaluación de un programa está profundamente impregnada de asuntos relacionados con la justicia, pues, por una parte, un programa expone las condiciones y valores por los que se rige el acceso a los bienes sociales y la evaluación las debe hacer visibles y, por otra, las personas que evalúan pueden ayudar a los individuos a darse cuenta de sus posibilidades y de sus aspiraciones, descubriendo posibles injusticias. Sugiere emplear principios de procedimiento distributivos para compensar las voces marginales y corregir los sesgos que, desde siempre, tendieron a representar las voces de los poderosos. A la hora de proporcionar información, admite que quienes toman decisiones constituyen una audiencia legítima para aprender de la evaluación, pero sus necesidades no pueden tener prioridad sobre las de otros. Es consciente de que la evaluación tiene que servir a un propósito instrumental y esencialmente económico pero considera que también tiene que facilitar la comprensión humanística. Y, como piensa que ya se ha generado mucho conocimiento acerca de cómo apoyar las decisiones administrativas y juzgar la productividad de los programas, pero poca sobre cómo hacer frente a las complejidades y demandas derivadas de las experiencias de las personas destinatarias de los mismos, opta por acercarse a los programas a través de la experiencia de los individuos inmersos en ellos antes que a través de la retórica de los patrocinadores y directores. En su opinión, mantener cierto distanciamiento con patrocinadores y directores no significa subvertir los contratos de evaluación. No existe el riesgo de que la persona que evalúa deje de cumplir con sus obligaciones contractuales de informar sobre los programas y sus efectos, pero centrarse en ellos puede llevarles a perder el contacto con las personas y el pluralismo. Por eso sostiene con tanta fuerza la necesidad de dirigirse a la persona en el programa. La persona que evalúa tiene que tomar una decisión acerca de la distancia que mantendrá en relación con la definición oficial de un programa y con los objetivos que este pretende lograr. Esa distancia será la que permite examinar el valor educativo de los programas para las personas que participan en ellos. Entiende que la evaluación de programas educativos es un instrumento educativo en sí mismo, y eso exige generar datos diversos, ordenarlos y ponerlos a disposición de las personas vinculadas a los programas para que puedan valorar ese recurso y llegar ellas mismas a un juicio autónomo. La defensa de la autonomía intelectual le lleva a distanciarse del papel de “conocedor”, es decir, de persona con mirada experta y perspicacia informada. Para Saville Kushner la evaluación no tiene una clara intención pedagógica. El rol del evaluador sería el de actuar de conducto para las opiniones y los juicios de otros. Reconoce lo difícil que resulta separar la descripción del juicio, pero ve esto como un principio de procedimiento para permitir crear un espacio en el que el lector o lectora elaboren sus propios juicios. En su opinión, un enfoque educativo requiere dirigirse de manera directa al yo y a la cultura reconociendo el esfuerzo por la independencia y la autonomía. La autoridad pedagógica puede ser un ingrediente esencial para la formación como aprendiz, pero crea dependencia. Esa búsqueda de autonomía intelectual nos sitúa ante una contradicción esencial: necesitamos conocer la teoría existente en relación con el tema de estudio para comprenderlo de forma adecuada y, al mismo tiempo, necesitamos innovar. Esta tensión entre lo institucionalizado y el cambio, entre la necesidad de construir sobre lo ya construido y a la vez innovar está presente en su análisis tanto cuando reflexiona sobre como tiene lugar el proceso de formación musical como cuando hace referencia a la formación necesaria para evaluar e investigar. La formación exige adquirir los conocimientos, destrezas, valores existentes, por tanto favorece la reproducción; mientras que la educación debe perseguir la autonomía intelectual, por tanto exige alejarse de modelos y tratar de buscar la propia identidad. Pero, ¿dónde termina la formación y comienza la educación? Se nos muestra aquí la tensión entre la reproducción y la creación. La evaluación con estudio de caso está diseñada para generar teoría a partir de los contextos en los que las personas viven y trabajan, para tomar parte en la producción de teoría en colaboración con los investigados. Requiere de la persona que evalúa que sea creativa respondiendo a la singularidad de lo que observa y, al mismo tiempo, que sea capaz de comparar y contrastar con acontecimientos anteriores para identificar lo menos específico. Para Saville Kushner, la metodología naturalista es un constructo personal, es emergente, es más una reflexión sobre lo que sucedió que una receta para la acción; refleja las condiciones de uso y se define por el contexto en el que se aplica y experimenta. La construye el individuo dada su propia biografía y las condiciones en las que investiga. Refleja en buena medida nuestro pensamiento, por tanto, constituye un elemento para pensarnos a nosotros mismos como metodólogos. Mantiene que la experiencia que uno adquiere a través de la realización de evaluaciones nos lleva a reconocer un aspecto de uniformidad en todas ellas y otro de idiosincrasia en cada una. La uniformidad la aportan los valores que adquirimos en distintos contextos y situaciones en las que tomamos parte, la idiosincrasia la ofrece nuestra disposición a responder a las características del campo en el que estamos realizando la evaluación. En sucesivas experiencias de evaluación se descubrió a sí mismo realizando entrevistas en su trabajo de campo y piensa que esta decisión obedece a sus gustos y a su esquema de valores que dice que la voz individual del disentimiento es un potente reto para las formas de autoridad. La entrevista es un recurso para contrarrestar el autoritarismo. Frente a instrumentos de recogida de información que tienden a homogeneizar lo diferente, la entrevista permite generar la voz del disentimiento. A través de ella personalizamos. En el libro expone algunos de los problemas con los que se encuentra al emplear la entrevista con niños y niñas pequeñas. Por lo dicho hasta aquí, pensar metodológicamente implica entender la evaluación como una actividad ética y política. Las opciones metodológicas están impregnadas de decisiones políticas. En este sentido, sugiere privilegiar las voces individuales frente a las institucionales, las de los que están obligados a recibir significados de los programas (los menos poderosos) sobre las de los que dan significado a los mismos, hacer frente a la universalidad incidiendo en las necesidades y diferencias individuales y en la pluralidad de significados que los programas tienen para las personas, favorecer que las personas se den cuenta de sus posibilidades y aspiraciones. Propone que, en lugar de documentar el programa e interpretar la vida de los individuos en ese contexto, documentemos la vida y el trabajo de las personas de modo que nos permitan conocer el significado que tienen los programas para ellas. El objetivo no es llegar a una declaración precisa de la vida y los valores de las personas, sino recordarnos a nosotros mismos que hay muchos mundos de significado dentro de los que juzgar la relevancia y utilidad de los programas. A la persona que evalúa le preocupa ir más allá con esos datos, le interesa ver cómo emplearlos para producir cambios organizativos. Le interesan los individuos en sus contextos institucionales y políticos y trata de plasmar la tensión entre el individualismo y el colectivismo, entre la acción y el contexto. Por tanto, para comprender un programa no se pueden hacer análisis discretos de forma separada. Es preciso plasmar las acciones y formas de pensar de las personas en distintos contextos y momentos, contrastar lo que dicen unas personas con lo que dicen otras, para conseguir un significado más auténtico del valor del programa y de lo que significa la innovación. Aunque los relatos nos hablan de la vida de las personas, de sus ilusiones, sus preocupaciones, de los dilemas a los que se enfrentan diariamente, a través de ellos podemos comprender las formas de organización y las características de las instituciones de las que forman parte. En los primeros capítulos del libro, Saville Kushner sitúa el foco de atención en las personas, especialmente en las destinatarias de los programas y en la de quien evalúa. Esto es coherente con su manera de entender la relación entre las personas y los programas, situando en primer plano las personas y sus vivencias para comprender luego el carácter innovador de los programas. Una vez hecho esto, sitúa la innovación en su entorno institucional examinando los solapamientos y discontinuidades entre la innovación y la cultura de la institución que la acoge. Le interesa ahora mostrarnos las luchas y conflictos, derivados de valores contradictorios – los institucionalizados frente a los promovidos por la innovación- que tenían que afrontar las personas vinculadas a estos programas innovadores de educación musical. Entiende que son esas luchas las que merece la pena narrar para comprender el cambio. En el libro emplea una estrategia que podríamos asimilar al encuadre fotográfico pero con fragmentos de relatos. Así, primero sitúa a las personas en un primer plano y ofrece información que nos permite comprender el significado que tiene para cada una de esas personas el programa y, posteriormente, nos amplia el encuadre complementando aquella información de modo que podamos vincular la persona, el programa, las formas de organización que hacen posible su desarrollo y los contextos institucionales en los que se desenvuelven. Los programas innovadores de educación musical a los que se alude en el libro se desarrollaban en diferentes contextos y, el moverse entre ellos, ayudaba a exponer las contradicciones con las que vivían las personas. Le parece importante que la persona que evalúa documente cómo viven las personas el paso de un contexto a otro, pues esa información permite comprender el cambio ya que, en esas transiciones, hay una visión compleja de él. La evaluación tiene que adoptar metodologías culturales que permitan entender la tensión entre el individuo y el colectivo. Resaltar el significado de la experiencia individual en los debates en los que se definen las políticas de acción social constituye una forma de acción política en nuestra actuación en la evaluación. Personalizar la evaluación significa ofrecerla como un servicio para la expresión de ideas individuales y colectivas sobre la cultura, es decir, como una plataforma para el diálogo, como un espacio en donde lo que es de valor no debe darse por supuesto sino que tiene que ser debatido. A lo largo del libro el autor consigue situarnos ante la complejidad de medir y representar el significado de los programas y nos da pistas de cómo hacerlo si optamos por documentar esa complejidad. Pero, a la vez, nos reta a que busquemos nuestra propia voz como evaluadoras y evaluadores. Referencias MacDonald, B. (1987). Evaluation and the control of education, en R. Murphy y H. Torrance (eds.), Issues and Methods in Evaluation. Londres, Paul Chapman, 36-48. (Trad. cast.: “La evaluación y el control de la educación” en J. Gimeno Sacristán y A. Pérez Gómez (comps), La enseñanza: su teoría y su práctica, Madrid, Akal, 3ª edición, 1989, 467-478). MacDonald, B. y Walker, R. (1974). SAFARI One: Innovation, Evaluation, Research and the Problem of Control. CARE, University of East Anglia, Norwich. Norris, N. (1985), SAFARI Two: Theory in Practice. CARE Occasional Publications Nº 4, CARE, University of East Anglia, Norwich. Parlett, M. y Hamilton, D. (1977). Evaluation as illumination: a new approach to the study of innovatory programes, en D.Hamilton, D. Jenkins, C. King, B. MacDonald and M. Parlett (eds.), Beyond the Numbers Game: a Reader in Educational Evaluation. Londres, Macmillan, págs. 6-22. (Trad. Cast.: “La evaluación como iluminación” en J. Gimeno Sacristán y A. Pérez Gómez (comps.), La enseñanza: su teoría y su práctica, Madrid, Akal, 3ª edición, 1989 450-466). Sobre el autor del libro Saville Kushner es Director del Centro para la Investigación en Educación y Democracia en la University of the West of England. Se formó en una comunidad crítica de profesionales prácticos en investigación aplicada y evaluación del Reino Unido y de los Estados Unidos, parte de los cuales trabajaron en el Centre for Applied Research in Education (CARE). En sus más de veinte años de experiencia en evaluación ha publicado numerosos libros y artículos sobre teoría y práctica de evaluación de programas, curriculum y evaluación con estudio de caso. Su experiencia de evaluación abarca diversos campos y contextos ya que ha realizado evaluación de programas en educación superior, curriculum escolar, política de educación bilingüe, desarrollo de tecnología de la información, formación policial o educación musical, entre otros. Sobre la autora de la reseña Eva Espido Bello Profesora asociada del Departamento de Pedagogía y Didáctica de las Ciencias Experimentales, Facultad de Ciencias de la Educación, Universidad de A Coruña. Email: evaesp@udc.es Áreas de interés: Evaluación de instituciones educativas, investigación-acción y desarrollo profesional. Reseñas Educativas/ Resenhas Educativas publica reseñas de libros sobre educación, cubriendo tanto trabajos académicos como practicas educativas. Todas las informaciones son evaluadas por los editores: Editor para Español y Portugués Gustavo E. Fischman Arizona State University Editor General (inglés) Gene V Glass Arizona State University Reseñas Educativas es firmante de la Budapest Open Access Initiative.