Entrada 1: Evaluación en ciencia y la tecnología: de la calidad científica a la relevancia social

 

El problema de la asignación de valor a los conocimientos científicos ha sido una cuestión siempre presente a partir de la primera institucionalización de las comunidades científicas en el siglo XVII. Ya entonces, la Royal Society debió desarrollar metodologías y criterios que le permitieran seleccionar los trabajos científicos que serían publicados y establecer un orden de prelación entre ellos. Los primeros sociólogos de la ciencia, como Robert Merton (1984), Joseph Ben David  (1974) y Derek de Solla Price (1973) describieron los mecanismos por los cuales la comunidad científica se autorregula mediante la asignación y reconocimiento de valor a la actividad de sus miembros y a los resultados de su trabajo.

1. Evaluación: complejidad y cultura

Una dimensión estrictamente científica o académica del proceso de evaluación remite casi exclusivamente a los criterios de calidad y relevancia teórica de los resultados de la investigación, razón por la cual serían los propios investigadores quienes estarían habilitados legítimamente para evaluar. Sin embargo, a partir de la atención prestada a la ciencia por los gobiernos y las empresas (proceso que se produjo a una escala inédita en la segunda guerra mundial y luego en la guerra fría) otras finalidades propias de la lógica de los intereses políticos, económicos y sociales han tornado más complejo el proceso de evaluación, introduciendo en él nuevos criterios y actores. Las decisiones relativas a las líneas de investigación que han de ser financiadas y desarrolladas, así como los campos del conocimiento que serán explorados tienen ahora que ver, no solamente con el valor científico estricto, sino también con otras dimensiones como la pertinencia, la relevancia social o la correspondencia con un sistema de prioridades políticas. En el campo de la investigación orientada al desarrollo (I+D), así como en el de la tecnología, los criterios de utilidad y eficiencia ocupan un lugar central en el proceso evaluador. Estos rasgos han convertido a la evaluación en un núcleo muy importante de la toma de decisiones y la gestión de la ciencia y tecnología, por cuanto orientan la inversión y el rumbo de las políticas públicas referidas a estos temas, pero es al mismo tiempo un procedimiento muy complejo por la diversidad de criterios y de roles que pueden entrar en juego.

Actualmente la evaluación de las personas, las instituciones y las actividades científicas y tecnológicas, del mismo modo que la evaluación de las instituciones de educación superior está en el centro de un debate que ha adquirido ciertos ribetes de teoría política, dado que se redefinen roles tradicionales del Estado y de otros actores sociales. Hay quienes ven en estas tendencias el surgimiento de una nueva ética, asociada al desarrollo de la calidad, la eficiencia y la transparencia en el desempeño institucional (Gibbons et al. 1997). Desde esta perspectiva, la solidez de un sistema de evaluación depende en gran medida de que exista en la sociedad, de forma generalizada, una cultura de la evaluación y rendición de cuentas.

Como he dicho, estos rasgos confieren complejidad a la práctica de la evaluación, ya que por un lado debe tener en cuenta la finalidad de garantizar determinadas normas y valores académicos, permitiendo así lograr nuevos conocimientos en los diferentes campos de la ciencia y por otro lado ha de orientarse a asegurar resultados satisfactorios acordes a la inversión realizada. El propósito, en este último caso, es racionalizar la aplicación de recursos que de por sí son escasos, como expresión de la responsabilidad pública de las instituciones en el cumplimiento de sus objetivos. Por ello, los fines de la evaluación suelen expresar el propósito de mejorar los programas y los desempeños institucionales facilitando, entre otros aspectos, las decisiones relativas al financiamiento de actividades y proyectos.

En este escenario en el que prevalece la diversidad, un sistema eficaz de evaluación debe combinar el examen de la capacidad del investigador y de su grupo, la aptitud institucional para lograr las metas propuestas, el funcionamiento efectivo de la organización y la medida en que se satisfacen ciertos estándares definidos por la propia comunidad científica relativos a la calidad de las investigaciones y la formación de posgrado. Debido a esta multiplicidad de propósitos, es muy recomendable que los fines de la evaluación sean previamente consensuados entre los usuarios, los evaluadores y los evaluados, como condición básica para lograr legitimidad social.

La importancia adquirida por la evaluación se deriva tanto de sus finalidades explícitas, como de otras implícitas. Algunas de las más importantes finalidades explícitas son las de otorgar financiamiento, acreditar grupos, apoyar la evaluación institucional global, determinar capacidades o identificar vacancias. Las finalidades implícitas, por su parte, tienen que ver con la consolidación de la comunidad científica y la puesta en práctica de su sistema de valores, roles y reconocimientos internos.

La naturaleza fluida de estos procesos ha forzado también la necesidad de reconceptualizar el modo en que los conocimientos son creados, atesorados, difundidos y aplicados. El clásico “modelo lineal” concebido como un gradiente entre la investigación básica y el desarrollo tecnológico se encuentra hoy cuestionado, lo mismo que el propio concepto de “ciencia” y, consiguientemente, el perfil de quienes crean los conocimientos, los difunden y transfieren sus resultados a las empresas y otros usuarios. De una estilización de la comunidad científica entendida como “república de la ciencia” (Polanyi, 2014) se ha mudado actualmente a conceptos y definiciones más abiertos, en los que queda involucrada una diversidad de protagonistas. Esta tendencia también enfatiza la evaluación de resultados mediante procedimientos en los que no solamente intervienen investigadores, lo que es visto por algunos sectores de la comunidad científica como una pérdida de control que puede abrir las puertas a la mediocridad. Aducen que con el argumento del interés económico y social se induciría la aprobación de proyectos de investigación de escaso mérito científico.

Desde hace algo más de una década la innovación ha ocupado el centro de las políticas orientadas a impulsar las transformaciones económicas y sociales sobre la base de insumos cognitivos. La teoría de la innovación –especialmente en su desarrollo más reciente hacia la teoría de los sistemas sociales de innovación- plantea desafíos, no sólo en lo referido a la educación, sino también en lo que respecta a la creación de nuevos conocimientos aplicados por parte de las empresas. Ello dibuja un escenario en el que tanto los centros de investigación como las propias universidades deben desempeñar un papel dotado de gran protagonismo, lo que implica necesariamente que asuman responsabilidades nuevas, desarrollen capacidades originales y se involucren de un modo diferente al de épocas anteriores en el tejido social.

Algunos de los cambios que más recientemente se están produciendo en las formas organizativas de la investigación científica y tecnológica son explicados por algunos autores como el tránsito hacia un nuevo modo de producción de conocimiento que estaría ocurriendo a escala mundial; esto es, un nuevo formato de investigación, con nuevos criterios y perfiles intervinientes. Esta tendencia evolucionaría hacia la práctica de la investigación “transdisciplinaria”, cuya característica consiste en privilegiar el problema a resolver como principio organizador del conocimiento (Gibbons et al. 1997).

En el modo tradicional –se ha señalado- predominaban la organización disciplinaria del conocimiento, la autonomía en el ejercicio de la actividad académica y la orientación fundamentalmente básica de la investigación, alejada de consideraciones prácticas o económicas relativas a la utilidad o aplicabilidad del conocimiento. El nuevo modo de producción del conocimiento se caracterizaría, en cambio, por los siguientes rasgos: se trata de conocimiento producido a partir del contexto de aplicación, tiene carácter transdisciplinario, presupone una gran heterogeneidad organizacional y requiere un sistema de amplia base social para el control de la calidad.

En el marco de la evolución hacia un estilo que involucra múltiples dimensiones y actores, el proceso de evaluación se ve afectado radicalmente. En efecto, debe ahora contemplar esta multiplicidad, tomando en consideración ya no solamente la calidad del conocimiento en sí, sino también su relevancia social y la intervención de otros actores con diversidad de miradas e intereses. Tradicionalmente, se estimaba la capacidad científica de una institución –en este caso, la universidad- en función de su acervo de conocimientos, su posición relativa a la frontera de las disciplinas y el nivel científico de sus investigadores. Hoy se toma en cuenta, además de todo ello, el modo de inclusión en estructuras sociales más amplias y complejas, así como su vinculación con empresas, otras organizaciones de la sociedad y las diferentes instituciones de la administración pública.

En este contexto, los enfoques actuales de evaluación en ciencia y tecnología deben tomar en cuenta muy especialmente los procesos de decisión que conducen a la apertura de campos, líneas y proyectos de investigación, ya que tales procesos ponen de manifiesto la tendencia preponderante hacia uno u otro de los “modos de producción del conocimiento”. De acuerdo con esto, el método de evaluación tradicional, basado en el juicio de los pares, está siendo revisado en los sistemas de evaluación de la I+D de los países más avanzados, tendiendo a la inclusión de los “no pares” en el proceso y a la utilización de tecnologías avanzadas que hoy incluyen, aunque en forma todavía incipiente, a la inteligencia artificial.

2. El proceso de evaluación

La organización de los procesos de evaluación ha exigido implementar procedimientos sustentados en diversos criterios que reflejan la tensión entre las dimensiones vinculadas con la autorregulación de la comunidad científica y las más utilitarias que prevalecen en la mirada de los gobiernos o los actores económicos. En algunos casos, los procedimientos están basados en el juicio de pares académicos y, en otros, en la participación de miembros de diversos sectores, así como en la aplicación de criterios desarrollados conforme a propósitos institucionales. Asimismo, es frecuente impulsar procedimientos de autoevaluación, complementarios de las evaluaciones externas.

A partir de la década de los setenta se fueron desarrollando criterios homogeneizados a nivel internacional para evaluar la productividad en el trabajo científico; muchos de estos parámetros surgieron vinculados al caso de la física y se fueron generalizando a todas las áreas de investigación. La crítica fundamental a estos criterios se basa en que los mismos no siempre reconocen las diferentes tradiciones disciplinares, ni las diversas formas de tratamiento de los objetos de estudio, así como de los mecanismos de difusión de los conocimientos y la vinculación con el medio socioeconómico de las disciplinas humanísticas, sociales, naturales y tecnológicas. Fundamentalmente, las tendencias se orientan por un lado a las evaluaciones cualitativas y por otro lado a las cuantitativas, que con el correr del tiempo han ido ganando importancia. Entre las cualitativas el método por excelencia es el juicio de pares. Entre las cuantitativas son destacables los indicadores bibliométricos o, más genéricamente, la “cienciometría”.

El juicio de pares (peer review) consiste en la evaluación crítica de proyectos, políticas o manuscritos realizada por expertos independientes del mismo campo de conocimiento. La OCDE lo utiliza en dos niveles estratégicos diferenciados:

·   nivel de políticas públicas: la organización evalúa los sistemas nacionales de ciencia y tecnología de los países miembros a través de comités compuestos por delegados de otros gobiernos;

·  nivel de investigación científica: es el filtro de calidad aplicado por las agencias de financiamiento y revistas científicas para validar el conocimiento académico. Sus modalidades principales incluyen “simple ciego” (el revisor conoce la identidad del autor, pero el autor no sabe quién lo evalúa), “doble ciego” (se ocultan recíprocamente las identidades del autor y del revisor para evitar prejuicios) y revisión abierta (open peer review). Las identidades y los informes de evaluación son de acceso público para maximizar la transparencia del proceso.

     La cienciometría o, más específicamente, la bibliometría es un elemento auxiliar en la evaluación constituida por la aplicación de indicadores de producción, productividad e impacto de las publicaciones, teniendo en cuenta la participación en revistas internacionales de prestigio con referato. Esta alternativa se ha expandido en los últimos años, pero también ha generado rechazos, como se verá más adelante.

En el proceso de evaluación de actividades de ciencia y tecnología hay varios aspectos a considerar; entre ellos, el campo de la evaluación, los criterios en los que se apoya y la organización mediante la cual se lleva a cabo. Estos aspectos son interdependientes. A ellos es posible agregar un quinto aspecto, al que se podría denominar aspecto “contextual”, en el que se incluyen aquellos elementos de tipo social e institucional que inciden tanto en el proceso de I+D como en su evaluación. El “campo de la evaluación” predetermina a los demás y remite a la idea de que los criterios aplicados y los métodos a utilizar difieren según el tipo de investigación de que se trate, el objeto o unidad de análisis y el momento del proceso de investigación en que se produce el acto evaluador.

Por “tipo de investigación” se entiende la distinción tradicional entre la investigación básica, la investigación aplicada y el desarrollo experimental, agrupados habitualmente en la expresión “investigación y desarrollo” (I+D). Una definición standard de cada uno de ellos está contenida -como se verá en detalle más adelante- en el manual de Frascati, de la OCDE (2015). A estos tipos se les suele agregar el de “investigación estratégica”, que remite investigaciones que tienen el formato de la básica, pero apuntan hacia un objetivo de aplicación a medio y largo plazo. La investigación universitaria puede constituir un tipo propio cuando se trata de investigación de apoyo a la docencia y en tal caso los parámetros que se aplican para su evaluación son específicos.

Cada uno de estos tipos de I+D tiene propósitos distintos; también tiene una “cultura” propia y concierne a actores diferentes. La evaluación de la I+D debe tomar en cuenta a todos ellos, lo que genera cierta dificultad cuando se trata de evaluar programas complejos, ya que ellos suelen contener una amalgama de tipos de investigación. Cabe señalar además que en la configuración del tipo de investigación incide también la disciplina de que se trate, ya sea que pertenezca al campo de las ciencias exactas, las ciencias sociales, las humanidades o el desarrollo experimental de tipo ingenieril. Las herramientas de la evaluación varían también según un tipo u otro de disciplina.

La práctica de las instituciones gestoras de actividades científicas y tecnológicas establece que tanto los programas de investigación básica como aplicada deben ser evaluados regularmente. Un informe sobre los procesos de evaluación realizado por las academias nacionales de ciencia e ingeniería de los Estados Unidos señalaba que en el caso de la investigación aplicada los resultados prácticos pueden ser documentados y los progresos realizados pueden ser medidos concretamente en forma anual. Sin embargo, los resultados prácticos de la investigación básica no pueden ser identificados mientras la investigación está en progreso, por lo que se deben buscar los caminos que permitan medir la calidad de la investigación (National Academy of Sciences, 1999).

En la búsqueda de un modelo analítico más flexible que el del Manual Frascati, se ha sugerido la distinción entre investigación disciplinaria, investigación transversal e investigación instrumental. La primera está enmarcada en las preocupaciones específicas de cada disciplina. La segunda es la que se encuentra en el tránsito de construcción de un nuevo campo de conocimiento mediante la interacción de más de una disciplina, como la bioquímica en su momento, la biología molecular, algunos campos nuevos de las neurociencias que combinan psicología cognitiva, biología molecular y genética, entre otros. La constitución de un nuevo campo supone procesos de cambio de paradigma, intereses cognitivos opuestos, estrategias de “subversión” más que de acatamiento a paradigmas vigentes, o encuadramiento en las líneas y temas predominantes. La investigación instrumental se corresponde con el denominado “nuevo modo” de producción de conocimiento científico orientado por finalidades prácticas.

La evaluación en cada uno de estos modelos debe ser resuelta de un modo diferente. Un ejemplo de esto puede ser el de los comienzos de la biología molecular, cuando la mayoría de los miembros del campo bioquímico consideraban a aquélla solamente como un conjunto de técnicas novedosas para tratar problemas y objetos definidos, más que como un nuevo campo, con sus propios objetos y problemas. En un proceso de evaluación esta distinción podía implicar la diferencia entre proyectos “con relevancia” o “sin relevancia” científica. La evaluación de la investigación instrumental supone una complejidad cognitiva quizá menor al tipo anterior, pero una complejidad valorativa y social mayor. Desde el punto de vista cognitivo admite la combinación “sumatoria” de perspectivas disciplinares en la evaluación de calidad. Pero se agregan otros valores sobre el producto del conocimiento, tales como la utilidad social, el riesgo e incertidumbre, la oportunidad política y la rentabilidad económica (individual y social).

El concepto de “ciencia posnormal” desarrollado por Silvio Funtowicz y Jerome Ravetz en los años 90 trataba de dar respuesta a ciertas crisis contemporáneas, como el cambio climático o las pandemias, en las que la ciencia tradicional se queda corta por la incertidumbre y porque la urgencia de actuar supera la velocidad de los laboratorios. Para entender cómo evalúan los riesgos, los autores crearon un marco bidimensional basado en dos variables: la incertidumbre de los sistemas y la urgencia de la decisión (los intereses en juego). Dependiendo del nivel de estas variables, la ciencia y su evaluación se dividen en tres zonas: ciencia básica o aplicada, consultoría profesional y ciencia posnormal. La evaluación de esta última zona ya no queda solo en manos de científicos expertos (revisión por pares tradicional), sino que se abre de forma obligatoria a ciudadanos afectados, ONG y periodistas, entre otros actores.

La determinación del objeto o unidad de análisis en el proceso de evaluación es un aspecto fundamental, ya que los métodos varían si se trata de evaluar investigadores aislados o grupos. También difieren los procedimientos en relación con su grado de complejidad o si la evaluación se refiere a proyectos, disciplinas o dominios completos del conocimiento. La evaluación de las propias instituciones científicas constituye asimismo un caso aparte, ya que en su desarrollo es preciso tener en cuenta criterios relativos a la calidad de la I+D junto a criterios de racionalidad organizativa. Otro caso especial es el de la evaluación de programas cuya ejecución corresponde a numerosas instituciones, especialmente si algunas de ellas no pertenecen o lo hacen sólo tangencialmente al ámbito de la ciencia y la tecnología. La literatura que da cuenta de las experiencias de evaluación enfatiza la necesidad de distinguir en forma muy precisa estos niveles y destaca la utilidad de métodos que ayuden a definir la unidad de análisis. Un enfoque temprano en América Latina distinguía entre los niveles de la propia unidad de I+D, las líneas de investigación y los proyectos (Aráoz y Kamentsky, 1975).

 ¿Los métodos de evaluación difieren también con relación al momento del proceso de I+D sobre el que se aplican. El caso más generalizado es el de la evaluación ex ante, que se realiza en forma previa a la decisión acerca de la eventual aprobación de la actividad y de su financiamiento. La evaluación ex ante está además ligada a las políticas y a las prioridades establecidas. La evaluación que se realiza durante el desarrollo del proceso de I+D suele ser denominada como “intermedia” y generalmente está vinculada con las etapas previstas en los proyectos. Esta evaluación es interactiva con la programación y no debe ser confundida con el concepto más gerencial de “seguimiento” o “monitoreo” ya que, mientras estos últimos se centran sobre los aspectos de corte administrativo, tales como la utilización correcta de los recursos y la certificación de etapas alcanzadas, la primera remite a resultados científicos parciales. Cuando la evaluación se lleva a cabo al final de los procesos de I+D de que se trate, se la denomina ex post. La evaluación ex post trata de los resultados, la aplicación de los recursos y su impacto. Tiene un fin prospectivo tal como la reorientación de la programación. En tal sentido, puede ser inmediata o a plazo diferido y puede referirse a los resultados propiamente dichos o a su impacto en el contexto social.

 

3. Criterios de evaluación

 Los criterios de evaluación se establecen en función del tipo de investigación y, en términos generales, se refieren tanto al interés científico como al interés económico y social. Es bastante obvio que se requiere abordar la tarea desde diferentes miradas valorativas si la cuestión a evaluar es la calidad científica de un trabajo o su interés práctico. Sin embargo, en forma creciente la actividad investigadora asocia ambas dimensiones y es susceptible, por lo tanto, de diferentes enfoques, ajustados a valores específicos. La elección de los criterios está relacionada con el momento de la evaluación, dado que en un caso se trata de medir propósitos y, en el otro, resultados e impactos.

3.1. Criterios para la evaluación ex ante

Algunos de los criterios de uso más corriente para la evaluación ex ante son los que remiten a la calidad o mérito científico, los recursos y financiamiento, la coherencia interna y la pertinencia económica o social.

· Criterios de mérito científico

Remiten a determinar la significación y calidad de la propuesta para el dominio científico de que se trate (originalidad, interés, factibilidad científica) y la aptitud del investigador para realizar la investigación: ¿tiene el equipo de investigación las aptitudes y experiencia necesarias para desarrollar el trabajo previsto? Estos criterios contemplan también la incidencia sobre otros ámbitos científicos o tecnológicos, el aporte del trabajo para la ciencia en general y su incidencia sobre la infraestructura o base científica y tecnológica.

· Criterios de coherencia

Estos criterios remiten a la factibilidad de un proyecto desde el punto de vista de su adecuación a los propósitos enunciados; esto es, si el proyecto responde a los objetivos propuestos y si su articulación es correcta. Se debe mirar si la capacidad acreditada de los investigadores, los métodos propuestos y los recursos solicitados son apropiados para alcanzar los propósitos de un proyecto. Los criterios de coherencia responden a preguntas tales como si son claros y comprensibles los propósitos de la investigación, si el acceso a la información está asegurado y si el presupuesto y el cronograma son realistas.

Algunos criterios de uso frecuente

Mérito científico Originalidad o novedad del enfoque Importancia del tema Desarrollos teóricos Antecedentes y status actual del grupo de investigación Coherencia Claridad de propósitos Acceso a la información Diseño del proyecto Adecuación de la metodología Conocimiento del campo de investigación Probabilidad de éxito en el logro de resultados

Recursos y financiamiento Presupuesto solicitado y disponible Apoyo organizativo Equipamiento necesario Optimización de recursos Justificación del financiamiento público Criterio de complementariedad Pertinencia Valor económico de los resultados Adecuación a prioridades Desarrollo de capacidades o experiencia Resultados potenciales Planes de diseminación de los conocimientos Aplicaciones prácticas Utilidad potencial

 ·  Criterios sobre recursos y financiamiento

Los criterios sobre recursos y financiamiento remiten a la factibilidad técnica y económica; esto es: si los recursos disponibles y solicitados son proporcionales a los objetivos del proyecto. Se ha señalado que las características propias de las actividades científicas y tecnológicas hacen que sea muy difícil aplicar los métodos corrientes de costo–beneficio para la evaluación de inversiones destinadas a llevar a cabo esas actividades. Este conjunto de criterios incluye uno sobre optimización de recursos. Esto quiere decir que corresponde determinar si en un escenario de limitación de recursos y de competencia por ellos la asignación propuesta es la más razonable y adecuada. Este criterio es de naturaleza mixta, ya que por una parte contiene un juicio técnico, pero en buena medida se superpone con un criterio político. Otros criterios pertenecientes a este rubro son los de “justificación del financiamiento público”, especialmente cuando se trata de investigación orientada a la tecnología ya que sus resultados son apropiables por empresas determinadas y el “criterio de complementariedad”, que evalúa si el financiamiento debe ser completo, adicional, o incremental.

·  Criterios de pertinencia

Estos criterios determinan la relación de las investigaciones con objetivos económicos y sociales, así como también con objetivos institucionales. Cuando la política científica contiene prioridades definidas explícitamente, la pertinencia se refiere a la adecuación a ellas. Si bien los criterios de pertinencia se corresponden mayormente con la investigación aplicada y el desarrollo experimental, también se toman en cuenta cuando se trata de investigación estratégica. En este caso se considera la “utilidad potencial”, si bien la complejidad de este criterio por cuanto depende de variables a un futuro no próximo, plantea la necesidad de una evaluación continua.

Una estrategia utilizada para evaluar en forma anticipativa el interés de un proyecto de investigación es la de ponderar el “conocimiento agregado”. La idea de conocimiento agregado remite a los resultados de la investigación y podría ser formulada bajo la pregunta ¿Qué conocimiento nuevo aporta el proyecto en relación con algún nivel de acumulación, ya sea de tipo académico o de aplicación? En este aspecto, el juicio debe ser relativo a determinar en qué medida y por qué vías el conocimiento generado por el proyecto puede agregarse al stock de los conocimientos existentes.

3.2. Criterios para la evaluación ex post

En términos generales, los criterios de evaluación ex post son similares a los de la evaluación ex ante en lo que se refiere a la calidad o mérito científico. El resto de los criterios es reemplazado por otros que juzgan el resultado y su eventual impacto en el contexto económico y social, o sobre la estructura institucional.

·Evaluación de resultados

En la evaluación de resultados criterio de cumplimiento de objetivos y metas es el de uso más corriente (implica una comparación de los resultados con los objetivos y las metas propuestas originalmente). Además del cumplimiento, se suele aplicar el criterio de calidad de los resultados (que, como se ha dicho, es de naturaleza similar al de la evaluación ex ante). A ellos se añade el criterio de eficiencia en el desarrollo de los trabajos.

 ·Evaluación de impactos

La evaluación de impactos no debe ser confundida con la evaluación de resultados. Los impactos trascienden al proyecto o la programación. Remiten a contextos externos al proyecto: organización en la que se lleva a cabo, medio social próximo o remoto, niveles de actividad económica, niveles educativos, cultura e índices de salud, entre otros. La evaluación de impactos está menos normalizada debido a las múltiples dimensiones en las que ellos se producen, así como el hecho de que con frecuencia son imprevisibles y no siempre resulta fácil establecer las causalidades: es decir, si tal fenómeno puede ser legítimamente considerado como un impacto de cierto programa, o si se debe a otras causas. Por este motivo, la evaluación de impactos requiere una dosis adicional de rigor en el análisis. 

3.3. Organización de la evaluación

La organización de la evaluación es la delimitación de responsabilidades de quienes tendrán a su cargo llevarla a cabo. Está relacionada con la elección de la estructura con la que se llevará a cabo (en la que se integran los pares y el personal técnico de apoyo al proceso evaluador), la modalidad, el perfil de los evaluadores y el grado de institucionalización de la estructura responsable de la evaluación. 

La evaluación requiere consenso acerca del campo, los fines y los criterios. Se trata de una tarea colectiva. De allí, la importancia de la selección del equipo que tendrá a su cargo la evaluación, cuya imparcialidad no puede ser cuestionada. La legitimidad social de los árbitros es una cuestión fundamental de la que depende el éxito del proceso evaluador. En temas de cierta complejidad o en comunidades científicas pequeñas la idoneidad y legitimidad de los evaluadores plantea dificultades. Frecuentemente se apela a evaluadores extranjeros cuando no existe un par reconocido en la comunidad local, o cuando se requiere una opinión muy especializada y no comprometida con intereses en juego. Sin embargo, este recurso debe ser empleado con precauciones porque los pares extranjeros algunas veces opinan con desconocimiento del contexto, entendido como las limitaciones o prioridades locales. En el caso de evaluaciones mixtas como, por ejemplo, en la integración de paneles con científicos e industriales se presentan a veces dificultades de diálogo que atañen al lenguaje, la lógica y el papel que se espera que desempeñen unos y otros. 

Otros aspectos relativos a la organización tienen que ver con las modalidades de evaluación como, por ejemplo, si ésta queda sometida a la libre actuación de los pares, o si ellos deberán ajustarse a directivas precisas, con un gradiente de formalización que incluye desde el diseño de los instructivos o formularios, hasta los procedimientos a seguir. La posición del evaluador en el sistema de toma de decisiones es también un tema importante en lo relativo a la organización. El evaluador puede desempeñar un papel excepcional, cuando se lo convoca ad hoc para la evaluación de un proyecto, o permanente, cuando se constituye una comisión que se pronuncia sobre la totalidad de los casos durante un período de tiempo. El problema de la profesionalización de la evaluación y su legitimación social a veces es resuelto con la creación de instancias evaluadoras permanentes dotadas de independencia respecto a los tomadores de decisión. El ejemplo más extremo de este modelo es el de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) de España. 

Referencias

ARÁOZ, Alberto y KAMENETZKI, Mario (1975); Proyectos de Inversión en Ciencia y Tecnología; Centro de Investigaciones en Administración Pública, Buenos Aires. 

BEN-DAVID, Joseph (1974); El papel de los científicos en la sociedad. Un estudio comparativo. Editorial Trillas. México. 

FUNTOWICZ, Silvio y RAVETZ, Jerome (1993); La ciencia posnormal. Ciencia con la gente. Buenos Aires: Centro Editor de América Latina. 

GIBBONS, Michael et al. (1997); La nueva producción del conocimiento; Pomares-Corredor, Barcelona. 

MERTON, Robert (1984); Ciencia, tecnología y sociedad en la Inglaterra del siglo VII. Alianza Editorial, Madrid. 

NATIONAL ACADEMY of SCIENCES, NATIONAL ACADEMY of ENGINEERING, and INSTITUTE of MEDICINE (1999). Evaluating Federal Research Programs. Washington, DC: National Academy Press. 

OCDE (2015), La medición de las actividades científicas y técnicas / Manual de Frascati, OCDE, París. La Fundación Española para la Ciencia y la Tecnología (FECYT) publicó una traducción oficial al español en 2017. 

POLANYI, Michael (2014) La República de la Ciencia: su teoría política y económica, en CTS Revista Iberoamericana en Ciencia, Tecnología y Sociedad, Vol. 9 N°27. Este artículo apareció originalmente en Minerva (1: 54-74, 1962). La traducción es de Mario Albornoz. 

SOLLA PRICE, Derek de (1973), Hacia una ciencia de la ciencia, Editorial Ariel, Barcelona.