El problema de la asignación de valor a
los conocimientos científicos ha sido una cuestión siempre presente a partir de
la primera institucionalización de las comunidades científicas en el siglo
XVII. Ya entonces, la Royal Society debió desarrollar metodologías y criterios
que le permitieran seleccionar los trabajos científicos que serían publicados y
establecer un orden de prelación entre ellos. Los primeros sociólogos de la
ciencia, como Robert Merton (1984), Joseph Ben David (1974) y Derek de Solla Price (1973) describieron
los mecanismos por los cuales la comunidad científica se autorregula mediante
la asignación y reconocimiento de valor a la actividad de sus miembros y a los
resultados de su trabajo.
1. Evaluación: complejidad y cultura
Una dimensión estrictamente científica o
académica del proceso de evaluación remite casi exclusivamente a los criterios
de calidad y relevancia teórica de los resultados de la investigación, razón
por la cual serían los propios investigadores quienes estarían habilitados
legítimamente para evaluar. Sin embargo, a partir de la atención prestada a la
ciencia por los gobiernos y las empresas (proceso que se produjo a una escala
inédita en la segunda guerra mundial y luego en la guerra fría) otras
finalidades propias de la lógica de los intereses políticos, económicos y sociales
han tornado más complejo el proceso de evaluación, introduciendo en él nuevos
criterios y actores. Las decisiones relativas a las líneas de investigación que
han de ser financiadas y desarrolladas, así como los campos del conocimiento
que serán explorados tienen ahora que ver, no solamente con el valor científico
estricto, sino también con otras dimensiones como la pertinencia, la relevancia
social o la correspondencia con un sistema de prioridades políticas. En el
campo de la investigación orientada al desarrollo (I+D), así como en el de la
tecnología, los criterios de utilidad y eficiencia ocupan un lugar central en
el proceso evaluador. Estos rasgos han convertido a la evaluación en un núcleo muy
importante de la toma de decisiones y la gestión de la ciencia y tecnología,
por cuanto orientan la inversión y el rumbo de las políticas públicas referidas
a estos temas, pero es al mismo tiempo un procedimiento muy complejo por la
diversidad de criterios y de roles que pueden entrar en juego.
Actualmente la evaluación de las personas,
las instituciones y las actividades científicas y tecnológicas, del mismo modo
que la evaluación de las instituciones de educación superior está en el centro
de un debate que ha adquirido ciertos ribetes de teoría política, dado que se redefinen
roles tradicionales del Estado y de otros actores sociales. Hay quienes ven en
estas tendencias el surgimiento de una nueva ética, asociada al desarrollo de
la calidad, la eficiencia y la transparencia en el desempeño institucional
(Gibbons et al. 1997). Desde esta perspectiva, la solidez de un sistema de
evaluación depende en gran medida de que exista en la sociedad, de forma generalizada,
una cultura de la evaluación y rendición de cuentas.
Como he dicho, estos rasgos confieren
complejidad a la práctica de la evaluación, ya que por un lado debe tener en
cuenta la finalidad de garantizar determinadas normas y valores académicos,
permitiendo así lograr nuevos conocimientos en los diferentes campos de la
ciencia y por otro lado ha de orientarse a asegurar resultados satisfactorios
acordes a la inversión realizada. El propósito, en este último caso, es
racionalizar la aplicación de recursos que de por sí son escasos, como expresión
de la responsabilidad pública de las instituciones en el cumplimiento de sus
objetivos. Por ello, los fines de la evaluación suelen expresar el propósito de
mejorar los programas y los desempeños institucionales facilitando, entre otros
aspectos, las decisiones relativas al financiamiento de actividades y proyectos.
En este escenario en el que prevalece la
diversidad, un sistema eficaz de evaluación debe combinar el examen de la
capacidad del investigador y de su grupo, la aptitud institucional para lograr
las metas propuestas, el funcionamiento efectivo de la organización y la medida
en que se satisfacen ciertos estándares definidos por la propia comunidad
científica relativos a la calidad de las investigaciones y la formación de
posgrado. Debido a esta multiplicidad de propósitos, es muy recomendable que
los fines de la evaluación sean previamente consensuados entre los usuarios,
los evaluadores y los evaluados, como condición básica para lograr legitimidad
social.
La importancia adquirida por la
evaluación se deriva tanto de sus finalidades explícitas, como de otras
implícitas. Algunas de las más importantes finalidades explícitas son las de
otorgar financiamiento, acreditar grupos, apoyar la evaluación institucional
global, determinar capacidades o identificar vacancias. Las finalidades
implícitas, por su parte, tienen que ver con la consolidación de la comunidad
científica y la puesta en práctica de su sistema de valores, roles y
reconocimientos internos.
La naturaleza fluida de estos procesos ha
forzado también la necesidad de reconceptualizar el modo en que los
conocimientos son creados, atesorados, difundidos y aplicados. El clásico
“modelo lineal” concebido como un gradiente entre la investigación básica y el
desarrollo tecnológico se encuentra hoy cuestionado, lo mismo que el propio
concepto de “ciencia” y, consiguientemente, el perfil de quienes crean los
conocimientos, los difunden y transfieren sus resultados a las empresas y otros
usuarios. De una estilización de la comunidad científica entendida como
“república de la ciencia” (Polanyi, 2014) se ha mudado actualmente a conceptos
y definiciones más abiertos, en los que queda involucrada una diversidad de
protagonistas. Esta tendencia también enfatiza la evaluación de resultados
mediante procedimientos en los que no solamente intervienen investigadores, lo
que es visto por algunos sectores de la comunidad científica como una pérdida
de control que puede abrir las puertas a la mediocridad. Aducen que con el
argumento del interés económico y social se induciría la aprobación de
proyectos de investigación de escaso mérito científico.
Desde hace algo más de una década la
innovación ha ocupado el centro de las políticas orientadas a impulsar las
transformaciones económicas y sociales sobre la base de insumos cognitivos. La
teoría de la innovación –especialmente en su desarrollo más reciente hacia la
teoría de los sistemas sociales de innovación- plantea desafíos, no sólo en lo
referido a la educación, sino también en lo que respecta a la creación de nuevos
conocimientos aplicados por parte de las empresas. Ello dibuja un escenario en
el que tanto los centros de investigación como las propias universidades deben
desempeñar un papel dotado de gran protagonismo, lo que implica necesariamente
que asuman responsabilidades nuevas, desarrollen capacidades originales y se
involucren de un modo diferente al de épocas anteriores en el tejido social.
Algunos de los cambios que más
recientemente se están produciendo en las formas organizativas de la
investigación científica y tecnológica son explicados por algunos autores como
el tránsito hacia un nuevo modo de producción de conocimiento que estaría ocurriendo
a escala mundial; esto es, un nuevo formato de investigación, con nuevos
criterios y perfiles intervinientes. Esta tendencia evolucionaría hacia la
práctica de la investigación “transdisciplinaria”, cuya característica consiste
en privilegiar el problema a resolver como principio organizador del
conocimiento(Gibbons et al. 1997).
En el modo tradicional –se ha señalado-
predominaban la organización disciplinaria del conocimiento, la autonomía en el
ejercicio de la actividad académica y la orientación fundamentalmente básica de
la investigación, alejada de consideraciones prácticas o económicas relativas a
la utilidad o aplicabilidad del conocimiento. El nuevo modo de producción del
conocimiento se caracterizaría, en cambio, por los siguientes rasgos: se trata
de conocimiento producido a partir del contexto de aplicación, tiene carácter
transdisciplinario, presupone una gran heterogeneidad organizacional y requiere
un sistema de amplia base social para el control de la calidad.
En el marco de la evolución hacia un estilo
que involucra múltiples dimensiones y actores, el proceso de evaluación se ve
afectado radicalmente. En efecto, debe ahora contemplar esta multiplicidad,
tomando en consideración ya no solamente la calidad del conocimiento en sí,
sino también su relevancia social y la intervención de otros actores con
diversidad de miradas e intereses. Tradicionalmente, se estimaba la capacidad
científica de una institución –en este caso, la universidad- en función
de su acervo de conocimientos, su posición relativa a la frontera de las
disciplinas y el nivel científico de sus investigadores. Hoy se toma en cuenta,
además de todo ello, el modo de inclusión en estructuras sociales más amplias y
complejas, así como su vinculación con empresas, otras organizaciones de la sociedad
y las diferentes instituciones de la administración pública.
En este contexto, los enfoques actuales
de evaluación en ciencia y tecnología deben tomar en cuenta muy especialmente
los procesos de decisión que conducen a la apertura de campos, líneas y
proyectos de investigación, ya que tales procesos ponen de manifiesto la
tendencia preponderante hacia uno u otro de los “modos de producción del
conocimiento”. De acuerdo con esto, el método de evaluación tradicional, basado
en el juicio de los pares, está siendo revisado en los sistemas de evaluación
de la I+D de los países más avanzados, tendiendo a la inclusión de los “no
pares” en el proceso y a la utilización de tecnologías avanzadas que hoy
incluyen, aunque en forma todavía incipiente, a la inteligencia artificial.
2. El proceso de evaluación
La organización de los procesos de
evaluación ha exigido implementar procedimientos sustentados en diversos
criterios que reflejan la tensión entre las dimensiones vinculadas con la autorregulación
de la comunidad científica y las más utilitarias que prevalecen en la mirada de
los gobiernos o los actores económicos. En algunos casos, los procedimientos
están basados en el juicio de pares académicos y, en otros, en la participación
de miembros de diversos sectores, así como en la aplicación de criterios
desarrollados conforme a propósitos institucionales. Asimismo, es frecuente
impulsar procedimientos de autoevaluación, complementarios de las evaluaciones
externas.
A partir de la década de los setenta se
fueron desarrollando criterios homogeneizados a nivel internacional para
evaluar la productividad en el trabajo científico; muchos de estos parámetros
surgieron vinculados al caso de la física y se fueron generalizando a todas las
áreas de investigación. La crítica fundamental a estos criterios se basa en que
los mismos no siempre reconocen las diferentes tradiciones disciplinares, ni
las diversas formas de tratamiento de los objetos de estudio, así como de los
mecanismos de difusión de los conocimientos y la vinculación con el medio socioeconómico
de las disciplinas humanísticas, sociales, naturales y tecnológicas.
Fundamentalmente, las tendencias se orientan por un lado a las evaluaciones
cualitativas y por otro lado a las cuantitativas, que con el correr del tiempo
han ido ganando importancia. Entre las cualitativas el método por excelencia es
el juicio de pares. Entre las cuantitativas son destacables los indicadores
bibliométricos o, más genéricamente, la “cienciometría”.
El juicio de pares (peer review) consiste
en la evaluación crítica de proyectos, políticas o manuscritos realizada por
expertos independientes del mismo campo de conocimiento. La OCDE lo utiliza en
dos niveles estratégicos diferenciados:
· nivel de políticas
públicas: la organización evalúa los sistemas
nacionales de ciencia y tecnología de los países miembros a través de comités
compuestos por delegados de otros gobiernos;
· nivel de investigación
científica: es el filtro de calidad aplicado por
las agencias de financiamiento y revistas científicas para validar el
conocimiento académico. Sus modalidades principales incluyen “simple ciego” (el
revisor conoce la identidad del autor, pero el autor no sabe quién lo evalúa),
“doble ciego” (se ocultan recíprocamente las identidades del autor y del
revisor para evitar prejuicios) y revisión abierta (open peer review). Las
identidades y los informes de evaluación son de acceso público para maximizar
la transparencia del proceso.
La cienciometría o, más
específicamente, la bibliometría es un elemento auxiliar en la
evaluación constituida por la aplicación de indicadores de producción,
productividad e impacto de las publicaciones, teniendo en cuenta la
participación en revistas internacionales de prestigio con referato. Esta
alternativa se ha expandido en los últimos años, pero también ha generado
rechazos, como se verá más adelante.
En el proceso de evaluación de
actividades de ciencia y tecnología hay varios aspectos a considerar; entre
ellos, el campo de la evaluación, los criterios en los que se apoya y la
organización mediante la cual se lleva a cabo. Estos aspectos son interdependientes.
A ellos es posible agregar un quinto aspecto, al que se podría denominar
aspecto “contextual”, en el que se incluyen aquellos elementos de tipo social e
institucional que inciden tanto en el proceso de I+D como en su evaluación. El “campo
de la evaluación” predetermina a los demás y remite a la idea de que los
criterios aplicados y los métodos a utilizar difieren según el tipo de
investigación de que se trate, el objeto o unidad de análisis y el momento del
proceso de investigación en que se produce el acto evaluador.
Por “tipo de investigación” se entiende
la distinción tradicional entre la investigación básica, la investigación
aplicada y el desarrollo experimental, agrupados habitualmente en la expresión
“investigación y desarrollo” (I+D). Una definición standard de cada uno de
ellos está contenida -como se verá en detalle más adelante- en el manual de
Frascati, de la OCDE (2015). A estos tipos se les suele agregar el de
“investigación estratégica”, que remite investigaciones que tienen el formato
de la básica, pero apuntan hacia un objetivo de aplicación a medio y largo
plazo. La investigación universitaria puede constituir un tipo propio cuando se
trata de investigación de apoyo a la docencia y en tal caso los parámetros que
se aplican para su evaluación son específicos.
Cada uno de estos tipos de I+D tiene
propósitos distintos; también tiene una “cultura” propia y concierne a actores
diferentes. La evaluación de la I+D debe tomar en cuenta a todos ellos, lo que genera
cierta dificultad cuando se trata de evaluar programas complejos, ya que ellos
suelen contener una amalgama de tipos de investigación. Cabe señalar además que
en la configuración del tipo de investigación incide también la disciplina de
que se trate, ya sea que pertenezca al campo de las ciencias exactas, las
ciencias sociales, las humanidades o el desarrollo experimental de tipo
ingenieril. Las herramientas de la evaluación varían también según un tipo u
otro de disciplina.
La práctica de las instituciones gestoras
de actividades científicas y tecnológicas establece que tanto los programas de
investigación básica como aplicada deben ser evaluados regularmente. Un informe
sobre los procesos de evaluación realizado por las academias nacionales de
ciencia e ingeniería de los Estados Unidos señalaba que en el caso de la
investigación aplicada los resultados prácticos pueden ser documentados y los
progresos realizados pueden ser medidos concretamente en forma anual. Sin
embargo, los resultados prácticos de la investigación básica no pueden ser
identificados mientras la investigación está en progreso, por lo que se deben
buscar los caminos que permitan medir la calidad de la investigación (National
Academy of Sciences, 1999).
En la búsqueda de un modelo analítico más
flexible que el del Manual Frascati, se ha sugerido la distinción entre
investigación disciplinaria, investigación transversal e investigación
instrumental. La primera está enmarcada en las preocupaciones específicas de
cada disciplina. La segunda es la que se encuentra en el tránsito de
construcción de un nuevo campo de conocimiento mediante la interacción de más
de una disciplina, como la bioquímica en su momento, la biología molecular,
algunos campos nuevos de las neurociencias que combinan psicología cognitiva,
biología molecular y genética, entre otros. La constitución de un nuevo campo
supone procesos de cambio de paradigma, intereses cognitivos opuestos,
estrategias de “subversión” más que de acatamiento a paradigmas vigentes, o
encuadramiento en las líneas y temas predominantes. La investigación
instrumental se corresponde con el denominado “nuevo modo” de producción de
conocimiento científico orientado por finalidades prácticas.
La evaluación en cada uno de estos
modelos debe ser resuelta de un modo diferente. Un ejemplo de esto puede ser el
de los comienzos de la biología molecular, cuando la mayoría de los miembros
del campo bioquímico consideraban a aquélla solamente como un conjunto de
técnicas novedosas para tratar problemas y objetos definidos, más que como un
nuevo campo, con sus propios objetos y problemas. En un proceso de evaluación
esta distinción podía implicar la diferencia entre proyectos “con relevancia” o
“sin relevancia” científica. La evaluación de la investigación instrumental
supone una complejidad cognitiva quizá menor al tipo anterior, pero una
complejidad valorativa y social mayor. Desde el punto de vista cognitivo admite
la combinación “sumatoria” de perspectivas disciplinares en la evaluación de
calidad. Pero se agregan otros valores sobre el producto del conocimiento,
tales como la utilidad social, el riesgo e incertidumbre, la oportunidad
política y la rentabilidad económica (individual y social).
El concepto de “ciencia posnormal”
desarrollado por Silvio Funtowicz y Jerome Ravetz en los años 90 trataba de dar
respuesta a ciertas crisis contemporáneas, como el cambio climático o las
pandemias, en las que la ciencia tradicional se queda corta por la
incertidumbre y porque la urgencia de actuar supera la velocidad de los
laboratorios. Para entender cómo evalúan los riesgos, los autores crearon un
marco bidimensional basado en dos variables: la incertidumbre de los sistemas y
la urgencia de la decisión (los intereses en juego). Dependiendo del nivel de
estas variables, la ciencia y su evaluación se dividen en tres zonas: ciencia
básica o aplicada, consultoría profesional y ciencia posnormal. La evaluación
de esta última zona ya no queda solo en manos de científicos expertos (revisión
por pares tradicional), sino que se abre de forma obligatoria a ciudadanos
afectados, ONG y periodistas, entre otros actores.
La determinación del objeto o unidad de
análisis en el proceso de evaluación es un aspecto fundamental, ya que los
métodos varían si se trata de evaluar investigadores aislados o grupos. También
difieren los procedimientos en relación con su grado de complejidad o si la
evaluación se refiere a proyectos, disciplinas o dominios completos del
conocimiento. La evaluación de las propias instituciones científicas constituye
asimismo un caso aparte, ya que en su desarrollo es preciso tener en cuenta
criterios relativos a la calidad de la I+D junto a criterios de racionalidad
organizativa. Otro caso especial es el de la evaluación de programas cuya
ejecución corresponde a numerosas instituciones, especialmente si algunas de
ellas no pertenecen o lo hacen sólo tangencialmente al ámbito de la ciencia y
la tecnología. La literatura que da cuenta de las experiencias de evaluación
enfatiza la necesidad de distinguir en forma muy precisa estos niveles y
destaca la utilidad de métodos que ayuden a definir la unidad de análisis. Un
enfoque temprano en América Latina distinguía entre los niveles de la propia
unidad de I+D, las líneas de investigación y los proyectos (Aráoz y Kamentsky,
1975).
¿Los métodos de evaluación difieren
también con relación al momento del proceso de I+D sobre el que se aplican. El
caso más generalizado es el de la evaluación ex ante, que se realiza en forma
previa a la decisión acerca de la eventual aprobación de la actividad y de su
financiamiento. La evaluación ex ante está además ligada a las políticas
y a las prioridades establecidas. La evaluación que se realiza durante el
desarrollo del proceso de I+D suele ser denominada como “intermedia”
y generalmente está vinculada con las etapas previstas en los proyectos. Esta
evaluación es interactiva con la programación y no debe ser confundida con el
concepto más gerencial de “seguimiento” o “monitoreo” ya que, mientras estos
últimos se centran sobre los aspectos de corte administrativo, tales como la
utilización correcta de los recursos y la certificación de etapas alcanzadas,
la primera remite a resultados científicos parciales. Cuando la evaluación se
lleva a cabo al final de los procesos de I+D de que se trate, se la denomina ex
post. La evaluación ex post trata de los resultados, la
aplicación de los recursos y su impacto. Tiene un fin prospectivo tal como la
reorientación de la programación. En tal sentido, puede ser inmediata o a plazo
diferido y puede referirse a los resultados propiamente dichos o a su impacto
en el contexto social.
3. Criterios de evaluación
Los criterios de evaluación se establecen
en función del tipo de investigación y, en términos generales, se refieren
tanto al interés científico como al interés económico y social. Es bastante
obvio que se requiere abordar la tarea desde diferentes miradas valorativas si
la cuestión a evaluar es la calidad científica de un trabajo o su interés práctico.
Sin embargo, en forma creciente la actividad investigadora asocia ambas
dimensiones y es susceptible, por lo tanto, de diferentes enfoques, ajustados a
valores específicos. La elección de los criterios está relacionada con el
momento de la evaluación, dado que en un caso se trata de medir propósitos y,
en el otro, resultados e impactos.
3.1. Criterios para la evaluación ex ante
Algunos de los criterios de uso más
corriente para la evaluación ex ante son los que remiten a la calidad o
mérito científico, los recursos y financiamiento, la coherencia interna y la
pertinencia económica o social.
·Criterios de mérito
científico
Remiten a determinar la significación y
calidad de la propuesta para el dominio científico de que se trate
(originalidad, interés, factibilidad científica) y la aptitud del investigador
para realizar la investigación: ¿tiene el equipo de investigación las aptitudes
y experiencia necesarias para desarrollar el trabajo previsto? Estos criterios
contemplan también la incidencia sobre otros ámbitos científicos o
tecnológicos, el aporte del trabajo para la ciencia en general y su incidencia
sobre la infraestructura o base científica y tecnológica.
·Criterios de coherencia
Estos criterios remiten a la factibilidad
de un proyecto desde el punto de vista de su adecuación a los propósitos
enunciados; esto es, si el proyecto responde a los objetivos propuestos y si su
articulación es correcta. Se debe mirar si la capacidad acreditada de los
investigadores, los métodos propuestos y los recursos solicitados son
apropiados para alcanzar los propósitos de un proyecto. Los criterios de
coherencia responden a preguntas tales como si son claros y comprensibles los
propósitos de la investigación, si el acceso a la información está asegurado y
si el presupuesto y el cronograma son realistas.
Algunos criterios de uso frecuente
|
Mérito científico
Originalidad o novedad del enfoque
Importancia del tema
Desarrollos teóricos
Antecedentes y status actual del grupo de investigación
Coherencia
Claridad de propósitos
Acceso a la información
Diseño del proyecto
Adecuación de la metodología
Conocimiento del campo de investigación
Probabilidad de éxito en el logro de resultados
|
Recursos y financiamiento
Presupuesto solicitado y disponible
Apoyo organizativo
Equipamiento necesario
Optimización de recursos
Justificación del financiamiento público
Criterio de complementariedad
Pertinencia
Valor económico de los resultados
Adecuación a prioridades
Desarrollo de capacidades o experiencia
Resultados potenciales
Planes de diseminación de los conocimientos
Aplicaciones prácticas
Utilidad potencial
|
· Criterios sobre recursos y
financiamiento
Los criterios sobre recursos y
financiamiento remiten a la factibilidad técnica y económica; esto es: si los
recursos disponibles y solicitados son proporcionales a los objetivos del
proyecto. Se ha señalado que las características propias de las actividades
científicas y tecnológicas hacen que sea muy difícil aplicar los métodos
corrientes de costo–beneficio para la evaluación de inversiones destinadas a
llevar a cabo esas actividades. Este conjunto de criterios incluye uno sobre
optimización de recursos. Esto quiere decir que corresponde determinar si en un
escenario de limitación de recursos y de competencia por ellos la asignación
propuesta es la más razonable y adecuada. Este criterio es de naturaleza mixta,
ya que por una parte contiene un juicio técnico, pero en buena medida se
superpone con un criterio político. Otros criterios pertenecientes a este rubro
son los de “justificación del financiamiento público”, especialmente cuando se
trata de investigación orientada a la tecnología ya que sus resultados son
apropiables por empresas determinadas y el “criterio de complementariedad”, que
evalúa si el financiamiento debe ser completo, adicional, o incremental.
· Criterios de pertinencia
Estos criterios determinan la relación de
las investigaciones con objetivos económicos y sociales, así como también con
objetivos institucionales. Cuando la política científica contiene prioridades
definidas explícitamente, la pertinencia se refiere a la adecuación a ellas. Si
bien los criterios de pertinencia se corresponden mayormente con la
investigación aplicada y el desarrollo experimental, también se toman en cuenta
cuando se trata de investigación estratégica. En este caso se considera la
“utilidad potencial”, si bien la complejidad de este criterio por cuanto
depende de variables a un futuro no próximo, plantea la necesidad de una
evaluación continua.
Una estrategia utilizada para evaluar en
forma anticipativa el interés de un proyecto de investigación es la de ponderar
el “conocimiento agregado”. La idea de conocimiento agregado remite a los
resultados de la investigación y podría ser formulada bajo la pregunta ¿Qué
conocimiento nuevo aporta el proyecto en relación con algún nivel de
acumulación, ya sea de tipo académico o de aplicación? En este aspecto, el
juicio debe ser relativo a determinar en qué medida y por qué vías el
conocimiento generado por el proyecto puede agregarse al stock de los
conocimientos existentes.
3.2. Criterios para la evaluación ex post
En términos generales, los criterios de
evaluación ex post son similares a los de la evaluación ex ante en
lo que se refiere a la calidad o mérito científico. El resto de los criterios
es reemplazado por otros que juzgan el resultado y su eventual impacto en el
contexto económico y social, o sobre la estructura institucional.
·Evaluación de resultados
En la evaluación de resultados criterio
de cumplimiento de objetivos y metas es el de uso más corriente (implica una
comparación de los resultados con los objetivos y las metas propuestas
originalmente). Además del cumplimiento, se suele aplicar el criterio de
calidad de los resultados (que, como se ha dicho, es de naturaleza similar al
de la evaluación ex ante). A ellos se añade el criterio de eficiencia en
el desarrollo de los trabajos.
·Evaluación de impactos
La evaluación de impactos no debe ser
confundida con la evaluación de resultados. Los impactos trascienden al
proyecto o la programación. Remiten a contextos externos al proyecto:
organización en la que se lleva a cabo, medio social próximo o remoto, niveles
de actividad económica, niveles educativos, cultura e índices de salud, entre
otros. La evaluación de impactos está menos normalizada debido a las múltiples
dimensiones en las que ellos se producen, así como el hecho de que con
frecuencia son imprevisibles y no siempre resulta fácil establecer las
causalidades: es decir, si tal fenómeno puede ser legítimamente considerado
como un impacto de cierto programa, o si se debe a otras causas. Por este
motivo, la evaluación de impactos requiere una dosis adicional de rigor en el
análisis.
3.3. Organización de la evaluación
La organización de la evaluación es la
delimitación de responsabilidades de quienes tendrán a su cargo llevarla a
cabo. Está relacionada con la elección de la estructura con la que se llevará a
cabo (en la que se integran los pares y el personal técnico de apoyo al proceso
evaluador), la modalidad, el perfil de los evaluadores y el grado de
institucionalización de la estructura responsable de la evaluación.
La evaluación requiere consenso acerca
del campo, los fines y los criterios. Se trata de una tarea colectiva. De allí,
la importancia de la selección del equipo que tendrá a su cargo la evaluación,
cuya imparcialidad no puede ser cuestionada. La legitimidad social de los
árbitros es una cuestión fundamental de la que depende el éxito del proceso
evaluador. En temas de cierta complejidad o en comunidades científicas pequeñas
la idoneidad y legitimidad de los evaluadores plantea dificultades.
Frecuentemente se apela a evaluadores extranjeros cuando no existe un par
reconocido en la comunidad local, o cuando se requiere una opinión muy
especializada y no comprometida con intereses en juego. Sin embargo, este
recurso debe ser empleado con precauciones porque los pares extranjeros algunas
veces opinan con desconocimiento del contexto, entendido como las limitaciones
o prioridades locales. En el caso de evaluaciones mixtas como, por ejemplo, en
la integración de paneles con científicos e industriales se presentan a veces
dificultades de diálogo que atañen al lenguaje, la lógica y el papel que se
espera que desempeñen unos y otros.
Otros aspectos relativos a la
organización tienen que ver con las modalidades de evaluación como, por
ejemplo, si ésta queda sometida a la libre actuación de los pares, o si ellos
deberán ajustarse a directivas precisas, con un gradiente de formalización que
incluye desde el diseño de los instructivos o formularios, hasta los
procedimientos a seguir. La posición del evaluador en el sistema de toma de
decisiones es también un tema importante en lo relativo a la organización. El
evaluador puede desempeñar un papel excepcional, cuando se lo convoca ad hoc
para la evaluación de un proyecto, o permanente, cuando se constituye una
comisión que se pronuncia sobre la totalidad de los casos durante un período de
tiempo. El problema de la profesionalización de la evaluación y su legitimación
social a veces es resuelto con la creación de instancias evaluadoras
permanentes dotadas de independencia respecto a los tomadores de decisión. El
ejemplo más extremo de este modelo es el de la Agencia Nacional de Evaluación de la Calidad y
Acreditación (ANECA) de España.
Referencias
ARÁOZ, Alberto y
KAMENETZKI, Mario (1975); Proyectos de Inversión en Ciencia y Tecnología;
Centro de Investigaciones en Administración Pública, Buenos Aires.
BEN-DAVID,
Joseph (1974); El papel de los científicos en la sociedad. Un estudio comparativo.
Editorial Trillas. México.
FUNTOWICZ,
Silvio y RAVETZ, Jerome (1993); La ciencia posnormal. Ciencia con la gente.
Buenos Aires: Centro Editor de América Latina.
GIBBONS, Michael
et al. (1997); La nueva producción del conocimiento; Pomares-Corredor,
Barcelona.
MERTON, Robert
(1984); Ciencia, tecnología y sociedad en la Inglaterra del siglo VII. Alianza Editorial,
Madrid.
NATIONAL ACADEMY of SCIENCES, NATIONAL ACADEMY of ENGINEERING, and
INSTITUTE of MEDICINE (1999). Evaluating Federal Research Programs. Washington, DC: National Academy Press.
OCDE (2015), La
medición de las actividades científicas y técnicas / Manual de Frascati, OCDE,
París. La Fundación Española para la Ciencia y la Tecnología (FECYT) publicó
una traducción oficial al español en 2017.
POLANYI, Michael
(2014) La República de la Ciencia: su teoría política y económica, en CTS Revista
Iberoamericana en Ciencia, Tecnología y Sociedad, Vol. 9 N°27. Este artículo
apareció originalmente en Minerva (1: 54-74, 1962). La traducción es de Mario
Albornoz.
SOLLA PRICE,
Derek de (1973), Hacia una ciencia de la ciencia, Editorial Ariel, Barcelona.
