Entrada 2. “Las herramientas de la evaluación científica”

Métodos de evaluación

Los métodos más difundidos para evaluar programas de I+D son la revisión de la calidad basada en el juicio de pares investigadores (peer review), a lo que ya se ha hecho referencia, además de la revisión de la relevancia (pertinencia) y el punto de referencia (benchmarking). En términos generales, los métodos de evaluación de la I+D se basan en:

a) opiniones de otros científicos de igual o mayor reconocimiento profesional que los sujetos evaluados (juicio de pares),

b)  juicios de valor de expertos en aplicaciones y desarrollos tecnológicos, así como usuarios de los resultados de la I+D,

c)  indicadores objetivos (por ejemplo, la bibliometría) y

d)  una combinación de estos sistemas.

Es importante señalar que la multiplicidad de criterios implica necesariamente la multiplicidad de actores, ya que del mismo modo que los no científicos están incapacitados para opinar acerca de la calidad científica de una propuesta, los pares científicos no serían, de por sí, los más adecuados para opinar acerca de su utilidad práctica. Ahora bien, el método mixto tiene el problema de que requiere una definición acerca del papel de sus protagonistas y el peso relativo de los criterios de evaluación. Esto plantea la necesidad de modelos organizativos de la evaluación distintos a los tradicionales, que se integran exclusivamente por miembros reconocidos de la comunidad científica: los pares. Los nuevos modelos organizativos difieren fundamentalmente en que la constitución de los comités es heterogénea por la inclusión de otros roles. Todo esto lleva al concepto de complejidad (multiplicidad de perspectivas legítimas, no linealidad, emergencia de los problemas, organización, multiplicidad de escalas, incertidumbre).

La inclusión de nuevos actores en los procesos de investigación científica puede ser interpretada como una democratización del conocimiento, ya que ahora se hace necesario incluir a quienes pueden opinar sobre aspectos de su interés. Adicionalmente, cierta parte del conocimiento se presenta en nuevos contextos. En este sentido, se puede afirmar que la ciencia moderna está renovando su localización social en un contexto enriquecido. La tendencia actual es hacia el diseño de procesos de evaluación que combinen diversos métodos. En general, se puede establecer la siguiente tipología:

·Juicio de pares directo: evaluación del valor científico hecha por especialistas de la misma disciplina.

Juicio de pares modificado: evaluación de pares con la inclusión de otros actores, en forma adaptada a la necesidad de ampliar los criterios a considerar.

·  Juicio de pares indirecto: evaluación realizada en base a la utilización de opiniones de pares emitidas inicialmente con otros propósitos.

·  Juicio Indirecto: evaluación realizada mediante la utilización de indicadores bibliométricos (publicaciones, frecuencia de citas, calidad de citas y citas asociadas) y otros indicadores que tomen en cuenta premios, congresos y financiamientos obtenidos anteriormente para I+D, entre otros.

Métodos utilizados para evaluar I+D

Métodos	Pros	Contras
Análisis Bibliométrico	Cuantitativo.   Útil sobre bases agregadas para evaluar calidad de ciertos programas y campos.	Las mediciones son sólo cuantitativas. No es útil en todos los programas y campos. Las comparaciones entre campos y países son difíciles. Pueden ser artificialmente influenciados.
Tasa de retorno económico	Cuantitativo.   Muestra los beneficios económicos de la I+D	Mide sólo beneficios financieros, no beneficios sociales (tales como el mejoramiento de la calidad de la salud). El tiempo transcurrido entre la I+D y el beneficio económico es frecuentemente largo. No es útil en todos los casos.
Revisión por pares	Método de fácil comprensión.   Permite evaluar la calidad de la investigación y a veces otros factores. Una parte importante de los programas financiados con fondos federales evalúan la calidad con este método.	Se focaliza principalmente sobre la calidad de la investigación. Otros elementos son secundarios. Generalmente sirve para evaluar proyectos, no programas. Gran diversidad entre las diferentes agencias. Reparos contra el uso de redes de “viejos”. Los resultados dependen del nivel de quienes se involucren en el proceso evaluador.
Estudio de casos	Permite comprender los efectos de los factores institucionales, técnicos y organizacionales que influyen en el proceso de I+D. Ilustra acerca de todos los tipos de beneficio del proceso de investigación.	Casos aislados, no comparables entre programas. Focalizar la evaluación sobre casos puede acarrear dificultades para evaluar los beneficios de una programación.
Análisis retrospectivo	Útil para identificar vínculos entre programas de I+D e innovaciones en períodos largos de inversión en I+D.	No es útil para evaluación de corto plazo, debido a que el intervalo entre la I+D y sus resultados prácticos es largo.
Punto de referencia (benchmarking)	Herramienta de comparación entre países y programas.	Puede ser focalizado sobre campos, no sobre programaciones.

 Fuente: Evaluating Federal Research Programs; National Academy Press; Washington, 1999.

Todos los métodos tienen ventajas y desventajas que deben ser tomadas en cuenta en el diseño del proceso de evaluación. En el juicio de pares existe un cierto peligro de subjetividad (prejuicios o intereses) y en el juicio indirecto basado en la bibliometría el peligro de una seudo objetividad y el posible estímulo a ciertas disfuncionalidades tales como la compulsión a la publicación (publish or perish). En algunas disciplinas inciden las tradiciones en materia de difusión de los conocimientos, ya que ésta no siempre se produce por medio de revistas acreditadas en las bases de datos sobre las que se elaboran los indicadores.

Ventajas y dificultades de la evaluación de pares

En 1990 el Comité Asesor de los Consejos de Investigación de Inglaterra encargó a una comisión el estudio de las ventajas e inconvenientes del juicio de pares, debido a que se registraban muchas críticas acerca de su funcionamiento, por parte de un importante sector de la comunidad científica. El documento elaborado es conocido como “Informe Boden sobre la Evaluación por Pares” a la que definía como: “un sistema por el cual la excelencia intelectual o importancia de una pieza de trabajo es juzgada por investigadores que se desempeñan en el mismo campo, o en un campo próximo”. Afirmaba también que no existen alternativas prácticas al juicio de los pares para la evaluación de la investigación básica. Sin embargo, propuso una lista de requisitos necesarios que deben ser cubiertos por cualquier sistema basado en pares. Estos requisitos cubren aspectos tales como la elección de los pares, la transparencia en sus prácticas y la retroalimentación en sus decisiones.

“El juicio de los pares puede ser considerado como central para la función de una comunidad académica cuyo trabajo está sometido a los comentarios y a la crítica de los pares académicos como una obligación profesional” (Boden, 1990).

La práctica de la revisión por pares o evaluación por pares es una forma de autorregulación de la comunidad científica. Si bien es cierto que la autorregulación tiene amplias raíces en las estructuras profesionales, en este caso se produce la particularidad de que sus consecuencias (en términos de aprobación o desaprobación de proyectos) comprometen al gobierno en decisiones de financiamiento. Se ha observado que en un mundo en el que la autorregulación está siendo crecientemente puesta en tela de juicio, basar el proceso de evaluación sobre ella es una posición de débil defensa. Sin embargo, el gobierno inglés, como sostén financiero de la ciencia básica, ha reconocido esta capacidad a la evaluación por pares ya desde 1918, cuando se adoptó lo que se conoce como el “Principio Haldane” surgido de las recomendaciones formuladas por el Comité del mismo nombre.

“El nivel científico y tecnológico de todas las propuestas de investigación recomendadas para su apoyo por parte del estado está garantizado por la asistencia constante de un Consejo Asesor integrado por un pequeño número de eminentes científicos con un coordinador administrativo”. (Haldane, 1918)

También las empresas y las instituciones privadas que financian y apoyan la I+D han profesado idéntico respeto por el juicio de los pares. Sin embargo, el método de la revisión o evaluación por pares ha comenzado a ser discutido en forma creciente. A lo largo del debate suscitado, el juicio de pares como método de evaluación no fue invalidado, aunque se destacó que varios aspectos de su aplicación práctica merecen revisión. En realidad, los científicos no pueden cuestionarlo porque hacerlo sería poner en tela de juicio su propio protagonismo. Muy por el contrario, sólo reclaman el derecho de que sus juicios sean reconocidos como verdaderos. El debate, por lo tanto, ha estado centrado en algunos aspectos operativos y conceptuales. Por ejemplo, en la descripción de las prácticas de investigación de los Consejos de Investigación abundan los términos como “excelencia”, “calidad” y originalidad”, pero no se definen criterios que puedan hacerlos operacionales. Esto significaría que los pares reconocen esos atributos pero no pueden anticipar qué es lo que buscan cuando se abocan a una evaluación.

En 1993, el Libro Blanco de la Ciencia, la Ingeniería y la Tecnología reabrió en el Reino Unido la discusión bajo la perspectiva de la relación entre el juicio de los pares y la política científica del gobierno. Se afirmaba:

“En el futuro, las decisiones acerca de las prioridades para el financiamiento deben estar más claramente orientadas hacia el encuentro con las necesidades del país y con el fortalecimiento de la capacidad nacional para generar riqueza”. (Libro Blanco de la Ciencia, la Ingeniería y la Tecnología, 1993)

 Este punto de vista causó preocupación en la comunidad científica, en el sentido de que la primacía de la opinión de los pares fuera desafiada. Sin embargo, muchos sectores académicos habían comenzado a ser críticos por lo que percibían como un sesgo conservador en la evaluación por pares que favorecen las formas de investigación familiares y seguras, frente a las innovadoras y riesgosas. En efecto, desde el punto de vista de la relación de la ciencia con la sociedad, el método de evaluación por pares es congruente con lo que se conoce como el “modelo lineal”, según el cual el conocimiento se transfiere a la sociedad a partir de la investigación básica, pasando por la aplicada y por el desarrollo experimental. Desde un punto de vista vinculado con la tecnología, este modelo es también conocido como visión “ofertista” ya que su aplicación económica y social se basa en la oferta de conocimientos generados por la comunidad científica.

Tanto la visión “ofertista” como el “modelo lineal” han sido puestos en tela de juicio, aunque no descartados por completo, durante los últimos años. También el papel excluyente de la comunidad científica aparece cuestionado por la emergencia de nuevas formas de producción del conocimiento científico. Estas transformaciones afectan a los procesos de evaluación y al juicio de pares como método fundamental.

En la literatura sobre metodologías de evaluación se contrapone a veces la evaluación por pares y la “evaluación de mérito”. Esta última excede el concepto de valor científico y es definida en función de criterios tales como la oportunidad representada por los conocimientos a adquirir, su permeabilidad o capacidad de penetración en distintos campos, la aplicabilidad a problemas concretos y la explotabilidad de los resultados. Pero si teóricamente se distinguen, en la práctica no siempre es fácil hacerlo. En la investigación académica la evaluación por pares juega un papel relevante, pero la observación demuestra que se utilizan criterios cada vez más amplios; por ejemplo, en los formularios que los consejos de investigación ingleses envían a los evaluadores se requiere su opinión acerca de la aplicabilidad de los proyectos. En la evaluación de proyectos de ingeniería ambos tipos de criterio tienen igual importancia. En cambio, en la investigación orientada por criterios estratégicos la evaluación de mérito tiene más importancia que la evaluación por pares.

Crisis del sistema de pares

A pesar de su consenso originario, el método de la evaluación por pares está siendo revisado y discutido en forma creciente. La evaluación basada en el juicio de pares corresponde al modelo de la investigación académica disciplinaria, pero éste no es el único factor de estructuración de la actividad científica ni es tampoco el único marco de relaciones sociales en el que se construye el conocimiento.

Desde una óptica más vinculada con el conocimiento tecnológico, muchas voces cuestionan la pertinencia del juicio de pares para evaluar los proyectos orientados al desarrollo tecnológico y la innovación. Desde una visión no lineal y más interactiva de la ciencia también se reclaman otros procedimientos de evaluación.

En 1966 Derek de Solla Price mostraba que la ciencia se había expandido de un modo exponencial en los tres siglos anteriores, pero que, de seguir con tal tendencia, en cien años más “habría dos científicos por cada mujer, hombre, niño o perro en la población” (Solla Price, 1973). Efectivamente, la tasa de crecimiento se detuvo aunque la competencia por los recursos se volvió más dura, sometiendo a presión al juicio de pares como método de base para la asignación de recursos.

“La creciente limitación de recursos está produciendo una elevación en el rango mínimo de selectividad en el financiamiento de proyectos. Por ello se requieren distinciones cada vez más finas entre propuestas que son, más o menos, igualmente meritorias. Esto conduce a que se produzca un agobio insoportable sobre el sistema del juicio de pares. Esto ha conducido a una crisis en el sistema de juicio de pares” (Informe Boden sobre la evaluación por pares, 1990).

 Las principales objeciones que se le formulan remiten tanto a los factores internos como a los externos. Ellas son:

Sobreexigencia. La creciente limitación de recursos está produciendo una elevación en el rango mínimo de selectividad en el financiamiento de proyectos. Por ello se requieren distinciones cada vez más finas entre propuestas que son, más o menos, igualmente meritorias. Esto conduce a que se produzcan decisiones arbitrarias en el establecimiento de los órdenes de prioridad.

Fatiga. En conexión con el problema anterior, el incremento de los objetos a evaluar (proyectos, artículos, informes de investigadores y grupos) genera gran presión sobre los evaluadores, reduce su espíritu de colaboración y afecta la calidad de su trabajo.

Corrupción. El sistema tiene cierta vulnerabilidad frente a la corrupción, derivada del hecho de que generalmente las personas más calificadas para juzgar el mérito de un investigador son, precisamente, sus más cercanos competidores. Con cierta frecuencia se recogen en la literatura denuncias sobre plagio y aprovechamiento indebido de información obtenida durante el proceso de evaluación.

Imprecisión. En la descripción de las prácticas de evaluación abundan los términos como “excelencia”, “calidad” y originalidad”, pero a menudo no se definen criterios que puedan hacerlos operacionales. Esto significa que los pares reconocen esos atributos pero no pueden anticipar qué es lo que buscan cuando se abocan a una evaluación, lo cual es un serio problema para el establecimiento de reglas de juego creíbles. Según la experiencia de la National Science Foundation, los jueces convergen en los extremos (proyectos excelentes o muy malos), pero divergen en los casos intermedios, en los que la aplicación de criterios netos de “excelencia”, “calidad” y originalidad” es más compleja.

Sesgo conservador. La evaluación por pares suele privilegiar las concepciones tradicionales sobre las innovadoras. Fomenta la ciencia “normal”, frente a la revolución de los paradigmas. Favorece las formas de investigación familiares y seguras, frente a las innovadoras y riesgosas. Con frecuencia, la evaluación está contaminada por prejuicios (por ejemplo, frente a proyectos poco ortodoxos).

Imparcialidad. En comunidades científicas pequeñas o en la evaluación de proyectos que requieren grandes inversiones, los jueces frecuentemente son parte y su imparcialidad se ve afectada. En comunidades científicas pequeñas, además, el secreto con respecto al nombre de los evaluadores es relativo y puede dar lugar, o bien a juicios de compromiso, o bien a arbitrariedades e impunidad.

Límites frente a la heterogeneidad. En el marco de las políticas de estímulo a la vinculación, los procesos de evaluación atañen a proyectos que incluyen esencialmente aspectos económicos y tecnológicos. En estos proyectos prevalece la evaluación de resultados e impactos. El método de evaluación exclusivamente a cargo de pares no resulta adecuado porque en él participan solamente los científicos. La evaluación de proyectos correspondientes al “modo 2” no puede quedar limitada al juicio de los pares, ya que éstos son incapaces de dar cuenta de la heterogeneidad de actores y aspectos –científicos y no científicos- involucrados (Gibbons et al, 1997).

Cuando los proyectos se enmarcan en las prioridades de la política científica, se plantean inmediatamente los problemas de la interdisciplina y a la aplicación de los criterios no académicos en la evaluación (tales como los criterios de prioridad política).

El papel de los no–pares

Una de las preocupaciones acerca del método de juicio de pares se centra en el papel que el equipo administrativo (en oposición a los investigadores activos) puede desempeñar en el proceso de evaluación. En los organismos científicos de corte tradicional, este papel es casi nulo y se reduce a los procedimientos administrativos más básicos. En cambio, a medida que las decisiones relativas a la ciencia han sido reconocidas como más complejas se fue haciendo necesario incluir nuevos actores en el proceso. El papel de los equipos de apoyo a la evaluación ha ido transformándose en consonancia con ello, adquiriendo un perfil más técnico y desempeñando un protagonismo mayor.

Un ejemplo de esto surge de la experiencia del Engineering and Physical Sciences Research Council (EPSRC) de Inglaterra. En este Consejo, la clave del proceso de evaluación es el “área de programación”. Hay dieciséis áreas de programación, cada una de ellas gestionada por un “administrador de programa”, quien es un empleado a tiempo completo del EPSRC. En este sistema el administrador de programa tiene formación científica pero no es considerado un “par” por los investigadores que solicitan financiamiento. Sin embargo, el administrador de programa es responsable ante la Dirección Ejecutiva por el logro de los objetivos que se asignan a su área de programación.

El procedimiento adoptado por el EPSRC es uno de los que ha suscitado más comentarios. Lo más característico de este modelo es el papel de los administradores de programa ya que, si bien éstos no están directamente involucrados en formular los juicios de valor (el acto de la evaluación), tienen una gran influencia en la totalidad del proceso. El papel que se asigna al administrador de programa en la elaboración de la propuesta de financiamiento es considerado excesivo por muchos de los que opinan; por este motivo, los defensores del procedimiento argumentan que en ningún caso se violenta la decisión de los jueces.

En el Biotechnology and Biological Sciences Research Council (BBRC), el procedimiento es parecido pero no existe la figura del administrador de programa. En su lugar, funcionan comités temáticos. Sin embargo, se ha propuesto incorporar administradores de programa con la función de seleccionar los pares de una base de datos, en consulta con los miembros del comité temático. En el Welcome Trust (institución que financia investigación médica), miembros “senior” pueden seleccionar los pares y actuar como adjuntos al Presidente de los comités que otorgan financiamiento. Los no pares, por lo tanto, habitualmente desempeñan una variedad de papeles en la conducción de los procesos de revisión por pares.

El Economic and Social Research Council (ESRC) de Inglaterra dispone también de un procedimiento de evaluación de los programas de financiamiento a la investigación. Debido a las dificultades de medir el impacto de la investigación en ciencias sociales, el ESRC cuenta con un sistema de evaluación integral que busca captar diferentes aspectos de los programas mediante los que ofrece financiamiento, que exceden los indicadores meramente bibliográficos. En particular, el ESRC cuenta con un Comité Evaluador conformado por ocho miembros, de los cuales siete son externos al Consejo, compuesto por investigadores, académicos, funcionarios públicos y representantes de empresas.

El rol del Comité Evaluador consiste en evaluar el impacto de los proyectos del ESRC en función de los objetivos estratégicos definidos. Los proyectos que forman parte de un programa deben presentar un reporte final de 5000 palabras, tres meses después de la finalización del proyecto. Estos reportes son evaluados según una escala de cuatro niveles (Sobresaliente, Bien, Problemático y No aceptable) por pares evaluadores independientes, que realizan a su vez un informe.

Además, el director del programa realiza un reporte anual en el cual queda constancia de los proyectos que no están funcionando de forma correcta y el comité evaluador realiza un expediente de cada programa, dos o tres veces al año. La tarea final de evaluación queda a cargo de un evaluador externo independiente, que procede en dos etapas. En la primera, revisa todos los resultados generados por el programa: el texto del proyecto aprobado, el reporte del investigador, los comentarios de los relatores independientes y el informe del director del programa. Además, puede entrevistar a quienes obtuvieron financiamiento para obtener más información sobre su participación en el programa. En segundo lugar, recopila datos por medio de cuestionarios de usuarios no académicos de los resultados. A partir de estas dos fuentes, realiza un informe de hasta 10.000 palabras que se envía al comité evaluador.

En resumen, los profesionales de la gestión científica (no pares) no se limitan a tareas administrativas básicas, sino que ejercen un rol de conducción estructural, control de sesgos y moderación en el proceso de revisión. Se ha señalado que el sistema de administradores de programa y, en general, el mayor protagonismo desempeñado por los no pares tiene ventajas por cuanto resuelve problemas de eficiencia y ejecutividad en el proceso de evaluación, al tiempo que facilita la consideración de aquellos proyectos con múltiples dimensiones. Sin embargo, genera nuevos problemas que deben ser atendidos. En general, este método puede resultar muy útil si el administrador de programa (o figura equivalente) acierta al buscar asesoramiento de expertos cuando se constituye el panel; los nombres de los miembros del panel son de dominio público; hay cierta continuidad en los paneles, para que los criterios sean consistentes y no mudables (la rápida rotación puede crear desconcierto en los solicitantes) y los investigadores tienen confianza en la transparencia, en particular cuando se eligen pares adicionales para aclarar, completar o corregir las primeras evaluaciones cuando se perciben incongruencias.

En la National Science Foundation se emplea un sistema de este tipo y, como garantía para neutralizar posibles arbitrariedades, se realiza un monitoreo constante del proceso de evaluación mediante comités visitantes. Esto equivale a realizar una “evaluación de la evaluación”, práctica cuya generalización resulta muy recomendable.

Los métodos bibliométricos y sus enemigos

Los indicadores bibliométricos se obtienen a partir de registros de publicaciones científicas contenidos en distintas bases de datos. Permiten analizar la calidad y cantidad de la producción de un investigador o de un conjunto de ellos (por ejemplo, los integrantes de un proyecto o de un departamento, en el caso de evaluaciones institucionales). También permiten estudiar las redes de producción científica a través de coautorías, identificar tendencias de investigación mediante el rastreo de temáticas y observar la repercusión de los trabajos científicos a través de las citas que reciben en las publicaciones de otros autores.

Entre las herramientas bibliométricas más difundidas se encuentran los índices de impacto, que miden la repercusión de las publicaciones a partir del análisis de las citas que reciben. Estos indicadores aportan información sobre el peso relativo de una determinada revista en comparación con otras pertenecientes a la misma categoría. Los más famosos son los que están basados en la Web of Science (WOS) o en Scopus. En el primer caso, el Journal Impact Factor (JIF) expresa el promedio de citas que reciben los artículos de una publicación durante un cierto período de tiempo y se publica anualmente en la base de datos Journal Citation Reports (JCR). En el otro caso, el Scimago Journal Rank (SJR) da cuenta del promedio de citas recibidas pero las pondera según el prestigio de las publicaciones de las que proceden.

En 2005 el físico argentino Jorge Hirsch de la Universidad de California propuso un indicador conocido como índice-h, que mide simultáneamente la productividad y el impacto de la producción científica de un investigador, de una revista o de una institución. El índice mide la cantidad de trabajos publicados por un autor con igual o mayor número de citas y se caracteriza por su facilidad de cálculo. Se lo considera apropiado para medir trayectorias profesionales consolidadas y puede ser consultado o calculado en bases de datos que proporcionen información sobre las citas recibidas por los trabajos. Sin embargo, es muy resistido en algunos sectores de la comunidad científica porque reduce la trayectoria y calidad de un investigador a un único número matemático, lo que genera distorsiones e incentivos perversos en la evaluación académica. También premia mucho la trayectoria y puede ser injusto en la comparación para investigadores más jóvenes.

Desde 2022 una base de datos de acceso abierto (OpenAlex) desafía la preponderancia de las bases de datos comerciales y sus medidas de impacto asociadas. Ofrece en forma gratuita ventajas en términos de cobertura, inclusión y accesibilidad, ya que indexa cientos de millones de documentos académicos, autores, instituciones y las conexiones entre ellos. Se trata de una base de datos que recoge trabajos de investigación desde múltiples fuentes. Lo interesante es que cubre algunos de los huecos peor representados en bases de datos comerciales (publicaciones en lengua no inglesa, áreas como humanidades o editores de países en desarrollo). La plataforma es mantenida por OurResearch, un equipo sin ánimo de lucro con larga experiencia en el desarrollo de herramientas que favorecen la ciencia abierta.

Al mismo tiempo, en los últimos años se han ido incrementando las resistencias a los métodos cuantitativos en los procesos de evaluación (Gómez Caridad y Bordon, 1997). Un punto de inicio se expresa en la Declaración de San Francisco sobre la Evaluación de la Investigación conocida por su sigla en inglés como DORA. La iniciativa surgió en 2012 durante la reunión anual de la Sociedad Estadounidense de Biología Celular en San Francisco. La atención que recibió fue creciendo y desde 2018 se convirtió en una iniciativa mundial que abarca todas las disciplinas académicas e involucra a todos los actores clave del sistema académico global, incluidos investigadores, financiadores, editores, academias, sociedades profesionales e instituciones que realizan investigación.

El objetivo principal de DORA es eliminar el uso del factor de impacto de las revistas como métrica principal para evaluar la calidad del trabajo de científicos individuales. En su lugar, propone juzgar la investigación por su propio mérito intrínseco. En otras palabras, aspira a una valoración global del personal investigador basada en una mirada más holística acerca de sus aportaciones científicas y técnicas que incluya el impacto social y económico y los logros realizados a lo largo de su trayectoria investigadora. Este enfoque pretende facilitar la igualdad en la valoración de los méritos de las mujeres y de los más jóvenes. 

En el mismo sentido en 2022 irrumpió en escena una coalición internacional de organizaciones científicas denominada CoARA que pretende una reforma sistémica de la evaluación de la investigación sobre la base de los principios de diversidad, inclusividad y apertura facilitando el aprendizaje mutuo entre todos aquellos que se comprometan a mejorar las prácticas de evaluación de la investigación.

Un grupo de expertos e instituciones de la coalición redactaron el Acuerdo Sobre la Reforma de la Evaluación de la Investigación (The Agreement on Reforming Research Assessment) que ha sido suscripto por varios centenares de organizaciones a escala mundial. Sus firmantes se comprometen a reconocer la diversidad de resultados, prácticas y actividades de la investigación respetando las diferencias disciplinarias y las distintas etapas de la carrera profesional maximizando la apertura y la inclusividad en ciencia. Esto requiere basar la evaluación principalmente en juicios cualitativos, para lo cual la revisión por pares es fundamental, apoyada por el uso responsable de métricas. La coalición fue impulsada inicialmente por Science Europe, la Asociación Europea de Universidades (EUA) y la Comisión Europea. La secretaría de la coalición está a cargo de la Fundación Europea de la Ciencia - Science Connect (ESF-SC).  

Tanto DORA como CoARA (y otras similares) plantean, sin embargo, una dificultad que es la sobrecarga del sistema de pares, a lo que ya se ha hecho referencia. En defensa del uso de los indicadores bibliométricos se puede argumentar que constituyen el caso ya mencionado “juicio indirecto de pares” ya que la publicación de un artículo científico en una revista de categoría supone que ha sido ya evaluado en su calidad.

En este contexto, el mundo de la publicación científica ha sido permeado en forma creciente por las grandes bases de datos y más recientemente por la inteligencia artificial. Sin embargo, lejos de constituirse en un universo caótico, la multiplicidad de opciones contrasta con la identificación precisa de autores y textos.

El Digital Object Identifier o Identificador de Objeto Digital (DOI) es un código alfanumérico único y permanente que se asigna a publicaciones digitales (como artículos científicos, libros o conjuntos de datos) para identificarlas en Internet, garantizando su localización permanente. Es administrado -aunque no en forma exclusiva- por Crossref, una organización global sin fines de lucro formada por editores académicos cuya función principal es proporcionar una infraestructura digital abierta que conecta publicaciones de investigación. En forma simétrica, el Identificador Abierto de Investigador y Colaborador (ORCID, por su sigla en inglés) es un código alfanumérico que identifica de manera única a científicos y otros autores académicos. 

Otra iniciativa es el proyecto denominado OpenCitations que fuera establecido en 2010 y tiene como misión principal colaborar en el desarrollo de infraestructura para la ciencia abierta global recopilando y publicando abiertamente metadatos precisos y completos que describan las publicaciones académicas del mundo y las citas académicas que las vinculan. También busca preservar el acceso continuo a esta información mediante archivos seguros legibles tanto por humanos como por máquinas, interoperables, bajo licencias abiertas sin costo y sin restricciones para el análisis y la reutilización de terceros.

Como se ve, una constante en este proceso es la mayor injerencia de la tecnología en la evaluación explorando en bases de datos bibliométricos. A esto se agrega la influencia de la inteligencia artificial en el análisis de la información y el temor de que los evaluadores humanos sean reemplazados por algoritmos. A esto se hará referencia en la tercera entrega. 

La autoevaluación

En el desarrollo de un proceso de evaluación institucional se suele incluir una etapa previa de autoevaluación que suele ser un elemento de gran importancia, ya que permite la participación plena de evaluadores y evaluados, favoreciendo la internalización de los resultados. La autoevaluación no sustituye el juicio evaluador de los árbitros externos, sino que está referida a aspectos complementarios. Lo propio de la autoevaluación es abordar el examen de ciertos aspectos que iluminen aquellos rasgos del funcionamiento de la institución que inciden sobre la calidad, orientación, utilidad social y racionalidad institucional de la investigación científica y tecnológica desarrollada.

Enfoque de la autoevaluación

El desarrollo de la autoevaluación tiende a cubrir objetivos específicos en la evaluación institucional. Se trata de un ejercicio de participación y de toma de conciencia por parte de los actores involucrados; esto es, tanto los propios investigadores y tecnólogos, como los responsables de la gestión de la I+D y su transferencia, así como las autoridades que en cada nivel de la organización participan del proceso de toma de decisiones en esta materia.

No es un cometido a priori necesario de la autoevaluación la obtención de la información básica, tal como los listados de grupos, proyectos, recursos (incluyendo los obtenidos de otras fuentes, como las agencias nacionales, la cooperación internacional y la contratación por terceros) y resultados (tales como publicaciones, patentes, convenios, y desarrollos). Es deseable que la información requerida para el análisis de los ejes de la autoevaluación, particularmente aquella dirigida a la elaboración de indicadores, sea generada previamente como insumo a partir de bases de datos institucionales y de un conjunto de indicadores básicos. En cambio, es un cometido de la autoevaluación el análisis grupal de aquellos indicadores comparativos del desempeño del grupo frente a otros de la misma institución o externos a ella. Lo que distingue al proceso de autoevaluación no es la producción de información objetiva, sino la expresión de las valoraciones subjetivas y de la percepción que los protagonistas tienen de los procesos que los involucran.

La materia propia de la autoevaluación es la capacidad de producción y transferencia del conocimiento científico en aquellos ejes que denotan principalmente el sistema de relaciones interno en la práctica de la investigación, la toma de decisiones, la gestión de la I+D y la vinculación con sectores externos a la institución evaluada. En la tradición de la política científica contemporánea se mencionan cuatro cuestiones centrales que determinan la eficacia y utilidad social de un sistema de investigación científica y tecnológica, tanto sea en la escala de un país o de una institución:

a) la orientación de la investigación en función de determinados objetivos de naturaleza científica o de utilización social,

b) la efectiva transferencia del acervo de conocimientos para su aplicación por parte de actores sociales, económicos y políticos,

c) los instrumentos y procedimientos más apropiados para gestionar y estimular la producción de conocimientos, así como su transferencia,

d) el estímulo de las vocaciones científicas y la formación de jóvenes investigadores.

Un concepto central de este enfoque es el del “acervo de conocimientos”, entendido como el conjunto de las capacidades cognitivas de la institución y su aptitud para dar respuesta a determinadas demandas sociales. No se trata de un concepto estático ni de un “inventario” de conocimientos disponibles, sino que es dinámico y complejo, ya que contiene elementos referidos a la calidad de los conocimientos producidos, a su proximidad relativa con respecto al horizonte alcanzado por la disciplina científica o la rama tecnológica de que se trate, a la idoneidad de los investigadores y tecnólogos que se desempeñan en ella, a las diversas líneas de investigación y su relación entre sí y a la práctica de la investigación interdisciplinaria. Incluye también, como variable próxima, el sistema de relaciones de los grupos de la institución con la comunidad científica y los centros tecnológicos de alto nivel, en el país y en el exterior.

Es conveniente centrar la actividad sobre aquellos aspectos que, por sus características, son adecuados a la naturaleza y alcances de la autoevaluación como reflexión participativa. Tales aspectos son los referidos a la percepción de los actores involucrados acerca de la capacidad de investigación, del proceso de toma de decisiones, de la demanda y de las estrategias seguidas en el contexto de los intereses (de los propios investigadores y de la institución) y los condicionamientos externos. Asimismo, es necesario prestar atención a la perspectiva de los participantes acerca de cómo se vincula la investigación con la formación de científicos y tecnólogos. Finalmente, el ejercicio se presta al análisis de las fortalezas y debilidades, tanto de los propios grupos de investigación científica y tecnológica, como de la institución en su conjunto.

Ejercicio de autoevaluación

El ejercicio de autoevaluación consiste normalmente en una serie de reuniones abiertas a la participación de los investigadores, tecnólogos y gestores de la investigación. Es recomendable que las reuniones se lleven a cabo en círculos de inclusión creciente. Las reuniones deberán tener el formato más adecuado a la naturaleza de las cuestiones a considerar, así como a las características de la institución en proceso de evaluación. En las reuniones de autoevaluación se suele presentar como insumo para el debate la información producida en la etapa previa, referida a proyectos, tamaño y composición de los grupos, normativas e indicadores. El trabajo de los grupos tiene como objetivo manifestar la perspectiva de los participantes con relación a los ejes de la capacidad científica y tecnológica, la inserción social y el proceso de toma de decisiones.   

El ejercicio de autoevaluación consistirá así en un examen de las prácticas frecuentes de investigación en la institución, tratando de determinar las tendencias predominantes en materia de la constitución de equipos interdisciplinarios, particularmente en el abordaje de ciertos problemas que por sus características así lo demandarían. Es interesante que se reflexiones sobre las barreras que obstaculizan la investigación interdisciplinaria, las que frecuentemente tienen origen en la estructura burocrática de la investigación, en la cultura de la institución y en los sistemas que premian y castigan la labor de los investigadores.

a) Estimación de la capacidad científica y tecnológica

La autoevaluación juega un papel importante en la estimación de la capacidad científica y tecnológica de una institución. Esto implica la realización de un juicio de valor acerca de la capacidad y articulación de los grupos, su producción y la práctica de la investigación interdisciplinaria. Es verdad que este eje se ajusta en gran medida a procedimientos de evaluación externa, ya que la estimación de varios de los criterios mencionados requiere la intervención de pares evaluadores, pero la reflexión de los participantes que surge de una autoevaluación es un aporte fundamental. Además de las opiniones cualitativas, se suelen utilizar indicadores cuantitativos y ciertas pautas normativas relacionadas con el tamaño y estructura óptimos de los grupos. Esta información, en caso de existir, debería estar a disposición de quienes participan en las reuniones de autoevaluación con el objeto de que puedan expresar sus valoraciones con relación a dicho material.

El campo de la autoevaluación en este eje es el de la opinión de los actores involucrados acerca de la información disponible, así como la discusión de estrategias deseables que tiendan a consolidar o corregir los aspectos de fortalezas y debilidades del grupo que hayan sido señalados. Otros campos son especialmente propicios a la autoevaluación, tales como el relativo a la vinculación interna y externa del propio grupo. En este sentido, el proceso de autoevaluación debe ser un elemento que favorezca la autoconciencia y cohesión de los grupos. Otro aspecto especialmente propicio a la autoevaluación es el “mapa” de los grupos, en términos de cobertura de temáticas afines y complementarias, así como su articulación en la práctica.

El abordaje de problemas complejos requiere en forma creciente la práctica de la investigación interdisciplinaria, no sólo entre disciplinas afines, sino también entre campos cognitivos distantes como resultado de la especialización e institucionalización disciplinaria. El abordaje de determinados problemas de gran importancia para la sociedad reclama un esfuerzo conjunto por parte de disciplinas de los campos de las ciencias exactas, sociales y humanidades e, incluso, de las artes. En este sentido, la práctica de la investigación interdisciplinaria puede ser tomada como un indicador de la madurez de un sistema científico y de su capacidad para dar respuesta a problemas de cierta envergadura que surjan en el entorno social, en sentido amplio. A la inversa, la práctica exclusiva de la investigación orientada por problemas de las propias disciplinas puede ser un factor limitante de la capacidad de respuesta de la institución de I+D frente a problemas surgidos en la compleja relación de la sociedad con la naturaleza.

b) Estimación de la inserción social

En este eje, los criterios tradicionalmente usados son la importancia social del tema, su valor económico, el desarrollo de capacidades o experiencia, los resultados potencialmente aplicables y la probabilidad de éxito en el logro de resultados, además de los planes de diseminación de los conocimientos y la transferencia a aplicaciones prácticas. El eje se ajusta tanto a procesos de evaluación externa como a la autoevaluación. Se suelen utilizar también indicadores cuantitativos, tales como el número de patentes registradas, el número de convenios de investigación contratada, la transferencia de conocimientos y los recursos externos generados, entre otros. La pertinencia o relevancia social de los proyectos de I+D puede surgir de la aplicación de prioridades establecidas en alguna instancia de política científica, o bien de la demanda de agentes externos a la institución. Esta información debe ser un insumo a disposición de los participantes en las reuniones de autoevaluación.

Frecuentemente, la relevancia social de la investigación es determinada casi exclusivamente a partir de percepciones de los propios grupos involucrados acerca de lo que es socialmente relevante. En este caso, la percepción del grupo puede corresponderse con la realidad o no, en cuyo caso la efectiva transferencia hacia potenciales usuarios se vería dificultada y eventualmente no se concretaría. El juicio acerca de esta dimensión es propio de la autoevaluación y está estrechamente vinculado con el análisis de los procesos de toma de decisión. Es conveniente que en el proceso de autoevaluación se discuta acerca del ajuste en la previsión del posible interés o impacto social, así como de la existencia, en los planes de trabajo, de actividades de difusión social de los conocimientos adquiridos. 

c) Proceso de toma de decisiones

Los enfoques actuales de la evaluación en ciencia y tecnología toman en cuenta muy especialmente los procesos de decisión que conducen a la apertura de campos, líneas y proyectos de investigación. Este eje ofrece pocas dimensiones apropiadas para la aplicación de indicadores cuantitativos y pautas normativas establecidas a priori, pero es una materia muy sensible para las experiencias de autoevaluación. Para ello se debe reflexionar participativamente acerca de cómo funciona en la práctica el proceso de toma de decisiones en materia de investigación científica y tecnológica. Tal análisis merece un abordaje desde múltiples niveles:

a) El primero remite a la instancia de decisión en la estructura de gobierno de la institución así como los criterios tomados en cuenta.

b) El segundo nivel de abordaje analiza las relaciones de la institución con los organismos del sistema de ciencia y tecnología, a partir de sus propios espacios de actuación –en particular los mecanismos de coordinación del sistema- bajo la perspectiva de identificar cómo las líneas de I+D son influenciadas o determinadas por tales organismos.

c) El tercer nivel examina el grado de participación de diferentes actores en la definición de la estrategia de I+D adoptada por la institución y el modo en que son tomadas en cuenta las demandas surgidas del entorno social.

Como resultado del análisis en los tres niveles mencionados el ejercicio de la autoevaluación permitiría describir el proceso de toma de decisiones en materia de la estrategia institucional de I+D, predicando acerca de su eventual coherencia, integración y articulación con otros componentes o ámbitos de decisión. 

Referencias

BODEN, Margaret (1990); Peer Review: Report of a Working Party of the Advisory Board for the Research Councils. Advisory Board for the Research Councils. Londres, Inglaterra.

CHANCELLOR OF THE DUCHY OF LANCASTER (1993); Libro Blanco de la Ciencia, la Ingeniería y la Tecnología - Realising our potential: a strategy for science, engineering and technology. HMSO, London.

COMMITEE ON SCIENCE, ENGINNERING, AND PUBLIC POLICY (1999), Evaluating Federal Research Programs, National Academy Press, Washington.

GÓMEZ CARIDAD, Isabel y BORDON GANGAS, María (1997), 'Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica', en: Política Científica N° 46,  Madrid.

HALDANE, John Scott (1918); Report of the Machinery of Government Committee (The Haldane Report). Ministry of Reconstruction. Command Paper Cd. 9230. London.

NATIONAL ACADEMY PRESS (1999); Evaluating Federal Research Programs; Washington.