Criterios
a utilizar para evaluación curricular de Investigadores Responsables
y Coinvestigadores en proyectos FONDECYT del Concurso Regular 2008
"
NOTA CURRICULAR 3 EN ESCALA DE NOTAS DE 1 (mínimo) A 7 (máximo):
la nota 3 corresponde a lo que históricamente se conoce como la letra
D. Representa una cantidad de proyectos en torno al 10% del total de las propuestas
concursadas en años anteriores.
-
"
Evaluación curricular para los grupos de estudio de Agronomía*,
Salud y Producción Animal*, Biologías 1, 2 y 3, Medicinas
1, 2 y 3 e Ingenierías 1, 2 y 3: se evaluará capacidad
y productividad. La capacidad considera básicamente aspectos de liderazgo
definidos como primer autor de publicaciones o autor correspondiente de
publicaciones con comité editorial, haber sido investigador responsable
de proyectos FONDECYT en los últimos 5 años, haber guiado
tesis de pre y postgrado. Para la productividad sólo se consideran
las publicaciones ISI: el número de publicaciones ISI por el factor
de impacto normalizado por subdisciplina. Esto es, la suma de los factores
de impacto ISI normalizados de cada una de las publicaciones ISI aparecidas
en el período considerado en el concurso (últimos 5 años).
El factor de impacto ISI normalizado se calcula como el factor ISI estándar
dividido por el índice de impacto ISI promedio de la subdisciplina
a la que pertenece el trabajo publicado.
* Nota: los grupos de estudio de Agronomía y Salud y Producción
Animal eventualmente considerarán en productividad publicaciones
Scielo y capítulos de libros de editoriales de reconocido prestigio,
con una ponderación menor.
-
"
Evaluación curricular para el grupo de Química: se considera
sólo la productividad científica de los(as) investigadores(as),
sólo se consideran las publicaciones ISI: el número de publicaciones
ISI por el factor de impacto normalizado por subdisciplina. Esto es, la
suma de los factores de impacto ISI normalizados de cada una de las publicaciones
ISI aparecidas en el período considerado en el concurso (últimos
5 años). El factor de impacto ISI normalizado se calcula como el
factor ISI estándar dividido por el índice de impacto ISI
promedio de la subdisciplina a la que pertenece el trabajo publicado.
-
"
Evaluación curricular para las disciplinas de los grupos de estudio
de: Arquitectura y Urbanismo, Cs. Jurídicas, Educación, Antropología
y Arqueología, Sociología, Lingüística, Historia,
Filosofía y Sicología: se evaluará la capacidad
y productividad de los investigadores de acuerdo al puntaje que se indica
en la siguiente tabla:
-
"
Evaluación curricular de grupo de Ciencias Económicas y Administrativas:
El grupo de ciencias Económicas y Administrativas sólo evalúa
productividad de acuerdo a los siguientes criterios:
Descripción
Puntos
(1) Artículo publicado en revista ISI. El índice de impacto
mínimo asignado es 0,1 punto Indice de Impacto/Nº autores (máx.
3 autores)
(2) Artículo publicado en revista internacional, latinoamericana
o chilena no ISI, con comité editorial y referato anónimo. Ejemplos
de revistas: Economía (Journal LACEA), Academia, Cuadernos de Economía,
RAE, Estudios de Economía, Estudios de Administración, Abante,
Revista de Economía Chilena, Marketing Theory and Practice. 0,1 pto/Nº
autores
(máx. 3)
(3) Artículo publicado en revista latinoamericana o chilena con
comité editorial, referato anónimo, pero con menor tradición
o enfoque académico en la disciplina. Ejemplos de Revistas: CEP, Panorama
Socioeconómico de la U. Talca, Economía y Administración
de la U. Concepción. 0,05 pto/Nº autores (máx. 3)
(4) Edición de libro o capítulo de libro en editorial internacional
con comité editorial, referato y amplia y reconocida circulación
(esto es, McGraw Hill, Michigan, MIT Press, Thomson, Oxford University Press,
Cambridge Press, etc.) 0,15 pto/ Nº autores (máx. 3)*
(5) Edición de libro o capítulo de libro en editorial internacional
o chilena, con menor circulación, incluye Banco Mundial y Banco Interamericano
de Desarrollo 0,05 pto/ Nº autores (máx. 3)*
(6) Autor de libro en editorial internacional con comité editorial,
referato y amplia y reconocida circulación (esto es, McGraw Hill, Michigan,
MIT Press, Thomson, Oxford University Press, Cambridge Press, etc.) 0,4 pto/
Nº autores (máx. 3)
(7) Autor de libro editorial internacional o chilena con menor circulación,
incluye libros del Banco Mundial y Banco Interamericano de Desarrollo. 0,15
pto/ Nº autores (máx. 3)
(8) Si el investigador responsable ha obtenido el grado de Doctor en
los últimos 3 años
Se suma 1 pto. en el puntaje total
Notas:
*La suma de capítulos en un mismo libro no puede obtener
un puntaje superior al asignado a la autoría de un libro en la misma
categoría
En
la evaluación curricular no se consideran actas de congreso (no ISI),
comentarios solicitados, libros de texto, ni revistas de difusión como:
Administración y Economía de la PUC, Economía y Administración
de U. de Chile, Trend Management
- "
Evaluación curricular de grupo de Ciencias de la Tierra:
La
productividad (1) que el grupo calcula para cada investigador
se define como la suma del número de publicaciones ISI en los últimos
5 años ponderado por un coeficiente (Tabla 1) que
depende del factor de impacto (FI) de la revista en que se publicó. En
el cálculo de productividad también se incluye el número
de libros/capítulos de libro ponderados por un coeficiente fijo.
Los
valores del coeficiente de ponderación, 
,
en función del FI, se presentan en la Tabla 1. La idea de aplicar un
coeficiente que crece con el FI es "premiar" a los investigadores
que publican en las revistas más prestigiosas dentro el área.
Sin embargo, el coeficiente no es igual al FI, pues se produciría una
distorsión mayor cuando se consideran publicaciones en revistas del ultra-alto-impacto
(e.g., Nature y Science). La ponderación basada en el FI de las revistas
es posible en Cs.Tierra pues, entre las sub-disciplinas del grupo no existen
diferencias sistemáticas en los FI de las revistas asociadas (ver Anexo
I). En el caso de los libros, se hace una distinción entre libros completos
y capítulos, como también entre libros científicos (publicados
en editoriales internacionales reconocidas) y libros de difusión.
| Tabla
1: |
Coeficiente
de ponderación para
revistas y libros |
Anexo
I
Para cada sub-disciplina dentro de las Ciencias de la Tierra se obtuvo la lista
de revistas ISI y sus respectivos factores de impacto (FI). También se
incluyó Biología Marina, pues algunos trabajos en Oceanografía
Biológica se publican en revistas clasificadas en esa disciplina. La
Figura 1 muestra las estadísticas más
relevantes de la distribución del FI en cada sub-disciplina. Se observa
que los FI promedio de las revistas son bastante uniformes entre las subdisciplinas
en Ciencias de la Tierra, con un promedio general en torno a 1.2.
Figura 1. Estadísticas de la distribución
del Factor de Impacto (FI) del año 2005 para revistas ISI. El número
de revistas en cada sub-disciplina se indica en paréntisis. Para el grupo
de revistas en cada sub-disciplina se indica el FI máximo, 20%, promedio,
50%, 80% y mínimo. En los casos en que FImax>7.0, se presenta el valor
al tope de la figura.
-
"
Evaluación curricular de grupo de Matemáticas:
Se ha solicitado al Grupo de Estudios la evaluación curricular de
los concursantes en cuanto a la calidad de su productividad científica
en los últimos cinco años, en modo de subdividir el universo
de concursantes en cuatro categorías A, B, C, y D. En esta evaluación
no se han considerado otros elementos curriculares tales como trayectoria
anterior, formación de estudiantes o prestigio del concursante en
el medio nacional o internacional. No se ha intentado calificar la calidad
de los contenidos de los artículos, para lo cual en la mayoría
de los casos el grupo no se consideraba idóneo, sino estrictamente
su valoración de la calidad de las revistas en que estos artículos
han aparecido, relativa al área del postulante.
El grupo ha acordado, con discusión abierta, privilegiando la opinión
de el o los integrantes del grupo más cercanos temáticamente
a un concursante específico, calificar las revistas, examinando en
detalle el listado de publicaciones, en clases:
1. Muy buena: revista de alto prestigio en el área específica
del candidato o en matemáticas/estadística en general.
2. Buena: revista conocida en el área del candidato o en matemáticas
en general, de impacto razonablemente alto.
3. De calidad menor: revista menos conocida o de relativamente bajo
impacto, aun cuando de aparición regular e indexada en bases de datos
científicas usuales (ISI y/o Mathscinet).
4. De calidad marginal: revistas poco conocidas, de importancia menor
en el tema del candidato o en matemáticas/estadística en general.
Una publicación en un volumen de proceedings de una conferencia se
consideró en clase 4, o a lo más en clase 3 en el universo
analizado de este año, tomando en consideración que la publicación
en proceedings de ciertas conferencias puede ser tan prestigiosa como una
en una buena revista, en casos excepcionales en ciertas áreas.
De este modo, y luego de amplia discusión, se calificó la
productividad de los últimos cinco años de cada candidato
en categorías A, B, C, D de acuerdo a los siguientes criterios mínimos.
A: Al menos cinco publicaciones, en revistas de clases 1, 2, con
una publicación en una revista de clase 1, o dos publicaciones en
revistas de clase 1 y una de clase 2.
B: Al menos tres publicaciones en revistas de clase 2, con una productividad
sostenida en el período, o una publicación en revista de clase
1 y una de clase 2.
C: Al menos una publicación en revista de clase 2 en el período.
D: En caso de existir, publicaciones sólo en revistas de clase
4.
Esta regla no se considera en valor absoluto para candidatos que sólo
obtuvieron su doctorado en tiempo reciente, considerándola proporcional
al tiempo transcurrido desde la obtención de su grado. En cualquier
caso, aún en esos casos especiales, el no tener artículos
aceptados o publicados no se calificó la producción más
allá de C.
Comentarios sobre la clasificación de las revistas: Establecer
criterios de calidad cuantitativos en modo lineal es complejo, y muchas
veces inapropiado para revistas de matemática o estadística.
Son éstas, áreas del conocimiento de números absolutos
relativamente pequeños, y con variaciones culturales importantes
en distintas subáreas en cuanto a número de publicaciones,
número de autores por artículo, longitud de los artículos
y longitud de las listas de referencias.
En lenguaje usualmente usado en matemática, las áreas más
aplicadas tienen números absolutos, y consecuentes índices
de impacto más altos que las áreas más puras. Los artículos
en matemática suelen comenzar a ser citados solo algunos años
después de su publicación, y por otra parte continúan
típicamente siendo citados por un período más extendido
que en otras ciencias. El grupo recurre con frecuencia al índice
de impacto contenido en la base de datos más usada en matemática,
mathscinet, consistente simplemente en el cuociente entre el número
de citas en revistas de matemática y el número total de artículos
publicados por una revista dada en los últimos cinco años.
En la mayor parte de las disciplinas de los integrantes del grupo, este
índice apareció más coincidente con la valoración
subjetiva del prestigio de la revista en el tema, que el correspondiente
índice de impacto ISI. Por otra parte, éste último
se apreció como definitivamente más apropiado en la valoración
de revistas de carácter más multidisciplinario así
como en estadística. Por otra parte, el índice mathscinet
cobra un sentido más claro cuando se comparan revistas de una misma
área, pero comparar números asociados a áreas distintas
puede resultar engañoso. Por otra parte, en áreas más
puras sus cultores con frecuencia tienen preferencia por revistas de carácter
generalista, mientras que en las más aplicadas, las revistas adscritas
explícitamente al tema suelen preferirse. Debe decirse que incluso
revistas adscritas a más de un tema pueden tener valoración
distinta en un tema que en otro. El grupo intentó armonizar en el
mejor modo a su alcance la clasificación de cada revista para cada
subárea considerada, integrando los factores arriba expuestos, para
los cuales no puede explicitarse un criterio único o universal. Por
otra parte, en su gran mayoría, los integrantes del grupo consideran
que se arribó a un resultado correcto y consistente.
Comentarios sobre los criterios de evaluación de productividad:
En el grupo de estudios existe consenso que debe valorarse con mayor
énfasis la calidad de las publicaciones que su número, un
criterio que no era obvio hace algunos años, en que menos herramientas
de medición cuantitativa estaban disponibles. Por otra parte, sí
se le pide al postulante que exhiba una productividad numéricamente
sostenida en el tiempo para acceder a las clasificaciones más altas.
Debe decirse claramente, sin embargo, que un número indefinidamente
alto de publicaciones en revistas de clase 2, por ejemplo, no hace al postulante
merecedor de una clasificación mayor que B, así como el contar
con un gran número de publicaciones, pero sólo en clase 3,
no amerita más que la clasificación C.
-
"
Evaluación curricular de grupo de Física y Astronomía:
| 1. |
La
productividad de los postulantes se evalúa considerando las publicaciones
en revistas ISI de los últimos 5 años informadas en los proyectos,
excluyendo las publicaciones asociadas al Simposio Chileno de Física
y otros simposios regionales. |
| 2. |
Seguidamente
se evalúa la calidad de la investigación, siguiendo número
de citas y el impacto de las publicaciones. El impacto individual no se
mide utilizando el impacto de las revistas sino que a través de los
trabajos específicos del investigador. |
Los
parámetros considerados para medir la calidad de las publicaciones son:
a) el número total de citas a los 5 papers más citados
(equivalente a los 5 trabajos de mayor impacto)
b) el factor "h" (PNAS 102 (46): 16569-16572 (2005)); la valoración
de este parámetro considera los trabajos incluidos en la base de datos
Web of Science.
Una
vez obtenidos estos datos, los postulantes se distribuyen según 4 grandes
áreas de investigación: Física Experimental, Campos y Partículas,
Astronomía y Física Teórica (excluyendo Campos y Partículas),
atendiendo al hecho que tanto la productividad como el impacto varían
en forma importante de área en área. Al interior de cada área
y para cada uno de los ítems (productividad de últimos 5 años,
citas a los 5 trabajos de mayor impacto, factor h), los investigadores se subdividen
en 4 categorías. En cada subgrupo se consideran los tres factores para
asignar la calificación final.
En los casos en que un investigador se encuentra en el borde de la categorización
y es menor de 40 años, se asimila a la categoría superior.
