Modelos de protocolos para la evaluación de …

1 Modelos de protocolos para la evaluaci nde actividades de I+D e innovaci nModelos de protocolos para la evaluaci nde actividades de I+D e innovaci nFUNDACI N ESPA OLA CIENCIA Y TECNOLOG AEste documento tiene por objeto contribuir a mejorar los procesos de evaluaci n yseguimiento de las actividades que desarrollan actualmente las entidades financia-doras y evaluadoras de proyectos, recursos humanos e infraestructuras de investiga-ci n cient fica y desarrollo tecnol la elaboraci n de este conjunto de gu as b sicas se han tenido en cuenta, tantolas buenas pr cticas de mbito regional, nacional e internacional, como la necesariaflexibilidad para su aplicaci n directa, o su adaptaci n a los objetivos, criterios yprocedimientos de sus posibles Fundaci n Espa ola para la Ciencia y la Tecnolog a no se hace responsable del uso que se pueda hacer de lainformaci n incluida en este :Jos Luis Osuna, Esther Gr valos y Carolina PalaciosCOLABORADORES:Oneida lvarez, Salvador Chac n, Carmen V lez y Carlos Bueno REVISI N.

2 Ignacio Mir INSTITUTO DE DESARROLLO REGIONALFUNDACI N UNIVERSITARIAPRESENTACI N4 FUNDACI N ESPA OLA CIENCIA Y TECNOLOG AUno de los objetivos principales de la Fundaci n Espa ola para la Ciencia y laTecnolog a (FECYT) es dar apoyo a los rganos encargados de la planificaci n de lapol tica cient fica, tecnol gica y de innovaci n industrial, as como a las agencias definanciaci n y gesti n de programas de I+D, y a las entidades encargadas de la crea-ci n, transformaci n y uso de los nuevos conocimientos. Con ese prop sito, la Fundaci n realiza estudios sobre las necesidades, situaci n,tendencia e impacto de las diferentes reas del saber y de las modalidades de ejecu-ci n de la investigaci n cient fica y la innovaci n industrial.

3 En esos trabajos se ponderan, entre otros, los factores de riesgo cient fico-tecnol gicode las actividades de investigaci n y el impacto socio-econ mico de las inversionesfinancieras realizadas. Los primeros influyen en la carrera profesional y en el presti-gio inter pares- de los propios investigadores, as como en la eficiencia de las institu-ciones investigadoras; mientras que los segundos muestran la eficacia de los recursosecon micos, humanos e instrumentales empleados por la comunidad cient fica e inno-vadora. En el caso espa ol, aunque estos recursos sean escasos, alcanzan un nivel signi-ficativo en t rminos de aritm tica presupuestaria, sobre todo, al comparar los resulta-dos reales obtenidos con los beneficios potenciales que se hubiesen podido conseguircon la dedicaci n de esos recursos a otras prioridades socio-econ micas.

4 Por eso, resulta imprescindible que los diferentes tipos de actuaci n en materia depol tica cient fica, tecnol gica y de innovaci n industrial se sometan a un proceso deevaluaci n sistem tico, riguroso y transparente a lo largo de todo su ciclo de vida -propuesta, ejecuci n y explotaci n de resultados- lo que permitir ponderar elalcance de los avances cient fico-tecnol gicos, la eficacia de las medidas empleadas,y los efectos sociales y econ micos de los resultados alcanzados. Se trata de un proceso en el que es necesario evitar las disfunciones en el sistema deI+D que se generan, cuando se aplican criterios o procedimientos diferentes para laevaluaci n y seguimiento de actividades de I+D de naturaleza y objetivos similareso cuando, por el contrario, se aplican m todos o criterios id nticos para la evaluaci ny el seguimiento de actividades de naturaleza y fines es el prop sito principal del conjunto de normas, gu as y formularios que se presen-tan en este documento.

5 No se trata de imponer a las entidades que deseen aplicarlosninguna doctrina, criterio o pr ctica r gida, sino, como se ha dicho en la nota previa y enla introducci n de esta publicaci n, s lo se ofrece un modelo de protocolos de evalua-ci n y seguimiento flexible en el que se recogen los elementos que, a nuestro parecer, sonnecesarios para llevar a cabo las mejores pr cticas de una pol tica de subvenciones trans-parente, justa, rigurosa e independiente, y que sea eficaz en la satisfacci n de los objeti-vos particulares de cada programa y los generales del sistema de I+D e innovaci DE protocolos PARA LA EVALUACI N DE ACTIVIDADES DE I+D E INNOVACI NPRESENTACI N5 FUNDACI N ESPA OLA CIENCIA Y TECNOLOG AComo paso previo a la elaboraci n de estos protocolos , la FECYT encarg al Centrode Informaci n y Documentaci n (CINDOC)

6 Del Consejo Superior de Investi-gaciones Cient ficas, un estudio cr tico de los m todos de evaluaci n utilizados porlos organismos o agencias de financiaci n de la I+D de los pa ses m s avanzados, as como las propuestas m s novedosas publicadas en las revistas especializadas. Conello, se han documentado las propuestas que aqu se consideran m s adecuadas, a lascircunstancias particulares del sistema espa ol de ciencia y tecnolog a. Este estudio ha ofrecido una descripci n sist mica de las pr cticas y metodolog asempleadas, de los resultados publicados de mayor inter s, de los objetivos persegui-dos, as como de los criterios e indicadores de evaluaci n utilizados.

7 Sobre la base de la informaci n obtenida, la FECYT adjudic por concurso p blicoal Instituto de Desarrollo Regional (IDR), Fundaci n Universitaria adscrita a laUniversidad de Sevilla, la realizaci n de este trabajo, sobre l han dado su opini nlos siguientes expertos: Mikel Buesa, Ernesto Carmona, Manuela Ju rez, AnaMu oz, y Luis Sanz. A todos ellos deseo expresarles el reconocimiento de laFundaci n, por sus certeros comentarios y tiles recomendaciones, que han contri-buido a alcanzar la calidad metodol gica y el rigor conceptual que un trabajo de estaimportancia deb a forma muy particular.

8 Deseo expresar el reconocimiento de la Fundaci n a EstherGr valos y Jos Luis Osuna del IDR por el rigor profesional y la dedicaci n perso-nal que han prestado a la elaboraci n de este Garc a ArroyoDirector GeneralCONTENIDO1 PARTEMARCO CONCEPTUAL2 PARTEPROTOCOLOSEVALUACI N EX-ANTESEGUIMIENTOEVALUACI N EX-POSTMODELOS DE protocolos PARA LA EVALUACI N DE ACTIVIDADES DE I+D E INNOVACI NMARCO CONCEPTUALMODELOS DE protocolos PARA LA EVALUACI N DE ACTIVIDADES DE I+D E INNOVACI NINDICE11 FUNDACI N ESPA OLA CIENCIA Y TECNOLOG A NDICE 1 PARTE01 Introducci n1202 Metodolog a1403 Marco El concepto de la evaluaci El proceso de evaluaci n de la I+D e innovaci Los agentes de la evaluaci Tipos de Los niveles y momentos de la evaluaci El m todo de evaluaci n2404 La evaluaci n de la I+D e innovaci n en los pa ses de la OCDE Las pr cticas en la evaluaci n Procedimientos y criterios de evaluaci Participaci n del Selecci n de La evaluaci n en Espa Evaluaci n La evaluaci n Evaluaci n institucional en Espa a4405 Contenidos.

9 Objetivos y principios de los Protocolos4606 Evaluadores Selecci n de C digo de conducta de evaluadores Evaluaci n de los evaluadores53 Bibliograf a54 Anexo. Cuestionario a evaluadores externos y principales conclusiones del trabajo de campo5601 INTRODUCCI N12 FUNDACI N ESPA OLA CIENCIA Y TECNOLOG AEl conocimiento ha adquirido un gran protagonismo en la sociedad y en la econo-m a de los pa ses desarrollados y ha sido reconocido como el factor clave del incre-mento de la productividad y la competitividad. En la llamada Sociedad delConocimiento, los gobiernos definen pol ticas de ciencia y tecnolog a con el objetivo ltimo de alcanzar niveles m s altos de bienestar econ mico y social; las empresasadoptan estrategias basadas en la "gesti n del conocimiento" y aumentan sus inver-siones en I+D; las universidades y centros p blicos de investigaci n adquieren unpapel muy relevante en la din mica socioecon mica como proveedores de conoci-miento y recursos humanos altamente cualificados.

10 Y las nuevas tecnolog as de lainformaci n y las comunicaciones introducen cambios profundos en las relacionessocioecon importancia que han adquirido las actividades de investigaci n, desarrollo tecno-l gico e innovaci n (I+D e innovaci n) requiere mecanismos de evaluaci n queaseguren que los esfuerzos invertidos en la producci n y explotaci n del conoci-miento sirvan a las necesidades e intereses de la sociedad y reviertan efectiva yeficazmente en ella. El proceso de creaci n y aplicaci n de nuevo conocimiento es un fen meno muycomplejo que implica la interacci n de numerosos agentes con culturas, objetivos ypapeles muy diversos.