Article
DOI: https://doi.org/10.18845/te.v15i1.5392


TENSIONS AND CHALLENGES EVALUATING THE IMPACT OF ENTREPRENEURSHIP POLICIES


TENSIONES Y DESAFÍOS EN LA EVALUACIÓN DEL IMPACTO DE LAS POLÍTICAS DE EMPRENDIMIENTO


TEC Empresarial, Vol. 15, n°. 1, (January - April, 2022), Pag. 36 - 55, ISSN: 1659-3359


ARTÍCULO RECIBIDO: 09/12/2019 • ARTÍCULO ACEPTADO: 01/04/2020

AUTHORS

Hugo Kantis

Programa de Desarrollo Emprendedor (PRODEM), Instituto de Industria, Universidad Nacional de General Sarmiento, Buenos Aires, Argentina. hkantis@ungs.edu.ar. Email

Juan Federico ORCID

Programa de Desarrollo Emprendedor (PRODEM), Instituto de Industria, Universidad Nacional de General Sarmiento, Buenos Aires, Argentina. jfederico@campus.ungs.edu.ar. Email

María Salomé Girandola

Instituto de Industria, Universidad Nacional de General Sarmiento, Buenos Aires, Argentina. msgirandola@gmail.com. Email




ABSTRACT

Abstract

Entrepreneurship policies are gaining importance in the policy agenda worldwide. In this context, policy-makers are eager to have more data and information about the effective contribution of such policies and benchmarks, in order to evaluate what worked and what did not. This need for a more evidence-based policy approach has led to a widespread diffusion of impact evaluation techniques, mainly those based on the utilization of complex econometric techniques. However, entrepreneurship, as a systemic and evolutionary phenomenon, calls into question several underlying assumptions and characteristics of such quantitative evaluations. This paper identifies and discusses these challenges and tensions. Based on these reflections, this paper proposes an integrative framework for developing an evaluation and learning system which combines different methodologies and approaches over the policy and its implementation, opening the “black box” of entrepreneurship policy evaluation.

Keywords: Entrepreneurship, impact evaluation, policies.

Resumen

Las políticas de apoyo al emprendimiento están ganado espacio en las agendas de la mayoría de los países del mundo. En este marco, es cada vez más necesario disponer de evidencias que permitan valorar la contribución efectiva de estas políticas y conocer cuáles funcionan y cuáles no. Esta necesidad llevó a una creciente difusión de las evaluaciones de impacto, principalmente a partir de la utilización de herramientas econométricas. Sin embargo, las características propias del fenómeno del emprendimiento desafían y ponen en tensión varios de los supuestos subyacentes a este tipo de evaluaciones. En este trabajo se propone identificar y discutir cuáles son estos desafíos y tensiones, y a partir de estas reflexiones propone un marco integrador de un sistema de evaluación y aprendizaje que combine diferentes metodologías y miradas sobre la política y su implementación. y que permita abrir "la caja negra" del emprendimiento y de las intervenciones.

Palabras clave: Emprendimiento, evaluación de impacto, políticas.



Introduction

1. Introduction


El reconocimiento del emprendimiento como motor de innovación y desarrollo productivo es cada vez mayor, tal como surge del creciente número de países que han implementado políticas destinadas a promover la creación y el desarrollo de nuevas empresas (Audretsch et al., 2007; Kantis y Federico, 2012; OCDE 2016; NESTA, 2015).

En este marco, cada vez es más necesario disponer de evidencias que permitan valorar la contribución efectiva de estas políticas públicas, conocer cuáles funcionan y cuáles no, así como contextualizar bajo qué condiciones ello ocurre (e.g. Hart, 2007; OCDE, 2001, 2007; Bochel y Duncan, 2007; CAF, 2017; Nutley et al., 2000). De este modo, la evaluación de las políticas se ha convertido en una tendencia global, transitando un cambio de enfoque desde los insumos, hacia los productos y resultados atribuibles a la política o programa implementado (Gertler et al., 2011; 2017; CAF 2017). Esta tendencia habitualmente identificada con el enfoque de la evidence-based policy (e.g. Nutley et al. 2007; Head, 2017) ha puesto a las evaluaciones de impacto tradicionales en el centro de la escena1.

Las evaluaciones de impacto, a diferencia de las evaluaciones generales, se preocupan por conocer el efecto causal de un programa sobre uno o más resultados de interés, y buscan cuantificar con rigurosidad científica el impacto directamente atribuible al programa evaluado (Baker, 2000; Gertler et al., 2011; CAF, 2017). Según el Banco Mundial, la evaluación de impacto

(…) mide los cambios en el bienestar de los individuos que se pueden atribuir a un proyecto, un programa o una política específicos. Este enfoque en la atribución es el sello distintivo de las evaluaciones de impacto. Por lo tanto, el reto fundamental en una evaluación de esta naturaleza consiste en identificar la relación causal entre el programa o la política y los resultados de interés (Gertler et al., 2017, p. 4)

Así, la característica distintiva de este tipo de evaluación es el foco en la causalidad y la atribución. Las evaluaciones de impacto habituales comparan los resultados obtenidos por los beneficiarios de un programa (grupo de tratamiento) con los resultados de un grupo de no beneficiarios (grupo de comparación o de control). La identificación de un grupo de comparación es un elemento central de las evaluaciones de impacto, ya que si no hay una estimación válida para este grupo es imposible medir el impacto de la política pública (Aquilino y Estévez, 2015). Se considera que un grupo de comparación es válido cuando (1) tiene las mismas características, en promedio, que el grupo de tratamiento en ausencia del programa; (2) no está afectado por el programa; y (3) es posible asumir que reaccionaría de la misma manera que el grupo de tratamiento si fuera objeto del programa (Gertler et al., 2011; 2017).

La utilización de diseños experimentales ( randomized control trials, en inglés), donde ambos grupos se constituyen de manera aleatoria (lotería), permite maximizar la probabilidad de que los grupos sean idénticos en términos de los factores que puedan influir en su participación en el programa o en los resultados de la intervención2. Es por ello que son considerados la referencia en métodos de evaluación de impacto, a la vez que su utilización se está difundiendo de manera acelerada.

Sin embargo, no siempre es posible (o deseable) asignar de manera aleatoria el acceso a un determinado programa y definir de ese modo los grupos de tratamiento y control. Por ello, los evaluadores suelen recurrir a diseños cuasi experimentales. En este tipo de diseños se utilizan distintas técnicas econométricas para poder comparar los resultados de los beneficiarios y del grupo de control, siempre que estos tengan características similares. Estas técnicas pueden agruparse en tres categorías: (i) aquellas que buscan controlar los factores observables (por ejemplo, propensity score matching), (ii) las que permiten controlar también los factores inobservables pero fijos en el tiempo (por ejemplo, diferencia en diferencias), y (iii) las que buscan reproducir, en un entorno más limitado, la aleatorización de la asignación (por ejemplo, regresión discontinua) (Baruj et al., 2016).

Sin embargo, la complejidad y la incertidumbre intrínsecas al fenómeno del emprendimiento plantean diversos desafíos a este tipo de evaluaciones y sus métodos, demandando un modelo de evaluación más comprehensivo, que reconozca los avances conceptuales verificados en el campo disciplinario del entrepreneurship hacia una mirada más amplia, evolutiva y sistémica del proceso emprendedor y de la creación de empresas dinámicas e innovadoras (e.g. Acs et al.2016; Bruton et al., 2010; Kantis et al., 2004; Kantis et al., 2014; Steyaert, 2007; Verheul et al., 2001).

Al omitir estos desafíos, asociados a la especificidad del emprendimiento, las evaluaciones tradicionales enfrentan el riesgo de acabar realizando contribuciones más modestas a la hora de generar evidencias y conocimientos más sólidos para alimentar tanto al diseño como a la ejecución de las políticas.

Lamentablemente, son muy pocos los trabajos académicos que se dedican a reflexionar y a revisar la práctica asociada a la evaluación de las políticas vinculadas con el emprendimiento, en particular, y con el desarrollo productivo, en general (Lenihan, 2011; Szerb et al., 2016; Crespi et al., 2014; Campos et al., 2014). En este contexto, el presente trabajo tiene como objetivo revisar el estado actual de las evaluaciones de impacto tradicionales de las políticas de emprendimiento y, en particular, avanzar en la identificación y discusión de los principales desafíos y tensiones existentes. De este modo, se busca ayudar a generar mejores evaluaciones y a que la interpretación de sus resultados sea debidamente ponderada a la luz de las limitaciones existentes.

Este trabajo se organiza de la siguiente manera. En la próxima sección, se describen los principales resultados del relevamiento realizado para aproximarse al estado del arte en materia de evaluaciones de impacto de políticas de emprendimiento. Luego, se presentan y discuten las especificidades del emprendimiento (y de sus políticas) y se reflexiona sobre sus implicancias y desafíos para las metodologías de evaluación de impacto tradicionales. Por último, a partir de este conjunto de reflexiones, se ofrecen algunas ideas para la discusión acerca de cómo avanzar hacia la construcción de un enfoque de evaluación de impacto capaz de dar cuenta de estos elementos distintivos del fenómeno emprendedor.

EVALUACIÓN DE IMPACTO EN EL CAMPO DEL EMPRENDIMIENTO: REVISIÓN DE LA LITERATURA EMPÍRICA


Las evaluaciones de impacto constituyen el escalón superior en el famoso esquema propuesto por Storey (1998) de los “Seis Escalones al Cielo”. Según este esquema, las metodologías de evaluación se dividirían en diferentes escalones según su grado de sofisticación, donde en los escalones iniciales están las metodologías más básicas que buscan relevar las opiniones de los participantes del programa, sin contar con ninguna comparación con un grupo de control. El camino hacia el cielo se recorrería a través de una mayor complejidad técnica, incluyendo un grupo de control y considerando los sesgos de selección.

Sin embargo, una primera cuestión para tener en cuenta es que son muy pocas las políticas de emprendimiento que cuentan con evaluaciones, y menos aun las que realizan evaluaciones de impacto (Lenihan et al., 2007). Esto afecta tanto a los países desarrollados como a los en vías de desarrollo. En efecto, Storey y Potter (2007) muestran que sólo siete de los cuarenta y dos programas públicos de apoyo a emprendedores y pymes de los países de la OCDE revisados por estos autores logran completar los seis escalones propuestos originalmente por Storey (1998).

En este marco, esta sección se dedica a revisar la literatura empírica sobre las evaluaciones de impacto en el ámbito específico del emprendimiento. La finalidad es conocer la situación actual y, a la vez, realizar unas primeras reflexiones sobre bases empíricas, acerca de las brechas existentes entre las características del fenómeno y el modo en que se miden y valoran los efectos de sus políticas. No se pretende, por el contrario, establecer una muestra representativa de su universo.

Para realizar esta tarea se siguieron los lineamientos metodológicos de Webster y Watson (2002)3. Por un lado, se revisaron working papers y artículos académicos publicados en revistas científicas especializadas y, por otro, evaluaciones y policy papers, tanto de gobiernos nacionales como de organismos multilaterales (BID, FOMIN, Banco Mundial, CAF, OCDE, entre otros) y grupos especializados en evaluaciones de impacto (3IE, IPA, NESTA, entre otros)4. En total se revisaron 95 documentos de los cuales, luego de un primer análisis de pertinencia y relevancia, se consideraron para este estudio unas 43 evaluaciones de impacto (tabla 1). Los principales aspectos comunes entre las evaluaciones revisadas se mencionan a continuación.


Tabla 1. Objeto de la intervención

TIPO DE BENEFICIO OTORGADO N %
Un solo beneficio 28 65%
Capacitación 10 23%
Financiamiento 18 42%
Más de un beneficio 14 35%
Capacitación + Consultoría 3 7%
Capacitación + Financiamiento 5 12%
Consultoría + Financiamiento 3 6%
Capacitación + Consultoría + Financiamiento 3 7%
Subtotal financiamiento 27 63%
Total 43 100%

Fuente: Elaboración propia.


En lo que respecta a las características de los programas y políticas cuyas evaluaciones fueron revisadas, es posible señalar que se trata, en general, de programas de ayuda financiera, sea en forma exclusiva (42%) o combinada con otro tipo de apoyos (23%). Este es un resultado interesante que permitió plantear a modo de hipótesis que ello se debe a que los programas de asistencia financiera son más sencillos de evaluar mediante estas técnicas debido a la naturaleza misma del beneficio otorgado (dinero) y la posibilidad de mensurar las variables de interés en forma monetaria y relacionarlas con efectos sobre ventas o inversiones.

Asimismo, poco más de un tercio de las evaluaciones revisadas combinaron más de un tipo de beneficios, lo que hace más difícil poder separar los efectos de cada uno de ellos para definir su impacto. Esto es aún más difícil cuando las complementariedades entre los diferentes tipos de beneficios son relevantes (Crespi, Maffioli et al., 2014). Quizás por ello, este tipo de programas aparezcan menos entre las evaluaciones que utilizan este tipo de técnicas.

Al observar el análisis concreto del tipo de evaluaciones revisadas (tabla 2), se identifica un fuerte predominio de diseños exclusivamente experimentales o cuasi-experimentales (79%). Sólo un 16% combinó métodos cuantitativos y cualitativos como estrategia metodológica. Este primer resultado indicaría que en los hechos el riesgo real está asociado a la falta de enfoques más amplios antes que a la falta de rigor de las técnicas empleadas. En especial, se observa una fuerte presencia de diseños experimentales basados en la asignación aleatoria (60%), frente a un menor número (18%) que utilizó algún método cuasi experimental para definir el grupo de comparación5 | 6.


Tabla 2. Distribución según método de evaluación

TIPO DE DISEÑO N %
Experimentales (RCT) 27 63%
Cuasi experimentales 7 16%
Subtotal 34 79%
Diseños Mixtos (cuali y cuantitativo) 7 16%
Otros (cuantitativos) 2 4%
Total 43 100%

Fuente: Elaboración propia.


En cuanto a las variables estudiadas (tabla 3), las evaluaciones relevadas muestran una marcada tendencia a centralizarse en aquellas que están relacionadas con el desempeño de las empresas, tales como las ventas o la rentabilidad (58%), y el empleo (33%). Más atrás aparecen la creación o supervivencia de las empresas (26%). La evaluación de variables, tales como las actitudes de los propios emprendedores o sus redes de contacto, tienen una frecuencia muy inferior a las anteriores.


Tabla 3. Variables de impacto evaluadas

VARIABLES N %
Rentabilidad o ventas 25 58%
Empleo 14 33%
Creación o supervivencia 11 26%
Acceso a financiamiento/capital 8 19%
Expansión del negocio 2 12%
Redes 4 9%
Innovación 3 7%
Competitividad 2 5%
Calidad del proyecto 1 2%
Subtotal empresa/proyecto 39 91%
Competencias técnicas 14 35%
Actitudinales/Motivacionales 7 16%
Subtotal emprendedor 15 35%
Red institucional 2 4%
Cultura emprendedora 2 4%
Subtotal ecosistema 3 7%
Total 43 100%

Fuente: Elaboración propia.


Asimismo, se advierte la casi ausencia de cualquier medición de impacto indirecto, por ejemplo, sobre el ecosistema emprendedor (instituciones o cultura emprendedora) o sobre otros emprendedores. En conjunto, este tipo de variables ha sido incluido en apenas tres estudios que utilizaron diseños mixtos con entrevistas a actores clave para captar estos efectos indirectos.

Finalmente, en lo que respecta a los resultados de las evaluaciones relevadas, existen diferencias importantes, entre ellas las que están basadas en variables de desempeño y aquellas que se centran en las competencias técnicas de los emprendedores. En el primer caso, los resultados alcanzados por los programas exhiben un alto grado de heterogeneidad. Por el contrario, en el segundo grupo tienden a ser más homogéneos y predominan los impactos positivos. Incidir sobre el desempeño de la empresa parecería ser más complejo que hacerlo sobre las habilidades, aptitudes o actitudes de los emprendedores. Por ejemplo, los factores ambientales e internos que acaban incidiendo sobre la creación y desempeño de las empresas son más diversos y variados que en el caso del desarrollo de las competencias de un emprendedor. No resulta sencillo discernir, sin embargo, cuánto de la heterogeneidad observada en los resultados de las evaluaciones centradas en el desempeño expresa la dificultad de los programas para dar cuenta de tales complejidades y cuánto tiene que ver con los desafíos que estas complejidades les plantean a las propias metodologías de evaluación, con su necesidad de controlar los distintos factores intervinientes.

La próxima sección se dedica, precisamente, a identificar y analizar las especificidades propias del proceso emprendedor y su incidencia sobre las evaluaciones de impacto.

CARACTERÍSTICAS ESPECÍFICAS DEL FENÓMENO EMPRENDEDOR Y DE LAS POLÍTICAS QUE INCIDEN SOBRE LAS EVALUACIONES DE IMPACTO


A continuación, se identifican las principales especificidades del proceso de emprendimiento y los desafíos que plantean a la hora de realizar evaluaciones de impacto. Estas están asociadas a su carácter evolutivo y sistémico, a la importancia de la dimensión organizacional y de las variables no observables.

EL CARÁCTER EVOLUTIVO Y SISTÉMICOORGANIZACIONAL DEL EMPRENDIMIENTO Y SUS POLÍTICAS

El emprendimiento es un proceso que incluye varias etapas (por ejemplo, gestación, start up, desarrollo temprano y expansión o scale up) y que suele llevar varios años desde que las personas adquieren la motivación por emprender hasta que logran crear la empresa (e.g. Gartner, 1985; Carter et al., 1996; Kantis et al., 2004; Shane, 2003, Shapero y Sokol, 1982). Según los modelos de desarrollo organizacional y del ciclo de vida de las empresas, durante estas fases el proyecto emprendedor y los emprendedores evolucionan (Stanworth y Curran, 1976; Johannisson, 1987).

Los estudios sobre instrumentos y programas tienden a reconocer — cada vez más — estas etapas y evolución (Lundström y Stevenson, 2001; Kantis et al., 2004; Audretsch et al., 2007). Sin embargo, las evaluaciones revisadas no reconocen esta situación. En particular, es importante señalar que una intervención puede afectar tanto al proyecto de empresa como a los emprendedores. Si la evaluación se centra en los impactos a nivel de la empresa, como suele ocurrir en las evaluaciones, se pierde de vista los efectos sobre los emprendedores.

Por otra parte, las evaluaciones tienden a llevarse a cabo una sola vez en el tiempo, usualmente al final, y no incluyen modelos evaluativos que articulen mediciones consecutivas en el tiempo, ni de carácter longitudinal. Se ignora así la naturaleza evolutiva y dinámica del proceso emprendedor y sus impactos (Lenihan, 2011). Tampoco captan las influencias intertemporales de los diversos programas en los que los emprendedores van participando a lo largo del tiempo. Por ejemplo, es muy común participar en un programa de desarrollo de capacidades emprendedoras primero y, más tarde, en uno de incubación o de capital semilla. Esta situación constituye un desafío para las evaluaciones.

Por otro lado, el fenómeno emprendedor es sistémico. Se trata de un proceso creativo complejo que se ve influido e influye, transforma, contextualiza y altera el espacio de la sociedad en el que se desarrolla (McKelvey, 2004; Steyaert, 2007; Steyaert y Katz 2004; Johannisson 1987). Intervienen diversos factores sociales, culturales y económicos (Acs et al., 2016; Kantis et al., 2004, 2014). Se verifican numerosas interacciones entre los diversos factores y actores que intervienen, lo que afecta el proceso de emprendimiento y el ambiente dinámico que ha tendido a ser denominado “ecosistema emprendedor” (e.g. Stam y Spiegel, 2017; Brown y Mason, 2017; Isenberg, 2011).

Las políticas de emprendimiento pueden generar también efectos no esperados sobre otras dimensiones del ecosistema, más allá de los emprendimientos y las nuevas empresas. Un caso muy frecuente es el efecto sobre la visibilidad externa de los proyectos beneficiados, o sobre la cultura y la generación de nuevas vocaciones emprendedoras por efecto de demostración generado por algunos beneficiarios7. De este modo, el impacto de un programa se propaga más allá del efecto buscado sobre la empresa beneficiaria. Las evaluaciones de impacto tradicionales encuentran dificultades para poder captar e incorporar estos efectos, externalidades, en el caso de las políticas de innovación (Bamberger et al., 2016; Lenihan, 2011; Crespi et al., 2014) o de clusters (Casaburi et al., 2014).

Captar estos efectos sistémicos constituye un desafío. De hecho, las evaluaciones de impacto analizadas no consideran la dimensión institucional, lo cual omite el rol de los gobiernos y las distintas organizaciones (incubadoras, aceleradoras, fondos, etc.), a través de las cuales suelen implementarse los distintos instrumentos. Ellas y sus relaciones conforman la cadena de valor del ecosistema institucional de servicios de apoyo a emprendedores. En varios casos, inclusive, los programas evaluados forman parte de una “organización madre” como una universidad, asociación empresaria, entre otras (Kantis, 2003; 2017).

La dimensión organizacional incide de manera significativa sobre los resultados de las políticas y programas. Las motivaciones, los incentivos, la cultura, los mandatos, los procesos de gestión y las capacidades organizacionales de estas instituciones y sus actores clave, como, por ejemplo, el gerente de la institución, son fuente de heterogeneidades importantes en los resultados de los programas (Cornick et al., 2014; Angelelli et al., 2017; Kantis, 2017).

Asimismo, estas organizaciones co-evolucionan y transitan ciclos de aprendizaje y construcción de capacidades a medida que van ejecutando los programas de emprendimiento. Por lo tanto, es de esperar que el impacto de un programa exceda el estricto resultado relacionado, por ejemplo, con las ventas, o el empleo del emprendimiento beneficiario, dado que también puede haber efectos no económicos sobre los comportamientos individuales y organizacionales (Díez, 2001; Kantis, 2017).

Al igual que ocurre con la naturaleza sistémica, la dimensión organizacional también cuestiona la posibilidad de ceñir las evaluaciones a las variables requeridas por los modelos tradicionales de estimación de impacto. Por consiguiente, resulta necesaria su complementación con otros modelos y técnicas que permitan responder a este tipo de interrogantes y faciliten el estudio de los procesos de transformación, aprendizaje y acumulación de capacidades.

Las especificidades del proceso emprendedor, y las políticas asociadas, desafían a los métodos y técnicas de evaluación de impacto. Aun cuando se logre avanzar en su resolución, de la mano de su sofisticación, subsisten aún aspectos no observables del proceso emprendedor cuya omisión implica estimar en exceso/defecto los efectos de las políticas. A continuación, se aborda esta cuestión.

UNA PARTE ESENCIAL (DEL FENÓMENO EMPRENDEDOR) ES INVISIBLE A LOS OJOS (DE LA EVALUACIÓN DE IMPACTO)

Otro elemento distintivo del emprendimiento, que desafía a las evaluaciones tradicionales, es la importancia de los atributos no observables relacionados, por ejemplo, con las capacidades individuales del equipo emprendedor, especialmente en las primeras fases del emprendimiento y con sus redes de contacto o las interacciones entre los actores del ecosistema. Subestimar o desestimar su influencia podría conducir a mediciones de impacto erróneas o que no logren captar el efecto completo de la intervención. Reconocer los distintos tipos de “no observables” es fundamental, tanto para avanzar hacia mejores evaluaciones como para reconocer sus limitaciones a la hora de interpretar sus resultados.

A continuación se identifican y clasifican estas “oscuridades” según el tipo de fuente que les da origen. A grandes rasgos, podemos hablar de dos grandes grupos: uno que está vinculado, principalmente, con aspectos propios de la tarea de evaluar y un segundo grupo referido a la brecha existente entre la complejidad del fenómeno del emprendimiento, de un lado, y el grado de avance alcanzado en su comprensión, del otro, cuestión que afecta a la teoría del cambio subyacente a la evaluación.

OSCURIDADES RELACIONADAS CON LA TAREA DE LA EVALUACIÓN

Un primer grupo está asociado a los problemas derivados de la baja disponibilidad de información sobre los beneficiarios o del grupo de control, como el conocimiento de las condiciones iniciales, las trayectorias y el comportamiento posterior a la intervención. Se trata de “oscuridades de información” que limitan y, a veces, impiden evaluar el impacto y eficacia de los programas (OCDE, 2009). En el caso del emprendimiento, estas cuestiones suelen ser mucho más frecuentes, por ejemplo, porque la información acerca del punto de inicio es limitada, o bien porque está incluida en proyectos de negocio y equipos emprendedores que encierran un elevado nivel de incertidumbre. Incluir esta información en modelos tradicionales de evaluación de impacto podría requerir de esfuerzos de codificación muy importantes.

Además, cuanto mayor sea la sofisticación de las técnicas de evaluación de impacto a utilizar, mayores serán los requisitos de información (en términos de cantidad y calidad). Cuanto más comprehensivo sea el modelo evaluativo, incluyendo mayor cantidad y diversidad de impactos posibles, mayores serán las necesidades de construir y recolectar información (Lenihan, 2011).

Por último, existen carencias de información derivadas de la casi nula existencia de sistemas de monitoreo de los beneficiarios una vez finalizados los programas. Esto inhibe la posibilidad de realizar evaluaciones de impacto completas ( full impact evaluation), un tiempo después de la intervención. En el caso del emprendimiento, ellas permitirían captar más cabalmente los efectos de la política y la naturaleza evolutiva del emprendimiento. En particular, los tiempos necesarios para empezar a identificar cambios atribuibles a la intervención, obligarían a tener sistemas de monitoreo varios años después de implementado el tratamiento, realidad que dista enormemente de la realidad de muchos países donde el monitoreo (si existe) alcanza sólo a una porción de los beneficiarios y cubre sólo los primeros años inmediatos al tratamiento. Finalmente, el tipo de proyecto y emprendedor apoyado podría ser un factor que intensifique estas dificultades en la obtención de información. Si bien los programas de apoyo a emprendedores de subsistencia, que difícilmente lleguen a constituir formalmente una empresa o sobrevivir varios años, pueden tener dificultades adicionales en la construcción de sistemas de monitoreo, las evidencias empíricas obtenidas a través de la experiencia de los autores en la evaluación de iniciativas que fomentan el emprendimiento dinámico e innovador permiten afirmar que la carencia de información es también un desafío en estos casos8. Por otro lado, la multiplicidad de apoyos que un mismo proyecto o emprendedor puede recibir en el tiempo, llevaría a la necesidad de que los sistemas de monitoreo incluyan un código de “trazabilidad” de los beneficiarios que permita su seguimiento en el tiempo.

Estrechamente vinculadas con las oscuridades de información, hay otras asociadas a las herramientas y técnicas econométricas utilizadas en las mediciones de impacto, que denominaremos “oscuridad técnica”. Si bien se reconoce el avance logrado en el grado de sofisticación de las técnicas econométricas empleadas, subsisten varias limitaciones inherentes a estas, algunas ya comentadas previamente, y que cobran especial relevancia en el campo del emprendimiento. Nos referimos aquí fundamentalmente a las limitaciones de estas técnicas para dar cuenta de algunos aspectos relacionados con la naturaleza sistémica y dinámica del proceso emprendedor.

Por ejemplo, para aplicar técnicas de regresión discontinua, pueden existir dificultades para encontrar un área de coincidencia entre los puntajes (scores) de participantes y no participantes, resultado del proceso de selección de beneficiarios9. También puede suceder que la cantidad de observaciones a uno y otro lado del punto de corte no sean suficientes. Además, los resultados serían válidos sólo para el subconjunto de participantes y no participantes que se encuentran cerca del punto de corte y no para los demás.

En el caso de la técnica de diferencias en diferencias, por su parte, se requiere que exista una situación previa a la intervención contra la cual contrastar, tanto para los participantes como para el grupo de comparación, algo que por definición no sucede en el caso de la creación de una nueva empresa10.

Por otro lado, gran parte del enfoque de evaluación de impacto (aun cuando se use RCT) está orientado a identificar los impactos promedio, aun cuando la mayor parte de los efectos esperados no suelen estar reflejados en ellos, debido a la importancia de los individuos ubicados en los deciles superiores de las distribuciones (Campos et al., 2014). Este caso es de especial relevancia para la evaluación de los programas de emprendimiento dinámico, debido a que los mayores impactos suelen concentrarse en un grupo.

En resumen, este tipo de oscuridades tienen su origen tanto en las limitaciones de la información disponible como en las técnicas empleadas para medir el impacto. Es posible que, a medida que se avance hacia una mayor cultura de evaluación, varias de estas oscuridades puedan ir siendo resueltas, en especial, las oscuridades de información. Sin embargo, aun cuando la sofisticación de las herramientas econométricas siga avanzando, existe otro tipo de oscuridades más profundas relacionadas con la teoría del cambio subyacente a la evaluación cuya resolución parece algo más compleja.

OSCURIDADES RELACIONADAS CON EL EMPRENDIMIENTO Y LA TEORÍA DEL CAMBIO

La conceptualización del proceso emprendedor ha evolucionado desde enfoques individualistas o unidisciplinares (Rees y Shah, 1986; Lazear, 2002; McClelland, 1961) hacia perspectivas más eclécticas y sistémicas (e.g. Acs et al., 2016; Kantis et al. 2004, 2014; Verheul et al., 2001). Ello implica que existen relaciones causales multidireccionales entre dimensiones y efectos de retroalimentación (McKelvie; 2004). Esto cuestiona el “supuesto de controlabilidad experimental” positivista, implícito en los modelos evaluativos y abordajes metodológicos de las evaluaciones de impacto. Además, la conceptualización sistémica y la concepción del proceso emprendedor como “socialmente embebido”, implicó un desplazamiento epistemológico desde el positivismo hacia posiciones más constructivistas, donde los individuos influyen y son influidos por su contexto social inmediato, a medida que van construyendo la realidad (enactment) y dándole sentido (Gartner, 1993; Fletcher, 2006; Downing, 2005). Esta transición desafía los postulados positivistas de los modelos econométricos de evaluación de impacto y revaloriza a los métodos cualitativos, como por ejemplo las narrativas (storytelling) y su aporte para abordar una trama compleja de hitos y eventos que suceden en el proceso de emprendimiento (Steyaert, 2007).

En palabras de Bygrave,

… si queremos entender el fenómeno del emprendimiento, nuestra metodología de investigación debe ser capaz de manejar discontinuidades inestables y no lineales. Es posible que la teoría del caos todavía no pueda ofrecernos una teoría matemática del emprendimiento, pero probablemente sea más relevante que el análisis de las regresiones lineales. El emprendimiento, después de todo, es una ciencia de la turbulencia y el cambio y no de la continuidad” [traducción de los autores] (Bygrave, 1989).

La revisión de las evaluaciones de impacto incluida en este artículo muestra que los modelos evaluativos no dan cuenta de la evolución en la conceptualización del proceso emprendedor. Aun cuando se logre avanzar significativamente en la incorporación de las múltiples direccionalidades de causa-efecto existentes entre los distintos factores que inciden sobre el proceso de emprendimiento y el desempeño, subsistirán aspectos no observables que limitarán la posibilidad de encorsetar el fenómeno emprendedor dentro del paradigma positivista de las evaluaciones de impacto tradicionales (Nirenberg et al., 2000). Estaríamos entonces en presencia de oscuridades teóricas y epistemológicas.

Incluso más, dado que el emprendimiento es tanto un proyecto económico como existencial, en el que la conducta de las personas y la decisión de emprender, o de persistir en la actividad empresarial – a veces aún a pesar de malos resultados económicos –, no sólo se ve influido por incentivos tradicionales (Storey, 2011; Kambourova y Stam, 2016). Este rasgo comportamental, distante del “individuo representativo” y del homo economicus “maximizador” y racional, vuelve más complejo el fenómeno y engrosa los elementos “no observables”.

Otro aspecto que desafía tanto a los marcos teóricos como las posturas epistemológicas es la presencia del componente azaroso en la trayectoria del emprendedor y de sus empresas (Denrell et al, 2014). La influencia de eventos aleatorios, fuera del control del individuo y de la organización, relativiza la influencia de los instrumentos de apoyo sobre los cambios de un emprendimiento o emprendedor. El “azar”, o la “suerte”, atraviesa de manera difusa el fenómeno y se mezcla con los demás factores que intervienen, sin que en la actualidad se cuente con marcos conceptuales y, mucho menos, métodos que den cuenta de ella.

Otro concepto ligado al azar, y que también es parte del proceso de emprendimiento, es la serendipia, concepto generalmente utilizado para referirse a resultados, hallazgos o descubrimientos obtenidos de forma imprevista o accidental (Dew, 2009). La serendipia atraviesa las diferentes etapas del proceso emprendedor, en especial aquellas vinculadas con la identificación de una oportunidad, de un potencial mercado o de una nueva técnica. También toma la forma de conversaciones casuales, de eventos no anticipados o de encuentros fortuitos que pueden facilitar el acceso a recursos no previstos. Su importancia está vastamente documentada en las historias de los emprendedores (Dew, 2009).

Sin embargo, la serendipia y el azar suelen quedar relegados al término de error de los modelos econométricos, sin darles la importancia que tienen, por ejemplo, en el proceso de reconocimiento de las oportunidades o de acceso a recursos (Sarasvathy, 2007). La presencia de la serendipia y el azar, y su influencia en el desempeño de los emprendimientos, son aspectos poco explorados en el ámbito teórico, y menos aún en el de las evaluaciones de impacto. Por otra parte, ellas llevan implícito el supuesto de dominancia de las políticas sobre la esfera de decisiones y comportamientos de los emprendedores y sus emprendimientos, cuando en realidad es muy frecuente que los incentivos que estas generan representen apenas una “dosis homeopática” en la vida real de los beneficiarios.

En suma, las especificidades que presenta el proceso emprendedor plantean desafíos a las evaluaciones de impacto. Estas particularidades tienen que ver, por un lado, con su carácter dinámico y sistémico-organizacional, y por otro, con la existencia de un conjunto de aspectos todavía no observables asociados tanto a la tarea de la evaluación como a la conceptualización de la teoría del cambio subyacente al modelo evaluativo.



Concluding

REFLEXIONES FINALES E IDEAS PRELIMINARES PARA ENFRENTAR LOS DESAFÍOS


Una de las primeras contribuciones de este artículo es haber identificado y revisado el estado de situación de las evaluaciones de impacto de políticas y programas púbicos de emprendimiento. Este esfuerzo permitió caracterizar el tipo de ejercicios que suelen realizarse y, a la vez, anticipar algunas limitaciones que presentan para atender ciertos desafíos derivados de las especificidades propias del fenómeno del emprendimiento.

Ello dio el marco apropiado para poder plantear y analizar las especificidades del fenómeno emprendedor y sus implicancias para las evaluaciones de impacto. Estas especificidades se relacionan principalmente con la naturaleza dinámica y sistémica del proceso emprendedor sobre el cual las políticas pretenden impactar, que no se condice con los presupuestos epistemológicos implícitos en las técnicas de medición de impacto, relacionadas con un paradigma positivista que asume relaciones causales claramente definidas, tanto en términos de su dirección como de su magnitud.

A su vez, se identificaron varios aspectos no observables que limitan la posibilidad de atribuir de manera directa los resultados a las políticas, pudiéndose, por ende, subvaluar o sobrevalorar su impacto. Estas oscuridades tienen sus orígenes en limitaciones en la información y en las técnicas empleadas en la evaluación, tanto como en la teoría del cambio subyacente al diseño de las políticas y sus impactos esperados. En particular, se enfatizó la presencia del azar y la serendipia, ambos aspectos de gran relevancia en el proceso emprendedor y cuya inclusión aún constituye un desafío tanto en el plano teórico como en el de las metodologías de evaluación.

A pesar de los esfuerzos que puedan hacerse para considerar los elementos no observables en las evaluaciones de impacto, cabría cuestionarse si, a la luz de las características del fenómeno y del complejo ambiente emprendedor en el que se instrumentan las políticas, cabría esperar que los métodos econométricos, aún en su versión más avanzada, sean capaces de identificar y medir la diversidad de efectos que tienen lugar en el sistema y sus diversos actores.

El conjunto de desafíos planteados en estas páginas no debería, sin embargo, inducir a la adopción de una postura escéptica frente a la posibilidad de avanzar hacia la realización de evaluaciones efectivas, más bien estas evaluaciones se consideran indispensables. Lo que se busca es alertar acerca de las limitaciones existentes y de la necesidad de avanzar hacia una estrategia de evaluación superadora.

En este marco, se ha colocado sobre la mesa la necesidad de ampliar la mirada que ofrecen las evaluaciones de impacto tradicionales no sólo en cuanto a su metodología, sino también en su matriz conceptual y epistemológica. Una de las conclusiones del análisis es que se requiere de un “enfoque de triangulación” (Jick, 1979) que combine lo mejor de las metodologías cuantitativas, incluyendo los experimentos, con las cualitativas para abrir la “caja negra” del emprendimiento y de las intervenciones. De este modo será posible dar cuenta no sólo de los aspectos más fácilmente observables y medibles, sino también del carácter sistémico-organizacional y dinámico del emprendimiento y de, al menos, parte de los no observables.

El camino propuesto implica diseñar un sistema estratégico de aprendizaje y evaluación que permita avanzar hacia una mejor comprensión de las relaciones explicativas del fenómeno y, por ende, de los efectos atribuibles al programa, tanto los directos sobre los emprendimientos y emprendedores como los indirectos que inciden sobre el ecosistema. Esta vía promete contribuir a la construcción de estrategias y herramientas de evaluación superadoras, capaces de aportar a la formulación de políticas basadas en la evidencia, capitalizando los aprendizajes institucionales y permitiendo ofrecer una mejor rendición de cuentas.

Este sistema debería incluir, en una primera instancia, un esquema de información para el monitoreo y evaluación que sea capaz de permitir el seguimiento permanente de la ejecución del programa a partir de una adecuada línea de base. Contar con un registro de indicadores de gestión y de resultados, y la elaboración de paneles de datos y de reportes de información (sobre los beneficiarios y la gestión del programa), por ejemplo, con base en un marco lógico o un tablero que contenga key performance indicators (KPIs), contribuirían a superar, al menos en parte, los problemas asociados a la “oscuridad de información”.

De forma complementaria, debería evaluarse la calidad y eficiencia de los procesos, partiendo del análisis del diseño, valuando su racionalidad y pertinencia en el contexto en el que ha sido formulado, y brindando un marco para luego enfocarse en su efectividad y eficiencia11 ; esto es, mediante la identificación de los logros en términos de los resultados buscados, pero también de los desafíos y lecciones aprendidas en la construcción de activos institucionales tangibles e intangibles a nivel del gobierno y de las instituciones ejecutoras. La elaboración de indicadores para establecer benchmarks organizacionales (Kantis, 2017; 2017a), la utilización del análisis de redes y la perspectiva de multiple stakeholder approach (Gibb 2002) son útiles para captar los efectos del programa sobre las instituciones, así como también la mirada de los distintos actores sobre el programa12 . Por ejemplo, uno de los aspectos relevantes a considerar con el auxilio de estas técnicas es la efectividad de la “cadena de relaciones proveedor-cliente interno” entre las organizaciones del ecosistema, parte esencial de la dinámica emergente (Kantis 2009, 2010a, 2010b, 2010c y 2012).

Todo ello aportaría un marco de antecedentes muy relevantes para que las evaluaciones de impacto cuenten con inputs adecuados, esto es, que les permitan plantear mejores modelos econométricos a la hora de evaluar el impacto, así como también ganar en profundidad a la hora de interpretar sus resultados, conscientes de sus alcances y limitaciones. De este modo se estaría en mejores condiciones para reducir la oscuridad técnica y aportar elementos acerca de la teoría del cambio que disminuyan la oscuridad teórica y epistemológica.

Finalmente, cabe señalar que, junto con los desafíos e ideas planteados más arriba, y al igual que sucede en otros campos más avanzados del conocimiento como la medicina, no debe subestimarse la relevancia del “ojo clínico” del profesional a cargo de la evaluación. Al igual que el “buen médico”, que interpreta e integra los resultados de estudios realizados con equipamientos de diagnóstico sofisticados con la experiencia que le da su propia trayectoria (conocimiento tácito específico), el evaluador debe estar familiarizado con las especificidades del proceso de emprendimiento que motivaron la realización de este trabajo.


Agradecimientos

Agradecimientos


Los autores agradecen al Editor de la revista y a los tres revisores anónimos por sus comentarios y sugerencias. Errores y omisiones son responsabilidad exclusiva de los autores.


Notes

Notas


1. Se denomina evaluaciones tradicionales a aquellas basadas en la experimentación y cuasi-experimentación (Izquierdo, 2008).

2. Estos factores pueden incluir aspectos observables y no observables, tales como la edad, género, educación, actitud, historia, variables individuales y habilidades entre otros factores.

3. Dado el foco de análisis de este trabajo la estrategia de búsqueda combinó las siguientes palabras clave “evaluación de impacto” y “emprendimiento” o “emprendedores”, tanto en español como en inglés. Además, para contar con una visión del estado más actual en la materia, se circunscribió la búsqueda al período 2003-2017.

4. A pesar de la amplitud de las fuentes revisadas, es posible que existan sesgos propios de la experiencia y conocimiento de los propios autores, especialmente en un contexto en el que no todas las evaluaciones de impacto acaban siendo publicadas y están accesibles.

5. Este resultado puede ser, en alguna medida, derivación de cierto sesgo en las evaluaciones revisadas producto de las fuentes u organizaciones consultadas que privilegian este tipo de diseños en sus evaluaciones de impacto.

6. Entre los métodos cuasi-experimentales se reparten casi en proporciones iguales los que usaron regresión discontinua y los que usaron el método de diferencias en diferencias combinado con alguna técnica de matching.

7. Por ejemplo, en la evaluación de impacto de Start up Chile de CORFO se realizaron treinta entrevistas semiestructuradas a informantes clave para poder captar y dimensionar el aporte del programa al ecosistema emprendedor en cuatro aspectos: contribución a un cambio cultural, a la generación de redes, al fortalecimiento de agentes de apoyo y al posicionamiento en el exterior (marca país) (Verde. Educación, Ciencia y Tecnología, 2015).

8. Los autores agradecen a uno de los revisores anónimos por esta sugerencia.

9. La regresión discontinua es una técnica donde los grupos de tratamiento y de control se conforman con las observaciones fronterizas ubicadas a un lado y otro del punto de corte que existe cuando se usa un sistema de scoring para la selección de los postulantes. De esta manera, esta técnica está dentro de las de carácter cuasi-experimental, es la más cercana a la asignación aleatoria (experimentos) y permite obtener estimaciones no sesgadas del efecto del tratamiento.

10. Cabe señalar que la técnica de diferencia en diferencias se caracteriza por medir el impacto como la diferencia entre la situación previa y posterior a la intervención del grupo de tratamiento, y la diferencia entre la situación previa y posterior a la intervención del grupo de control.

11. Por ejemplo, las evaluaciones de programas del Fondo Multilateral de Inversiones del BID solicitan este tipo de análisis en los términos de referencia para los consultores a cargo de estas.

12. El enfoque de Gibb sobre los stakeholders como fuentes de aprendizaje en el campo del emprendimiento es adaptado en este caso al campo de las evaluaciones. Los stakeholders incluyen, por ejemplo, al equipo de gestión del programa, el directorio, los profesionales que trabajan con los emprendedores, mentores, equipos de gestión, beneficiarios, representantes de las instituciones involucradas, entre otros.


References

Referencias


Acs, Z. J., Audretsch, D. B., Lehmann, E. E. & Licht, G. (2016). National systems of entrepreneurship. Small Business Economics, 46(4), 527-535.

Angelelli, P., Luna, F. & Suaznábar, C. (2017). Agencias latinoamericanas de fomento de la innovación y el emprendimiento: características y retos futuros. Nota técnica del BID N° 1285.

Aquilino, N. & Estévez, S. (2015). Lecciones aprendidas y desafíos sobre la incidencia en políticas públicas de las evaluaciones de impacto en América Latina. CIPPEC. Programa de Incidencia, Monitoreo y Evaluación. Área de Estado Y Gobierno.

Audretsch, D. B., Grilo, I. & Thurik, A. R. (Eds.). (2007). Handbook of research on entrepreneurship policy. Edward Elgar Publishing.

Baker, J. (2000). Evaluating the Impact of Development Projects on Poverty. A Handbook for Practitioners. Disponible en http://siteresources.worldbank.org/INTISPMA/Resources/handbook.pdf.

Bamberger, M., Tarsilla, M. & Hesse-Biber, S. (2016). Why so many ‘rigorous’ evaluations fail to identify unintended consequences of development programs: How mixed methods can contribute. Evaluation and Program Planning, 55, 155-62. https://doi.org/10.1016/j.evalprogplan.2016.01.001

Baruj, G., Britto, F. & Pereira, M. (2016). Evaluación de programas públicos: principales metodologías y experiencias de evaluación de programas de apoyo a la CTI en América Latina. CIECTI - Documento de Trabajo 2. Ciudad Autónoma de Buenos Aires.

Brown, R. & Mason, C. (2017). Looking inside the spiky bits: a critical review and conceptualisation of entrepreneurial ecosystems. Small Business Economics, 49(1), 11-30.

Bruton, G. D., Ahlstrom, D. & Li, H. L. (2010). Institutional Theory and Entrepreneurship: Where Are We Now and Where Do We Need to Move in the Future?. Entrepreneurship theory and practice, 34(3), 421-440.

Bygrave, W. (1989). The entrepreneurship paradigm (II): Chaos and Catastrophes among Quantum Jumps?. Entrepreneurship Theory and Practice, 14, 7-26.

CAF. (2017, Julio 20). ¿Qué es evaluación de impacto? https://www.caf.com/es/temas/e/evaluacion-deimpacto-para-la-gestion-publica/que-es-evaluacionde-impacto/

Campos, F. Coville, A., Fernandes, A., Goldstein, M. & Mckenzie, D. (2014). Learning from the experiments that never happened: Lessons from trying to conduct randomized evaluations of matching grant programs in Africa. Journal of the Japanese and International Economies 33, 1-35.

Carter, N. M., Gartner, W. B. & Reynolds, P. D. (1996). Exploring Start-Up Event Sequences. Journal of Business Venturing, 11(3), 151-166.

Casaburi, N., Maffioli A. & Pietrobelli, C. (2014). Más que la suma de las partes: Políticas de clusters. En G. Crespi, G. Fernández-Arias, & E. Stein (Eds), ¿Cómo repensar el desarrollo productivo? Políticas e instituciones sólidas para la transformación económica. Banco Interamericano de Desarrollo.

Cornick, J. Stein, E. & Fernández-Arias, E. (2014). La parte difícil: construir capacidades públicas. em G. Crespi, G. Fernández-Arias & E. Stein (Eds.), ¿Cómo repensar el desarrollo productivo? Políticas e instituciones sólidas para la transformación económica. Banco Interamericano de Desarrollo.

Crespi, G., Fernández-Arias, G. & Stein, E. (2014). ¿Cómo repensar el desarrollo productivo? Políticas e instituciones sólidas para la transformación económica. Banco Interamericano de Desarrollo.

Crespi, G., Maffioli, A. & Rasteletti, A. (2014). Invirtiendo en ideas: políticas de estímulo a la innovación. En G. Crespi, G. Fernández-Arias & E. Stein (Eds.), ¿Cómo repensar el desarrollo productivo? Políticas e instituciones sólidas para la transformación económica. Banco Interamericano de Desarrollo.

Denrell, J., Fang, C. & Liu, C. (2014). Perspective- Chance Explanations in the Management Sciences. Organization Science, 26(3), 923-940.

Dew, N. (2009). Serendipity in Entrepreneurship. Organization Studies 30(07), 735-753. https://doi.org/10.1177/0170840609104815.

Díez, M. (2001). Propuestas para evaluar las nuevas políticas regionales. Ekonomiaz (47), 182-203.

Downing, S. (2005). The Social Construction of Entrepreneurship: Narrative and Dramatic Processes in the Coproduction of Organizations and Identities. Entrepreneurship Theory and Practice, 29(2), 185- 204.

Fletcher, D. E. (2006). Entrepreneurial processes and the social construction of opportunity. Entrepreneurship & Regional Development, 18(5), 421-440.

Gartner, W. B. (1985). A conceptual framework for describing the phenomenon of new venture creation. Academy of management review, 10(4), 696-706.

Gartner, W. B. (1993). Words Lead to Deeds: Towards an Organizational Emergence Vocabulary. Journal of Business Venturing, 8, 231-239.

Gertler, P., Martinez, S., Premand, P. Rawlings, L. y Vermeersch, C. (2011). Impact Evaluation in Practice. The International Bank for Reconstruction and Development / The World Bank.

Gertler, P., Premand, P. Rawlings, L. y Vermeersch, C. (2017). La evaluación de impacto en la práctica. Banco Mundial https://doi.org/10.1596/978-0-8213-8681-1.

Gibb, A. (2002). Creative destruction, new values, new ways of doing things and new combinations of knowledge. In pursuit of a new ‘enterprise’ and ‘entrepreneurship’ paradigm for learning. International journal of management reviews. 4(3), 235-269.

Hart, M. (2007). Evaluating EU Regional Policy: How might we understand the causal connections between interventions and outcomes more effectively?. Policy Studies, 28(4), 295-308.

Head, B. (2017). Reconsidering evidence-based policy: Key issues and challenges, Policy and Society, 29(2), 77- 94. https://doi.org/10.1016/j.polsoc.2010.03.001.

Isenberg, D. (2011). The entrepreneurship ecosystem strategy as a new paradigm for economic policy: Principles for cultivating entrepreneurship. Presentation at the Institute of International and European Affairs.

Izquierdo, B. (2008). De la evaluación clásica a la evaluación pluralista. Criterios para clasificar los distintos tipos de evaluación. EMPIRIA. Revista de Metodología de Ciencias Sociales. 16, 115-134.

Jick, T. D. (1979). Mixing qualitative and quantitative methods: Triangulation in action. Administrative science quarterly, 24(4), 602-611.

Johannisson, B. (1987). Anarchists and organizers: Entrepreneurs in a network perspective. International Studies of Management & Organization, 17(1), 49-63.

Kambourova, Z. y Stam, E. (2016). Entrepreneurs’ overoptimism during the early life course of the firm. USE Discussion Paper Series 16-14.

Kantis H. (2009) Informe de Evaluación Intermedia del Programa Emprender de Apoyo a la Empresarialidad Dinámica en Uruguay (FOMIN, CND, LATU).

Kantis H. (2010a). Informe de evaluación del Programa de Promoción del espíritu empresarial a través de una segunda oportunidad (FOMIN).

Kantis H. (2010b). Informe de evaluación intermedia del Programa de Promoción de la participación femenina en el mundo empresarial de Chile (FOMIN).

Kantis H. (2010c). Informe de evaluación final del Programa de apoyo al emprendimiento dinámico en República Dominicana (FOMIN).

Kantis H. (2012). Informe de evaluación final del Programa Apalancando la Experiencia de Endeavor en la Promoción de Emprendimientos Dinámicos en Mercados Desatendidos. FOMIN ATN/ME-10949-RG.

Kantis, H. (coord.) (2003) Estudios sobre el desarrollo empresarial en Argentina. JICA/UNGS.

Kantis, H. (2017). Para entender las políticas y programas de emprendimiento. Una mirada organizacional. Serie Brief de Prodem. Disponible en www.prodem.ungs.edu.ar

Kantis, H. (2017a). Evaluación de incubadoras de emprendimientos El caso uruguayo y su comparación con el benchmark chileno. Documento para discusión IDB- DP- 530. https://publications.iadb.org/es/publicacion/14071/evaluacion-de-incubadorasde-emprendimientos-el-caso-uruguayo-y-sucomparacion

Kantis, H. & Federico, J. (2012). Entrepreneurial Ecosystems in Latin America: the role of policies. International Research and Policy Roundtable (Kauffman Foundation).

Kantis, H., Angelelli, P. & Moori-Koenig, V. (Eds). (2004). Desarrollo Emprendedor. América Latina y la experiencia internacional. Washington: Banco Interamericano de Desarrollo.

Kantis, H., Federico J. & Ibarra, S. (2014). Índice de Condiciones Sistémicas para el Emprendimiento Dinámico. Una herramienta para la acción en América Latina. Rafaela: Asociación Civil Red Pymes Mercosur.

Lazear, E. (2002). Entrepreneurship. National Bureau of Economic Research Working Paper 9109.

Lenihan, H. (2011). Enterprise policy evaluation: Is there a ‘new’ way of doing it? Evaluation and Program Planning 34 (4), 323-332. https://doi.org/10.1016/j.evalprogplan.2011.03.006

Lenihan, H., Hart, M. & Roper, S. (2007). Industrial Policy Evaluation: Theoretical Foundations and Empirical Innovations: New Wine in New Bottles. International Review of Applied Economics, 21(3), 313-319.

Lundström, A. & Stevenson, L. (2001). Entrepreneurship policy for the future. Swedish Foundation for Small Business Research.

McClelland, D. C. (1961). The Achieving Society, Van Nostrand.

McKelvey, B. (2004). Toward a complexity science of entrepreneurship. Journal of Business Venturing, 19(3), 313-341.

NESTA. (2015). Startup support programmes: What's the difference?. Disponible en https://www.nesta.org.uk/publications/startup-support-programmes-whatsdifference

Nirenberg, O, Brawerman, J. & Ruiz, V. (2000). El diseño de un modelo evaluativo. En O. Nirenberg, J. Brawerman & V. Ruiz (Eds.), Evaluar para la Transformación., 133-168. Paidós.

Nutley, S. M., Smith, P. C. & Davies, H. T. (Eds.). (2000). What works?: Evidence-based policy and practice in public services. Policy Press.

Nutley, S. M., Walter, I. & Davies, H. T. (2007). Using evidence: How research can inform public services. Policy press.

Organización para la Cooperación y el Desarrollo Económicos [OCDE]. (2001, 21-22 May). Outcome focused management and budgeting. 22nd Annual Meeting of Senior Budget Officials.

OCDE. (2007). OECD Framework for the Evaluation of SME and Entrepreneurship Policies and Programmes. https://doi.org/10.1787/9789264040090-en

OCDE. (2009). Evaluation of Programmes Concerning Education for Entrepreneurship. Report by the OECD Working Party on SMEs and Entrepreneurship.

OCDE. (2016). Start-Up Latin America 2016: building an innovative future.

Rees, H. & Shah, A. (1986). An empirical analysis of self—employment in the UK. Journal of applied econometrics, 1(1), 95-108.

Sarasvathy, S. (2007) Effectuation: Elements of entrepreneurial expertise. Routledge.

Shane, S. A. (2003). A general theory of entrepreneurship: The individual-opportunity nexus. Edward Elgar Publishing.

Shapero, A. & Sokol, L. (1982). The social dimensions of entrepreneurship. En C. Kent, D. Sexton y K. Vesper (Eds.), Encyclopedia of Entrepreneurship. Prentice Hall.

Stam, E. & Spigel, B. (2017). Entrepreneurial ecosystems. En R. Blackburn, D. De Clercq, J. Heinonen, & Z. Wang (Eds.), Handbook for entrepreneurship and small business. SAGE.

Stanworth, M. J. K. & Curran, J. (1976). Growth and the small firm —an alternative view. Journal of Management Studies, 13(2), 95-110.

Steyaert, C. (2007). ‘Entrepreneuring’ as a conceptual attractor? A review of process theories in 20 years of entrepreneurship studies. Entrepreneurship and regional development, 19(6), 453-477.

Steyaert, C. & Katz, J. (2004). Reclaiming the space of entrepreneurship in society: geographical, discursive and social dimensions. Entrepreneurship & regional development, 16(3), 179-196.

Storey, D. J. (1998). Six Steps to Heaven: Evaluating the Impact of Public Policies to Support Small Businesses in Developed Economies. CSME WORKING PAPERS. http://dx.doi.org/:10.1111/b.9780631215738.1999.00012.x

Storey, D. J. (2011). Optimism and chance: The elephants in the entrepreneurship room. International Small Business Journal, 29(4), 303-321.

Storey, D. J. & Potter, J. G. (2007). OECD framework for the evaluation of SME and entrepreneurship policies and programmes. OCDE.

Szerb, L., Komlósi, E. & Páger, B. (2016). Measuring entrepreneurship and optimizing entrepreneurship policy efforts in the European Union. CESifo DICE Report. 3.

Verde. Educación, Ciencia e Innovación. (2015). Evaluación De Impacto Del Programa Start-Up Chile De CORFO. Resumen Ejecutivo.

Verheul, I., Wennekers, S., Audretsch, D. & Thurik, R. (2001). An eclectic theory of entrepreneurship: policies, institutions and culture. Tinbergen Institute Discussion Paper (No. 01-030/3).

Webster, J. & Watson, R. T. (2002). Analyzing the past to prepare for the future: Writing a literature review. MIS quarterly, xiii-xxiii.

Wright, M., Westhead, P. & Ucbasaran, D. (2007). Internationalization of small and mediumsized enterprises (SMEs) and international entrepreneurship: A critique and policy implications. Regional Studies, 41(7), 1013-1030.

Listado de evaluaciones de impacto revisadas

Atkin, D., Iacovone, L. & Verhoogen, E. (2016). Promoting High Impact Entrepreneurship in Mexico: An Impact Evaluation. J-PAL and IPA.

Atlantic Canada Opportunities Agency. (2004). An Evaluation of the Seed Capital ConneXion Program for Young Entrepreneurs. Gardner Pinfold Consulting Economists Ltd.

Attanasio, O., Kugler, A. & Meghir, C. (2011). Subsidizing vocational training for disadvantaged youth in Colombia: Evidence from a randomized trial. American Economic Journal: Applied Economics 3(3), 188–220.http://dx.doi.org/10.1257/app.3.3.188

Attanasio, O., Augsburg, B., De Haas, R., Fitzsimons, E. & Harmgart, H. (2011). Group Lending or Individual Lending? Evidence from a Randomized Field Experiment in Mongolia. W11/20. IFS Working Papers. https://www.dx.doi.org/10.2139/ssrn.1974414

Augsburg, B., De Haas, R., Harmgart, H. & Meghir, C. (2012). Microfinance at the Margin: Experimental Evidence from Bosnia and Herzegovina. No SP II 2014-304, Discussion Papers, WZB Berlin Social Science Center.

Bjorvatn, K. & Tungodden, B. (2009). Teaching business in Tanzania: Evaluating participation and performance. CMI Working Paper 2009:9. https://doi.org/10.1111/j.1542-4774.2010.tb00526.x

Bonilla, C. & Cancino, C. (2011). The Impact of the Seed Capital Program of SERCOTEC in Chile. IDB-WP-279. IDW Working Paper Series.

Bruhn, M. & Zia, B. (2011). Stimulating Managerial Capital in Emerging Markets. The Impact of Business and Financial Literacy for Young Entrepreneurs. WPS5642. Policy Research Working Paper. Banco Mundial

Brune, L, Giné, X, Goldberg, J. & Yang, D. (2011). Commitments to Save: A Field Experiment in Rural Malawi. Impact Evaluation Series No. 50. Policy Research Working Paper. Banco Mundial. https://doi.org/10.1596/1813-9450-5748

Butler, I., Galassi, G. & Ruffo. H. (2016). Public funding for startups in Argentina: an impact evaluation. Small Business Economics 46(2), 295-309. https://doi.org/10.1007/s11187-015-9684-7

Calderon, G., Cunha, J. & De Giorgi, G. (2015). Business literacy and development: Evidence from a randomized controlled trial in rural Mexico. NBER Working Paper No. 19740.

Card, D., Ibarrarán, P., Regalia, F., Rosas-Shady, D. & Soares, Y. (2011). The Labor Market Impacts of Youth Training in the Dominican Republic. Journal of Labor Economics 29(2), 267-300. https://doi.org/10.1086/658090

Castro, L., Jorrat, D.& Szenkman, P. (2013). Estudio de Caso del Programa Buenos Aires Emprende (BAEP) y las PYME de Servicios de Software e Informática (SSI) de Argentina. CIPPEC Documento de Trabajo 113.

Centro de Investigaciones para el Desarrollo (2009). Informe cuantitativo. Evaluación de impacto y desempeño del programa Bogotá Emprende, Cámara de Comercio de Bogotá (CCB).

De Mel, S., McKenzie, D. & Woodruff, C. (2008). Who Are the Microenterprise Owners? Evidence from Sri Lanka on Tokman v. de Soto. IZA Discussion Paper Series 3511 https://doi.org/10.1596/1813-9450-4635

De Mel, S., McKenzie, D. & Woodruff, C. (2008a). Are Women More Credit Contrained? Experimental Evidence on Gender and Microenterprise Returns. IZA Discussion Papers 3743. doi: 10.1007/s13398-014-0173-7.2

De Mel, S., McKenzie, D. & Woodruff, C. (2013). Business training and female enterprise start-up, growth, and dynamics: Experimental evidence from Sri Lanka. Journal of Development Economics 106: 199-210. https://doi.org/10.1016/j.jdeveco.2013.09.005

Díaz-García, C., Sáez-Martínez, F. & Jiménez-Moreno, J. (2015). Evaluación del impacto del programa educativo ‘Emprendedores’ en la intención emprendedora de los participantes. RUSC. Universities and Knowledge Society Journal 12(3), 17-31.

Drexler, A., Fischer, G. & Schoar, A. (2011). Keeping it Simple: Financial Literacy and Rules of Thumb. American Economic Journal: Applied Economics, 6(2), 1-31. http://dx.doi.org/10.1257/app.6.2.1

Elosegui, P. (2015). Metodología de Evaluación de Políticas de Apoyo a Emprendedores – Aplicación al PACC. Documento de trabajo LiD.

Fafchamps, M., McKenzie, D., Quinn, S. & Woodruff, C. (2011). When is capital enough to get female microenterprises growing? Evidence from a randomized experiment in Ghana. NBER Working Paper Series 17207. https://doi.org/10.1596/1813-9450-5706

Field, E., Pande, R., Papp, J. & Rigol, N. (2010). Term Structure of Debt and Entrepreneurial Behavior: Experimental Evidence from Microfinance.

Giné, X. & Karlan, D. (2009). Group versus individual liability: Long term evidence from Philippine microcredit lending groups. Yale University Economic Growth Center Discussion Paper 970.

Giné, X. & Yang, D. (2009). Insurance, credit, and technology adoption: Field experimental evidence from Malawi. Journal of Development Economics 89 (1), 1-11. https://doi.org/10.1016/j.jdeveco.2008.09.007

Giné, X & Mansuri, G. (2014). Money or Ideas? A Field Experiment on Constraints to Entrepreneurship in Rural Pakistan. Policy Research Working Paper WPS6959. Banco Mundial.

Gonzalez-Uribe, J. & Leatherbee, M. (2017). The Effects of Business Accelerators on Venture Performance: Evidence from Start-Up Chile.

Kantis, H. & Federico, J. (2013). Evaluación del Programa de Apoyo a Emprendedores Innovadores de ANII.

Karlan, D. & Zinman, J. (2010). Expanding credit access: Using randomized supply decisions to estimate the impacts. The Review of Financial Studies 23(1), 433- 64. https://doi.org/10.1093/rfs/hhp092

Karlan, D. & Zinman, J. (2011). Microcredit in theory and practice: Using randomized credit scoring for impact evaluation. Science, 332(6035), 1278-1284. https://doi.org/10.1126/science.1200138

Karlan, D. & Valdivia, M. (2011). Teaching Entrepreneurship: Impact of Business Training on Microfinance Clients and Institutions. Review of Economics and Statistics, 93(2), 510–27. https://doi.org/10.1162/REST_a_00074

Mano, Y., Iddrisu, A., Yoshino, Y. & Sonobe, T. (2012). How Can Micro and Small Enterprises in Sub-Saharan Africa Become More Productive? The Impacts of Experimental Basic Managerial Training. World Development 40(3), 458-68. https://doi.org/10.1016/j.worlddev.2011.09.013

McKenzie, D. & Woodruff, C. (2008). Experimental evidence on returns to capital and access to finance in Mexico. The World Bank Economic Review 22(3), 457- 82. https://doi.org/10.1093/wber/lhn017

Pitt, M., Khandker, S. & Cartwright, J. (2003). Does Micro- Credit Empower Women? Evidence from Bangladesh. World Bank Policy Research Working Paper 2998. http://dx.doi.org/10.1596/1813-9450-2998.

Premand, P., Brodmann, S., Almeida, R., Grun, R. & Barouni, M. (2012). Entrepreneurship Training and Self-Employment among University Graduates: Evidence from a Randomized Trial in Tunisia. Impact Evaluation Series No. 77. IZA Policy Research Working Paper.

Ruffo, H., Butler, I., Galassi, G. & González, G. (2012). Impacto De Las Políticas De Fomento Al Emprendedorismo: El Caso De ‘Buenos Aires Emprende’. CAF Working Papers 2012/11.

Schoar, A. (2012). The Impact of Business Training and Capital for High Potential Entrepreneurs in Colombia. Innovations for Poverty Action - Project Registry.

Söderblom, A., Samuelsson, M., Wiklund, J. & Sandberg, R. (2015). Inside the black box of outcome additionality: Effects of early-stage government subsidies on resource accumulation and new venture performance. Research Policy, 44(8) 1501-1512. https://doi.org/10.1016/j.respol.2015.05.009

Taboada, L. & Fernández, R. (2009). Análisis y resultados de un modelo de evaluación, apoyo y mejora de proyectos empresariales impulsados por jóvenes emprendedores. Estudios Gerenciales, 25(113), 75-97. https://doi.org/10.1016/S0123-5923(09)70090-7

The Danish Foundation for Entrepreneurship (2014). Impact of Entrepreneurship Education in Denmark – 2013. Disponible en http://eng.ffe-ye.dk/media/68678/eng20-20effektmc3a5ling20entreprenc3b8rskabsundervisning20201320til20tryk-2.pdf