Profesor Ernesto San Martín publica en revista Journal of the Royal Statistical Society
Un paper del académico e investigador de la Facultad de Educación Ernesto San Martín acaba de ser publicado en la Journal of the Royal Statistical Society Series A
El investigador del Centro de Estudios de Políticas y Prácticas en Educación CEPPE, y profesor asociado de la Facultad de Educación y de la Facultad de Matemáticas Ernesto San Martín, acaba de publicar un paper sobre valor agregado –que hace una extensión de la definición de este concepto- en la Journal of the Royal Statistical Society Series A.
El artículo referenciado como Page, San Martín, Orellana & González (2016) cuestiona si una escuela puede ser efectiva para un determinado subgrupo de estudiantes, y no para otros.
La pregunta, motivada por consideraciones teóricas, fue respondida extendiendo la definición model-free de valor agregado, definiendo así la noción de valor agregado quatile (quantile value-added), lo que permite describir la efectividad de una escuela en función de poblaciones de estudiantes definidas en términos del cuantil de la distribución del post-test condicional a un conjunto de co-variables (entre ellas, el puntaje previo).
El trabajo de Page, San Martín, Orellana & González discute el uso en política pública de este tipo de indicadores, y propone una ilustración de la metodología usando los datos del SIMCE 2007 y 2011. Además, muestra cómo esta nueva noción de valor agregado es pertinente para lo que la ley de Aseguramiento de la Calidad de la Educación persigue.
La Journal of the Royal Statistical Society es una de las revistas más prestigiosas en el área de la estadística social, y en sus páginas han sido publicados los papers más fundamentales de value added, incluyendo autores como Longford, Spiegelahter, Goldstein, Thomas y Skrondal, quienes han construido las bases de la investigación en efectividad escolar. La serie A de este journal está consagrada a las aplicaciones de la estadística en la sociedad.
El editor de la serie A de la mencionada revista es Hervy Goldstein, uno de los investigadores más importantes en efectividad escolar en UK (miembro de importantes comisiones para value added en ese país y director de un centro de investigación multinivel que se ha dedicado a VA en UK y otras latitudes).
Polo de desarrollo en la UC
Ernesto San Martín explica que “en la Pontificia Universidad Católica de Chile se ha ido creando un polo de desarrollo científico en torno a la efectividad escolar y los modelos de valor agregado”. Este desarrollo se ha llevado a cabo gracias a proyectos públicos como el proyecto ANILLO SOC 1107 Statistics for Public Policy in Education, en el que también participaron los profesores Verónica Santelices (Facultad de Educación), Alejandro Carrasco (Facultad de Educación), Jorge González (Facultad de Matemáticas) y Garrit Page (Facultad de Matemáticas, ahora en Brigham Young University, USA).
-La investigación que hemos ido desarrollando está caracterizada por un elemento básico: la necesidad de definir conceptos sustantivos en términos formales usando las herramientas de la teoría de probabilidad –explica-. Esto la hace diferente de la llamada investigación cuantitativa, que se caracteriza por aplicar modelos de valor agregado existentes a datos chilenos (entre otros), pero sin preguntarse por la noción teórica de efectividad escolar que subyace a dicha metodología.
San Martín destaca que uno de los primeros logros obtenidos en este polo de desarrollo es el haber propuesto una definición de los conceptos básicos de efectividad escolar, definición que es independiente de cualquier modelo estadístico y, por lo tanto, se caracterizó como model-free, en referencia a los conceptos de efecto escuela y de valor agregado.
-El primero se define como una variable no-observable que explica la heterogeneidad de los puntajes individuales que a su vez no es explicada por variables de contexto (socio-económicas, características individuales, incluyendo un puntaje previo). El segundo se define como la diferencia entre el puntaje esperado en una determinada escuela (condicional a un conjunto de co-variables) y el puntaje esperado en una escuela de referencia. Este último concepto se caracteriza por las co-variables que se incluyen, lo cual implica que la efectividad de una escuela no es un concepto universal (es decir, que una escuela no es efectiva en todo contexto) y por lo tanto la selección de co-variables no depende de criterio estadístico alguno, sino que depende exclusivamente de consideraciones de política educacional y que deben responder a la pregunta acerca de la finalidad política que se tiene para usar modelos de valor agregado.
Estas consideraciones ya fueron expuestas en un artículo publicado en una de las revistas más prestigiosas de psicometría, Psychometrika, por Manzi, San Martín & Van Bellegem (2014). También fueron incluidas en dos publicaciones sobre ordenación de escuela de la Agencia de la Calidad y en el Centro Políticas Públicas: Propuestas para Chile y Agenda Legislativa, respectivamente.
El profesor San Martín ha publicado en los últimos años varios artículos relacionados con valor agregado. Entre ellos: J. Milla, E. San Martín and S. Van Bellegem (2015). Higher Education Value Added using Multiple Outcomes; submitted. CORE Discussion Paper 2015/45, Universite Catholique de Louvain, Bélgica. E. San Martín and A. Carrasco (2012). Clasificación de Escuelas en la Nueva Institucionalidad Educativa: Contribución de Modelos de Valor-Agregado para una Responsabilización Justa. Serie Temas de la Agenda Pública, Centro de Políticas Públicas UC 7, No. 53. A. Carrasco and E. San Martín (2012). Voucher System and School Effectiveness: reassessing school performance difference and parental choice decision-making. Estudios de Economía 39, 123-141. E. San Martín y A. Carrasco (2013). Criterios para evaluar la metodología de clasificación de escuelas: ¿Un asunto técnico o conceptual? En: Propuestas para Chile UC, capítulo III.
Texto: Francisco Zabaleta, facultad de Educación UC