Pensémoslo de nuevo: ¿podemos comparar las escalas de antecedentes socioeconómicos?

Abstract

espanolUtilizando datos de evaluaciones internacionales de gran escala, evaluamos la consistencia y la invarianza de las escalas de antecedentes socioeconomicos de los estudiantes entre los paises participantes en estos estudios. Para ello, utilizamos las medidas de antecedentes socioeconomicos desarrolladas por PISA, TERCE y TIMSS, ya que cada estudio operacionaliza esta medida de manera diferente. Como parte de nuestro analisis, examinamos si la escala de TERCE, un estudio latinoamericano ?con medidas que fueron desarrolladas con enfoque regional? exhibe mejores propiedades psicometricas que otras medidas que fueron disenadas para funcionar en un numero mayor y mas diverso de sistemas educativos. Adicionalmente, examinamos la escala de TIMSS, un estudio enfocado en tendencias ?que historicamente ha enfatizado la comparabilidad y consistencia?. Finalmente, incluimos tambien la escala de PISA, que cuenta con el mayor numero de participantes y que, en cierta medida, ha cambiado y conceptualizado sus cuestionarios de contexto dependiendo el dominio principal y el foco de cada ciclo del estudio. Nuestros resultados sugieren que ninguna de las escalas de contexto que analizamos son completamente invariantes entre los paises que participan en cada estudio, y por lo tanto las comparaciones entre paises deben hacerse con precaucion. Este articulo discute los niveles de equivalencia alcanzados por cada escala en cada estudio, asi como el tipo de comparaciones que se pueden realizar dados estos resultados (e.g. comparacion de los promedios nacionales de las escalas, comparacion de relaciones o correlaciones entre las escalas evaluadas y otras variables, etc.). EnglishUsing data from international large-scale assessments (ILSA), we evaluate the issue of country-level model-data consistency of background socio-economic scales, as well as the invariance across countries. To that end, we use data from PISA, TERCE, and TIMSS, as they operationalize socio-economic status somewhat differently. As part of our analysis, we examine whether TERCE, a Latin American study ? with measures that are regionally developed ? exhibits better psychometric properties than measures that are designed to function across a larger and more diverse number of educational systems. We also examine TIMSS, a trends focused study ? that has historically emphasized consistency and comparison. Finally, we include PISA which has the largest number of participants and has changed and conceptualized a great deal of its background questionnaire depending on the study?s major domain and focus. Our findings suggest that none of the socioeconomic background scales we analyzed are fully invariant in any of the three studies, and therefore comparisons across countries should be done with caution. The different levels of equivalence reached by each scale in each study and the type of comparisons that can be made given these results (e.g., comparison of average scale scores, comparison of relationships between the tested scales and other variables) are discussed in the full paper.