让我们再想想:我们能比较社会经济背景量表吗?

IF 2 4区 教育学 Q2 EDUCATION & EDUCATIONAL RESEARCH
Andrés Sandoval-Hernández, Rutkowski David, Tyler Mata, D. Miranda
{"title":"让我们再想想:我们能比较社会经济背景量表吗?","authors":"Andrés Sandoval-Hernández, Rutkowski David, Tyler Mata, D. Miranda","doi":"10.4438/1988-592X-RE-2019-383-400","DOIUrl":null,"url":null,"abstract":"espanolUtilizando datos de evaluaciones internacionales de gran escala, evaluamos la consistencia y la invarianza de las escalas de antecedentes socioeconomicos de los estudiantes entre los paises participantes en estos estudios. Para ello, utilizamos las medidas de antecedentes socioeconomicos desarrolladas por PISA, TERCE y TIMSS, ya que cada estudio operacionaliza esta medida de manera diferente. Como parte de nuestro analisis, examinamos si la escala de TERCE, un estudio latinoamericano ?con medidas que fueron desarrolladas con enfoque regional? exhibe mejores propiedades psicometricas que otras medidas que fueron disenadas para funcionar en un numero mayor y mas diverso de sistemas educativos. Adicionalmente, examinamos la escala de TIMSS, un estudio enfocado en tendencias ?que historicamente ha enfatizado la comparabilidad y consistencia?. Finalmente, incluimos tambien la escala de PISA, que cuenta con el mayor numero de participantes y que, en cierta medida, ha cambiado y conceptualizado sus cuestionarios de contexto dependiendo el dominio principal y el foco de cada ciclo del estudio. Nuestros resultados sugieren que ninguna de las escalas de contexto que analizamos son completamente invariantes entre los paises que participan en cada estudio, y por lo tanto las comparaciones entre paises deben hacerse con precaucion. Este articulo discute los niveles de equivalencia alcanzados por cada escala en cada estudio, asi como el tipo de comparaciones que se pueden realizar dados estos resultados (e.g. comparacion de los promedios nacionales de las escalas, comparacion de relaciones o correlaciones entre las escalas evaluadas y otras variables, etc.). EnglishUsing data from international large-scale assessments (ILSA), we evaluate the issue of country-level model-data consistency of background socio-economic scales, as well as the invariance across countries. To that end, we use data from PISA, TERCE, and TIMSS, as they operationalize socio-economic status somewhat differently. As part of our analysis, we examine whether TERCE, a Latin American study ? with measures that are regionally developed ? exhibits better psychometric properties than measures that are designed to function across a larger and more diverse number of educational systems. We also examine TIMSS, a trends focused study ? that has historically emphasized consistency and comparison. Finally, we include PISA which has the largest number of participants and has changed and conceptualized a great deal of its background questionnaire depending on the study?s major domain and focus. Our findings suggest that none of the socioeconomic background scales we analyzed are fully invariant in any of the three studies, and therefore comparisons across countries should be done with caution. The different levels of equivalence reached by each scale in each study and the type of comparisons that can be made given these results (e.g., comparison of average scale scores, comparison of relationships between the tested scales and other variables) are discussed in the full paper.","PeriodicalId":21314,"journal":{"name":"Revista De Educacion","volume":"05 1","pages":"37-61"},"PeriodicalIF":2.0000,"publicationDate":"2019-01-31","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"4","resultStr":"{\"title\":\"Pensémoslo de nuevo: ¿podemos comparar las escalas de antecedentes socioeconómicos?\",\"authors\":\"Andrés Sandoval-Hernández, Rutkowski David, Tyler Mata, D. Miranda\",\"doi\":\"10.4438/1988-592X-RE-2019-383-400\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"espanolUtilizando datos de evaluaciones internacionales de gran escala, evaluamos la consistencia y la invarianza de las escalas de antecedentes socioeconomicos de los estudiantes entre los paises participantes en estos estudios. Para ello, utilizamos las medidas de antecedentes socioeconomicos desarrolladas por PISA, TERCE y TIMSS, ya que cada estudio operacionaliza esta medida de manera diferente. Como parte de nuestro analisis, examinamos si la escala de TERCE, un estudio latinoamericano ?con medidas que fueron desarrolladas con enfoque regional? exhibe mejores propiedades psicometricas que otras medidas que fueron disenadas para funcionar en un numero mayor y mas diverso de sistemas educativos. Adicionalmente, examinamos la escala de TIMSS, un estudio enfocado en tendencias ?que historicamente ha enfatizado la comparabilidad y consistencia?. Finalmente, incluimos tambien la escala de PISA, que cuenta con el mayor numero de participantes y que, en cierta medida, ha cambiado y conceptualizado sus cuestionarios de contexto dependiendo el dominio principal y el foco de cada ciclo del estudio. Nuestros resultados sugieren que ninguna de las escalas de contexto que analizamos son completamente invariantes entre los paises que participan en cada estudio, y por lo tanto las comparaciones entre paises deben hacerse con precaucion. Este articulo discute los niveles de equivalencia alcanzados por cada escala en cada estudio, asi como el tipo de comparaciones que se pueden realizar dados estos resultados (e.g. comparacion de los promedios nacionales de las escalas, comparacion de relaciones o correlaciones entre las escalas evaluadas y otras variables, etc.). EnglishUsing data from international large-scale assessments (ILSA), we evaluate the issue of country-level model-data consistency of background socio-economic scales, as well as the invariance across countries. To that end, we use data from PISA, TERCE, and TIMSS, as they operationalize socio-economic status somewhat differently. As part of our analysis, we examine whether TERCE, a Latin American study ? with measures that are regionally developed ? exhibits better psychometric properties than measures that are designed to function across a larger and more diverse number of educational systems. We also examine TIMSS, a trends focused study ? that has historically emphasized consistency and comparison. Finally, we include PISA which has the largest number of participants and has changed and conceptualized a great deal of its background questionnaire depending on the study?s major domain and focus. Our findings suggest that none of the socioeconomic background scales we analyzed are fully invariant in any of the three studies, and therefore comparisons across countries should be done with caution. The different levels of equivalence reached by each scale in each study and the type of comparisons that can be made given these results (e.g., comparison of average scale scores, comparison of relationships between the tested scales and other variables) are discussed in the full paper.\",\"PeriodicalId\":21314,\"journal\":{\"name\":\"Revista De Educacion\",\"volume\":\"05 1\",\"pages\":\"37-61\"},\"PeriodicalIF\":2.0000,\"publicationDate\":\"2019-01-31\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"4\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Revista De Educacion\",\"FirstCategoryId\":\"95\",\"ListUrlMain\":\"https://doi.org/10.4438/1988-592X-RE-2019-383-400\",\"RegionNum\":4,\"RegionCategory\":\"教育学\",\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"Q2\",\"JCRName\":\"EDUCATION & EDUCATIONAL RESEARCH\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Revista De Educacion","FirstCategoryId":"95","ListUrlMain":"https://doi.org/10.4438/1988-592X-RE-2019-383-400","RegionNum":4,"RegionCategory":"教育学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q2","JCRName":"EDUCATION & EDUCATIONAL RESEARCH","Score":null,"Total":0}
引用次数: 4

摘要

在本研究中,我们评估了参与研究的国家之间学生社会经济背景量表的一致性和不变性。在本研究中,我们使用了由PISA、TERCE和TIMSS开发的社会经济背景测量,因为每个研究都以不同的方式操作这个测量。作为我们分析的一部分,我们检查了TERCE量表,一个拉丁美洲的研究?它比其他旨在在更多、更多样化的教育系统中发挥作用的措施表现出更好的心理测量特性。此外,我们还研究了TIMSS量表,这是一项关注趋势的研究,历来强调可比性和一致性。最后,我们还包括了PISA量表,它有最多的参与者,并在一定程度上根据每个研究周期的主要领域和重点改变和概念化了它的背景问卷。我们的结果表明,我们分析的背景量表在参与每个研究的国家中没有一个是完全不变的,因此国家之间的比较应该谨慎。本文讨论了每个量表在每个研究中达到的等效水平,以及根据这些结果可以进行的比较类型(例如,量表的全国平均值的比较,评估量表与其他变量之间的关系或相关性的比较,等等)。根据国际大比额评估(ILSA)的英文数据,我们评估了国家一级模型数据的一致性问题以及国家间的不变性。为此,我们使用了来自PISA、TERCE和TIMSS的数据,因为它们对社会经济地位的运作略有不同。作为分析的一部分,我们检查是否有拉丁美洲研究?采取区域发展的措施?与旨在在更广泛和更多样化的教育系统中发挥作用的措施相比,它们表现出更好的心理测量特性。我们还研究了TIMSS,一项以趋势为重点的研究?它在历史上强调一致性和比较。最后,我们纳入了参与人数最多的PISA,并根据研究对其背景问卷进行了很大的修改和概念化?s大domain and focus。我们的研究结果表明,我们所分析的社会经济背景量表在这三项研究中没有一个是完全不变的,因此在进行跨国家比较时应谨慎。全文讨论了每项研究中每一量表所达到的不同程度的等价性,以及根据这些结果可以进行的比较类型(例如,比较平均量表得分,比较测试量表与其他变量之间的关系)。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
Pensémoslo de nuevo: ¿podemos comparar las escalas de antecedentes socioeconómicos?
espanolUtilizando datos de evaluaciones internacionales de gran escala, evaluamos la consistencia y la invarianza de las escalas de antecedentes socioeconomicos de los estudiantes entre los paises participantes en estos estudios. Para ello, utilizamos las medidas de antecedentes socioeconomicos desarrolladas por PISA, TERCE y TIMSS, ya que cada estudio operacionaliza esta medida de manera diferente. Como parte de nuestro analisis, examinamos si la escala de TERCE, un estudio latinoamericano ?con medidas que fueron desarrolladas con enfoque regional? exhibe mejores propiedades psicometricas que otras medidas que fueron disenadas para funcionar en un numero mayor y mas diverso de sistemas educativos. Adicionalmente, examinamos la escala de TIMSS, un estudio enfocado en tendencias ?que historicamente ha enfatizado la comparabilidad y consistencia?. Finalmente, incluimos tambien la escala de PISA, que cuenta con el mayor numero de participantes y que, en cierta medida, ha cambiado y conceptualizado sus cuestionarios de contexto dependiendo el dominio principal y el foco de cada ciclo del estudio. Nuestros resultados sugieren que ninguna de las escalas de contexto que analizamos son completamente invariantes entre los paises que participan en cada estudio, y por lo tanto las comparaciones entre paises deben hacerse con precaucion. Este articulo discute los niveles de equivalencia alcanzados por cada escala en cada estudio, asi como el tipo de comparaciones que se pueden realizar dados estos resultados (e.g. comparacion de los promedios nacionales de las escalas, comparacion de relaciones o correlaciones entre las escalas evaluadas y otras variables, etc.). EnglishUsing data from international large-scale assessments (ILSA), we evaluate the issue of country-level model-data consistency of background socio-economic scales, as well as the invariance across countries. To that end, we use data from PISA, TERCE, and TIMSS, as they operationalize socio-economic status somewhat differently. As part of our analysis, we examine whether TERCE, a Latin American study ? with measures that are regionally developed ? exhibits better psychometric properties than measures that are designed to function across a larger and more diverse number of educational systems. We also examine TIMSS, a trends focused study ? that has historically emphasized consistency and comparison. Finally, we include PISA which has the largest number of participants and has changed and conceptualized a great deal of its background questionnaire depending on the study?s major domain and focus. Our findings suggest that none of the socioeconomic background scales we analyzed are fully invariant in any of the three studies, and therefore comparisons across countries should be done with caution. The different levels of equivalence reached by each scale in each study and the type of comparisons that can be made given these results (e.g., comparison of average scale scores, comparison of relationships between the tested scales and other variables) are discussed in the full paper.
求助全文
通过发布文献求助,成功后即可免费获取论文全文。 去求助
来源期刊
Revista De Educacion
Revista De Educacion EDUCATION & EDUCATIONAL RESEARCH-
CiteScore
2.20
自引率
0.00%
发文量
0
审稿时长
8 weeks
期刊介绍: La Revista de Educación es una publicación científica del Ministerio de Educación y Formación Profesional español. Fundada en 1940, y manteniendo el título de Revista de Educación desde 1952, es un testigo privilegiado de la evolución de la educación en las últimas décadas, así como un reconocido medio de difusión de los avances en la investigación y la innovación en este campo, tanto desde una perspectiva nacional como internacional. La revista es editada por la Subdirección General de Atención al Ciudadano, Documentación y Publicaciones, y actualmente está adscrita al Instituto Nacional de Evaluación Educativa de la Dirección General de Evaluación y Cooperación Territorial. Cada año se publican cuatro números con tres secciones: Investigaciones, Ensayos y Reseñas. Uno de los números anuales podrá contar con una sección Monográfica con convocatoria pública en esta web. Todos los artículos enviados a las diferentes secciones están sometidos a evaluación externa. En el primer número del año se incluye un índice bibliográfico, y en el segundo un editorial con la Memoria anual que recoge las principales estadísticas del proceso editor de ese período, los índices de calidad e impacto, así como el listado de revisores externos.
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信