{"title":"Better Crowdcoding: Strategies for Promoting Accuracy in Crowdsourced Content Analysis","authors":"Ceren Budak, R. Garrett, Daniel J. Sude","doi":"10.1080/19312458.2021.1895977","DOIUrl":"https://doi.org/10.1080/19312458.2021.1895977","url":null,"abstract":"ABSTRACT In this work, we evaluate different instruction strategies to improve the quality of crowdcoding for the concept of civility. We test the effectiveness of training, codebooks, and their combination through 2 × 2 experiments conducted on two different populations – students and Amazon Mechanical Turk workers. In addition, we perform simulations to evaluate the trade-off between cost and performance associated with different instructional strategies and the number of human coders. We find that training improves crowdcoding quality, while codebooks do not. We further show that relying on several human coders and applying majority rule to their assessments significantly improves performance.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"15 1","pages":"141 - 155"},"PeriodicalIF":11.4,"publicationDate":"2021-04-03","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"https://sci-hub-pdf.com/10.1080/19312458.2021.1895977","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"42174527","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Abubakar Abba, Aminu Abbas, Aondover Eric Msughter
{"title":"Análisis de contenido comparativo en la cobertura periodística de los casos de secuestro en Nigeria","authors":"Abubakar Abba, Aminu Abbas, Aondover Eric Msughter","doi":"10.35951/V3I1.94","DOIUrl":"https://doi.org/10.35951/V3I1.94","url":null,"abstract":"Este estudio utilizó el análisis de contenido para analizar la cobertura periodística de los casos de secuestro en Nigeria en los periódicos Daily Trust y The Guardian desde agosto a octubre de 2020. Los objetivos de la investigación son examinar la frecuencia, la prominencia y la dirección para medir el alcance de los casos de secuestro por los periódicos seleccionados. Como marco teórico se utilizaron la teoría del ciclo de atención a la temática y la teoría del encuadre. El supuesto básico de la teoría del ciclo de atención a la temática es que los temas relacionados con el medio ambiente tienden a ser repentinamente más notorios, permaneciendo así durante un breve tiempo y luego se desvanecen gradualmente del centro de la atención pública, mientras que la teoría del encuadre de los medios de comunicación defiende que el encuadre individual implica la comprensión cognitiva del individuo en una situación determinada. El estudio reveló que los dos periódicos informaron más de los casos de secuestro en sus páginas interiores, con un 52,6% (Daily Trust) y un 46,8% (The Guardian).","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"25 1","pages":""},"PeriodicalIF":11.4,"publicationDate":"2021-03-03","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"86060045","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Apuntes metodológicos para el estudio del negacionismo climático en los medios escritos","authors":"S. Martín-Sosa","doi":"10.35951/V3I1.111","DOIUrl":"https://doi.org/10.35951/V3I1.111","url":null,"abstract":"La presencia del negacionismo climático en los medios de comunicación ha sido estudiada especialmente en algunos países como Reino Unido o Estados Unidos. La evidencia muestra como el negacionismo en los medios de comunicación es un fenómeno minoritario. En las noticias se ha producido una evolución hacia argumentos que ya no cuestionan tanto la existencia del fenómeno o su origen antrópico y esgrimen razones o formas más sutiles para rechazar de la realidad climática, aludiendo a motivos económicos para no actuar o cuestionando la magnitud del fenómeno. Teniendo en cuenta el importante papel que podría jugar la información veraz y científicamente contrastada en los medios de comunicación a la hora de conformar las actitudes sociales frente al problema, es relevante seguir profundizando en el estudio del negacionismo climático en los medios de comunicación, especialmente en países donde estos estudios escasean. Este artículo analiza el tipo de acercamiento idóneo en la investigación sobre el negacionismo climático, teniendo en cuenta las principales características con las que se enfrentan este tipo de estudios.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"55 1","pages":""},"PeriodicalIF":11.4,"publicationDate":"2021-02-26","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"89060689","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Rastreando más allá del texto: El uso del análisis de contenido regresivo para estudiar las prácticas periodísticas","authors":"Dawn Wheatley","doi":"10.35951/v3i1.93","DOIUrl":"https://doi.org/10.35951/v3i1.93","url":null,"abstract":"El análisis de contenido es una herramienta habitual en los estudios sobre los medios de comunicación y en otros ámbitos relacionados. Suele utilizarse para identificar patrones en los textos periodísticos que ayuden a estudiar qué y cómo se comunica la información al público. Sin embargo, estos resultados, que suelen cuantificarse basándose únicamente en los mensajes y detalles del informe de noticias, tienen limitaciones para los investigadores que buscan establecer una conexión entre la producción periodística -el típico informe final de noticias- y las prácticas periodísticas implicadas en el montaje del informe. La metodología que aquí se propone pretende establecer un enfoque sistemático para explorar las prácticas periodísticas de abastecimiento a través del análisis en profundidad de los reportajes, fundamentalmente ampliando el objetivo de la investigación más allá del reportaje y explorando las contribuciones de las fuentes, como los comunicados de prensa originales u otros informes de los medios de comunicación. Al rastrear y registrar sistemáticamente ese material, se pueden hacer descubrimientos valiosos y originales, que luego se pueden cruzar con los resultados del análisis de contenido cuantitativo más tradicional para proporcionar nuevas perspectivas. Este método requiere dos fases de investigación, que se describen en este artículo. El artículo también explora cómo puede utilizarse el análisis de contenido para estudiar las prácticas periodísticas, así como un marco para llevar a cabo la investigación, con consejos y directrices tanto para obtener como para registrar el material de origen y los datos.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"15 1","pages":""},"PeriodicalIF":11.4,"publicationDate":"2021-02-26","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"83452318","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"La metodología cualitativa para el estudio de la recepción televisiva entre las audiencias españolas emigradas","authors":"Juan Francisco Gutiérrez Lozano","doi":"10.35951/V3I1.104","DOIUrl":"https://doi.org/10.35951/V3I1.104","url":null,"abstract":"El estudio histórico de las audiencias televisivas no ha sido analizado en profundidad hasta tiempos recientes. De manera internacional, y especialmente en el caso europeo, se han producido avances recientes significativos, que de una parte se sustentan metodológicamente bien en técnicas ligadas a la historia oral, como las historias de vida, bien en estrategias de corte cualitativo, como las entrevistas grupales focalizadas. En todo caso, también los estudios de recepción televisiva actual acuden a estas mismas herramientas cualitativas. Este artículo, y a partir de la experiencia obtenida en dos investigaciones realizadas sobre la audiencia televisiva española emigrada en la segunda mitad del siglo XX y a principios de este siglo, expone dos modelos de diseño metodológico diferentes, pero que toman a los testimonios de las personas emigradas como fuente y objeto de análisis. Del mismo modo se subrayan los principales obstáculos y retos que presentan los diseños metodológicos cualitativos.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"24 1","pages":""},"PeriodicalIF":11.4,"publicationDate":"2021-02-26","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"81553430","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"La observación participante como metodología de análisis de una obra videoescénica","authors":"Gustavo Montes Rodríguez","doi":"10.35951/V3I1.102","DOIUrl":"https://doi.org/10.35951/V3I1.102","url":null,"abstract":"Esta investigación tiene como objeto de estudio el proceso de escenificación de un producto artístico híbrido, la obra videoescénica Nosotros, hijos de la guerra. Tiene como objetivo determinar las modificaciones que conlleva el uso de la tecnología audiovisual tanto en los elementos constitutivos del drama como en su proceso de construcción y la pretensión metodológica de mostrar la validez de la técnica de observación participante, utilizada fundamentalmente en estudios antropológicos y sociológicos, en las investigaciones del área de Comunicación, particularmente aquellas enfocadas hacia el proceso de construcción. Se constata que la introducción de una pantalla en el escenario incide en la ampliación de la configuración de personajes, en la expansión del espacio y en la flexibilidad del tiempo. Del mismo modo, altera las fases de construcción del drama, puesto que los participantes en el proceso están sujetos a técnicas audiovisuales que determinan la toma de decisiones del director de escena.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"136 1","pages":""},"PeriodicalIF":11.4,"publicationDate":"2021-02-18","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"79641540","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Wouter van Atteveldt, M. A. van der Velden, M. Boukes
{"title":"The Validity of Sentiment Analysis: Comparing Manual Annotation, Crowd-Coding, Dictionary Approaches, and Machine Learning Algorithms","authors":"Wouter van Atteveldt, M. A. van der Velden, M. Boukes","doi":"10.1080/19312458.2020.1869198","DOIUrl":"https://doi.org/10.1080/19312458.2020.1869198","url":null,"abstract":"ABSTRACT Sentiment is central to many studies of communication science, from negativity and polarization in political communication to analyzing product reviews and social media comments in other sub-fields. This study provides an exhaustive comparison of sentiment analysis methods, using a validation set of Dutch economic headlines to compare the performance of manual annotation, crowd coding, numerous dictionaries and machine learning using both traditional and deep learning algorithms. The three main conclusions of this article are that: (1) The best performance is still attained with trained human or crowd coding; (2) None of the used dictionaries come close to acceptable levels of validity; and (3) machine learning, especially deep learning, substantially outperforms dictionary-based methods but falls short of human performance. From these findings, we stress the importance of always validating automatic text analysis methods before usage. Moreover, we provide a recommended step-by-step approach for (automated) text analysis projects to ensure both efficiency and validity.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"15 1","pages":"121 - 140"},"PeriodicalIF":11.4,"publicationDate":"2021-01-28","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"https://sci-hub-pdf.com/10.1080/19312458.2020.1869198","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"46471312","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Kaitlyn Burnell, Madeleine J George, Allycen R Kurup, Marion K Underwood, Robert A Ackerman
{"title":"Associations between Self-Reports and Device-Reports of Social Networking Site Use: An Application of the Truth and Bias Model.","authors":"Kaitlyn Burnell, Madeleine J George, Allycen R Kurup, Marion K Underwood, Robert A Ackerman","doi":"10.1080/19312458.2021.1918654","DOIUrl":"https://doi.org/10.1080/19312458.2021.1918654","url":null,"abstract":"<p><p>People are generally poor reporters of time spent using digital technology. Advancing smartphone features, such as the iOS Screen Time application, allow researchers to obtain more objective measurements of digital technology use. Truth and Bias models were used to test how self-reported social networking site use aligns with device-reported use as recorded by the iOS Screen Time app (<i>N</i>=1585). This study explored use across four major platforms (Facebook, Instagram, Twitter, Snapchat) and examined how individual differences moderate biases in reports. Participants overestimated their use for all platforms at comparable levels. Moderation by individual differences was not consistent. These findings add to the growing call from researchers to utilize assessments other than self-reports in measuring digital technology use.</p>","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"15 2","pages":"156-163"},"PeriodicalIF":11.4,"publicationDate":"2021-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"https://sci-hub-pdf.com/10.1080/19312458.2021.1918654","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"39219134","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"OA","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Fernando Olivares Delgado (2018): “Marcas Negras (en la era de la transparencia)”","authors":"","doi":"10.35951/v2i2.92","DOIUrl":"https://doi.org/10.35951/v2i2.92","url":null,"abstract":"Nos encontramos ante una obra ineludible, de contenido muy sugerente, sobre la transparencia u opacidad de las empresas y de las marcas. Cada vez más, en mayor medida, se da la paradoja de que existen grandes multinacionales líderes que ya no sólo no fabrican para otras marcas, sino que no lo hacen casi ni para sí mismas. En otras palabras, son terceros –muy distintos al fabricante líder- los que confeccionan los productos, ocultando tal dato a sus destinatarios. La transparencia supone preparar a todos los estamentos o niveles de la organización para hacer frente a las consecuencias de informar, de manera pública, sobre las políticas, decisiones, procesos internos, facturación, políticas de precios, beneficios o pérdidas. Como se puede deducir de la obra que se reseña, la transparencia resulta fundamental para que el consumo sea honesto, responsable y consciente.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"44 1","pages":""},"PeriodicalIF":11.4,"publicationDate":"2020-12-23","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"78730535","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"El método mixto para el análisis de la cooperación académica entre universidades como factor de prestigio internacional: una elección metodológica para una realidad compleja","authors":"Rita Magdalena Solórzano Soto","doi":"10.35951/v2i2.84","DOIUrl":"https://doi.org/10.35951/v2i2.84","url":null,"abstract":"Algunos problemas de investigación son de tal complejidad que ameritan un estudio de consistencia metodológica; este es el caso de la cooperación académica entre universidades a nivel internacional. En efecto, para algunos autores, la cooperación internacional es un factor de prestigio para las instituciones universitarias, mientras que los críticos de una abierta política de internacionalización (norte-sur) estos acuerdos tienen como consecuencia la fuga de cerebros y la diáspora de académicos, por lo cual estos autores serían más proclives a convenios de cooperación Sur-Sur, en sustitución de aquellos tipos de cooperación que consideran asimétricos. El objetivo que se planteó el presente artículo es determinar cuál es el método más adecuado para abordar este problema de investigación. La hipótesis es que el método mixto cumple mejor con los requerimientos del problema de estudio. El método y materiales a emplear serán la revisión documental y el análisis crítico de cinco estudios que han tratado la temática entre 2010 y 2020.","PeriodicalId":47552,"journal":{"name":"Communication Methods and Measures","volume":"40 1","pages":""},"PeriodicalIF":11.4,"publicationDate":"2020-12-23","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"90968573","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":1,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}