Commercial Content Moderation: An opaque maze for freedom of expression and customers’ opinions

Abstract

Abstract: The present work analyses Content Moderation, focusing on ethical concerns and cognitive effects. Starting from a general description and history of the moderation process, it stresses some ethical problems: quality of moderation, transparency, and the working conditions of human moderators. Using some of Facebook leaked slides offering examples of moderation, we define some controversial rules and principles for Commercial Content Moderation. These examples highlight a general lack of coherency and transparency, which has the potential to affect users’ cognitive attitudes, their perception of reality, and their freedom of speech. Such effects are studied in comparison to other well-known online cognitive phenomena (bubbles and echo chambers) and in relation to the most recent dedicated legislation in EU countries. The current Content Moderation scheme leaves users at risk of specific cognitive distortions, highlighting the urgent need for greater transparency throughout the moderation process and better working conditions for moderators. Keywords: Content Moderation; Freedom of Speech; Epistemic Bubble; Technology Ethics Commercial Content Moderation: un oscuro labirinto per la liberta d’espressione e le opinioni degli utenti Riassunto: Il presente lavoro offre un’analisi approfondita della moderazione di contenuti , concentrandosi sulle problematiche etiche e sugli effetti cognitivi. A partire da una introduzione ai concetti chiave e alla storia della moderazione di contenuti online, si concentra su alcuni problemi etici primari: la qualita della moderazione, la sua trasparenza e le condizioni di lavoro dei lavoratori. Utilizzando dei documenti formativi interni di Facebook, pubblicati da un quotidiano e dagli esempi in essi contenuti, definiremo le controverse regole e i principi della Commercial Content Moderation . Ne emerge una generale mancanza di coerenza organizzativa e di trasparenza nel processo, che mostra potenziali effetti dannosi sulle attitudini degli utenti, sulla loro percezione della realta e la loro liberta di parola. Tali effetti saranno studiati in confronto con i piu conosciuti effetti cognitivi del mondo dei social ( epistemic bubble, filter bubble, echo chamber ) ed in relazione alle piu recenti disposizioni di leggi europee in merito. Gli schemi attualmente in uso producono degli specifici effetti di distorsione cognitiva e conseguentemente mostrano l’importanza di una maggiore attenzione alla trasparenza del processo e alle condizioni di lavoro dei moderatori. Parole chiave: Moderazione di contenuti; Liberta di parola; Bolla epistemica; Etica della tecnologia