Direction Augmentation in the Evaluation of Armed Conflict Predictions

Abstract

AbstractIn many forecasting settings, there is a specific interest in predicting the sign of an outcome variable correctly in addition to its magnitude. For instance, when forecasting armed conflicts, positive and negative log-changes in monthly fatalities represent escalation and de-escalation, respectively, and have very different implications. In the ViEWS forecasting challenge, a prediction competition on state-based violence, a novel evaluation score called targeted absolute deviation with direction augmentation (TADDA) has therefore been suggested, which accounts for both for the sign and magnitude of log-changes. While it has a straightforward intuitive motivation, the empirical results of the challenge show that a no-change model always predicting a log-change of zero outperforms all submitted forecasting models under the TADDA score. We provide a statistical explanation for this phenomenon. Analyzing the properties of TADDA, we find that in order to achieve good scores, forecasters often have an incentive to predict no or only modest log-changes. In particular, there is often an incentive to report conservative point predictions considerably closer to zero than the forecaster’s actual predictive median or mean. In an empirical application, we demonstrate that a no-change model can be improved upon by tailoring predictions to the particularities of the TADDA score. We conclude by outlining some alternative scoring concepts.En muchos de los entornos de previsión, existe un interés específico en predecir correctamente el signo de una variable resultante, además de su magnitud. Por ejemplo, cuando se hacen previsiones referentes a los conflictos armados, los cambios logarítmicos, tanto positivos como negativos, en las muertes mensuales representan, respectivamente, una escalada y una distensión y tienen implicaciones muy diferentes. El reto en materia de previsión «ViEWS (por sus siglas en inglés, Violence and Impacts Early-Warning System: Sistema de alerta temprana de violencia e impactos)» es una competición de predicción en materia de la violencia por parte del Estado. Dentro del marco del “ViEWS” se ha sugerido una nueva puntuación, con el fin de realizar esta evaluación, denominada desviación absoluta dirigida con aumento de dirección (TADDA, por sus siglas en inglés), que explica tanto el signo como la magnitud de los cambios logarítmicos. Si bien esto tiene una motivación intuitiva directa, los resultados empíricos de este desafío muestran que un modelo sin cambios, que siempre predice un cambio logarítmico por valor de cero, supera el rendimiento de todos los modelos de pronóstico que habían sido presentados bajo la puntuación TADDA. Proporcionamos una explicación estadística para este fenómeno. Concluimos, mediante el análisis de las propiedades del TADDA, que, con frecuencia, los pronosticadores tienen un incentivo para predecir cambios logarítmicos nulos o pequeños con el fin de poder conseguir unas buenas puntuaciones. En concreto, vemos que muchas veces existe un incentivo para reportar predicciones puntuales conservadoras que están considerablemente más cercanas a cero que la mediana o la media predictiva real obtenidas por el pronosticador. Demostramos, mediante la aplicación empírica de todo esto, que un modelo sin cambios puede mejorarse adaptando las predicciones a las particularidades de la puntuación TADDA. Finalizamos esbozando algunos conceptos de puntuación alternativos.En prévision, on s’intéresse souvent tout particulièrement à la prédiction exacte du signe d’une variable de résultat en plus de sa grandeur. Par exemple, dans le cadre de prévisions sur les conflits armés, les changements logarithmiques positifs et négatifs dans le nombre de morts mensuelles représentent respectivement une escalade ou un apaisement, et s’accompagnent d’implications bien différentes. Dans le défi de prévisions de VIEWS, une compétition portant sur la prévision de violences étatiques, un nouveau score d’évaluation appelé déviation absolue ciblée avec augmentation de la direction (TADDA) a donc été suggéré : il prend en compte à la fois le signe et la grandeur des changements logarithmiques. Bien que sa motivation soit claire et intuitive, les résultats empiriques de ce défi montrent qu’un modèle de non-changement qui prédit toujours un changement logarithmique de zéro surpasse tous les modèles de prévision proposés dans le cadre du score TADDA. Nous proposons une explication statistique de ce phénomène. En analysant les propriétés de TADDA, nous observons qu’afin d’obtenir de bons scores, les auteurs de prévision sont souvent incités à prévoir des changements logarithmiques modestes, voire nuls. Plus précisément, il est souvent avantageux d'indiquer des prédictions de points prudentes et bien plus proches de zéro que la réeelle moyenne ou médiane prédictive de l'auteur des prévisions. Dans le cadre d’une application empirique, nous démontrons qu’un modèle de non-changement peut être amélioré en adaptant les prédictions aux particularités du score TADDA. Nous concluons en décrivant d’autres concepts de score.Keywords: Armed conflictforecast evaluationpoint forecastpolitical violenceTADDA Disclosure statementNo potential conflict of interest was reported by the author(s).Data and code availability statementCode and data to reproduce the presented results can be found at https://github.com/KITmetricslab/tadda. Replication materials will moreover be made available at https://dataverse.harvard.edu/dataverse/internationalinteractions.Notes1 ViEWS stands for Violence Early Warning System, a publicly available ensemble approach for predicting monthly indicators of violence on a global scale, see Hegre et al. (Citation2019) for more details.2 Uppsala Conflict Data Program (Citation2023).3 PRIO-GRID was chosen as a finer-resolution alternative to the country-level approach. “It is a vector grid network with a resolution of 0.5×0.5 decimal degrees, covering all terrestrial areas of the world”, see Tollefsen et al. (Citation2012).Additional informationFundingJohannes Bracher was supported by the Helmholtz Information and Data Science Project SIMCARD as well as Deutsche Forschungsgemeinschaft (DFG, German Research Foundation) – project number 512483310. Sebastian Lerch gratefully acknowledges support by the Vector Stiftung through the Young Investigator Group “Artificial Intelligence for Probabilistic Weather Forecasting”. Melanie Schienle gratefully acknowledges funding by the HEiKA EXC-scouting initiative.