A First Assessment of Birdnet Performance at Varying Distances: A Playback Experiment

Abstract

Summary. Bird vocalisations, like any other acoustic signals, attenuate over distance, and therefore their structure degrades progressively. Such degradation may have an impact on the ability of automated signal recognition software, to detect and correctly identify bird vocalisations. BirdNET is a recently launched automated bird song recogniser commonly employed by researchers and the public. However, few studies have assessed its performance and our current knowledge about how BirdNET performance may vary over distance or with species is very limited. I aimed to evaluate whether BirdNET's ability to correctly identify bird vocalisations of three bird species varied over distance or according to recorder type and target species using a playback broadcast from 10 to 150m away. BirdNET's ability to correctly identify bird songs varied among species and generally decreased over distance but did not vary among recorder types. Overall BirdNET recall rate, defined as the percentage of vocalisations detected, and correctly identified, by the software, was 59.9% (499 vocalisations correctly identified of 840 vocalisations broadcast). A significantly higher number of vocalisations were correctly identified when broadcast at 50m or closer (mean recall rate of 92.2%), when compared to vocalisations broadcast farther than that distance (mean recall rate of 34.9%). Recall rate was also significantly higher for the Grasshopper Sparrow and the Hooded Warbler, when compared to the Gray Vireo. The number of misclassifications varied over distances and did not follow a linear pattern. This study provides valuable information that may contribute to improved surveys and for expanding the use of BirdNET for surveying bird communities using passive acoustic monitoring.—Pérez-Granados, C. (2023). A first assessment of BirdNET performance at varying distances: a playback experiment. Ardeola, 70: 221-233. Resumen. Las vocalizaciones de las aves, como cualquier otra señal acústica, se atenúan con la distancia y, por lo tanto, la estructura de las vocalizaciones de las aves se degrada progresivamente. Tal degradación puede tener un impacto en la capacidad de programas automatizados de reconocimiento de señales a la hora detectar e identificar correctamente las vocalizaciones de las aves. BirdNET es un reconocedor automatizado de cantos de pájaros de reciente creación y comúnmente empleado por investigadores y el público. Sin embargo, pocos estudios han evaluado su rendimiento y nuestro conocimiento actual sobre cómo el rendimiento de BirdNET puede variar en función de la distancia o entre especies es muy limitado. Aquí, mi objetivo era evaluar si la habilidad de BirdNET para identificar correctamente las vocalizaciones de tres especies de aves variaba según la distancia, el tipo de grabadora empleada y entre especies, utilizando una grabación reproducida de 10 a 150 m. La habilidad de BirdNET para identificar correctamente los cantos de las aves varió entre las especies y, en general, disminuyó con la distancia, pero no varió entre los dos tipos de grabadores testados. La tasa de detección de BirdNET, definida como el porcentaje de vocalizaciones detectadas e identificadas correctamente por el software, fue del 59,9% (499 vocalizaciones identificadas correctamente de las 840 vocalizaciones reproducidas). Se identificó de manera correcta y significativa un mayor número de vocalizaciones cuando se emitieron a 50 m o más cerca (tasa media de detección del 92,2%), en comparación con las vocalizaciones emitidas a más de esa distancia (tasa media de detección del 34,9%). La tasa de detección también fue significativamente más alta para el chingolo saltamontes y la reinita encapuchada, en comparación con el vireo gris. El número de clasificaciones erróneas varió con las distancias y no siguió un patrón lineal. Ese estudio proporciona información valiosa que puede contribuir a mejorar futuros muestreos y a expandir el uso de BirdNET para censar comunidades de aves usando monitoreo acústico pasivo.—Pérez-Granados, C. (2023). Un primer análisis del rendimiento de BirdNET a distancias variables: un experimento con playback. Ardeola, 70: 221-233.