The Position of Sound in Audiovisual Maps: An Experimental Study of Performance in Spatial Memory

Abstract

ABSTRACT:Digital maps are known as reliable media for communicating spatial information. People use maps to make themselves familiar with new environments and to form cognitive representations of spatial configurations and additional semantic information that are coupled with locational information. Since the mid-1990s, cartographers have explored auditory media as cartographic elements to transfer spatial information. Among the established sound variants used in multimedia cartography, speech recordings are a popular auditory tool to enrich the visual dominance of maps. The impact of auditory elements on human spatial memory has hardly been investigated so far in cartography and spatial cognition. A recent study showed that spoken object names bound to visual location markers affect performance in memory of object locations. Map users tend to make significantly smaller spatial distortion errors in the recall of object locations if these locations are coupled with auditory semantic information (place names). The present study extends this approach by examining possible effects on sound position as cues for spatial memory performance. A monaural condition, where an auditory name is presented in a spatial location corresponding to the object location, is compared with a binaural condition (of no directional cue). The results show that a monaural communication additionally improves spatial memory performance. Interestingly, the semantic information bound to an object location appears to be the driving factor in improving this effect.RÉSUMÉ:Les cartes numériques ont la réputation d'être un moyen fiable de communiquer des informations spatiales. Les gens s'en servent pour se familiariser avec de nouveaux environnements et en tirer des représentations cognitives de configurations spatiales et de l'information sémantique supplémentaire, associées à des données géographiques. Depuis le milieu des années 90, les cartographes s'intéressent aux médias sonores à titre d'éléments cartographiques permettant la transmission d'informations spatiales. Parmi les variantes sonores reconnues utilisées en cartographie multimédia, les enregistrements vocaux sont un outil apprécié pour enrichir le message essentiellement visuel des cartes. L'incidence des éléments sonores sur la mémoire spatiale humaine a fait l'objet de peu de recherches jusqu'à maintenant en cartographie et en cognition spatiale. Une récente étude a démontré que la communication vocale des noms d'objets liée à des repères visuels de localisation influe sur l'aptitude à mémoriser l'emplacement des objets. Les utilisateurs de cartes ont tendance à commettre des erreurs de distorsion spatiale beaucoup moins importantes dans la mémorisation de l'emplacement des objets si ces emplacements sont accompagnés d'information sémantique sonore (le nom des lieux). Les auteurs poussent plus loin l'approche en étudiant ses répercussions possibles sur la position du son comme repère dans la mémorisation spatiale. Une condition monaurale, dans laquelle le nom de l'objet est communiqué vocalement dans une position spatiale correspondant à l'emplacement de l'objet, est comparée à une condition binaurale (sans repère directionnel). Les résultats indiquent que la communication monaurale améliore davantage encore la mémorisation spatiale. Fait intéressant, l'information sémantique liée à l'emplacement de l'objet semble être le facteur déterminant de l'amélioration de ce phénomène.