Extension de KLM au Pointage du Regard et Validation Gestuelle dans HoloLens: Extending KLM to Model Spatial Search, Gaze Pointing and Mid-Air Validation for Hololens

Abstract

The advances in mixed reality head-mounted displays led researchers to investigate such systems but the design of mixed reality app could be laborious. Evaluate the effects of the arrangement of these interfaces in the physical world on user performance is complex. In this context, the use of a predictive model allows researchers to estimate, prior to the implementation, the usability issues of such applications. To this end, we propose a new KLM extension to model HMD-based interaction focusing on searching, pointing and validation tasks. First, we define new KLM operators and estimate through two user studies the estimated time for each operator. Then, we validate the model for an ecological task. This final study confirms that the model could be applied for predicting the interaction time on mixed reality interaction. Les progrès réalisés dans le domaine des casques de réalité mixte (HMD) font entrer ce domaine dans une nouvelle ère où les prototypes conçus et développés en laboratoire peuvent techniquement devenir des produits commerciaux. Toutefois, le problème réside désormais dans la conception de ces systèmes : il est difficile d'anticiper les effets de la disposition spatiale de l'interface et le développement ou l’évaluation d'applications de réalité mixte sont fastidieux. Dans ce contexte, l'utilisation de modèles de prédiction du temps de réalisation d'une tâche est une approche prometteuse pour aider les concepteurs à anticiper les problèmes d'utilisabilité dès les premières étapes du processus de conception (i.e. avant le développement de telles solutions interactives). Dans ce but, nous présentons une nouvelle extension de KLM pour modéliser l'interaction basée sur les HMDs en mettant l'accent sur la recherche spatiale d'une cible, le pointage du regard et la validation gestuelle. Nous définissons d'abord de nouveaux opérateurs KLM requis pour modéliser ces interactions, et déterminons expérimentalement l'unité de temps pour chaque opérateur. Ensuite, nous validons le modèle en comparant le temps prédit avec le temps mesuré pour une tâche écologique combinant plusieurs de ces nouveaux opérateurs. Cette étude confirme la validité de nos nouveaux opérateurs et leur conformité avec le modèle KLM.