Bundle Adjustment and System Calibration with Points at Infinity for Omnidirectional Camera Systems Bündelausgleichung und Systemkalibrierung mit Punkten im Unendlichen für omnidirektionale Kamerasysteme

Abstract

We present a calibration method for multi-view cameras that provides a rigorous maximum likelihood estimation of the mutual orientation of the cameras within a rigid multi-camera system. No calibration targets are needed, just a movement of the multi-camera system taking synchronized images of a highly textured and static scene. Multi-camera systems with non-overlapping views have to be rotated within the scene so that corresponding points are visible in different cameras at different times of exposure. By using an extended version of the projective collinearity equation all estimates can be optimized in one bundle adjustment where we constrain the relative poses of the cameras to be fixed. For stabilizing camera orientations – especially rotations – one should generally use points at the horizon within the bundle adjustment, which classical bundle adjustment programs are not capable of. We use a minimal representation of homogeneous coordinates for image and scene points which allows us to use images of omnidirectional cameras with single viewpoint like fisheye cameras and scene points at a large distance from the camera or even at infinity. We show results of our calibration method on (1) the omnidirectional multi-camera system Ladybug 3 from Point Grey, (2) a camera-rig with five cameras used for the acquisition of complex 3D structures and (3) a camera-rig mounted on a UAV consisting of four fisheye cameras which provide a large field of view and which is used for visual odometry and obstacle detection in the project MoD (DFG-Project FOR 1505 “Mapping on Demand”). Zusammenfassung: Bündelausgleichung und Systemkalibrierung mit Punkten im Unendlichen für omnidirektionale Kamerasysteme. In diesem Artikel stellen wir eine Kalibrierungsmethode für Multikamerasysteme vor, welche eine strenge MaximumLikelihood-Schätzung der gegenseitigen Orientierungen der Kameras innerhalb eines starren Multikamerasystems ermöglicht. Zielmarken werden nicht benötigt. Das synchronisiert Bilder aufnehmende Kamerasystem muss lediglich in einer stark texturierten statischen Szene bewegt werden. Multikamerasysteme, deren Bilder sich nicht überlappen, werden innerhalb der Szene rotiert, so dass korrespondierende Punkte in jeder Kamera zu unterschiedlichen Aufnahmezeitpunkten sichtbar sind. Unter Verwendung einer erweiterten projektiven Kollinearitätsgleichung können alle zu schätzenden Größen in einer Bündelausgleichung optimiert werden. Zur Stabilisierung der Kameraorientierungen – besonders der Rotationen – sollten Punkte am Horizont in der Bündelausgleichung verwendet werden, wozu klassische Bündelausgleichungsprogramme nicht in der Lage sind. Wir benutzen eine minimale Repräsentation für homogene Koordinaten für Bildund Objektpunkte, welche es uns ermöglicht, mit Bildern omnidirektionaler Kameras wie Fisheye-Kameras und mit Objektpunkten, welche weit entfernt oder im Unendlichen liegen, umzugehen. Wir zeigen Ergebnisse unserer Kalibrierungsmethode für (1) das omnidirektionale Multikamerasystem Ladybug 3 von Point Grey, (2) ein Kamerasystem mit fünf Kameras zur Aufnahme komplexer 3DStrukturen und (3) ein auf eine Drohne montiertes Kamerasystem mit vier Fisheye-Kameras, welches ein großes Sichtfeld besitzt und zur visuellen Odometrie und zur Hinderniserkennung im Projekt MoD (DFG-Projekt FOR 1505 ”Mapping on Demand“) verwendet wird.