Zentrum für angewandte Forschung an Fachhochschulen  
Autonome mobile Serviceroboter
Standort Mannheim
 
  Intranet Kontakt Impressum  
 
Arbeitsgruppe Ihme, HS Mannheim

Adaptive Realzeitbildverarbeitung

Bei der Bildverarbeitung soll durch den Einsatz sowohl modernster Algorithmen als auch von Spezialhardware die Lücke in der Leistungsfähigkeit geschlossen werden. Ziel ist eine Erkennung farbiger Objekte mit beliebiger Geometrie in Realzeit, also mit etwa 30 Bildern pro Sekunde oder schneller, mittels adaptiver und situationsabhängig konfigurierter Merkmalextraktoren und Klassifikatoren. Dazu wird auch die Portierung auf FPGAs (Field Programmable Gate Arrays) oder leistungsfähige Grafikkarten aus dem Notebookbereich untersucht. Eine besondere Rolle spielen die Stereobildverarbeitung sowie die neuartigen PMD-Sensoren von ifm zur dreidimensionalen Erfassung von Objekten.
Die durch Spezialhardware erzielbare Beschleunigung wird flankiert durch neue Ansätze aus dem Bereich des Realtime-Scheduling, welche sogenannte Anytime-Tasks nutzen. Bisher bekannte Algorithmen zur Bildverarbeitung liefern ein Ergebnis erst am Ende ihrer Rechenzeit. Anytime-Tasks haben die Eigenschaft, dass sie nach einer sehr kurzen Zeit nach dem Start in der Lage sind, bei einem Abbruch verwertbare Zwischenergebnisse zur Verfügung zu stellen. Im Sinne des Realtime-Scheduling sind ungenaue Informationen besser als gar keine, sofern sie rechtzeitig vorliegen. Innerhalb des Projektes wird deshalb das Ziel verfolgt, geeignete Bildverarbeitungsalgorithmen so zu modifizieren, dass sie anytime-fähig werden. Außerdem sollen prädiktive Signalverarbeitungsalgorithmen die Effizienz der Bildverarbeitung durch Ausnutzung von zeitlichen Redundanzen in den Bildinformationen weiter steigern.
Die Gewinnung von Entfernungsinformationen mittels mehrerer Kameras benötigt sehr viel Rechenkapazitäten, da die Bildverarbeitungsalgorithmen im Allgemeinen eine große Datenmenge zu verarbeiten haben. Um applikationsbezogenen Echtzeitanforderungen gerecht zu werden und außerdem eine hohe Qualität der Bildanalyse zu erzielen, ist es von Interesse, rechtzeitig Ergebnisse für nachgeschaltete Prozesse zur Robotersteuerung bereitzustellen. Die Rechtzeitigkeit des Vorliegens von Ergebnissen ist in bestehenden Arbeiten nur unter Verwendung spezieller Hardware oder Einschränkungen in der Einsatzumgebung realisiert worden. Um sie für klassische Echtzeit Scheduling Ansätze einsetzen zu können, muss eine Worst Case Execution Time (WCET) bekannt sein. Diese ist meist schwer zu ermitteln und wird in der Regel deutlich zu groß bemessen, damit die tatsächliche Ausführungszeit einer solchen Task garantiert kürzer als die WCET ist. Für die bestehenden Algorithmen wird größtenteils die Laufzeit der vollständigen Suche zur Abschätzung der WCET zugrunde gelegt. Der Begriff vollständige Suche bezieht sich dabei auf den Suchraum, den die Algorithmen für die Zuordnung der Pixel des einen Bildes auf das andere Bild durchlaufen müssen. Der maximale Aufwand wird erreicht, indem jedes Pixel mit jedem verglichen wird. Bei kleinen Bildern mag das vertretbar sein, bei Auflösungen im PAL Bereich von 720x576 Pixeln jedoch nicht denkbar.
Neuartige Schedulingstrategien versuchen deshalb, die bezüglich durchschnittlicher Ausführungszeiten unrealistische WCET zu vermeiden und stattdessen mit einer erwarteten Ausführungszeit zu operieren und dadurch eine bessere Prozessorauslastung zu erzielen. Aufgrund der fehlenden Ausführungsgarantie muss im Falle einer drohenden Deadline mittels einer Ausnahmesubtask ein gesicherter Taskzustand hergestellt werden, was im besten Falle ein Sichern der bereits erzielten Ergebnisse beinhaltet. An dieser Stelle setzt das Konzept der Anytime-Tasks an. Dazu werden die verwendeten Algorithmen so aufgebaut, dass sie nach kurzer Zeit ein erstes Ergebnis liefern, das dann über die restliche Laufzeit der Task laufend verbessert wird. Die Task kann dann nach Vorliegen des ersten Ergebnisses zu irgendeinem Zeitpunkt (at any time) bei Erreichen einer Deadline abgebrochen werden und es ist garantiert, dass ein Ergebnis vorliegt.
Bildverarbeitungsalgorithmen liefern in der Regel erst am Ende ihrer Laufzeit ein vollständiges, also verwertbares, Ergebnis und ihre maximalen Laufzeiten lassen sich nur unter der Annahme einer vollständigen Suche bestimmen. Durch Modifikation von Stereobildverarbeitungsalgorithmen zu Anytime-Algorithmen kann ein verwertbares Ergebnis im Rahmen einer vorgegebenen realistischen Laufzeit garantiert werden. Erste Untersuchungen haben gezeigt, dass der gewünschte Effekt erzielt werden kann. Hierzu wurde ein Blockmatching-Algorithmus so modifiziert, dass er auf verschiedenen Auflösungsstufen arbeitet. Begonnen wird mit einer sehr niedrigen Auflösung. Mit den Ergebnissen wird dann die Suche in der nächst höheren Auflösungsstufe initialisiert, bis schließlich Ergebnisse mit voller Auflösung vorliegen. Ziel innerhalb des Projektes ist, weitere Algorithmen für die Stereobildverarbeitung zu Anytime-Algorithmen zu modifizieren. Die Effizienz der Algorithmen soll dann durch geeignete Methoden aus der Signalverarbeitung verbessert werden. Beim Blockmatching werden hierzu beispielsweise wavelet-basierte Algorithmen in Betracht gezogen. Zur weiteren Verbesserung sollen zeitliche Redundanzen bei den zu analysierenden Bilddaten ausgenutzt werden. Bildinhalte verändern sich in Abhängigkeit der Eigenbewegungen des Roboters und externer Objekte. Ausgehend von Analysen zu aktuellen Bildveränderungen lassen sich künftige Bildveränderungen mittels eines Prädiktor-Korrektor-Verfahrens abgleichen (Dynamischer Ansatz). Für die Vorhersage können weiterhin Sensorinformationen über die Eigenbewegung des Roboters einbezogen werden (Fusionsansatz).

Die entwickelten Ansätze werden in der ARIP-Toolbox (Adaptive Realtime Image Processing) bereitgestellt.

Quellcode-Archiv der Toolbox
 
 
 
 
Investition in Ihre Zukunft
gefördert durch die Europäische
Union
Europäischer Fonds
für regionale Entwicklung
und das Land
Baden-Württemberg