camera-based lane mowing (cm-precise)

[AlexanderG]

Auch mit dem VSLAM (also kamera-basierter 3D-Ortung) geht es weiter (und mit Hilfe von Codex/Claude kann man solche Sachen nun auch relativ schnell bauen und testen...) -
Folgende Problematik entsteht bei VSLAM: mit direktem Sonnenlicht wurde z.B. mit den Kamera-Bildern antrainiert ("VSLAM Mapping")- Bei Bewölkung soll nun gegen diese trainierten Bilder lokalisiert werden ("VSLAM Lokalisierung").




Erstmalig ist es mir gelungen dies zu bewerkstelligen (Cross Daytime-/Cross Season-VSLAM mit HFNet-SLAM , realtime - getestet mit einer einzelnen Fischaugenkamera ):

Einziges Problem: es läuft noch auf NVidia/CUDA - Aktuell lasse ich mir von der KI erklären wie alles funktioniert und wie wir z.B. mit einem alternativem "Feature-Netzwerk" (z.B. R2D2, MLD2, xfeat) die Ansätze auf einem OrangePI ans Laufen bringen könnten... (z.B. VINS-MLD2, xfeatSLAM )

Feature Netzwerke Benchmark (Quelle: Why Not Replace? Sustaining Long-Term Visual Localization via Handcrafted-Learned Feature Collaboration on CPU)

 

[AlexanderG]

Gute Neuigkeiten: ich konnte die Kamera-Lokalisierungs-Konzepte inzwischen umsetzen, d.h. Kamera-basierte cm-genaue (Re-)Lokalisierung über Tages- und Jahreszeiten hinweg (wir nennen es mal "LiveTime SLAM") auf einem OrangePI. GPS kann optional verwendet werden (RTK wird hiermit nicht mehr gebraucht für cm-genaue Lokalisierung). Damit kann man dann einen Roboter bauen der auch unter Bäumen, neben Wänden, zwischen Häuserschluchten, Indoor etc. fahren kann (wo kein RTK möglich ist).
Aktuell läuft die Software im Simulator (Browser simuliert 3D-Umgebung mit Stereo-Kamera und OrangePI-Lokalisierungs-Netze etc. werden mit WebGPU ausgeführt - ein Simulator hat den großen Vorteil dass in kurzer Zeit sehr viel automatisiert Code damit getestet werden kann). Es folgen jetzt noch Navigations-Code und dann natürlich der Lauf am echten Roboter...