SyDaVis-AI
Synthetic Data for Vision Systems with AI
Ausgangslage
In optischen Qualitätsprüfsystemen an industriellen Montage- und Fertigungsanlagen werden zum Trainieren von KI-Algorithmen (insbesondere tiefe neuronale Netze, CNNs) eine große Anzahl von Bildern benötigt. Da aber bis zum Start der Serienproduktion des zu prüfenden Produktes meist nur wenige Musterteile bzw. Prototypen zur Verfügung stehen, kann das Trainieren üblicherweise erst nach Produktionsstart erfolgen. Dies hat zur Folge, dass zum Produktionsstart noch keine verbindlichen oder sogar falsche Prüfergebnisse für die Produkte durch das KI-basierende Prüfsystem erzeugt werden. Aufgrund fehlender realer Trainingsdaten gilt selbiges für die Fertigung in „Losgröße Eins“ und Kleinstserien (< 200 Stück).
Der Mangel an Trainingsdaten schmälert die Einsatzmöglichkeiten und verhindert in der täglichen Praxis, dass eine automatisierte Qualitätskontrolle bereits ab dem ersten Werkstück durchgeführt werden kann. Dies lässt Anwender meist noch auf konventionelle Bildauswertealgorithmen zurückgreifen, welche nur mit viel Erfahrung und Produktkenntnis erfolgreich eingesetzt werden können.
Projektziele
Ziel des Projektes SyDaVis-AI ist es, KI-basierte Bewertungsverfahren von Bildverarbeitungssystemen mittels synthetischer Bilddatengenerierung (Transfer Learning) bereits lange vor Produktionsstart derart trainieren zu können, dass diese sich erfolgreich in der realen Anwendung einsetzen lassen. Die benötigten Trainingsdaten sollen aus vorhandenen CAD-Modellen und zugehörigen Texturen in der Simulation erzeugt werden, um dem Kunden bereits vor Produktionsstart ein validiertes Prüfsystem zur Verfügung stellen zu können. Besonderes Augenmerk wird im Projekt SyDaVis-AI auf die Modellierung der Kamera bzw. der Optik gelegt, welche bisher lediglich in stark vereinfachter Form (Lochkamera) zum Einsatz kommt.
Ziel ist, es ein neues realitätsnahes Kameramodell samt optischer Effekte wie Verzeichnung und Unschärfe in die Simulationssoftware zu integrieren. Die Auswirkungen dieses verbesserten Kameramodells auf die resultierenden KI-Systeme soll untersucht und evaluiert werden. Eine weitere Besonderheit des Projektes SyDaVis-AI ist der Versuch, neuronale Netze durch innovative Visualisierungstechniken interpretierbarer zu machen. Durch die Überwindung der „Black-Box“-Eigenschaft lässt sich die Akzeptanz der KI-Algorithmen im industriellen Umfeld deutlich erhöhen, da die mangelnde Nachvollziehbarkeit oftmals ein Hemmnis darstellt.
Methodik
Im Rahmen des Projektes wird eine reale Qualitätsprüfungsaufgabe beim deutschen Automobilhersteller Daimler AG mit Hilfe eines modernen KI-basierten Bildverarbeitungssystems gelöst. Die simulierten Objekte und Umgebungen werden anhand des realen Anwendungsfalls modelliert, texturiert und zu einer realitätsnahen Szene integriert. Um eine hohe Präzision bei gleichzeitiger Robustheit des Systems zu erreichen, wird die Verbindung einer realitätsnahen Nachbildung der Originalszene („Scene Engineering“) und der gezielten Randomisierung von geeigneten Szeneneigenschaften („Domain Randomization“) umfassend untersucht. Hierfür wird eine an der Hochschule Karlsruhe entwickelte Toolbox auf Basis der Rendering-Engine Unity3D genutzt und weiterentwickelt. Im Fokus steht dabei die Identifikation von geeigneten Randomisierungsparametern und die Ableitung von möglichst generischen Aussagen, welche sich auch auf andere Anwendungsfälle und Aufgabengebiete übertragen lassen.
Darüber hinaus wird die Abhängigkeit der Transferleistung von statistischen Bild- und Kameraeigenschaften untersucht, um den Unterschied zwischen synthetischen und realen Bildern („Domain Gap“) für die eingesetzten neuronalen Netze möglichst weit zu minimieren. Im Zentrum dieser Betrachtung steht die realitätsnahe Modellierung des Kameraobjektivs sowie die damit verbundenen Defekte und Ungenauigkeiten (u. a. Verzeichnung, Schärfentiefe, Verschlusstypus, spektrale Transmission und Alias-Frequenzen). In der Regel werden die Einflussfaktoren beim Transfer Learning mit synthetischen Bilddaten vernachlässigt und ein vereinfachtes unrealistisches Kameramodell (ideale Lochkamera) eingesetzt.
Im Rahmen des Projektes werden diese Eigenschaften in die Simulation bzw. in einen Nachbearbeitungsprozess integriert und deren Einfluss auf das damit trainierte neuronale Netz untersucht und umfassend evaluiert. Es wird die Frage nach der Relevanz einer realitätsnahen Kamera- und Objektivmodellierung für den industriellen Einsatz von KI-basierten Bildverarbeitungssysteme geklärt.
Um eine Interpretation der Entscheidungen des lernenden Systems durch Nutzer zu erlauben, werden bestehende Visualisierungstechniken (z.B. Grad-CAM) für den Einsatz bei komplexen Aufgabenstellungen wie der Objekterkennung weiterentwickelt und untersucht. Die Visualisierungen erhöhen zum einen die Nachvollziehbarkeit der erlernten Algorithmen. Zum anderen erlauben sie das systematische Erkennen von strukturellen Fehlern (z.B. Fokus auf nichtrepräsentative Objekt- und Szeneneigenschaften). Darüber hinaus wird der Einfluss des entwickelten Kamera- und Objektivmodells auf die Visualisierungsergebnisse untersucht und potenzielle Rückschlüsse abgeleitet.
Stand
Abgeschlossenes Projekt 01/2021 — 12/2021
Projektkonsortium
Dieses Projekt wird gefördert von
Das Projekt SyDaVis-AI wird gefördert durch das MWK-BW im Aktionsprogramm "KI für den Mittelstand" und das Ministerium für Wirtschaft, Arbeit und Wohnungsbau
