Institut für Intelligente Interaktion und Immersive Erfahrung
-
Profil
Projekte
Projekte
Teilhabe Digital
Unter dem Projekt-Titel "Teilhabe Digital" haben sich die Katholische Hochschule Freiburg, die Hochschule Furtwangen und die Hochschule Karlsruhe gemeinsam mit dem Caritas Bundesverband Behindertenhilfe und Psychiatrie, dem Caritasverband Freiburg-Stadt, der Lebens- und Arbeitsgemeinschaft Lautenbach und dem Sankt-Josefshaus Herten zusammengeschlossen, um die Nutzung moderner Technologien zu erforschen, die die sozialen Teilhabemöglichkeiten von Menschen mit geistiger Behinderung erhöhen können.
MERLOT
Das vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) geförderte Projekt MERLOT (MarkEtplace foR LifelOng educaTional dataspaces and smart service provisioning) schafft innerhalb des Gaia-X-Ökosystems besonders geschützte Bildungsdatenräume und -dienste. Diese stellen sicher, dass die Eigentümer*innen von Bildungsdaten jederzeit die Hoheit über ihre Daten behalten und sie bei Bedarf anderen Nutzer*innen oder Diensten interoperabel zur Verfügung stellen können. Lernende, Schulen, öffentliche Einrichtungen, Verwaltungen oder Unternehmen können so Bildungsdaten GDPR-konform austauschen und kontrolliert weitergeben, ohne mit allen Teilnehmenden separate Einzelverträge abschließen zu müssen.
Unser Hauptziel ist die Untersuchung von Mensch-Computer-Interaktionsmodellen auf der Grundlage von künstlicher Intelligenz, virtuellen verkörperten Agenten und Chatbots, um vertrauensvolle Interaktionen zu schaffen und präzise Antworten auf das Bildungs- und Berufsorientierungsszenario zu geben.
KARE
In KARE wird ein hybrides Assistenzsystem entwickelt, das ambulante Pflegeleistungen mit einem neuartigen KI-basierten Interaktionssystem kombiniert. Über einen perzeptiven Ansatz wird erkannt, welche Alltagshandlungen von den Pflegebedürftigen bereits beherrscht werden und welche noch ausstehen. Kann die pflegebedürftige Person durch die aktive Ansprache durch KARE nicht motiviert werden, diese Handlungen selbst auszuführen, bindet KARE die Pflegekräfte in Telepräsenz oder vor Ort ein. Für die Umsetzung des Projekts bildet das KARE-Konsortium die gesamte Wertschöpfungskette von der Forschung über die Technologie bis hin zur Anwendung in der Pflege ab und adressiert das gesamte ambulante Leistungsspektrum von ambulanter Pflege, betreutem Wohnen sowie pflegenden Angehörigen in Help-Mix-Arrangements.
KARE unterstützt die Lebensqualität und Gesundheit der Pflegebedürftigen durch ein neuartiges, KI-basiertes Interaktionssystem und gibt den Pflegenden die Freiheit, ihre Tätigkeiten an ihre eigenen Fähigkeiten anzupassen, ohne die Pflegeleistung einzuschränken - nicht nur in Zeiten der Pandemie.
SHELLS
Augmented und Virtual Reality erweitern unsere Möglichkeiten zur Kommunikation, Zusammenarbeit und Informationsvermittlung. Im Zuge der digitalen Transformation ist der sichere Umgang mit diesen Technologien eine digitale Kompetenz, die immer wichtiger wird.
In den Lehrveranstaltungen mit dem Schwerpunkt "Augmented Reality und Virtual Reality Technologien" lernen die Studierenden praxisorientiert die Grundlagen der AR- und VR-Technologien kennen.
Zentrale Bestandteile des Kurses sind das Entwerfen, Modellieren und Entwickeln von AR- und VR-Anwendungen sowie das Lehren, Lernen und Zusammenarbeiten in immersiven Umgebungen.
PEdagogical conversational Tutor (PET)
Der PEdagogical conversational Tutor (PET) ist ein webbasiertes Sprachassistenzsystem, das im Rahmen eines Forschungsprojekts der Stiftung Innovation in der Hochschullehre entwickelt wird. Das Projekt ist ein Kooperationsvorhaben zwischen der Universität Hohenheim und der Hochschule Karlsruhe und wird von Prof. Dr. Matthias Wölfel geleitet. Das PET kann von den Lernenden zu den Vorlesungen sowie zur Wiederholung von Lehrveranstaltungen und zur Vorbereitung auf Prüfungen genutzt werden. Mittels natürlicher Sprache können Vorlesungsinhalte abgerufen und sogar das Wissen der Studierenden überprüft werden. Das System lernt Vorlesungsinhalte selbstständig auf Basis der von den Dozierenden zur Verfügung gestellten Informationen, wie Vorlesungsfolien und -aufzeichnungen, und kann somit ohne großen Aufwand für Lehrende in jeder Vorlesung eingesetzt werden. Ermöglicht wird dies durch das Zusammenspiel mehrerer KI-Systeme (insbesondere Natural Language Processing), die Hand in Hand arbeiten. Das System ist derzeit an der Hochschule Karlsruhe im Einsatz und wird im kommenden Wintersemester auch an der Universität Hohenheim in mehreren Lehrveranstaltungen eingesetzt.
Liveness Detection
Ziel dieses Projekts ist es, ein zuverlässiges und sicheres System zur Erkennung von Echtheit für Online-Identifizierungszwecke zu entwickeln, z. B. für die Eröffnung eines Bankkontos oder die Registrierung einer Prepaid-Telefonnummer. Das entwickelte System wird fortschrittliche Algorithmen für Computer Vision und maschinelles Lernen verwenden, um die Gesichtsbewegungen von Benutzer*innen zu analysieren. Ziel ist, zu erkennen, ob es sich um eine reale Person oder um einen Täuschungsversuch des Systems handelt. Darüber hinaus wird sich das Projekt auf die Verbesserung der Bildqualität für die Erkennung von Personalausweisen konzentrieren, da Bilder von schlechter Qualität zu Fehlern bei der Identifizierung führen können. Dazu werden Bildverbesserungstechniken entwickelt, mit denen Auflösung, Helligkeit, Kontrast und andere Parameter verbessert werden können, um die Genauigkeit der Ausweiserkennung zu erhöhen.
Das Projekt wird auch ein Live-Feedback für die Erkennung von Hologrammen auf Personalausweisen beinhalten, welches dem Benutzer in Echtzeit Anweisungen zur Verbesserung der Qualität des Hologrammbildes gibt. Ist das Hologrammbild beispielsweise undeutlich, kann das System eine Rückmeldung geben, wie z. B. "Drehen Sie Ihren Ausweis nach links" oder "Legen Sie Ihren Ausweis an einen Ort mit besserer Beleuchtung", um Nutzer*innen zu helfen, ein qualitativ hochwertiges Bild aufzunehmen. Insgesamt zielt das Projekt darauf ab, ein robustes und genaues System für die Online-Identifizierung zu schaffen, das modernste Techniken der Computer Vision und des maschinellen Lernens nutzt und gleichzeitig den Nutzern ein Live-Feedback gibt, um die Qualität der aufgenommenen Ausweisbilder zu verbessern.
Künstliche Intelligenz für Arbeit und Lernen in der Region Karlsruhe (KARL)
Durch künstliche Intelligenz (KI) sollen Mitarbeitende der Reiseberatung unterstützt werden, indem die KI Mitarbeitenden und Kund*innen mit aktuellen Themen und Informationen für versorgt. Den Kund*innen werden bei der Ermittlung ihres Reisebedarfs in Echtzeit passende Bilder gezeigt, um sich ein besseres Bild vom Reiseziel zu machen.
Ziel des vom ADAC Nordbaden geleiteten Use Cases ist es, einerseits die Mitarbeitenden in den Reiseberatungsgesprächen durch den Einsatz von KI zu unterstützen und andererseits der Kundschaft ein besseres Erlebnis bei der Reiseberatung zu bieten. Konkret soll die KI aktuelle Themen und Informationen aus ADAC-Datenbanken ("ADAC-Datenpool") auf Basis der Beratungsinhalte mit der Kundschaft aufbereiten und den Mitarbeitenden in geeigneter Form zur Verfügung stellen. Ziel ist eine spürbare Reduzierung von Unterbrechungen im Dialog zwischen Mitarbeitenden und Kund*innen durch kürzere Recherchezeiten der Beratungsexperten am Computer. Gleichzeitig soll durch den Einsatz von KI die Beratung visuell unterstützt werden, indem die Kund*innen in Echtzeit passende Bilder zu den genannten Reisezielen, Hotels oder Aktivitäten sehen.
AR-INSIGHT
AR-INSIGHT ist ein Kooperationsprojekt zwischen der Hochschule Karlsruhe und den Industriepartnern AUNOVIS GmbH (Karlsruhe) und AMAISYS TECHNOLOGIES SLU (Barcelona), das sich mit der Sensordatenfusion für Augmented Reality (AR) Assistenzsysteme in dynamischen industriellen Umgebungen beschäftigt.
Das Projekt schafft ein interaktives Assistenzsystem mit kopfgetragener AR und wird durch Methoden der künstlichen Intelligenz umgesetzt. Ziel ist es, Maschinist*innen und anderes technisches Personal bei Wartungs-, Steuerungs- und Überwachungsaufgaben in Produktionsanlagen zu unterstützen. Relevante Kennzahlen und Zustände sowie Anleitungen und Wartungshandbücher sollen auf den Maschinen eingeblendet werden, um die stetig steigende Komplexität in der heutigen Produktionsumgebung unter Kontrolle zu behalten und so die Durchführung des Arbeitsprozesses zu erleichtern und Fachkräfte zu entlasten.
Die genaue Erkennung von Maschinen- bzw. Anlagenbewegungen hinsichtlich Dynamik und Komplexität erfordert neue multidimensionale Sensordatenfusionsverfahren in Kombination mit Techniken der künstlichen Intelligenz, die an der Hochschule Karlsruhe entwickelt werden.
Promotionskollegs
Accessibility through AI-based Assistive Technology (KATE)
Die Graduiertenschule Accessibility through AI-based Assistive Technology (KATE) ist ein neues kooperatives und interdisziplinäres Promotionskolleg zwischen dem Karlsruher Institut für Technologie (KIT) und der Hochschule Karlsruhe (HKA).
Möchten Sie dabei unterstützen, die Lebensqualität von Menschen mit besonderen Bedürfnissen zu verbessern, indem Sie modernste Methoden der künstlichen Intelligenz nutzen, um assistive Technologien für diese Benutzergruppen zu entwickeln? Zum Beispiel durch die Unterstützung der Selbstständigkeit der Nutzer*innen bei Mobilität und Orientierung mithilfe modernster Computer Vision und der Gestaltung geeigneter Benutzerschnittstellen; oder durch die Ermöglichung einer besseren Zugänglichkeit von Dokumenten, z.B. zu den grafischen Elementen in Büchern oder Multimediadokumenten; oder durch den Bau von robotischen Werkzeugen zur Unterstützung von Personen mit Mobilitätseinschränkungen? Oder sind Sie daran interessiert, die ethischen, sozialen und gesellschaftlichen Auswirkungen solcher Technologien zu untersuchen? Dann werfen Sie einen Blick auf die vorgeschlagenen Dissertationsprojekte. Wenn Sie Ideen haben, wie Sie diese Themen angehen können, senden Sie gerne Ihre Bewerbung an das Promotionskolleg.
Wissensmedien
Wie können digitale Technologien in der schulischen und universitären Lehre effektiv und zielgerichtet eingesetzt werden? Welche didaktischen Ansätze sollten angewendet werden und welche Technologien eignen sich für welche Fachinhalte? Diese Fragen stehen im Mittelpunkt des neuen kooperativen Promotionsprogramms "Wissensmedien. Technik, Lernen und Anwendung aus interdisziplinärer Perspektive", das Anfang März an der Pädagogischen Hochschule Karlsruhe (PHKA), der Hochschule Karlsruhe (HKA) und der Hochschule Furtwangen (HFU) seine Arbeit aufgenommen hat.
Abgeschlossene Projekte
BMBF-Projekt: Sprachsegmentierung und ihre Anwendungen in Meetings (SAM)
Das Projekt SAM hat sich zum Ziel gesetzt, Verfahren und Anwendungen zu entwickeln, die die Kommunikation in virtuellen Meetings sowie deren organisatorischen Ablauf verbessern, um die Effizienz von Meetings zu steigern. Dazu gehört die Entwicklung von kostengünstigen Methoden zur Verbesserung des Audiosignals in Besprechungsräumen sowie neue Lösungen zur Segmentierung des Audiosignals. Diese Segmentierung dient dazu, das Audiosignal den entsprechenden Personen zuzuordnen, um eindeutig zu erkennen, wer wann, wo und wie lange gesprochen hat. Eine exakte Sprecherzuordnung ist die Grundlage für alle weiteren Schritte der Sprachverarbeitung, wie z.B. die Rückmeldung an die Meeting-Teilnehmer über ihre Sprecherbeteiligung in Form von Smart Meeting Guidance. Da die genannten Ziele auf der Basis einer einkanaligen Aufnahme, wie sie in Besprechungsräumen häufig anzutreffen ist, nur sehr schwer oder gar nicht zu erreichen sind, wird angestrebt, durch die Zusammenschaltung der Mikrofone der Smartphones der Teilnehmenden mehrkanalige Aufnahmen zu ermöglichen.
KI-Nachwuchs@FH 2021: Aufbau einer verteilten IT-Infrastruktur für latenzkritische KI-Anwendungen
Aufbauend auf der an der Hochschule Karlsruhe (HKA) vorhandenen Expertise und der strategischen Ausrichtung im Bereich des Forschungsschwerpunkts Intelligente Systeme sollen Softwarearchitekturen, Technologien und Entwicklungsmethoden für latenzkritische KI-Anwendungen erforscht und vermittelt werden.
Zu diesem Zweck soll im Projekt eine grundlegende KI-fähige IT-Infrastruktur aufgebaut werden. Diese Infrastruktur soll für den universitätsweiten Einsatz in der Forschung und für die Ausbildung des wissenschaftlichen Nachwuchses nutzbar sein.
Die Nutzung der ILKA-IT-Infrastruktur für latenzarme KI-Anwendungen soll bis zum Projektende für die drei Hauptanwendungsbereiche Robotik in der Produktion, intelligente Wahrnehmungs- und Assistenzsysteme und intelligente IT-Infrastrukturen ermöglicht werden.
Mit der dann etablierten Infrastruktur und den Erfahrungen aus den drei Pilotprojekten soll nach Abschluss des ILKA-Projekts eine Ausweitung auf weitere Anwendungsbereiche und neue Nutzergruppen erfolgen.
Carl-Zeiss-Stiftung (PRISMA)
Mit der PRISMA-Förderung baut Prof. Dr. Matthias Wölfel, CZS-Stiftungsprofessor für Intuitive und Perzeptive Benutzerschnittstellen, ein in seiner Forschungsgruppe entwickeltes Toolkit für eine breite Anwendung in Wissenschaft und Industrie aus. Die virtuelle Realität (VR) hat sich in den letzten Jahren fest etabliert und wird in zahlreichen Anwendungsbereichen eingesetzt. Eine systematische Untersuchung von Anwendungen scheitert jedoch oft daran, dass die Entwicklung von Testroutinen in virtuellen Umgebungen noch eine große Herausforderung darstellt. Bislang konnte weder ein Verfahren etabliert werden, noch gibt es zufriedenstellende Toolkits, die den Zugang erleichtern. Die Arbeitsgruppe von Professor Wölfel hat daher das Virtual Scientific Toolkit entwickelt. Das Toolkit ist als Open-Source-Software verfügbar und soll im Rahmen der PRISMA-Förderung weiterentwickelt werden.
SelfVR Carl-Zeiss-Stiftung
"Social VR" kombiniert Telepräsenz (Kommunikation mit anderen, aber ohne Raumbezug) und VR (hohe Präsenz und Immersion ohne Kommunikation mit anderen), um die jeweiligen Besonderheiten geschickt zu kombinieren: Dies ermöglicht die Kommunikation mit anderen mit Raumbezug und macht die "physische" Präsenz anderer spürbar. In solchen Umgebungen dient ein virtueller Avatar als Stellvertreter für den/die Nutzer*in in der virtuellen Umgebung. Allerdings sind Aussehen und Ausdruckskraft von virtuellen Avataren als Stellvertretende der Head-Mounted-Display-Nutzer*innen heute noch stark eingeschränkt, sowohl was die visuelle Umsetzung als auch die Bewegung betrifft.
Ein fertiges System "out of the box" gibt es derzeit nicht zu kaufen, aber die vorhandenen Entwicklungen (die oft als Open-Source-Lösungen der wissenschaftlichen Gemeinschaft zur Verfügung stehen) eröffnen eine schnelle Umsetzung. Erst die sinnvolle Kombination der einzelnen Technologien Virtual Reality, 3D-Scanning, Auto-Rigging, Sensorerfassung, Mustererkennung und Animation ermöglicht es, ein System zu entwickeln, das über die jeweiligen Fachkreise hinaus genutzt werden kann. Es wird erwartet, dass durch die Entwicklung, Weiterentwicklung und Nutzung des Gesamtsystems sowohl aus technologischer als auch aus sozialwissenschaftlicher Sicht neue Erkenntnisse gewonnen werden können, die durch den Einsatz der Einzelkomponenten nicht oder nur eingeschränkt möglich wären.
Mehr erfahren