Kontext

Während der COVID-19-Pandemie entwickelte Pi für NovoNordisk eine E-Learning-Plattform namens “Diabetes Academy”, die darauf abzielt, Ärzten neue Diabetesbehandlungen vorzustellen. Nach drei Monaten Online-Kursen schufen wir eine 40-minütige immersive Erfahrung als Höhepunkt des Programms.

In dieser Aktivität nahmen Ärzte, organisiert in Gruppen von 4 und begleitet von 2 Schauspielern, die Rolle von Spezialagenten ein und lösten Rätsel in drei virtuellen Räumen. Diese Reise ermöglichte es ihnen, das Gelernte auf unterhaltsame Weise anzuwenden und mit anderen Ärzten zu kooperieren, was in einer Zeit des Abstands wertvolle soziale Interaktion bot.

Die Erfahrung wurde sowohl von den Ärzten als auch von NovoNordisk hoch geschätzt, wobei die Kombination aus Lernen, Unterhaltung und der Möglichkeit zur Vernetzung in einer sicheren virtuellen Umgebung hervorgehoben wurde.

Reise

Begrüßung

Als sich die Aufzugstüren öffnen, werden die 4 Ärzte von 2 Schauspielern begrüßt, die die Mission vorstellen und sie einladen, einen Charakter auszuwählen.

Mit ihren Telefonen scannen die Teilnehmer einen QR-Code, der sie zu einer einzigartigen Schnittstelle führt, die mit ihrer Rolle verknüpft ist. Während der gesamten Erfahrung müssen sie zusammenarbeiten, um Codes und Rätsel mithilfe dieser Schnittstelle zu lösen.

Sobald alle einen Charakter ausgewählt haben, wird ein “Hack” ausgelöst. Alarme ertönen, rote Blinklichter erscheinen und Rauch füllt den Raum, was einen Angriff auf die Einrichtungen simuliert. Die Teilnehmer müssen als Team zusammenarbeiten, um die Hacker zu stoppen und Leben zu retten. Das Team wird dann in den ersten Raum geführt, wo die Herausforderung beginnt.

Raum 1

Im ersten Raum wird ihnen ein kritischer medizinischer Fall präsentiert: ein Patient, dessen Leben in Gefahr ist.

Aufgrund des Hackerangriffs ist das medizinische Profil des Patienten verschlüsselt. Das Ziel dieses Raums ist es, das Leben des Patienten zu retten. Dazu müssen die Ärzte die auf dem Bildschirm angezeigten Informationen entschlüsseln und mit dem richtigen medizinischen Profil abgleichen. Mit ihren Telefonen müssen sie die richtigen Codes eingeben, um wichtige Informationen über den Patienten preiszugeben. Mit begrenzter Zeit müssen sie sich organisieren, um nur die relevanten Informationen zu entschlüsseln.

Sobald das richtige Profil identifiziert ist, stabilisieren sie den Patienten, indem sie eine Box mit dem richtigen Medikament zusammenstellen.

Schließlich vervollständigen sie das Rezept, indem sie die fehlenden Wörter ausfüllen, wobei sie Hinweise aus der Projektion verwenden und das während des Kurses erworbene Wissen anwenden.

Raum 2

Im zweiten Raum stehen die Teilnehmer vor einem weiteren Patienten, haben diesmal aber die Möglichkeit, “durch die Zeit zu reisen.”

Beim Erkunden der Wohnung des Patienten entdecken sie Lebensgewohnheiten, die zur Krise geführt haben.

Nachdem sie Hinweise gesammelt haben, müssen sie zusammenarbeiten, um Multiple-Choice-Fragen auf ihren Telefonen zu beantworten und so einen Behandlungsplan basierend auf der Geschichte des Patienten zu erstellen.

Raum 3

Im letzten Raum steht jeder Arzt unter einem Licht, das der Farbe seines Charakters entspricht. Ein Glückwunschvideo wird abgespielt, das ihren Erfolg beim Retten beider Patienten feiert. Nach dem Video interagieren sie mit einer Zeitleiste, die die Entwicklung der Diabetesbehandlungen im Laufe der Jahre zeigt. Als letzten Schliff erhalten die Teilnehmer ein gedrucktes Gruppenfoto, bevor sie die Erfahrung verlassen.

Steuerungsschnittstelle

Die “Funktion” wurde live mit Überwachungskameras und einer grafischen Schnittstelle, die in TouchDesigner erstellt wurde, überwacht. Diese ermöglichte es den Betreibern, den Zustand jedes Raums zu steuern.

Prototyp

Um das Projekt dem Kunden zu präsentieren und schnell iterieren zu können, wurde ein interaktives Demo in Unreal Engine erstellt.

Meine Rolle

Zu meinen wichtigsten Aufgaben gehörten:

• Das Zusammenstellen und Leiten des Programmierteams.
• Vorschlagen, Definieren und Ausführen der technischen Lösungen zur Umsetzung der kreativen Ideen des Projekts.
• Entwicklung der Benutzeroberfläche, die die Echtzeit-Steuerung des Spiels ermöglichte und es den Hinter-den-Kulissen-Operatoren ermöglichte, Ereignisse auszulösen und den Fortschritt jeder Teilnehmergruppe zu verwalten.
• Entwurf der Projektarchitektur in TouchDesigner, Verteilung der Rechenlast auf mehrere Computer, um während der Erfahrung eine optimale Leistung zu gewährleisten. Besonderer Dank gilt Matthew Ragan für seinen Kurs über modulare Architekturen, der von entscheidender Bedeutung war.
• Entwurf und Programmierung der Integration und Kommunikation zwischen den verschiedenen Systemen: Computer, Telefone, m5sticks, Soundsysteme, Beleuchtung, Projektionen, Nebelmaschine und Arduinos.
• Entwicklung des Projekts in Unreal Engine, das in Raum 2 verwendet wurde.

Außerdem arbeitete ich eng mit den anderen Programmierern zusammen, um die audiovisuelle Integration der Räume, die in TouchDesigner entwickelt wurde, effektiv zu integrieren.

Team

Unternehmen

Design und Programmierung - Pi

Produktion und Konstruktion - Prokart

Sound und Licht - Dedaluzproducciones

Programmierteam

• Benjamín Benavides
• Paola Olea, Tolch: audiovisuelle Entwicklung der Räume in TouchDesigner und Telefon-UI.
• Sebastián Felbol: IoT-Programmierung (M5stick)