Zum Launch des neuen Flaggschiffs, Huawei Mate20 Pro, und um nochmals die leistungsstarken AI-Funktionen des Smartphones hervorzuheben, wurde ein Team von Künstlern und Experten zusammengestellt, das sich einer spannenden Herausforderung gestellt hat: den Klang des Lichts einzufangen. Das Projekt verbindet Technologie und Kunst und verwandelt ein faszinierendes Naturphänomen, das Nordlicht, in etwas völlig Neues – eine „Sound of Light“-Symphonie.

„Sound of Light“ entstand über eine monatelange Projektzusammenarbeit, bei der getestet wurde, inwieweit Menschen über künstliche Intelligenz Bilder lesen und daraus Soundelemente ableiten können. Die Projektpartner wurden beauftragt, die Nordlichter Norwegens einzufangen und mit Hilfe des speziell entwickelten AI-Systems des Huawei Mate20 Pro die wichtigsten Merkmale zu erkennen und sie in Musikelemente zu verwandeln. Diese originalen Klangstücke wurden dann in Zusammenarbeit mit dem Huawei Mate20 Pro zur Komposition einer Symphonie verwendet. Die letzte Herausforderung für das Team war es, ein multisensorisches Erlebnis zu schaffen, die Innovationen in der AI mit einer noch nie dagewesenen Sprache des Nordlichts kombiniert.

Eine Reise – Von den ersten Dreharbeiten der Nordlichter bis zur finalen Performance

Auf offenem Feld unter freiem Sternenhimmel filmte der Aurora-Experte Kjetil Skogli im norwegischen Tromsø die beeindruckenden Nordlichter. Nach Ende der Dreharbeiten wurde das Filmmaterial des Naturspektakels in ein Klanglabor des preisgekrönten Komponisten Mark Sayfritz geschickt, der mit dem eigens entwickelten AI System des Huawei Mate20 Pro arbeitete, um eine Symphonie aus den aufgenommenen Bildern der Nordlichter zu erschaffen.

Nach der Komposition wurden die Musikstücke an James Shearman, dem weltweit bekannten Dirigenten und Komponisten, geschickt. James Shearman arrangierte anschließend die Orchesteraufführung der „Sound of Light“-Symphonie im berühmten Brahmssaal des Wiener Musikvereins. Die gesamte Reise nutzte die AI-Fähigkeiten des Huawei Mate20 Pro als Inspiration, um die Grenzen der Erwartungen zu überschreiten.

“Bei Sound of Light ziele ich darauf ab, die Emotion dieser speziellen Performance zu verstärken und hervorzuheben. Es soll sich so anfühlen, als würden die Nordlichter und AI durch Musik zu uns sprechen“, sagte James Shearman, Arrangeur und Projektleiter von „Sound of Light“.

Make it possible – Die Rolle des Huawei Mate20 Pro bei “Sound of Light”

Um "Sound of Light" zu realisieren, war ein leistungsstarkes Gerät erforderlich. Das Huawei Mate20 Pro erwies sich als der perfekte Kooperationspartner - das Projekt nutzte viele Funktionen, um das maßgeschneiderte AI-System und den Projekterfolg zu unterstützen.

Zunächst wurden die Ingenieure beauftragt, ein einzigartiges AI-System zu entwickeln, das trainiert werden konnte, um die verschiedenen Eigenschaften von Licht zu erkennen und zu analysieren. Dieser AI wurde dann beigebracht, die musikalischen Elemente mit einem Video der Nordlichter zu korrelieren.

Der Komponist Mark Sayfritz dazu: „Artificial Intelligence in meine Musik zu integrieren, hat eine ganze Reihe neuer kreativer Möglichkeiten eröffnet. Ich kann jetzt Aufnahmen der Nordlichter in ein AI-System einpflegen, das Elemente wie Farbe, Größe, Struktur und Geschwindigkeit analysiert. Dieses AI-System generiert danach Variationen meiner musikalischen Phrasen, basierend auf dem, was es sieht. Wenn Artificial Intelligence eine besonders dramatische Lichtshow erkennt, dann kann sie die Klänge modulieren, um die Intensität in der Komposition zu reflektieren. Diese Elemente wiederum kann ich dann in die Symphonie einbauen.“

Alle musikalischen Elemente, die dabei entstehen, müssten eigentlich leistungsstarke Computer für die intensive Verarbeitungsphase vor der Live-Performance nutzen.  Dank des eigens entwickelten AI-Systems konnte das Team das Huawei Mate20 Pro jedoch in einen Computer der nächsten Generation verwandeln. Während der Live-Performance werden die konvertierten Daten an angeschlossene Synthesizer weitergeleitet, was der Aufführung musikalische Akzente verleiht. Diese fortschrittliche Prozesstechnologie und die langlebige Batterie trugen zur leistungsstarken Performance des Huawei Mate20 Pro bei und erwiesen sich als unerlässlich für die Live-Aufführung.

„AI ist seit langem wichtiger Bestandteil in der Forschung und Entwicklung bei Huawei. Wie viele bedeutende Technologien vor uns lässt uns die AI Grenzen überschreiten – AI ermöglicht es uns, Hochleistungen zu erbringen, die wir bisher nicht erreicht haben. Sound of Light fängt diese Idee genau ein“, so Peter Gauden, Global Senior Product Marketing Manager, Huawei CBG.

Live-Show in Wien – Ein Abend im Zeichen der AI, Musik und den Nordlichtern

Mit der Frage „Wie klingen die Nordlichter?“ begann am 28. November 2018 die audio-visuelle AI-gesteuerte Live-Performance im Brahmssaal des Wiener Musikvereins. Mit über 300 Zuschauern wurde der unglaubliche Klang der Nordlichter von James Shearman dirigiert und vom Synchron Stage Orchestra aufgeführt.

Moderatorin Ines Sabitzer führte durch den Abend mit geladenen nationalen und internationalen Medienvertretern sowie weiteren Gästen. Zusätzlich wurde ein Behind-the-scenes Film über die Reise vom Himmel zur Bühne auf großen Bildschirmen gezeigt, Höhepunkt war die Live-Performance des Projekts.

Die Entdecker – Eine kurze Präsentation der Protagonisten von „Sound of Light“

Kjetil Skogli, der Aurora-Experte: Fotograf, Polarlichtexperte und Projektleiter der Dreharbeiten der Nordlichter in Tromsø, Norwegen. Kjetil hat mit BBC, 60 Minutes Australia, NRK und vielen anderen Partnern beim Dreh der Nordlichter zusammengearbeitet. Er spielte eine Schlüsselrolle im „Sound of Light“ als Leiter bei der Suche nach den schwer fassbaren Nordlichtern. Seine Kenntnisse über die Verfolgung und das Verständnis des Nordlichts waren grundlegend.

Mark Sayfritz, der Komponist: ein angesehener Tonmeister, Komponist und Produzent in der Musikindustrie. Mark hat viele Auszeichnungen für seine Partitur und sein Sounddesign erhalten, unter anderem für die Arbeit mit Audi, Nike, Levi's, der NBA und Reebok.  Marks Aufgabe bei „Sound of Light“ bestand darin, die Klangelemente des eigens entwickelten AI-Systems zu übernehmen und diese neuen Klänge in eine originelle Symphonie zu verwandeln. Seine Liebe zur Zusammenarbeit, sein Verständnis für Technologie und Partitur sowie sein fundiertes Fachwissen im Soundbereich haben sich für dieses Projekt als außerordentlich wertvoll erwiesen.

James Shearman, der Dirigent: ein anerkannter Dirigent und Orchestrierer, der an über 80 Feature Filmproduktionen wie die Schöne und das Biest, Manchester by the Sea und Harry Potter und der Feuerkelch mitgewirkt hat. James Shearmans Rolle als Arrangeur und Dirigent für „Sound of Light“ war integraler Bestandteil für die endgültige Vision, die technologische Natur des AI-Experiments zu kombinieren und mit der Orchesterwelt zu verbinden.

Synchron Stage Orchester, die Musiker: Das Synchron Stage Orchester besteht aus einer handverlesenen Auswahl der besten Musiker des renommiertesten Wiener Orchesters. Das Orchester tritt im Synchron Stage Vienna auf, einem Tonstudio, das sich auf große Orchester und Filmmusik spezialisiert hat. Dank der Erfahrung des Orchesters in der Aufführung von Filmmusik, konnte ihre musikalische Leistung mit der Bewegung der projizierten Visuals verbunden werden, um diese einzigartige Live-Performance zum Leben zu erwecken.