PhonicScore ist ein neuartige Software zur Darstellung von Partituren, die Tablet-Computer zu einem digitalen Notenpult macht und einem obendrein das Umblättern abnimmt. departure fördert die Weiterentwicklung des Programms.
Mit der Entwicklung von PhonicScore bietet die seit 2011 bestehende OG yellow8 eine innovative Form der Notendarstellung. Digitalisierte Partituren werden zunächst auf einen Tablet-Computer geladen und mithilfe der Software die von den Musikerinnen und Musikern gespielten Töne analysiert. Die aktuelle Position im gespielten Stück wird angezeigt und es wird automatisch umgeblättert bzw. weitergescrollt und die Genauigkeit der gespielten Töne dargestellt, ferner kann es als Stimmgerät genutzt werden. Im Laufe der nächsten Wochen wird der Prototyp vergeben und auf seine Praxistauglichkeit getestet. Mit der von departure bereitgestellten Fördersumme arbeiten die drei Entwickler Florian Kruse, Oliver Hörbinger und Matthias Uiberacker an der Verbesserung des Echtzeitalgorithmus zur Notenerkennung und an der Erweiterung bzw. Verbesserung einer Orchesterversion. 2013 soll diese auf den Markt kommen.
Matthias Uiberacker, der bei der Entwicklung unter anderem für den musikalischen Input sorgte, gab dazu ein Interview.
Was genau ist PhonicScore und wie funktioniert es?
PhonicScore ist ein Softwareprodukt, das aus einem Tablet-Computer ein interaktives, digitales Notenpult macht. Die Software hört welche Töne die Musikerinnen oder Musiker mit ihren Instrumenten spielen, errechnet daraus die aktuelle Position am Notenblatt und zeigt diese Position am Bildschirm auf der Notenschrift an. Die Software übernimmt damit die Funktion des Weiterblätterns oder –scrollens und hilft mit der Positionsanzeige den Überblick zu behalten. Richtig gespielte Töne werden entsprechend farblich markiert. Da die Noten digital vorliegen, können einzelne Stimmen bzw. Instrumente ein und ausgeschaltet werden, die Größe der Notenschrift kann durch Zoomen angepasst werden und die Noten über den Lautsprecher wiedergegeben werden.
Sie entwickelten bereits Softwares zur Auswertung von Segelregatten und Zutrittskontrollsysteme für Fitness-Center. Wie entstand die Idee zu dieser Entwicklung? Woher kam die Idee zu diesem Programm bzw. der musikalische Input?
Für die Entwicklung von PhonicScore haben sich Florian Kruse, Oliver Hörbinger und Matthias Uiberacker, welche schon in anderen Bereichen der Softwareentwicklung und Signalverarbeitung zusammengearbeitet haben, zusammengeschlossen und eine eigene Firma gegründet. Der Name yellow8 stammt von Florian Kruse, der mit seinem Softwareunternehmen die von Ihnen erwähnten Softwareprodukte vor PhonicScore entwickelt hat. Der musikalische Input kommt von Matthias Uiberacker, der selbst hobbymäßig musiziert und sich auch mit der Produktion von Musik beschäftigt hat.
Gibt es bereits vergleichbare Produkte am Markt? Wenn ja, worin besteht die Verbesserung bei Ihrem Produkt?
Es gibt bisher kein Produkt, das automatische Positionsanzeige, flexible Notendarstellung und die Verwendung eines offenen Notenformats (MusicXML) bietet. Es gibt jedoch eine Reihe von Applikationen zum Darstellen, Editieren und Abspielen von Noten, sowie einige wenige Programme die gespielte Töne über Audioanalyse erkennen.
Wie weit sind Sie mit der Entwicklung des Echtzeit-Algorithmus? Wann soll der Prototyp fertiggestellt bzw. vorzeigbar sein?
Die Entwicklung der mehrstimmigen Tonerkennung in Echtzeit ist großteils abgeschlossen und die Einzelmusikerversion befindet sich bereits einige Zeit in der Testphase. Natürlich wird die Audioanalyse und Positionsverfolgung stetig weiter verbessert werden. Der Prototyp wird in ca. 2-4 Wochen an Musikerinnen und Musiker zum Testen weitergegeben.
Worin besteht die größte Fehleranfälligkeit? Wo gibt es noch Verbesserungspotential? Wie können etwa Systemabstürze oder dergleichen verhindert werden?
Unser Ziel ist es, dass die erste Version mit der typischen Übungssituation – ein Musiker spielt mit einem Instrument daheim – verlässlich zurechtkommt. Der Fokus liegt darauf die Position im Stück nicht zu verlieren. Die Erkennung von sehr komplexen Audiosignalen, etwa viele Töne oder Instrumente gleichzeitig oder sehr kurze oder tiefe Töne und Nebengeräusche, ist prinzipiell nur in gewissen Grenzen lösbar. Das wird besonders bei der Orchesterversion die Herausforderung sein. Systemabstürze können durch modernen Programmierstil, gut durchdachte Fehlerbehandlung und Testen, Testen und nochmals Testen verhindert werden.
Wie sieht Ihr Zeitplan für die weitere Entwicklung aus?
Wir wollen PhonicScore im zweiten Quartal dieses Jahres auf den Markt bringen. Nach derzeitiger Planung werden Versionen für iPad , Android Tablets und Windows PCs verfügbar sein. Die Entwicklung der Orchesterversion wird seit Anfang des Jahres parallel betrieben und soll im ersten Quartal 2013 auf den Markt kommen. Während dieser Zeit und darüber hinaus wird an Produktverbesserungen gearbeitet und es werden weitere, auf PhonicScore aufbauende Produkte entwickelt.
Sind die Displays von Windows Tablets oder iPads ausreichend groß für einwandfreie Lesbarkeit oder gibt es prinzipiell auch die Idee, die Software irgendwann mit einem eigens entwickelten Device anzubieten?
Die meisten Tablet Computer entsprechen im Querformat bereits der Breite eines A4 Blatts. Dadurch, dass die Position verfolgt wird und die Noten an die Bedürfnisse der Musikerinnen und Musiker angepasst werden, reicht diese Größe völlig aus. Ungeachtet dessen ist anzunehmen, dass sehr bald auch Tablet Computer mit größeren Displays auf den Markt kommen. Die Auflösung der aktuellen Geräte ist ebenso völlig ausreichend für eine gute Lesbarkeit der Noten und wird vermutlich weiter verbessert werden.
In welchem Preissegment wir Ihr Produkt angesiedelt sein Wie schätzen Sie den Markt in Österreich bzw. International ein?
Abhängig von den Features (zB nur Anzeige, mit Positionsbestimmung, Orchesterversion, Dirigentenversion) und abhängig von der Softwareplattform wird PhonicScore zwischen 10 und 250€ liegen. Laut Statistik sind ca. 9% der Bevölkerung im deutschsprachigen Raum musikalisch aktiv und damit potentielle Kunden für unser Produkt.
Stellt die Entwicklung einer solchen Software in einem Klassik-affinen Land wie Österreich einen Vorteil dar?
PhonicScore soll für alle Musiker, die nach Noten spielen – sei es Hobbymusiker oder Profi – eine Unterstützung sein. Unserer Ansicht nach ist es durchaus förderlich für den internationalen Absatz, dass PhonicScore in einem Land entwickelt wird, welches die Musik so stark beeinflusst hat wie Österreich. Andererseits könnte PhonicScore dazu beitragen, dass Österreich einen weiteren Beitrag zum Bereich Musik liefert – diesmal jedoch von der technischen Seite.
Wie sieht es mit Testimonials bzw Endorsement aus?
Derzeit haben wir viele Interessenten am Produkt. Da es aber noch keine herausgegebene Testversion gibt, können wir hier noch keine Referenzen nennen.
Wie ist das Handling? Wird es verschiedene Versionen geben, also etwa eine mobile vs. eine fix installierte Konzertversion?
PhonicScore ist für die Bedienung mit einer Hand über einen Touchscreen ausgelegt.
Derzeit sind folgende Versionen geplant: Eine Basisversion (nur Notendarstellung), Einzelmusikerversion mit automatischer Positionsanzeige und Qualitätsfeedback, Orchesterversion mit Datenaustausch und Positionsanzeige über drahtlose Verbindung, eine Dirigentenversion, die ein Verteilen und ändern von Notenblättern ermöglicht. PhonicScore wird für Android Tablets, iPad und Windows PCs bzw. Tablets verfügbar sein.
Werden die Mikrofone zur Notenerkennung extern angeschlossen? Oder sollen die in die Devices integrierten ausreichen?
Wir haben die Erkennung bereits mit den integrierten Mikrophonen von mehreren Smartphones, Tablets und Laptops getestet. Die Qualität ist völlig ausreichend. Natürlich würde ein externes Mikrophon – im besten Fall eines, das direkt am Instrument angebracht ist – die Erkennungsqualität bzw. das Signal- zu Nebengeräuschverhältnis verbessern.
Wie groß ist die Fehleranfälligkeit im Orchestermodus durch die umgebenden Stimmen?
Aus genau dieser Fragestellung ergibt sich die Herausforderung bei der Entwicklung der Orchesterversion, die nun von departure gefördert wird. Aufgrund von Testaufnahmen und dem derzeitigen Status der Tonerkennung können wir jedoch abschätzen, dass die Aufgabe sinnvoll und praxistauglich gelöst werden kann.
Wie gelangen die Partituren in das Programm?
Die Partituren können direkt als MusicXML – ein offener Standard für die Darstellung von Noten, der von vielen Notensatzprogrammen und Notenportalen unterstützt wird – in die Applikation geladen werden. Es gibt demnach keine Einschränkung welches Notenblatt geladen wird. Auch das Einlesen von MIDI Dateien ist bereits vorbereitet und wird ebenso, eventuell in einer späteren Version, möglich sein.
Wird es auch so etwas wie einen Lernmodus mit Feedback oder einer Art “Belohnung” geben?
Ein Lernmodus ist derzeit noch nicht geplant. Die Applikation liefert jedoch ein optisches Feedback, welche Töne man getroffen bzw. gespielt hat und bietet eine Loopfunktion, um eine Stelle oftmals üben zu können. Wir sind jedoch offen gegenüber neuen Ideen und Kundenwünschen.
Sind mehrere Varianten geplant? Wird PhonicScore auch für Kinder oder ältere Menschen nutzbar bzw modifizierbar sein?
Wir wollen die Bedienung bewusst einfach halten, damit die Applikation von allen Musikerinnen und Musikern gut verwendet werden kann. Für Optimierung der Lesbarkeit bieten wir die Möglichkeit die Größe der Notenschrift frei zu wählen und in anderen Farben für Kontrastoptimierung darzustellen, zum Beispiel in blau-weiß.
Einreicher: yellow8 Audio OG
Projekt: PhonicScore
Programm: focus Musik 2011
Programmlinie: focus Musik
Schwerpunkt: Musik
Förderquote: 57%
Gesamtfördersumme: EUR 176.014
departure fördert die Optimierung der Audioanalyse, die Entwicklung eines Prototypen für die vernetzte Orchesterlösung sowie erste Marketing- und Vertriebsschritte.
