PushbackZoomer - mein neues MSFS Addon um mit Sprachbefehlen pushbacks auszuführen - Betatester eingeladen

[mrueedi]

Einen wunderschönen Nachmittag und allen frohe Festtage!

 

Vor ein paar Tagen hatte ich wieder mal so eine Schnapsidee für eine Windows App. Warum nicht die exzellente Windows Voice Recognition APIs brauchen, um eine Konversation mit dem Pushbackfahrer zu simulieren? Ich würde ein Set von Kommandos definieren, welche eng an die Realität angelehnt sind, eine kleine App bauen welche einfach im Hintergrund laufen kann und über die Standard Audio Input und Output Devices die in Englisch gesprochenen Kommandos erkennt, und für den MSFS via SimConnect umsetzt. Auf jedes verstandene Kommando würde mit der Sprachausgabe dann auch noch eine Bestätigung ausgegeben.

 

Gesagt, getan, hier ist das Ergebnis:

 

Folgende innovative Punkte sind aufzuzählen:

 

• Freeware  (+ werbefreie) Windows 10 App
• Verfügbar via Microsoft Store oder flightsim.to als *.msix Installationspaket
• Die App hat das denkbar puristischste GUI, das es gibt: es gibt genau Null Buttons, Dropbdownboxen, Textboxen und dergleichen. Es gibt schlicht nichts zu konfigurieren und nichts einzustellen! Einfach installieren und starten und im Hintergrund parkieren. Für die Audio Ein- und Ausgabe werden die Standard Devices verwendet und für die Anbindung am MSFS SimConnect. Solange der MSFS nicht erkannt wird, bleibt das GUI in Grautönen, sobald die Verbindung hergestellt ist, wird das GUI farbig. Das ist alles.
• Die App braucht kaum Resourcen. Der Status des Sims wird automatisch erkannt und die Resourcen zur Speech Recognition werden sofort freigegeben, wenn der Kontext einen Pushback nicht erfordert.
• Die Kommandos müssen der programmierten Grammatik genau entsprechen.
• Um einen lebendigen Austausch mit dem Pushbackfahrer zu ermöglichen, ist aber eine Vielzahl von Varianten eingebaut.
• Auf diese Weise sind hunderte von Millionen Gesprächsverläufe möglich.
• Pro Pushback wird für den Fahrer auch eine persönliche Stimmung zufällig ausgewählt, welche den Charakter der Konversation ein Stück weit prägt. Möglich Stimmungen sind: tight_lipped, formalistic oder expressive.
• Aufgrund der vordefinierten Grammatik kann man ganz normal mit anderen Personen über andere Dinge sprechen, ohne dass die App anspringt. 
• Sollte die App einmal etwa falsch verstehen und doch unerwartet reagieren, kann man mit "no, no, no" oder "stop, stop, stop" eine begonnene Aktion wieder abbrechen.

 

Hier nun die minimalen Sprachkommandos:

 

Ground from flightdeck                                           Start the converstion

Brakes released                                                       Confirmation that the parking brakes have been released

Turn <right | left>                                                     Requests a 90° turn to the right or left

Turn <right | left> by <digit digit digit> degrees   Requests a turn by the specified angle to the right or left

Turn facing <north | east | south | west>              Requests a 90° turn, the direction is derived from the cordinal direction

Stop turning                                                             Stop turning and continue with current heading

No, no, no                                                                 Cancel started action

Stop pushback                                                         Terminate the pushback

Brakes set                                                                 Confirmation that the parking brakes have been set

 

Und nun meine Bitte an Euch: die App ist aktuell bereits im Windows Store als Betaversion verfügbar (d.h. Zugriff und Installation ist über den nachfolgenden Link möglich, gelistet im Store ist die App aber noch nicht). Falls jemand Lust hat, die App mal auszuprobieren, bitte also einfach auf diesen Link gehen und die App installieren. Die Bedienung ist im Video erläutert. Ein Known Issue ist, dass momentan die App erst gestartet werden sollte, wenn der Sim das Flugzeug fertig geladen hat. Schwachstellen (und seien sie noch so banal) bitte einfach sofort melden. Selber konnte ich bislang noch nicht mal die Installation testen, weil ich keinen zweiten MSFS installiert habe. Ich wäre also froh, wenn jemand von einem Erfolgserlebnis berichten könnte diesbezgl.

[mrueedi]

Die App ist nun nicht mehr im Beta-Status.

 

Auf flightsim.to oder vom MS Store kann die Version 1.0.11 gratis und werbefrei bezogen werden.

 

Das User Manual habe ich hier publiziert:

https://flightzoomer.com/downloads/PushbackZoomer 1.0 User Manual.pdf

 

Am Ende des Manuals ist auf vier A4 Seiten die ganze SRGS Grammatik der Spracherkennung dokumentiert. Wer sich ein bisschen ins SRGS XML Format einlesen mag, kann darin die Vielzahl an möglichen Befehlen und Varianten ersehen, welche von der App über das minimal Set hinaus unterstützt werden.

[KiloJuliett]

Hey Martin, spannende Sache. Ich bin momentan noch nicht mit dem MSFS unterwegs, aber das Video fand ich sehenswert.

 

Ich meine, du müsstest rechts und links noch vertauschen, so dass es aus der Sicht des Traktorfahrers korrekt ist. Oder vielleicht dies zumindest als Option anbieten, dass man wählen kann, ob rechts und links aus Pilotensicht oder Traktorsicht gilt.

Bei den Turn "facing" hast du dazu geschrieben, dass ein 90° Turn gemacht wird. Sind es immer 90° oder wird das Flugzeug effektiv auf die Himmelrichtung ausgerichtet? Werden auch Kombinationen (nordwest, südsüdost, etc) erkannt?

In Innenhöfen zwischen Terminals wird oft auch ein 180°-Turn gemacht, wie etwa auch zwischen dem Terminal A und B in Zürich. Vielleicht könntest du dazu noch Befehle ergänzen (U-turn rechts/links).

Kann die Fahrt zwischendurch auch angehalten werden?

[mrueedi]

Hoi Jonas

 

Ich schätze Dein fundiertes Feedback, vielen Dank dafür! Also, lass mich durch die Punkte gehen:

 

- Das mit dem rechts/links habe ich schlicht vom Pushback Helper Tool übernommen. Wie ich es verstanden habe, ist dieses Thema öfter mal Quelle von Missverständnissen und deshalb würde ich es vorziehen wenn links oder rechts immer das gleiche bedeutet. Auch würde das Anbieten einer Option, meinem Requirement des Zero-Option-GUIs widersprechen. Ich habe deshalb aber auch bewusst die realistischere Variante des "facing" Kommandos noch eingebaut.

 

- Beim "facing" Kommando geht es also mehr um die unmissverständliche Angabe der Drehrichtung. Die Software leitet einfach die Richtung des Turns aus der Himmelsrichtung ab, macht dann aber genau auch einen 90° Turn. Damit hat der Pilot immer noch die Möglichkeit, den Turn bei einem beliebigen Winkel mit "stop turning" zu stoppen. Aber auch da sind Fälle denkbar, welche nicht eindeutig sind: wenn die Flugzeugnase bereits +-20° der gewünschten "facing" Richtung zeigt, erachte ich die Angabe als nicht eindeutig genug und die Antwort ist dann z.B. "You are already facing north, you need to pick another target direction!". Ähnlich der Fall, bei dem die Flugzeugnase +-20° in die genau entgegengesetzte Richtung zeugt. Dann ist die Antwort z.B.: "Facing north could mean a turn in both directions. Use another direction instead!".

 

- An den U-Turn habe ich auch gedacht. Momentan muss man mit "turn <right|left> by <digit> <digit> <digit> degrees" arbeiten, wobei genau der 180° Turn bezgl. Richtung nicht deterministisch ist, d.h. der MSFS wird sich je nach der Rundung der Fliesskommazahlen (die Ziel-Richtung wird als double an den Sim übermittelt) selber für eine der zwei Richtungen entscheiden. Ich stimme Dir also zu, dass ich den U-Turn noch sauber implementieren muss und dazu am besten ein entsprechendes Kommando einbaue. Technisch ist es kein Problem, indem ich dem Simulator dann zuerst anweise einen 90° Bogen in die gewünschte Richtung auszuführen, und dann nach ca. 45° (wenn die kürzere Drehrichtung zum Zielkurs eindeutig ist) die korrekte 180° Zielrichtung zu setzen.

 

- Ein Stoppen der Fahrt ist nicht vorgesehen momentan. Ist dies ein Szenario in der Realität?

[Pancho33]

wow Martin ...eine ganz tolle app...danke

 

Grüsse

Dieter