Skyguide Ausfall 15.06.22, Luftraum über der Schweiz gesperrt

[mds]

On 6/20/2022 at 6:19 PM, Urs Wildermuth said:

Denk ich mir auch. Wird wohl ein spannender Bericht werden.

 

Soviel ich weiss, wird es keinen solchen Bericht geben. Es wird nur einen Skyguide-eigenen Bericht geben, der vom UVEK geprüft wird.

[Urs Wildermuth]

Und warum? Wenn das nicht als schwerer Vorfall geht dann was?

[Rumpelstilzchen]

Das Online Magazin REPUBLIK hat am 8.11.22 einen Artikel publiziert, der den Zwischenfall detailliert beleuchtet.

Der Artikel ist nicht umsonst und kann darum an dieser Stelle nicht eingefügt werden.

 

 

Da ich weder Fluglotse noch Netzwerktechniker bin, kann ich die laut Republik "brisanten" News nicht fachmännisch bewerten.

Falls die Behauptungen des Magazins stimmen:

• dass bereits zwei Tage vor dem Vorfall das System ein Problem meldete, dieses seitens Skyguide als Fehlinformation gewertet wurde.
• dass ein SW Update des Herstellers vorlag, dieser aber noch nicht aufgespielt wurde

... wird der Untersuchungsbericht einiges an Unruhe verbreiten.

 

Das Magazin schreibt weiter: Recherchen der Republik zeigen, dass die Schweizer Flugsicherung bei der Informationstechnik nicht einmal die Mindestanforderungen des Bundes für kritische Infrastruktur erfüllt.

 

Der Artikel vergisst auch nicht darauf hinzuweisen, dass Dank der professionellen Arbeit der Fluglotsen keine gefährlichen Situationen entstanden. Dem Kompliment kann man sich nur anschliessen. 

 

 

Bearbeitet 9. November 2022 von Rumpelstilzchen

[FalconJockey]

Beim Aerotelepgraph kann man es ohne Bezahlschranke lesen.

 

https://www.aerotelegraph.com/wie-gross-sind-die-probleme-bei-der-schweizer-flugsicherung-skyguide

 

Zitat

Um 4:40 Uhr am 15. Juni hieß es in der Schweiz: «Clear The Sky». Es ist ein Extremszenario für die Luftsicherung. Und es heißt: Keine Starts, keine Landungen, keine Überflüge sind mehr möglich. Die Langstreckenflugzeuge, die schon bald in Zürich und Genf in der sogenannten «Morgenwelle» hätten landen sollen, wurden umgeleitet.

Der Grund für das Chaos war ein Systemausfall der Schweizer Flugsicherung Skyguide. Zwar liefen die Systeme nach ein paar Stunden wieder, doch der Rattenschwanz von Verspätungen und Ausfällen zog sich teils noch Tage hin. Das Bundesamt für Zivil­luftfahrt (Bazl) und das Departe­ment für Verkehr, Umwelt, Energie und Kommunikation (Uvek) untersuchen den Vorfall derzeit, Ergebnisse sollen im Dezember vorliegen.

Softwareupdate noch nicht aufgespielt

Das Schweizer Magazin Republik hat jetzt in einem Artikel Recherchen veröffentlicht, die kein gutes Licht auf die Flugsicherung werfen. Bislang hieß es, dass ein Hardware-Fehler zum Ausfall führte. Doch offenbar war nicht der Austausch, sondern nur der Neustart eines Netzwerkcomputers nötig, um die Probleme zu beheben. Schon zwei Tage zuvor habe es Warnungen gegeben, die auf Probleme mit dem Netzwerkcomputer hingewiesen hätten. Doch das Personal habe die als Fehlalarm interpretiert.

Zudem war dem Bericht zufolge auf dem Computer laut Gesprächen mit Mitarbeitenden ein Softwareupdate nötig, das den Ausfall vielleicht hätte verhindern können. Das habe bereits vorgelegen, sei von den Technikern aber noch nicht aufgespielt gewesen.

Kritik an der Digitalisierung

Der Grund dafür war aber nicht Nachlässigkeit. Die Mitarbeitenden fürchteten, dass das Update neue Probleme auslösen könnte – und die Zuverlässigkeit der Systeme negativ beeinflussen könnte. Inzwischen ist man dabei, das Update einzuspeisen. «Aktuell führen wir ein Firmware-Update durch, das bis Ende November abgeschlossen sein wird», so Skyguide zur Republik.

Ein weiterer Kritikpunkt kommt unter anderem von Mitarbeitenden. Die zunehmende Digitalisierung berge Risiken, man dürfe nicht so technologiegläubig sein. Was sie meinen: Zunehmende Digitalisierung vereinfacht zum Teil die Arbeit der Lotsinnen und Lotsen. Und sorgt für Einsparungen bei den Flugsicherungen. Doch, so die Kritik, sie berge auch Risiken, weil alles derart miteinander vernetzt sei, dass der Ausfall eines digitalen Schalters – wie am 15. Juni geschehen – gravierendere Folgen haben kann als früher.

 

«Beunruhigende Schwächen im System»

Berufsverbände und Gewerkschaften verfassten aus diesem Grund Mitte September einen Brief ans Uvek. «Schon seit längerem beobachten wir Signale, welche in technischer und operationeller Hinsicht beunruhigende Schwächen im System aufzeigen», steht unter anderem darin. Unterzeichnet wurde der Brief von den Verbänden der Lotsen und Techniker sowie von zwei Schweizer Gewerkschaften.

Skyguide reagiert auf Anfrage von aeroTELEGRAPH zumindest auf diesen Vorwurf mit Verständnis. «Selbstverständlich verstehen wir den Unmut über die Ereignisse vom 15. Juni und auch darüber, dass sich Tätigkeitsprofile durch technologische Innovation und namentlich das Virtual Centre verändern, was auch zu Widerstand führt», so eine Sprecherin.

Dübendorf als einziger Serverstandort

Das «Virtual Center» ist ein Beispiel für die zunehmende Digitalisierung – und ihre möglichen Risiken. Eigentlich soll es die Flugraumüberwachung in der Schweiz vereinfachen. Denn aktuell kontrolliert man aus Genf die Westschweiz und aus Dübendorf bei Zürich den Rest des Landes. Eine Ausnahme ist Basel, dort ist die französische Flugsicherung verantwortlich. Das soll sich ändern. Angelehnt an das große europäische Projekt Single European Sky könnte man es Single Swiss Sky nennen.

Dafür schafft Skyguide einen gemeinsamen virtuellen Raum, in den immer mehr Funktionen migriert werden – eine Cloud. Doch dabei gibt es laut dem Bericht ein Problem. Denn: Die Server für diese Cloud befinden sich alle in einem Raum in Dübendorf. Das heißt: Stimmt dort etwas nicht, oder gibt es einen Brand oder andere externe Faktoren sorgen für Schäden, gibt es keine Redundanzen, die einen Ausfall verhindern.

Minimales Sicherheitsniveau noch nicht erreicht

Die Eidgenössische Finanzkontrolle (EFK), eine unabhängige Prüfungsstelle der Schweizer Regierung, hat das bereits im Februar in einem Bericht bemängelt, den Sie hier als PDF öffnen und lesen können. «Single point of failure» nennt sie das Zentrum in Dübendorf darin.

In dem Bericht überprüft die EFK, ob die Resilienz der Informations- und Kommunikationstechnik (IKT) dem Minimalstandard der Regierung für kritische Infrastruktur genügt. Und sie kommt zu dem Schluss: «Das minimale Sicherheitsniveau, wie durch den IKT-Minimalstandard empfohlen, wird aktuell noch nicht vollständig erreicht.» Neben der fehlenden sogenannten «Georedundanz» bei den Servern bemängelt die Behörde auch weitere Dinge.

Bessere Notfallpläne

Zum Beispiel habe man bei Skyguide zwar sogenannte Desaster-Recovery-Pläne für Notfälle. Doch in der Zusammenarbeit mit dem Technologiekonzern DXC, mit dem das Virtual Center aufbaut wird, bestünden diese noch nicht. Zudem wird in dem Bericht auch klar, dass Kommunikation- und Informationsflüsse in der Behörde optimiert werden sollten.

Skyguide sei aber bereits dabei, die Punkte zu bearbeiten, schreibt die EFK. «Der Großteil der dazu noch notwendigen Arbeiten ist bereits identifiziert und angestoßen. Die Prüfung der EFK hat jedoch zusätzliches Optimierungspotenzial erkannt.»

«Andere Argumente finden kaum statt»

Die Flugsicherung erklärt, man habe den Artikel der Republik zur Kenntnis genommen. Er basiere hauptsächlich auf Informationen der Gewerkschaften, so eine Sprecherin. «Andere Argumente und Kontextinformationen finden darin kaum statt, obwohl wir einen Großteil der genannten Kritikpunkte widerlegen und in den richtigen Kontext stellen können.»

 

[cosy]

1 hour ago, FalconJockey said:

Beim Aerotelepgraph kann man es ohne Bezahlschranke lesen.

 

https://www.aerotelegraph.com/wie-gross-sind-die-probleme-bei-der-schweizer-flugsicherung-skyguide

 

 

Vielen Dank für den Link.

Aus diesem Artikel, der eigentlich die nicht zugängliche Publikation des Republik bespricht, geht indirekt hervor, um was es sich wirklich handelt, das da nicht funktioniert hatte oder ausgefallen war. 

 

Die Journis sind so was von ungebildet in IT oder ICT, und trotzdem schreiben sie solche Artikel, ohne irgendeinen der halbwegs was davon versteht gegenlesen zu lassen. 

Ich meine, dass der diensthabende Informatiker vom Callcenter von so einem Presseladen locker diesen Artikel auf ein professionelles Niveau hätte bringen können.

 

Da von einem "Netwerkcomputer" und weiter im Artikel dann von einem "Ausfall eines digitalen Schalters" geschrieben wurde, vermute ich , dass es sich bei der Komponente um einen managed Layer 2 Switch handelt. Evtl . eine Komponente, welche auch physische VLAN's managed, wie das manchmal in hochsensiblen Umfeld vor der Virtualisierung der Fall war. 

 

Die Bedeutung dieser Komponenten könnte man im Bahnverkehr mit den Weichen vergleichen bei der Post mit den automatisierten Verteilzentren. Ohne diese Teile, oder wenn diese gestört sind oder gestört wurden , dann geht nichts mehr..

 

 

 

Und wegen (sowohl als auch) schneller UND einfacherer Troubleshootingmöglichkeiten bei Netzwerkfehlern oder den darüberliegenden Dienstenkönnte es sich bei Skyguide (vermutlich) um physische Switches handeln, also  eine physische Netzwerktopologie  (unterhalb Layer3).

 

Cosy

 

[cosy]

Ich habe die 61 Referenzen auf der Website der Firma DXC quergelesen, welche bei Skyguide die aus den beiden getrennten Centren Genf und Zürich ein virtuelles System macht, das dann an den beiden oder noch weiteren Standorten (Dübendorf?) geklont werden könnte. :

https://dxc.com/us/en/insights/customer-stories?page=12

 

Diese Firma hat unter den genannten  Projekten zwar Kunden aus der Luftfahrt, aber kein einziges Projekt in der Art des Prozessings von Skyguide.

 

Aus meiner (laaangen) Erfahrung aus SCADA-Projekten der Energiebranche weiss ich, dass auch die Klassenbesten bei solchen technischen Projekten jeweils gescheitert sind und sich schliesslich die guten (kleineren) Firmen unter den Nagel rissen (Bsp. SAP). 

Die zentrale Workflow Platform mit Analytics, KI und automated Response riecht stark nach einem veredelten ERP (wie es in unserer Generation noch genannt wurde).

Die Aufgaben in technisch getriebenen Prozessen wie Luftraum-Management und Resourcen- Management von realtime-Prozessen sind Aufgaben, die sehr viel mehr mit 

Prozessen z.B. in einem Kraftwerk geführt werden müssen oder netzbehaftete Transportsysteme (Hochdruck Transitgasleitung, vermaschte Stromnetze, Umspannstatiionen usw, Wasserversorgung und Nassteile von Wasserkraftanlagen usw usw.) Da ist Virtualisierung ein Thema beim Datenmanagement und GUI, aber nicht am Frontend.

 

Darum glaube ich, dass die wenigen Referenzen aus der Aero-Branche bestimmt sinn machen, denn sie sind alle im Back-Office bereich resp. Unternehmensmanagement angesiedelt.

 

Aber ich habe absolut keinen Einblick in die Projekte von Skyguide und meine wenigen Kenntnisse sind alt-historisch aus dem Ende der 90er. Das war einmal.

 

Cosy

Bearbeitet 9. November 2022 von cosy

[mds]

Ähmm, die «Republik» hat keine Bezahlschranke. Die «Republik» freut sich über Abonnenten, aber alle Artikel sind frei zugänglich:

https://www.republik.ch/2022/11/08/warum-der-schweizer-luftraum-wirklich-fuer-5-stunden-gesperrt-war

 

(Und man kann sich diesen Artikel sogar vorlesen lassen!)

 

Im Artikel sind auch teilweise Primärquellen verlinkt, zum Beispiel ein Bericht der Eidgenössischen Finanzkontrolle:

 

https://cdn.repub.ch/s3/republik-assets/repos/republik/article-single-point-of-failure-duebendorf/files/af34cfab-77b2-42f2-8f63-9d08d10538f3/pruefung_schutz_kritischer_infrastrukturen.pdf