Die Störung wurde beseitigt.
Ursache war ein Fehler bei der BGP-Ankündigung im Netz eines Dienstleisters, durch den unsere IP-Netze aus dem Internet entfernt wurden. Ein Hardware-Defekt auf unserer Seite wurde vor Ort ausgeschlossen. Der Dienstleister hat den Fehler in seinem Netz zwischenzeitlich behoben; die BGP-Sitzung zu unseren Netzen wurde nun ebenfalls wieder aufgebaut.
Chronologie
Neueste Meldung zuerst.
-
Aktueller Stand
Wir freuen uns Ihnen mitteilen zu können, dass die von unserem Dienstleister verursache Störung von diesem nun beseitigt wurde. Es kann noch bis zu 60 Minuten dauern, bis die wieder eingestellten Routen im gesamten Internet bekannt gegeben wurden. Bis dahin kann es von manchen Orten oder Internetanbietern weiterhin zu eingeschränkter Erreichbarkeit kommen. Wir beobachten die Dienste weiterhin und führen nun notwendige Nacharbeiten durch.
Wir bitten, die dadurch entstandenen Unannehmlichkeiten zu entschuldigen und versichern Ihnen, dass wir alles notwendige dafür tun, einen stabileren Service zu gewährleisten.
-
Die Störungsbeseitigung dauert bedauerlicherweise weiterhin an. Wir haben den Dienstleister um ein Status-Update gebeten.
-
Die Störungsbeseitigung dauert an.
-
Ein Techniker unseres Dienstleisters ist jetzt vor Ort.
-
Ein Techniker unseres Dienstleisters nimmt einen Hardware-Tausch gegen 09:30 vor.
-
Der Dienstleister hat einen Techniker-Einsatz geplant, jedoch haben wir bisher leider noch keine genaue Uhrzeit zum Beginn der Arbeiten erhalten.
-
Wir haben beim Dienstleister weitere Informationen angefragt und um eine priorisierte Bearbeitung gebeten, da die Störung inzwischen über zwölf Stunden andauert.
-
Zum geplanten Hardwaretausch liegen uns bislang keine weiteren Informationen des Dienstleisters vor. Wir haken nach und melden uns, sobald es Neues gibt.
-
Der Dienstleister plant als nächsten Schritt einen Hardwaretausch zur weiteren Eingrenzung.
-
Der Dienstleister nennt uns die Ursache: Zwischen 16:15 und 19:30 Uhr kam es in seinem Netz zu einem Fehler bei der BGP-Ankündigung. Präfixe mit privaten AS-Nummern wurden blockiert, anstatt die privaten AS-Nummern zu entfernen und die Netze unter der AS-Nummer des Dienstleisters anzukündigen. Der Fehler im Netz des Dienstleisters ist behoben, das Routing dort läuft wieder normal. Die BGP-Sitzung zu unseren Netzen ist nach Angaben des Dienstleisters jedoch noch nicht aufgebaut. Wir klären das gemeinsam mit ihm und melden uns, sobald die Erreichbarkeit wiederhergestellt ist.
-
Der Dienstleister untersucht die Störung und hat weitere Informationen zur Eingrenzung angefragt.
-
Der Dienstleister teilt mit, dass unsere Störungsmeldung dort intern in einer falschen Queue gelandet ist und deshalb nicht von der zuständigen Stelle bearbeitet wurde. Das Ticket wurde nun an die zuständige Stelle übergeben.
-
Die Störungsmeldung wird beim Dienstleister auf Stufe 2 eskaliert.
-
Nach intensiven Tests und Analysen steht die Ursache fest: Ein Dienstleister hat gegen 16:00 Uhr durch eine Fehlkonfiguration im BGP (Routing) unsere Routen bzw. IP-Netzwerke aus dem Internet entfernt. Dadurch wurden unsere Systeme nach und nach aus dem Internet unerreichbar. Wir haben den Dienstleister in der offenen Störungsmeldung auf diese Umstände aufmerksam gemacht und die Meldung eskaliert.
-
Wir geben eine Störungsmeldung bei einem Uplink-Provider ein.
-
Prüfungen vor Ort schließen einen Hardware-Defekt unsererseits aus.
-
Monitoring-Meldungen alarmieren uns, dass unsere Systeme aus dem Internet nicht mehr erreichbar sind.