19.06.2019

Firmware Upgrade Core Router FFM2, scheduled 1 year ago

Wir informieren über Wartungsarbeiten unseres Colo Anbieters:

Sehr geehrter Kunde, Sehr geehrte Kundin,

Am kommenden Donnerstag, den 20. Juni 2019, führen wir zwischen 23:30 und 23:50 Uhr Wartungsarbeiten an unserem Core Routing am Standort FFM2 durch. Andere Standorte sind von dieser Wartung nicht betroffen.

Kunden an diesen Geräten mit redundanter Anbindung werden möglicherweise kurz Paketverluste sehen. Kunden ohne redundante Anbindung können eine maximale Ausfallzeit von bis zu 15 Minuten erwarten.

Wir rechnen durch das Upgrade mit einer Lösung für https://status.combahton.net/incident/117 und https://status.combahton.net/incident/128. Sollte das Upgrade keine Lösung darstellen, werden wir das Gerät ersetzen.


Wir schalten auf beiden Hosts in der Zeit auf eine voll redundante Verbindung und Sie dürften im Regelfall nichts von dem Ausfall bemerken.

Es kann zu leichtem Paketverlust kommen, in der kurze Zeit vom Active - Backup Change. Auch in Zukunft werden wir weiter an unserer Netzwerk Infrastruktur arbeiten um die Stabilität zu gewährleisten.


Update 19.06.2019 - 11:30: We have updated the whole stack, however the maintenance on 20th June 2019 is still required, as we need to reboot these devices in order to use the new firmware.

Update 20.06.2019 - 23:30: We have initiated the reboot of fpc0.

Update 23:44: fpc0 is back again, we are awaiting the synchronization of the virtual chassis members.

Update 23:50: Unfortunately fpc0 is not activating the interfaces, we are working on it.

Update 00:10: It seems fpc0 is partly dead, we are currently moving all customers connected to fpc0 on fpc1.\

Update 00:34: fpc0 isnt dead - our diagnosis according to some strange looking error messages was wrong. It took just over ~30 minutes to re-enable the interfaces. We dont know why this took so long, normally such a upgrade takes only a few minutes. However, all customers on fpc0 are back and were moved back from fpc1 to fpc0. We will now start with fpc1, where we dont have any devices connected without redundancy. We expect a smooth switchover.

Update 00:48: We are rebooting fpc1. Unfortunately, we have a full outage right now.\