Datenbank Probleme 12.12.2020 2-3 Uhr

Am 12.12.2020 um ca. 2 Uhr ist unser Datenbank Cluster abgestürzt. Die Ursache hierfür liegt in einer der Cluster nodes die durch permanetens neustarten (aus bisher unerklärlichen gründen) die anderen Nodes in Mitleidenschaft gezogen hat.

Leider ließ sich das Cluster nicht einfach so wieder hochfahren und so hat es eine weile gedauert bis alles wieder lief.

Wir entschuldigen uns für die Unannehmlichkeiten und werden die nächsten Tage weiter prüfen woran der Fehler lag und probieren das Cluster in Zukunft stabiler zu bekommen (wobei es seit fast 3 Jahren Problemlos läuft also scheint es sich um einen Einzelfall zu handeln).

Alle die durch dieses Problem etwas verloren haben weil Gear, Geld o.ä. nicht gespeichert haben melden sich bitte im Support, dort wird euch geholfen

Wir konnten mittlerweile herausfinden das unsere Probleme auf einen Fehler in MariaDB (der Grundlage unseres Galera Clusters) zurückzuführen sind.

Wir behalten das Problem im Auge und hoffen das es auf Seiten von Maria DB bald behoben wird

https://jira.mariadb.org/proje…3851?filter=allopenissues

Da der Fehler weiterhin für Probleme sorgt und der fix nicht absehbar ist haben wir unser Cluster nun erstmal abgeschaltet und fahren eine einzelne Instanz der Datenbank.

Euch sollten hierdurch keine Nachteile entstehen, allerdings fehlt uns so natürlich die Möglichkeit schnell zu reagieren sollte ein Server Probleme haben.

Wir sind aktuell am evaluieren ob das downgraden der Datenbank eine Sinnvolle Option ist, da dies jedoch mit extrem viel Arbeit und einer gewissen Down Time verbunden ist müssen wir erst entscheiden ob das wirklich notwendig ist.