Kurz vor Weihnachten oder: Was macht Murphy mit meinem System?

Ich fühl mich mit meinen Systemen im Rechenzentrum recht wohl. Zwei dicke Server mit vielen kleinen Virtuellen Maschinen (VM) die sich gegenseitig ihre Daten spiegeln. Fällt ein Rechner aus, startet man halt die VMs auf dem anderen Rechner und gut ist. Ein dritter Rechner war für den Herbst vorgesehen, aber irgendwie hab ich nie die Zeit gehabt und es auf die Weihnachtsfeiertage verschoben.

Letzten Freitag hat der zweitwichtigste Rechner nach 450 Tagen Dauerbetrieb die „Grätsche“ gemacht. Naja, er wurde ja auch richtig derbe belastet die letzten Tage, da darf man das auch mal. Ein Kollege im RZ hat neu gestartet, die Maschine war auch schnell wieder da. Kurz geschaut ob alle VMs angelaufen sind und dann ab ins Wochenende.

Montag beschwerte sich ein Kunde, dass seine Webseite nicht läuft. Also mal nachgeschaut und gesehen, dass alle Festplatten nur zum Lesen geöffnet sind. Nach Rücksprache mit paar Kunden war Reboot um 19 Uhr angesagt. Neu gestartet, Anruf aus dem Rechenzentrum „da tut sich gar nichts“.

Also Auto, Frankfurt, Einchecken, Datafloor, Serverschrank suchen. Nun haben die Kollegen dort alles auf Energiesparen getrimmt. Wo die Kaltluft reingeblasen wird (Vorderseite) ist alles ordentlich abgedichtet und schön kühl, der Gang auf der Rückseite (wo Monitor und Tastatur angeschlossen werden) ist dafür jetzt eher eine Sauna und auch alles recht beengt. Alles angeschlossen, geschaut – Maschine startet nicht mehr. BIOS vom RAID sagt, dass Platte 2 weg ist. Also gesagt „Du nimmst die jetzt wieder“, neu gestartet, gleiches Ergebnis. Macht nichts, wir bauen den Rechner aus und prüfen das Zuhause.

Am Dienstag morgen erstmal in Hanau beim Saturn eine 2TB USB Festplatte organisiert und die Daten gesichert. Dummerweise hat der Server nur USB2.0, das wurde alles etwas langsam. Leider konnte man die USB-Platte nicht auf SATA umbauen, also nochmal nach Hanau in den Weihnachtstrubel und eine schnelle, konventionelle Platte gekauft. Angeschlossen, formatiert, gut 1TB Daten abgenudelt und in der Zwischenzeit bei meinem Lieblingsschrauber zwei passende Festplatten fürs RAID-Array organisiert.

Platte 2 getauscht, neu gestartet. Platte 2 da, dafür fehlt nun Platte 3. Diese auch getauscht und nur Fehlermeldungen einkassiert. Bisserl herumtelefoniert, paar Kollegen angeschrieben. Im Rechenzentrum dann die wichtigsten VMs auf dem ersten Server gestartet – da war es schon Mittwoch Nachmittag (bei diesen Datenmengen und Festplatten dauert alles 5x länger als gedacht).

ImplantatDonnerstag morgen Anruf eines lieben Kollegen der meinte „also das riecht eher nach defekter Backplane“ (das ist so ein ziemlich hochtechnisierter Streifen Platine der hinter den Festplatten sitzt und die Daten verteilt). Klasse – denn mein Tag war ziemlich vollgestopft mit Terminen, die man nicht absagen darf (unter anderem will mir der Chirurg nun endlich das Implantat in den Kiefer schrauben und ausserdem brauch ich dringenst Heizöl). Nach Zahnarzt dann erstmal 3 Stunden Sofakuscheln – der Rest des Tages war für Kamillentee und Ibuprofen vorgesehen.

Freitag dann beim Kollegen eine gebrauchte 1HE Pizzabox, 2×4 Cores, 16GB RAM und 3x 1,5TB Platten abgestaubt. Hat keinen RAID-Controller, also Software-RAID unter Debian. Installiert, bootet nicht. Wieder telefoniert und gemailt, Ursache gefunden (auf den Fehler muss man kommen). In der Zwischenzeit kam die Mail eines Kunden dass einer seiner Kunden nachfragt, wo denn seine Webseite geblieben ist.

Windows Server 2012Oh – dachte ich mir, da haste eine VM übersehen. Kein Problem, einbinden und starten. Prompt gegen die Wand gelaufen. Windows 2012? Aua. Schnell bisserl was umgestellt, Maschine startet, will sich anmelden, PLATSCH, gleicher Fehler. Suchen, Logfiles auswerten und siehe da: Dem Virtualisierungslayer fehlt ein kleines Feature. Dazu müsste man dort alle Maschinen herunterfahren, ein Update machen. Das geht aber nur mit einem aktuelleren Kernel, das heisst Reboot. Und ich werde den Teufel tun, diese Kiste *jetzt* neu zu starten ehe nicht eine zweite Maschine als Backup im Rack ist.

Also jetzt am Samstag schnell den neuen Server fertig machen. Backup-Festplatte eingestöpselt, neu gestartet, Platte wird nicht gefunden. Anscheinend sind die zwei SATA-Ports auf dem Motherboard nur zur Verzierung da. Also die Workstation hier runterfahren, aufmachen, Platte einhängen und nun wird das gemächlich übers Netz kopiert. Dank Gigabit-Kupfer geht das sogar recht zügig – 180GB in „nur“ 3 Stunden…. Kann man bestimmt schneller machen, aber das dauert dann noch länger.

Die Windows-VM zuerst kopiert, startet klaglos. Das hätte sie schon vor 2 Tagen machen können. Jetzt werden noch die restlichen Sachen kopiert, heute wird das eh nichts mehr mit dem Rechenzentrum – aber ich arbeite Sonntags ganz gerne 🙂

Dieser Beitrag wurde unter Dies und das... veröffentlicht. Setze ein Lesezeichen auf den Permalink.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

*