Disaster Recovery

[Rasta]

Ik heb inderdaad van dichtbij mogen meemaken dat een redelijk groot bedrijf failliet ging omdat hun backup niet goed was. De mainframe stond in een loods met goede koeling, maar toen de koeling uitviel werd de mainframe niet op tijd uitgezet. Van wat ik begreep werden sommige onderdelen zo heet dat ze te veel uitzetten, en daardoor de machine het niet meer deed. Geen probleem, want er was een goede backup. Echter, die backup was niet getest op validiteit, want dat koste destijds een consultant 3 dagen testen, wat door het management te duur werd bevonden. De administrator had nog wel gedacht dat die backups altijd erg snel klaar waren, maar nooit gekeken waarom ("please insert next tape").

Sindsdien weet ik een goede backup op waarde te schatten. Voor sommigen lijkt dat paranoïde, maar ja het zal je maar overkomen. Denk ook eens aan de foto's in dit digitale tijdperk. Wat als je computer crasht? Of erger, het overkomt bijna niemand, maar wat als er brand uitbreekt? Of je kelder staat onder water? Wie heeft er een off-site backup?

De officiële reden van faillissement was anders, maar als het management zo omging met continuïteit, dan was er nog heel veel meer mis.

[Indiana Jones]

Veel complexe kredietderivaten contructies zijn zonder backup in elkaar geschroefd. Wat nooit de media heeft bereikt, maar wel is gebeurd ... is dat een aantal Lehman derivaten niet meer te herstellen waren (recovery) en tegen '0' uitgesneden moesten worden...

[Rasta]

Een nieuwe server is morgen klaar, en dan gaan we eens kijken of we over kunnen naar deze definieve machine. De tijdelijke server waar we nu draaien bevalt trouwens ook wel, dus hele grote haast is er niet. Maar goed, in de definieve situatie zouden we een betere uptime moeten hebben. En een kortere downtime mochten we weer tegen een onvoorziene situatie aanlopen.

[Rasta]

Ik zal morgen ochtend het forum naar de volgende server gooien. Dit is ongeveer 5 minuten werk, dus ik ga het niet groot aankondigen. In de tussentijd kan het zijn de browser de DNS instellingen onthoudt, maar die moeten uiterlijk binnen een half uur zijn bijgewerkt.

Als het meezit, merkt niemand wat van de overzetting.

[Rasta]

OK, dat was snel. Hopelijk heeft niemand iets gemerkt en draaien we nu op een mooie nieuwe server.

[Rasta]

En nu we op de nieuwe server zitten, kan dit draadje van sticky naar normaal.

[Spruitje]

Zijn we d'er nu niet weer 'n tijdje uit geweest? Probleem?

[Rasta]

Zijn we d'er nu niet weer 'n tijdje uit geweest? Probleem?

Nieuwigheid van de server. We zitten op een nieuwe machine, welke ook af en toe een instabiele netwerk driver heeft. Dit zou gisteren gepatched zijn, maar is toch teruggekomen. Is in ieder geval werk in uitvoering.

[Rasta]

Zijn we d'er nu niet weer 'n tijdje uit geweest? Probleem?

Nieuwigheid van de server. We zitten op een nieuwe machine, welke ook af en toe een instabiele netwerk driver heeft. Dit zou gisteren gepatched zijn, maar is toch teruggekomen. Is in ieder geval werk in uitvoering.

Ja de server lijkt wat meer instabiliteit te tonen dan wenselijk. We worden vannacht automatisch overgezet naar andere hardware. Dit zou ongeveer 5 minuten moeten duren, maar gebeurt voor ons midden in de nacht.

Dat is ook wat ik bedoelde met opstartproblemen bij de nieuwe hoster. Hier heb ik wel vertrouwen in, ze laten in ieder geval zien dat ze de zaken op orde hebben, ook in het scenario onvoorzien. Over tijd wordt het vanzelf stabieler en merken we er niet zo veel meer van.

[Spruitje]

Over "tijd" gesproken, ook de klok staat niet juist, maar dat zal het minste van de zorgen zijn.