Wenn die IT ausfällt: Welche Systeme zuerst wieder funktionieren müssen

Wenn plötzlich nicht mehr alles gleichzeitig verfügbar ist

Nach einem größeren IT-Ausfall stellt sich sehr schnell eine Frage, die im normalen Betrieb kaum jemand beantworten muss: Welches System brauchen wir zuerst?

Der zentrale Server ist ausgefallen, mehrere Anwendungen stehen nicht zur Verfügung und möglicherweise müssen Systeme aus einer Datensicherung wiederhergestellt werden. Während die Technik mit der Wiederherstellung beginnt, warten Mitarbeiter, Produktion und Verwaltung darauf, wieder arbeiten zu können.

In dieser Situation ist es wenig hilfreich, wenn erst diskutiert werden muss, welcher Server eigentlich für welchen Geschäftsprozess notwendig ist und welche Systeme voneinander abhängen.

Eine sinnvolle Wiederanlaufplanung legt diese Reihenfolge deshalb fest, bevor der Ausfall eintritt.

Dabei geht es nicht darum, für jedes denkbare Katastrophenszenario einen hundertseitigen Notfallplan zu schreiben. Schon eine nachvollziehbare Priorisierung der wichtigsten Systeme kann einen erheblichen Unterschied machen.

Die wichtigste Technik ist nicht immer das wichtigste Geschäftssystem

Aus technischer Sicht wirkt ein zentraler Server vielleicht besonders bedeutend, weil darauf viele Dienste laufen. Für das Unternehmen kann trotzdem eine einzelne Produktionsanwendung dringender sein.

Deshalb sollte die Reihenfolge nicht ausschließlich von der IT festgelegt werden.

Die Geschäftsführung und die verantwortlichen Fachbereiche müssen zunächst klären, welche Abläufe für den Betrieb tatsächlich entscheidend sind.

Kann die Produktion für zwei Stunden ohne Warenwirtschaft weiterarbeiten?

Können Aufträge vorübergehend auf Papier erfasst werden?

Benötigt die Fertigung sofort Zugriff auf bestimmte Dateien?

Wie lange kann die Buchhaltung warten?

Muss die Telefonie unmittelbar wieder verfügbar sein oder reicht vorübergehend ein Mobiltelefon?

Solche Fragen zeigen, dass technische Priorität und geschäftliche Priorität nicht zwangsläufig identisch sind.

Erst wenn die geschäftliche Reihenfolge bekannt ist, kann die IT bestimmen, welche technischen Systeme dafür zuerst benötigt werden.

Geschäftsprozesse bestehen meist aus mehreren technischen Bausteinen

Eine Anwendung lässt sich selten isoliert betrachten.

Die Warenwirtschaft benötigt vielleicht einen Datenbankserver, eine zentrale Benutzerverwaltung und Dateifreigaben. Die Produktion greift möglicherweise auf denselben Server zu und braucht zusätzlich Netzwerkverbindungen zu Maschinensteuerungen. Selbst eine Anwendung, die auf einem einzelnen Server installiert ist, kann von mehreren anderen Diensten abhängen.

Deshalb sollte nicht nur dokumentiert werden, dass „Server A zuerst“ benötigt wird.

Wichtiger ist die Frage, welche Kette von Systemen notwendig ist, damit ein konkreter Geschäftsprozess wieder funktioniert.

Vielleicht muss zunächst die Netzwerk-Infrastruktur bereitstehen, anschließend die zentrale Benutzerverwaltung, danach ein Datenbankserver und erst dann die eigentliche Anwendung.

Wird diese Reihenfolge nicht berücksichtigt, kann viel Zeit damit verloren gehen, Systeme zu starten, die aufgrund fehlender Abhängigkeiten noch gar nicht funktionieren können.

Eine gute IT-Dokumentation sollte solche Beziehungen zumindest bei geschäftskritischen Diensten erkennbar machen.

Nicht jedes System muss sofort vollständig wiederhergestellt werden

Nach einem größeren Ausfall entsteht leicht der Wunsch, möglichst schnell wieder den kompletten Normalzustand herzustellen.

Das kann unnötig Zeit kosten.

Wenn die Produktion beispielsweise zunächst nur Zugriff auf aktuelle Auftragsdaten benötigt, kann es sinnvoll sein, genau diese Funktion zuerst verfügbar zu machen, während weniger wichtige Dienste später folgen.

Auch ein Dateiserver enthält möglicherweise Datenbereiche mit sehr unterschiedlicher Priorität. Aktuelle Produktionsdaten sind dringender als ein Archiv, das nur gelegentlich benötigt wird.

Eine gute Wiederanlaufplanung unterscheidet deshalb zwischen dem Zustand „Wir können wieder arbeiten“ und dem Zustand „Alles ist wieder vollständig wie vorher“.

Diese beiden Zeitpunkte können deutlich auseinanderliegen.

Für die Geschäftsführung ist vor allem relevant, wann die wichtigsten Geschäftsprozesse wieder möglich sind. Die vollständige technische Bereinigung kann anschließend weiterlaufen.

Datensicherung und Wiederanlauf müssen zusammen geplant werden

Eine Wiederanlaufplanung funktioniert nur, wenn die Datensicherung dazu passt.

Wenn ein Server innerhalb von vier Stunden wieder verfügbar sein muss, die vollständige Wiederherstellung aus der vorhandenen Sicherung aber regelmäßig zehn Stunden dauert, besteht eine Lücke zwischen geschäftlicher Erwartung und technischer Möglichkeit.

Deshalb sollte ein Backup-Konzept nicht allein danach beurteilt werden, ob sämtliche Daten irgendwo vorhanden sind. Es muss auch berücksichtigt werden, wie schnell die benötigten Systeme wiederhergestellt werden können.

Praktische Wiederherstellungstests liefern dafür die notwendigen Erfahrungswerte. Erst dadurch wird sichtbar, wie lange das Zurückspielen tatsächlich dauert, welche Arbeitsschritte notwendig sind und wo Verzögerungen auftreten.

Vielleicht funktioniert das Backup technisch hervorragend, aber passende Ersatzhardware muss zunächst bestellt werden. Möglicherweise liegen Daten extern und die vorhandene Internetleitung ist für eine schnelle vollständige Wiederherstellung zu langsam.

Solche Einschränkungen sollten vor dem Ernstfall bekannt sein.

Auch Netzwerk und Infrastruktur haben eine Reihenfolge

Bei einem größeren Ausfall richtet sich der Blick schnell auf Server und Anwendungen. Ohne funktionierende Basisinfrastruktur helfen diese Systeme allerdings wenig.

Firewall, zentrale Switches, Netzwerkverbindungen und gegebenenfalls die Internetanbindung können Voraussetzung dafür sein, dass andere Dienste überhaupt erreichbar werden.

Dasselbe gilt für Virtualisierungsplattformen. Wenn mehrere Server als virtuelle Maschinen auf einer gemeinsamen Plattform laufen, muss zunächst diese Plattform wieder funktionieren, bevor die darauf betriebenen Systeme gestartet werden können.

Auch DNS und zentrale Benutzerverwaltung spielen häufig eine wichtigere Rolle, als im Alltag sichtbar wird. Viele Anwendungen funktionieren nicht sauber, wenn Namen nicht aufgelöst werden können oder Benutzer sich nicht authentifizieren können.

Eine Wiederanlaufplanung muss deshalb technische Grundlagen und Anwendungen gemeinsam betrachten.

Dabei sollte ebenfalls dokumentiert sein, welche Komponenten einzelne kritische Ausfallpunkte darstellen. Ein einziger Server oder eine einzelne Infrastrukturkomponente kann unter Umständen deutlich mehr Geschäftsprozesse beeinflussen, als ihr unscheinbarer Platz im Serverschrank vermuten lässt.

Produktion braucht oft eine eigene Betrachtung

In Produktionsunternehmen sind die Abhängigkeiten häufig komplexer als in einer reinen Büroumgebung.

Eine Maschine kann zwar lokal weiterlaufen, benötigt für neue Aufträge aber Dateien vom Server. Ein anderes System schreibt Messwerte in eine zentrale Datenbank und stoppt möglicherweise, wenn diese nicht erreichbar ist. Wieder eine andere Anlage funktioniert vollständig unabhängig und kann weiter produzieren, obwohl große Teile der Büro-IT ausgefallen sind.

Deshalb sollte die Produktion nicht pauschal als ein einzelner Bereich behandelt werden.

Bei wichtigen Anlagen sollte bekannt sein, welche IT-Systeme tatsächlich für ihren Betrieb benötigt werden und wie lange sie ohne zentrale Infrastruktur weiterarbeiten können.

Gerade bei älteren Maschinen im Firmennetz sind diese Abhängigkeiten oft historisch gewachsen und nicht vollständig dokumentiert.

Wenn beispielsweise eine Maschine eine bestimmte Netzwerkfreigabe erwartet, deren Funktion seit Jahren niemand hinterfragt hat, kann deren Bedeutung erst beim Ausfall sichtbar werden.

Eine Bestandsaufnahme solcher Verbindungen gehört deshalb unmittelbar zur Notfallplanung.

Ersatzlösungen können Zeit gewinnen

Nicht jeder ausgefallene Dienst muss sofort technisch vollständig wiederhergestellt werden, wenn für kurze Zeit ein brauchbarer Ersatzprozess existiert.

Ein Unternehmen kann beispielsweise bestimmte Aufträge vorübergehend auf Papier erfassen, Mobiltelefone anstelle der Telefonanlage nutzen oder Produktionsdaten über einen kontrollierten manuellen Weg bereitstellen.

Solche Ersatzverfahren sind selbstverständlich weniger komfortabel als der Normalbetrieb. Sie können aber verhindern, dass das gesamte Unternehmen stillsteht, während die IT an einer sauberen Wiederherstellung arbeitet.

Ob solche Verfahren sinnvoll sind, hängt stark vom jeweiligen Geschäftsprozess ab.

Wichtig ist, sie vorher zu überlegen. Ein improvisierter Notbetrieb, der erst während eines Ausfalls erfunden wird, führt schnell zu neuen Fehlern oder Datenproblemen.

Die Fachbereiche sollten deshalb gemeinsam mit der IT klären, bei welchen kritischen Abläufen eine zeitlich begrenzte manuelle Alternative möglich ist.

Verantwortlichkeiten müssen vor dem Ausfall geklärt sein

Während eines ernsten IT-Ausfalls sollte nicht gleichzeitig diskutiert werden müssen, wer Entscheidungen treffen darf.

Wer entscheidet, ob eine Produktion angehalten wird?

Wer priorisiert die Wiederherstellung, wenn mehrere Abteilungen gleichzeitig Druck machen?

Wer kommuniziert mit Mitarbeitern und gegebenenfalls Kunden?

Wer hat Zugriff auf administrative Notfallzugänge?

Wer darf externe Spezialisten beauftragen?

Diese Fragen sind organisatorisch, beeinflussen den technischen Wiederanlauf aber unmittelbar.

Eine IT-Notfalldokumentation sollte deshalb nicht nur Kennwörter und technische Anweisungen enthalten, sondern auch Ansprechpartner und Verantwortlichkeiten.

Gerade in kleinen Unternehmen kann der Ablauf sehr einfach gehalten werden. Wichtig ist lediglich, dass klar ist, wer im Ernstfall entscheidet und wer die notwendigen Informationen besitzt.

Die Reihenfolge sollte praktisch geprüft werden

Ein Wiederanlaufplan, der ausschließlich auf dem Papier existiert, kann falsche Annahmen enthalten.

Vielleicht stellt sich erst bei einem Test heraus, dass eine Anwendung doch einen zusätzlichen Server benötigt oder dass ein Maschinenrechner ohne einen bestimmten Dienst nicht startet.

Deshalb lohnt sich eine gelegentliche praktische Prüfung zumindest der wichtigsten Teile.

Das muss nicht bedeuten, die gesamte Unternehmens-IT absichtlich abzuschalten. Einzelne Systeme können in einer Testumgebung wiederhergestellt und Abhängigkeiten gezielt überprüft werden.

Auch ein gemeinsamer theoretischer Durchgang mit Geschäftsführung, Produktion und IT kann bereits Lücken aufdecken.

Wenn der Produktionsleiter erklärt, dass eine bestimmte Maschine nach vier Stunden ohne zentrale Daten stehen bleibt, während die IT bisher von zwei Tagen ausgegangen ist, ist das eine wichtige Erkenntnis.

Entscheidend ist die Arbeitsfähigkeit des Unternehmens

Eine gute Wiederanlaufplanung versucht nicht, jedem System dieselbe Bedeutung zu geben.

Sie unterscheidet zwischen den Dingen, die sofort benötigt werden, den Systemen, die einige Stunden warten können, und den Bereichen, die erst später wieder vollständig hergestellt werden müssen.

Dadurch kann die IT ihre begrenzte Zeit während eines Ausfalls dort einsetzen, wo sie für das Unternehmen den größten Unterschied macht.

Für die Geschäftsführung ist deshalb weniger wichtig, welcher Server zuerst eingeschaltet wird. Relevant ist, welche Geschäftsprozesse wann wieder funktionieren und ob die technische Planung diese Reihenfolge tatsächlich unterstützt.

Wenn diese Prioritäten erst nach einem Ausfall diskutiert werden, geht wertvolle Zeit verloren. Sind sie vorher bekannt, wird aus einem chaotischen Wiederanlauf ein nachvollziehbarer Ablauf, bei dem jeder Beteiligte weiß, was zuerst wieder funktionieren muss.