Strato Webhosting
Modernes Rechenzentrum in Berlin spart Energie
Rechenzentren sind hochkomplexe Angelegenheiten. Webhoster Strato schlägt deshalb ungewöhnliche Wege ein: Neun Monate im Jahr wird mit direkter Frischluftkühlung klimatisiert, das kann rund ein Drittel des Stromverbrauchs einsparen.
Nicht zuletzt seit den vielen negativen Meldungen rund um die NSA-Spionageaffäre sind gerade Internet-Dienste aus deutschen Rechenzentren gefragt: Im dritten Quartal 2013 konnte Strato im Vergleich zum Vorjahreszeitraum über 80 Prozent mehr Neukunden hinzugewinnen. Damit muss natürlich auch die Kapazität des Hosting-Dienstleisters Schritt halten, und so wurden über fünf Jahre hinweg im laufendem Betrieb die Kapazitäten des Rechenzentrums um 30 Prozent ausgebaut. Zu Projektbeginn hatte der Internet-Dienstleister noch eine Reserve für gut zwei Jahre. So flossen zuvor sechs Megawatt Energie in die 4500 Quadratmeter Nettofläche des Data Center.
Als das Rechenzentrum gebaut wurde, war das eine sinnvolle Auslegung. Mittlerweile hat sich jedoch der Energiebedarf nicht zuletzt durch die Virtualisierungs-Techniken stark erhöht: 30 Prozent mehr Serverkapazität bedeuten 30 Prozent mehr Energiebedarf. Ziel war also, mehr Strom und mehr Klimaleistung in die vorhandenen Räume zu bringen, um auch bisher leer stehende Flächen nutzen zu können. An ein Abschalten der Server war nicht zu denken, weil die Verfügbarkeit der Services für die Kunden zu jedem Zeitpunkt gegeben sein musste.
Standortentscheidung: Stadt statt grüne Wiese
55.000 Server mit Kundendaten sollen insgesamt im laufenden Betrieb umziehen. Allein beim Online- Speicher HiDrive wird eine Datenmenge verschoben, die 1,3 Milliarden Fotos mit je 2 MByte entspricht. Von den fünf Räumen ist einer bereits fertig, pro Jahr soll ein weiterer Raum folgen. Dabei verteilen die Techniker zunächst die Geräte auf andere Räume, erneuern dann Kühlung und Strominfrastruktur, wonach dann die Geräte wieder einziehen können.
Die Kosten für den Umbau liegen im zweistelligen Millionenbereich. Nach Abschluss des Projekts sollten die Kapazitätendann wieder zwei bis drei Jahre ausreichen, bis der Platz erneut eng wird. Angesichts des Mammutaufwands stellt sich natürlich auch die Frage, ob ein Rechenzentrum auf der grünen Wiese nicht deutlich billiger gewesen wäre. "Wir haben diese Möglichkeit intensiv durchgerechnet, aber es wäre nicht günstiger gewesen. Zum Beispiel hätte man 12 Kilometer für Starkstromleitungen vergraben müssen, wobei ein Kilometer je nach Umgebung etwa eine Million Euro kostet. Zudem wäre eine zweite Betreibermannschaft nötig, während bei der Erweiterung das bisherige Personal ausreicht", berichtet Müller.
Auch das Einmieten in einem Rechenzentrum des Mutterunternehmens Telekom schied aus. "Dagegen sprach, dass dort verschiedene Kunden mit im Rechenzentrum sind. Der Betrieb muss also die unterschiedlichen Erfordernisse aller Kunden berücksichtigen und operiert nach einem höheren Standard als es für unseren Bedarf nötig ist", sagt Müller. Dazu hätte auch gehört, stärker als notwendig kühlen zu müssen. "Unser RZ-Betrieb ist so ausgelegt, dass die Anlagen bei 18 bis 22 Grad betrieben werden können. Jedes Grad weniger kostet jährlich hunderttausende Euro mehr Stromkosten", so der CIO.
Wie bei allen großen Projekten, waren auch die Spezialisten von Strato nicht vor Überraschungen gefeit: Da war die Forderung des Umweltamtes, einen Rußpartikelfilter für die Generatoren anzuschaffen, denn auch wenige Minuten Probebetrieb im Monat wurden als Regelbetrieb interpretiert - Kostenpunkt: knapp 350 000 Euro. Auch das Aufstellen von Kränen, um die containergroßen Kühlelemente auf das Dach zu bringen, oder die wegen der Abgase der Notstromaggregate nötigen Genehmigungen der Flugsicherheit, erwiesen sich als komplizierter als gedacht. Zudem sorgte auch der ungewohnt lange Winter für eine Verzögerung.
Ein ganz wichtiger Faktor: Die innovative Kühlung
"Die Kühlung wird in vielen Data-Centern aus Sicherheitsgründen um zwei bis drei Grad kälter eingestellt, weil häufig die unterschiedlichen Anforderungen der Kundensysteme nur schwer beherrschbar sind. Jedes Plusgrad über einem bestimmten Level führt zu einer spürbar geringeren Lebensdauer der CPU", erklärt Müller. Da Strato aber komplett selbst festlegt, welche Hardware das Rechenzentrum beherbergt, wird im Rahmen des Umbaus weitgehend auf Frischluftkühlung gesetzt. Das wird vor allem deshalb getan, um am Ende im Betrieb deutlich effizienter zu sein und auch Strom zu sparen.
Bisher machen sich nur wenige Unternehmen die damit verbundene Mühe: Klassischerweise wird die vorhandene Luft gekühlt und dann wieder in den Raum geblasen. Allerdings ist Luft von außen schwerer zu beherrschen, sie enthält oft zu viel oder wenig Feuchtigkeit, auch Staub und Pollen machen Probleme. Die Luftfeuchte im Serverraum muss jedoch konstant bei 40 Prozent Luftfeuchtigkeit gehalten werden. Deshalb ist eine ausgefeilte Technik notwendig, bei der teilweise auch frische mit vorhandener Luft zum Runterkühlen gemischt wird.
Die Gänge mit den Racks sind umgeben von Plexiglas, in der Mitte kommt durch die kleinen Löcher im Doppelboden die Kaltluft durch Überdruck in den Gang und wird von den Lüftern der Geräte angezogen. Die Wärme wird nach außen in den Warmgang abgegeben. Es gibt ein striktes Regiment, wo die kühle Luft entlangläuft. Durch das geschickte Anlegen von Kälte- und Warmgängen lassen sich sogenannte Wärmenester vermeiden, die sonst in einigen Ecken entstehen könnten. Etwa drei Viertel des Jahres funktioniert in Berlin die Außenluftkühlung. Der Webhoster rechnet mit einer Stromersparnis von rund 30 Prozent und damit mehreren hunderttausend Euro. Wie hoch die Einsparungen exakt sind, hängt von mehreren Faktoren ab, darunter auch vom Wetter.
Have you tried turning it off and on again?
Für die Sauberkeit der Luft sorgen mehrere Dinge: Dort, wo die Frischluft angesogen wird, hängen Filtermatten wie Lamellen, um unerwünschte Partikel abzufangen. Viel Aufwand wurde in die Brandfrüherkennung gesteckt. So werden Luftproben genommen, um auch schon Vorstufen eines Brandes feststellen zu können. "Wir haben das Thema besonders im Zusammenhang mit der direkten freien Kühlung sehr weit ausgereizt. Die Anlage erkennt sofort, wenn irgendwo draußen ein Brand ist, dann wird direkt auf Umluft geschaltet, um keine Rußpartikel in den Raum zu bekommen. Das gibt es so in dieser Formbisher kaum", erzählt Frank Schnabel, der für das Umbauprojekt verantwortlich ist.
Mit Pyrolysetests wurde untersucht, wie sich Anlage und Peripherie im Problemfall verhalten. Dabei wird ein isolierter Draht mit hohem Strom so weit erhitzt, dass seine Isolation ausgast. Das wird dann durch das System (chemische Analyse) permanent überwacht. Natürlich will man vermeiden, dass die Löschanlage, die Stickstoff einbläst, unnötig aktiviert wird. Deshalb wird bei jedem durch das Brandfrüherkennungssystem ausgelösten Alarm geprüft, ob es sich wirklich um einen Brand handelt. Insgesamt wurde sehr viel Energie in das Testen der Neuerungen gesteckt.
Durch eine Art Heizkörper wurden im noch leeren Serverraum die späteren Lastzustände simuliert und über mehrere Wochen das Zusammenspiel der USV-Anlagen, der Brandschutztechnik und der Klimatechnik mit ihrem Umschaltverhalten zwischen Umluft- Mischluft- und reinem Außenluftbetrieb getestet. Über 4000 Datenpunkte wie Temperatursensoren wurden dafür getestet.
Nachdem Racks und Rechner wieder in den umgebauten Datenraum eingezogen und von den Administratoren eingerichtet waren, folgten ausgiebige Tests der Netzwerkinfrastruktur und das Einspielen der Kopien. Während bei einigen Produkten vorher Kopien möglich waren, mussten die dedizierten Server kurz abgeschaltet und in den neuen Raum gebracht werden.
Vollautomatisiertes Deployment
Das gesamte Rechenzentrum funktioniert ähnlich automatisiert wie moderne Fabriken. Die kompletten Racks werden mit einem kleinen Kran aufgestellt. "Die Techniker sind nur für die Mechanik wie das Verkabeln zuständig, danach übernimmt ein eigenentwickeltes Deployment-System die gesamte Verwaltung, darunter Hardwareerkennung, Hardwaretests, die Übergabe in die Datenbank und die Generierung einer E-Mail mit den Zugangsdaten für die Kunden", erklärt Kaiser. Anhand der Kundenbestellung im Internet wird zudem das Betriebssystem vorinstalliert.
Das System verwaltet die IP-Adresse, die Kundeninfo und wer für die Wartung zuständig ist. Jeder Server hat einen Barcode, die Inventarisierung erfolgt über Scanner. "Für diese Anforderungen gibt es keine fertige Lösung am Markt, Standardlösungen für das Data Center Infrastructure Management (DCIM) reichen nicht aus. Deshalb haben wir uns für die Eigenentwicklung entschieden", sagt der RZ-Leiter.
Auch bei den Racks gehen die Berliner eigene Wege. Zwar nutzt man für die Produktlinie HiDrive und die Geschäftskunden- Tochter Cronon AG Standard-Racks von Rittal. "Bei den dedizierten Kundenservern haben wir uns für ein eigenes Design entschieden, bei dem mit 44 Servern sowie notwendiger Peripherie deutlich mehr Geräte in einen 2,60 hohen Rahmen passen - damit können wir die Rackperipherie für diese Produktlinie zu hundert Prozent auslasten", sagt Rechenzentrumsleiter Andrej Kaiser.
Ausfallsicherheit wird großgeschrieben
Einen Teil seiner Dienste versorgt Strato mit einer A/B-Stromversorgung. Weiterhin führen zwei Leitungen vom Umspannwerk zum Rechenzentrum, es existieren jeweils zwei Stromverteiler, zwei Leitungen in die Datenräume sowie zwei USV-Anlagen inklusive ihrer Batteriesätze. Auch zwei Generatoren für den Ernstfall sind vorhanden. Versagt eine Komponente aus Leitung A, versorgt Leitung B die Server mit Strom. Den Strom bekommen die Berliner aus Laufwasserkraft - also regenerativer Energie. Das kostet zwar ein paar Cent mehr, der Betreiber will aber keinen Atomstrom nutzen.
Ein kritischer Punkt ist bei einem Ausfall sicher das Umschalten im laufendem Betrieb von der alten Sekundärtechnik auf die neue. "Pro Raum geht es um rund 7000 Server. Für das Umklemmen stand nur die Zeit der Batteriekapazität der USV-Anlagen von knapp 20 Minuten zur Verfügung. Wir haben aber nie länger als fünf Minuten benötigt", sagt Schnabel. Die neuen Notstromaggregate haben eine Leistung von 10 Megawatt.
Viel Aufwand für den Notfall, der aber nötig ist: Tatsächlich sind die Notstromaggregate mehrmals pro Jahr bei kleineren Schwankungen im Berliner Stromnetz gefragt. Innerhalb einer knappen Minute sind die Generatoren bereit, die immer auf rund 50 Grad vorgewärmt sind, dazwischen greifen die Batterien. Auch den längsten Stromausfall, der eine ganze Nacht dauerte, konnte die Notstromversorgung stemmen. "Wir halten 40000 Liter Diesel vor - das sollte für mehrere Tage reichen", meint Müller.
