Am Morgen des 24.10.2014 fand eine zweite Welle von DDoS-Attacken auf sipgate statt (zur ersten Welle siehe Blogeintrag vom 23.10.2014). Unsere Massnahmen haben dieses Mal bereits früh dafür gesorgt, dass große Teile des Angriffs abgewehrt werden konnten. Betroffen waren dennoch wie am Tag zuvor zeitweise alle Telefonieservices und Webseiten von sipgate basic, sipgate go, sipgate team, sipgate trunking und simquadrat.
Ständige Updates finden Sie auf status.sipgate.de.
Freitag, 24.10.2014 ab ca. 08:47 Uhr
Alle sipgate Webseiten sind wieder erreichbar. Unsere Admins sind weiter dran die Telefonieprobleme zu beheben.
Freitag, 24.10.2014 ab ca. 09:52 Uhr
Unsere Admins stellen unsere Systeme auf wechselnde Angriffsmuster ein – mit Erfolg. Die Telefoniesysteme beruhigen sich gerade wieder. Erste Telefonate funktionieren wieder.
Freitag, 24.10.2014 ab ca. 10:15 Uhr
Telefonieren ist aktuell wieder über alle sipgate Produkte möglich. Sollten Sie Probleme mit Mobiltelefonie über sipgate SIM-Karten haben, so sollte ein Neustart des Handys helfen. Leider können wir noch keine vollständige Entwarnung geben. Sobald es die Situation zulässt, werden wir Sie natürlich ausführlich über die Hintergründe der DDoS Attacke hier im Blog informieren.
Freitag, 24.10.2014 ab ca. 11:10 Uhr
Bei einigen Anschlüssen gibt es wohl doch noch Probleme mit der Registrierung der VoIP-Endgeräte.
Freitag, 24.10.2014 ab ca. 11:34 Uhr
Immer mehr VoIP-Endgeräte registrieren sich wieder. Wir sind fast bei 100%. Wir bitten um Verständnis dafür, dass wir im Moment telefonisch keine Auskunft geben können. Unsere Hotline mussten wir heute morgen leider abschalten, weil sie vollkommen von Anrufen überflutet wurde. Zur aktuellen Verfügbarkeit und zu den DDoS-Attacken informieren wir weiter an dieser Stelle und bei twitter. Bitte wenden Sie sich per E-Mail an unsere Kundenbetreuung.
Freitag, 24.10.2014 ab ca. 12:54 Uhr
Die Situation bei der Registrierung von VoIP-Endgeräten sieht nun auch bei sipgate team Kunden normal aus. Damit können nun alle sipgate Kunden normal telefonieren. Wir sind gerade dabei mehr Infos und Analysen zusammenzutragen um sie hier im Blog zu kommunizieren. Updates folgen.
Freitag, 24.10.2014 ab ca. 13:32 Uhr
Wir wissen, dass die Situation für unsere Kunden nicht einfach ist und freuen uns daher umso mehr über die zahlreichen aufmunternden Kommentare. Leider können wir zu diesem Zeitpunkt neue DDoS Attacken nicht komplett ausschliessen, glauben aber nun viel besser reagieren zu können. Aktuell sind wir natürlich mit voller Kraft dabei unsere Systeme noch besser zu schützen. Parallel dazu werden die Geschehnisse gerade analysiert, detailliertere Ergebnisse und Hintergrundinfos dann hier gepostet.
Freitag, 24.10.2014 ab ca. 17:38 Uhr
Eine dritte Attacke konnten wir erfolgreich abwehren. Es kam zu keinen Beeinträchtigungen für unsere Kunden.
Samstag, 25.10.2014 ca. 07:58 Uhr
Durch die von unseren Admins implementierten Massnahmen konnten heute Nacht erneut drei DDoS Attacken auf die sipgate Systeme erfolgreich abgefangen werden. Die Angriffe blieben deswegen ohne negative Auswirkungen für unsere Kunden. Darüber sind wir sehr froh. Eine vollständige Entwarnungen können wir leider nicht geben, aber wir sind guter Hoffnung die richtigen Massnahmen getroffen zu haben. Unsere Admins bleiben natürlich auch am Wochenende wachsam. Wir informieren Sie auch weiterhin laufend über den aktuellen Stand sowohl auf status.sipgate.de als auch hier im Blog.
Samstag, 25.10.2014 ca. 13:14 Uhr
Die zahlreichen Kommentare und Nachfragen auf twitter, facebook und hier im Blog brachten uns auf die Idee, die gesamte Geschichte in einem längeren Artikel aufzubereiten und auf diese Weise möglichst viele Fragen zu beantworten.
Der Artikel ist am Ende doch ziemlich umfangreich geworden. Wir glauben, dass er auch für andere von DDoS-Attacken betroffene (und nicht nur für sipgate-Kunden) interessant sein dürfte. Deshalb haben wir ihn graphisch etwas aufbereitet und auf der Plattform medium veröffentlicht – und nicht hier im Blog.
Montag, 27.10.2014 17:34 Uhr
Auch am Wochenende ist es wieder zu DDoS-Angriffen gekommen, die wir aufgrund der getroffenen Gegenmaßnahmen aber alle erfolgreich abwehren konnten. Lediglich unsere Homepage war kurzfristig nicht erreichbar siehe Statusseite.
Unsere Techniker nutzten den heutigen Tag für eine erste wirklich umfangreiche Analyse der Vorfälle. Als Ergebnis wurde eine Reihe von Maßnahmen erarbeitet, welche in Zukunft dafür sorgen die sipgate Infrastruktur besser gegen DDoS Attacken zu schützen. Bitte haben Sie Verständnis dafür, dass wir aktuell keine Details zu diesen Maßnahmen veröffentlichen können.
Montag, 27.10.2014 18:45 Uhr
Leider ist durch unsere Gegenmaßnahmen aktuell noch die Faxfunktion teilweise gestört. Wir arbeiten zurzeit intensiv an der Behebung der Fax-Störung.
Dienstag, 28.10.2014 18:05 Uhr
Heute Nacht waren wir einem erneuten Angriff ausgesetzt, der am frühen Morgen zu teils erheblichen Beeinträchtigungen führte. Tagsüber blieben weitere Attacken aus und inzwischen melden immer weniger Kunden Gespräche mit “One Way Audio” und Faxstörungen. Aktuell erarbeiten wir weitere Schutzmaßnahmen und bitten um Verständnis, dass wir technische Details nicht veröffentlichen können.
81 Kommentare
Jay:
@Bernd
Wir sind ein IT Dienstleister und Nutzen selbst Sigate, wir bringen auch viele Kunden zu Sipgate und haben bisher noch keine nennenswerte Probleme gehabt. Es kann halt sein das der ein oder andere Probleme hat, das ist normal, das ist IT und wer weiss wie viele Probleme durch den Kunden selbst verursacht sind nur dieser es nicht versteht.
Aber dieser Ausfall ist halt eine ganz andere Nummer, als die alltäglichen Probleme und sollte man nicht gleichstellen.
Auch wir waren seit gestern nicht erreichbar, haben aber entsprechen Fallbackszenarien, das es für uns kein großes Problem war und unsere Kunden konnten uns erreichen.
Mann sollte hier viel mehr die Offene Kommunikation von Sipgate loben, das ist absolut vorbildlich und nicht selbstverständlich!
SB:
Sehr zufrieden mit der Kommunikation! Macht so weiter.
Renne:
@Markus
Bei einer DDOS-Attacke kapert ein Angreifer millionen Geräte über Sicherheitslücken (z.B. WinXP-Rechner, Android-Geräte) und nutzt diese Geräte um riesige Mengen Datenmüll an Server zu senden. Dadurch werden die Datenleitungen schon beim Internetanbieter, bei dem die Server angeschlossen sind, verstopft. Oft sind dann auch viele andere Kunden des Internetanbieters mitbetroffen. Die Server sind nicht mehr erreichbar. Werden zusätzliche Server aktiviert, wird es ein Kräftemessen zwischen Server-Betreiber und Angreifer. Wer mehr Kapazitäten bereitstellen kann, gewinnt.
Für eine kurzfristige Abwehr müsste sich ein Serverbetreiber mit allen Internetanbietern weltweit koordinieren, damit diese den Traffic abfangen, bevor er ins Netz des Internetanbieters des Server-Betreibers übergeben wird. Dabei ist es aber schwierig zu unterscheiden, welches Gerät ein regulärer Kunde und welches Gerät ein Angereifer ist.
Bei zentralistischen, Server-basierten Strukturen, wie VoIP, helfen eigentlich nur Anycast-IP-Adressen, um bei einem Angriff weltweit kurzfristig mehrere tausend virtuelle Server hochfahren zu können.
Langfristig bleibt nur die Möglichkeit, der Telekom Feuer unter dem Hintern zu machen, damit das restliche deutsche Telefonnetz auf VoIP umgestellt wird. Dann können die zentralen Server/Gateways durch eine verteilte Datenbank ersetzt werden.
Ingenieurbüro Uwe Diener:
@SipgateIT
Danke für Ihre gute Arbeit! Und für Ihre Mitteilungen.
Uwe Diener
Dipl.Ing.
Markus:
@Renne: Danke für deine ausführliche Erklärung.
Ich kannte DDOS bisher nur von Angriffen, die aber nur ein paar Minuten gedauert haben.
Was ich mich gerade Frage: Wer greift über Stunden Sipgate an? Geht es da um die Firma oder um einzelne Kunden?
Jo:
VOIP und GSM schnurren wieder, vielen Dank!
Ich kann nur hoffen, dass diese Aktion für die Verursacher ein Verlustgeschäft war. Außerdem hoffe ich natürlich, dass sich sipgate durch diesen Vorfall entsprechend besser gegen solche Angriffe wappnet.
Gut, dass man auf Forderungen Krimineller nicht eingeht.
Yogi:
Alles wieder o.k.
Nicht einschüchtern lassen. Jeder sollte für sowas verständnis haben. Den Erpressern keine Chance geben..Thumbs up…weiter so..
sowasaberauch:
Schön das so viele hier mit Sipgate mitfühlen.
Ich nicht.
Ich bin nicht im IT Bereich tätig und habe daher auch nicht das Hintergrundwissen. Brauche ich auch nicht, ich will nur Telefonieren.
Meine Kunden haben auch kein Verständnis dafür, dass ich fast zwei Tage nicht erreichbar bin.
Und von den vielen Kleinigkeiten die nicht funktionieren möchte ich hier nicht schreiben.
Ich werde mir Gedanken machen, wieder zum alten Kupferkabel zu wechseln.
So, nun schönes Wochenende.
@sowasaberauch:
Auch ich habe Kunden und auch Ausfälle in der Kasse, aber ich würde mich auch nicht erpressen lassen. Aber es hat Sie ja keiner zu SIPGATE gezwungen, oder?
Schönes Wochenende an ALLE
Sordon:
@sowasaberauch: Dann viel Glück. Aktuell versucht z.B. die Telekom alle Teilnehmer per Zwangskündigung auf VOIP umzustellen, dann ist es vorbei mit dem guten alten Kupferkabel (Analog und ISDN).
Rüdiger:
@Bernd, da spreche ich hauptsächlich von den zahlreichen Nutzer von Sipgate die ausschließlich die kostenlosen Dienste und Infrastruktur nutzen.
sowasaberauch:
Nein, gezwungen wurde ich zu SIPGATE nicht.
Aber wenn in ein Produkt anbiete (SIPGATE Team), darf ich doch eine gewisse Qualität erwarten, oder?
Und bei einem Telefonanbieter ist dies nun mal, dass ich telefonieren kann.
DerMarc:
@sowasaberauch
Wir hatten genau gestern ein Telefonat mit der Telekom. Hatten bis gestern die Telekom einzig und allein als ISDN Fallback. Sonst alles über Sipgate.
Nun, bis JANUAR haben wir die Wahl:
1. Umstellen auf Voip
2. Zwangskündigung von T-KOM.
Bedeutet für Sie:
Zurück zur Telekom und dort VoIP nutzen.
Bitte nicht vergessen:
http://www.heise.de/netze/meldung/Anhaltende-und-massive-Stoerungen-bei-IP-Telefonie-der-Telekom-2305334.html
LG
Marc
W:
Nachdem nun alles wieder zu funktionieren scheint, unsere Meinung zu den Problemen:
Vorweg sei gesagt, dass ich die Erpressung per DDOS für hochkriminell halte und wie sipgate der Meinung bin, dass man das «Lösegeld» niemals zahlen sollte. Allerdings finde ich auch, dass der ohnehin schon angeknackste Ruf von sipgate in den vergangenen 24h deutlich weiter gelitten hat.
Zunächst einmal zu den Fakten:
Wir haben als mittelständisches Unternehmen unsere komplette Telefonie samt Mobiltelefonen bei sipgate team und konnten seit gestern Nachmittag bis heute gegen 10 Uhr überhaupt keine Dienste mehr nutzen, d.h. wir konnten weder per VoIP noch auf dem Festnetz anrufen bzw. angerufen werden. Wenn uns jemand versuchte anzurufen, bekam er die Nachricht, dass die Rufnummer nicht vergeben sei. Wir hätten während dieser Zeit nicht einmal einen Notruf absetzen können! Auch das Webinterface von sipgate war nicht erreichbar. Bei sipgate war auf Twitter lediglich von einer Hardware-Störung in der vorangegangenen Nacht sowie einer behobenen Störung um 15:30 Uhr die Rede. Erst gegen 17 Uhr wurde dann aktiv von einem DDOS-Angriff berichtet.
Zur Kommunikation von sipgate:
Anders als andere Kommentatoren halte ich die Kommunikation von sipgate in dieser Sache für alles andere als «vorbildlich». Erst über 13 Stunden nach dem ersten Vorfall in der Nacht wurde erstmals von einem DDOS-Angriff gesprochen, d.h. entweder hat man dies vorher nicht erkannt oder versucht, es unter den Teppich zu kehren. Anders als z.B. gegenüber Medien erwähnt, waren die Dienste bei uns gestern Nachmittag bzw. vor Mitternacht noch nicht wieder online. Im Gegenteil stand heute Morgen ab 7 Uhr immer noch alles. Die erste Stellungnahme kam erst deutlich nach 8 Uhr (auch, wenn im Blog ein Eintrag von 7:10 Uhr steht).
Über eine Benachrichtigung von sipgate über die Probleme hätten wir uns auch gefreut. Stattdessen musste man sich die Infos auf Twitter oder im Blog selber zusammensuchen. Auf der Startseite steht bisher ebenfalls immer noch nichts. Aufgrund der Überlastung die Hotline dann komplett abzuschalten, halte ich persönlich für ein Armutszeugnis! Und dass andere Provider angeblich noch weniger informieren, kann ja wohl kein Argument sein.
Zur Technik:
DDOS-Attacken sind ja nun nichts Neues, und dass gerade ein so exponierter Provider wie sipgate da im Fadenkreuz steht, war doch wohl mehr als erwartbar, oder? Ich war ehrlich gesagt negativ überrascht, wie sipgate von diesem Angriff auf dem kalten Fuß erwischt worden ist und welche drastischen Auswirkungen dieser hatte. Es gibt scheinbar keinerlei redundante Strukturen, so dass wenigstens nicht alle Dienste auf einmal von solchen Problemen betroffen wären. Auch scheint es keinen Notfallplan für diese Situation zu geben. Dass es generell keine technische Lösung gegen solche Angriffe gibt, glaube ich nicht. Es gibt viele Dienste im Internet, die ähnlich prominente Ziele darstellen, aber nicht lahmgelegt werden.
Fazit:
Der Vorfall hat uns aufgezeigt, dass es ein Fehler war, sich von einem Anbieter abhängig zu machen, der solche Probleme nicht richtig im Griff hat. sipgate wendet sich mit team an Geschäftskunden, kann diese Ansprüche aber meiner Meinung nach nicht erfüllen. Wenn eine Störung auftritt, muss man als Business-Kunde die Möglichkeit für eine Rufumleitung oder eine andere Form der Erreichbarkeit erhalten, anstatt dass Kunden eine Ansage erhalten, dass die Nummer nicht vergeben ist. Das Mindeste wäre eine Störungsansage. In diesem Zusammenhang an die Klugsch***er hier im Forum: Ich bin offen für Vorschläge von redundanten Lösungen zur telefonischen Erreichbarkeit unter unserer Firmennummer, die so auf unseren Visitenkarten, unserem Briefpapier und im Internet steht. Wir soll das funktionieren, wenn diese komplett zu sipgate portiert ist?
Wir werden jedenfalls ab der kommenden Woche zumindest einige unserer Nummern wieder Zug um Zug von sipgate wegportieren, zurück zu unterschiedlichen Providern, so wie früher. Das sipgate-Modell hatte für uns viele Vorteile, der zentralistische Ansatz und die anfällige technische Basis von sipgate haben uns aber die Risiken dieses Ansatzes klargemacht.
sowasaberauch:
@W
100% richtig.
Stefan Hartung:
Als IT-Dienstleister, der bei seinen Kunden Sipgate als Wunderwaffe der SIP-Telefonie angepriesen hat, kam auch bei mir heute „helle Freude“ auf…
Natürlich haben größere Player wie die Telekom auch schon mal massivste Probleme mit ihrem Netz. Aber Sipgate will mit seiner 10 Jährigen Erfahrung hoffentlich besser sein als ein Neu-Einsteiger im IP-Telefonmarkt wie die Telekom.
Und daher ist es praktisch nicht zumutbar, dass das System derart anfällig für DDoS ist. Das darf bei Geschäftskunden im Jahr 2014 einfach nicht mehr passieren…
Daher sollten (sofern technisch umsetzbar) redundante Systeme eingeführt werden, die Leistungsspitzen abfedern oder bei Ausfällen als Ersatz einspringen. Das sollte m.E. realistisch sein. Dann lieber die nächsten Monate erstmal auf die Stabilisierung und Weiterentwicklung des eigenen Netzes konzentrieren und erst danach mit ausgereiften Innovationen den Markt aufmischen.
Es gilt einen guten Ruf zu verteidigen! Dazu zählt auch meiner – bei meinen Kunden ;-)
Detlef Genthe:
Letztlich ist ein offenes SIP-System, das einfach prinzipbedingt mit ganz vielen Geräten im Internet kommuniziert, DDoS-anfällig.
Da haben es Anbieter, die einen separaten PPoE-Datenstrom für Sprache über die Leitung schicken, einfacher. Sipgate ist eben offenes Internet. Vielleicht hätte man den SIM-Bereich besser abschirmen können.
Ich habe immer noch eine xtra-Card für alle Fälle, die stand schon vorher in meiner persönlichen Rufverteilung. Also sobals das Portal mal erreichbar war, Haken für nicht stören da raus und gut.
So eine Attacke ist eben der Supergau. Dafür ist ein Anbieter ohne eigene Leitungen und mit SIM-Karten gegen viele andere Störungen besser gesichert. Bagger erwischt Kabel, Netzteil der Telefonanlage stirbt usw.
Ist ärgerlich, aber damit muß man bei SIP leben. Wie gesagt, vielleicht kann man den GSM-Bereich noch besser abschirmen, der hat ja nicht direkte IP-Schnittstellen zu tausenden Kunden.
Danke nochmal an die Kommunikation, das spart viel Grübellei. Eine automatische Einblendung gravierender Probleme auf dem Portal wäre auch nicht schlecht.
DD-com:
+++was sind die wichrigsten Lehren +
redundante Strukturen als Anbieter und (!) als Nutzer (kosten aber sehr viel Geld )
Anrufer müssen eine Ansage erhalten ,das eine Großraumstörung vorliegt
Jay:
@Stefan Hartung
Wir sind auch IT Dienstleister… daher beraten wir unsere Kunden auch über die Risken und Möglichkeiten. Der Kunde kann dann selbst abwägen ob er das Risko eingehen will sich auf nur einen Anbieter zu verlassen. Kunden die auf Telefonie angewiesen sind und nicht mal einen Tag Ausfall verkraften können raten wir generell ab sich von nur einen Anbieter abhängig zu machen. Hier liegt die Beratung ganz klar in euch als Dienstleister den Kunden auch die Risiken zu nennen und alles Abzuwägen. Der Kunde hat ja in der Regel keine Ahnung von sowas und kann das Risko & co. nicht abschätzen.
Ich denke das Sipgate schon redundante Systeme hat, selbst wenn Sie ein zweites anderes Rechenzentrum irgendwo nur als Fallback betreiben würden… Glauben sie wirklich das die Erpresser so Dämlich wären das nicht auch lahm zu legen?
@All
Auch die Telekom &co. können mal einen Tag ausfallen, das haben wir schon oft gehabt, teilweise sogar 3 Tage am Stück trotz Business Support & co. und da wurde immer wieder an der Hotline gesagt, wir arbeiten dran ohne Infos was los ist. Also macht euch mal locker. Das gebashe gegen Sipgate kann ich nicht nachvollziehen.
Wer keinen sich keinen Tag Ausfall leisten kann, der muss entsprechen vorsorgen mit eigenen Redundanten Systemen, es gibt da jede menge Lösungen bzw. Lösungsansätze. Last euch halt mal von einer guten IT / Telefonie Dienstleister beraten und nicht immer alles selbst machen ;)
Mich hat dieser Ausfall und die offene Kommunikation nur gestärkt weiter bei Sipgate zu bleiben und unsere Kunden immer wieder auch dazu raten, mit Fallback-Lösungen wenn Sie auf unterbrechungsfreie Telefonie angewiesen sind.
JK:
Serverangriff, Switch-Ausfall, Settings-Verlust – alles schon erlebt; bin seit ziemlich Anfang an bei Sipgate dabei. Gebe dem Support immer wieder ernstgemeinte Ratschläge, wo man nachbessern müsste. Die Umsetzung klappt leider selten. Sipgate ist in den letzten Jahren ziemlich Überheblich geworden, auch die Verschleierungstaktik bei Störungen und das Abwälzen auf den Kunden nervt, wenn man die eigentlichen Gründe kennt. Hochmut kommt vor dem Fall, ich hoffe man lernt im Hause Sipgate draus. Fehler können passieren, die Sache ist Bioß, wie man damit umgeht und das Ganze kommuniziert.