Сбой 09.11.2017
- 09 Nov 2017
- Главное
Сегодня произошел сбой в работе дата-центров SBG и RBX.
Оригинал:
Перевод:
Эпичная картина с мониторинга:
SBG-1
SBG-2
SBG-4
Оригинал:
Details
Bonjour,
Avant tous les détails, deux premières informations.
Ce matin, nous avons eu 2 incidents séparés qui n'ont rien à voir l'un avec l'autre. Le 1er incident touche notre site de Strasbourg (SBG) et le 2eme Roubaix (RBX). Sur SBG nous avons 3 datacentres en fonctionnement et 1 en construction. Sur RBX, nous avons 7 datacentres en fonctionnement.
SBG:
Sur SBG nous avons eu un problème électrique. L'alimentation a été rétablie et les services sont en cours de redémarrage. Certains clients sont UP et d'autres pas encore.
Si votre service n'est pas encore UP, le délai de rétablissement est compris entre 5 minutes et 3-4 heures. Notre système de monitoring nous permet de savoir quel client est encore impacté et nous nous travaillons pour les fixer.
RBX:
Nous avons eu un problème sur le réseau optique qui permet à RBX d'être connecté avec les points d'interconnexion que nous avons à Paris, Francfort, Amsterdam, London, Bruxelles. L'origine du problème est un bug software sur les équipements optiques qui a provoqué la perte de la configuration et la coupure de la connexion avec notre site de RBX. Nous avons remis le backup de la configuration software dés que nous avons diagnostiqué l’origine du problème et le DC est à nouveau joignable. L'incident sur RBX est clos. Avec le constructeur, nous cherchons l'origine du bug software et aussi comment ne plus subir ce genre d’incident critique.
Nous sommes en train de récupérer les détails pour vous fournir les informations sur le temps de rétablissement à SBG de tous les services / tous les clients. Aussi, nous allons donner tous les détails techniques sur l'origine de ces 2 incidents.
Nous sommes sincèrement désolés. Nous venons de vivre 2 évènements simultanés et indépendants qui ont impactés tous les clients de RBX entre 8h15 et 10h37 et tous les clients de SBG entre 7h15 et 11h15. Nous continuons à travailler sur les clients qui ne sont pas encore UP à SBG.
Amicalement
Octave
Перевод:
Сегодня утром у нас было два отдельных инцидента, которые не имеют никакого отношения друг к другу. Первый инцидент повлиял на наш сайт в Страсбурге (SBG) и второй Roubaix (RBX). В SBG мы имеем 3 центра обработки данных и 1 в стадии строительства. В RBX мы имеем 7 центров обработки данных.
SBG:
В SBG у нас была электрическая проблема. Восстановлена электроэнергия и перезапущены службы. Одни серверы заработали, а другие еще нет. Если услуга еще не завершена, время восстановления составляет от 5 минут до 3-4 часов. Наша система мониторинга позволяет нам знать, какие клиенты все еще подвержены влиянию и мы работаем, чтобы исправить это.
RBX:
У нас была проблема в оптической сети, которая позволяет соединить RBX с точками пересечения, которые у нас есть в Париже, Франкфурте, Амстердаме, Лондоне, Брюсселе. Происхождение проблемы-ошибка программного обеспечения на оптическом оборудовании, которая привела к потере конфигурации и отключению соединения с нашим сайтом в rbx. Мы передали резервную копию конфигурации программного обеспечения, как только мы обнаружили источник проблемы и DC может быть достигнуто снова. Инцидент на rbx является фиксированной. С производителем, мы ищем происхождение ошибки программного обеспечения, а также ищем, чтобы избежать такого рода критического инцидента.
Мы находимся в процессе извлечения деталей, чтобы предоставить вам информацию о времени восстановления SBG для всех услуг / клиентов. Также мы расскажем все технические детали о происхождении этих 2 инцидентов.
Мы искренне сожалеем. Мы только что пережили 2 одновременных и независимых события, которые повлияли на всех клиентов RBX между 8:15 утра и 10:37 утра и всех клиентов SBG между 7:15 утра и 11:15 утра. Мы по-прежнему работаем над клиентами, в которых еще не работают услуги.
Эпичная картина с мониторинга:
SBG-1
SBG-2
SBG-4