Директор Cloudflare извиняется за баг, который всколыхнул весь мир: "Мы подвели наших клиентов и интернет"

Технический директор Cloudflare Дэйн Кнект извинился перед клиентами и интернет-сообществом за масштабный сбой, который во вторник 18 ноября вывел из строя многочисленные сервисы и сайты. Он подчеркнул, что это был именно сбой, а не кибератака.

«Мы подвели наших клиентов и более широкий интернет. Скрытая ошибка в сервисе, лежащая в основе наших возможностей по смягчению бот-трафика, начала вызывать сбои после обычной смены конфигурации. Это привело к масштабной деградации нашей сети и других сервисов. Это не была атака», – написал Кнект в своем Х.

По официальным данным, инцидент начался примерно в 11:48 UTC 18 ноября, когда на странице статуса Cloudflare появился запись о «внутреннем ухудшении сервисов». Пользователи из разных регионов начали сообщать о невозможности получить доступ к сайтам, работающим через инфраструктуру Cloudflare, а также о сбоях в службах Access и WARP. В соцсетях появились тысячи жалоб – иронично, что даже сервис Downdetector, отслеживающий аварии, временно стал недоступным.

«Влияние, которое вызвала проблема, и время на ее решение – неприемлемы. Работа уже ведется, чтобы это больше не произошло, но я знаю, что сегодня это вызвало настоящую боль. Доверие, которое наши клиенты возлагают на нас – это то, что мы ценим больше всего, и мы сделаем все возможное, чтобы его вернуть», – отметил Кнект.

Компания установила, что корень проблемы заключался в модуле защиты от бот-трафика: рутинное обновление конфигурации сработало так, что латентная ошибка в системе мгновенно активировалась. Вместо единичного эффекта это привело к каскаду — деградации внутренних сетевых компонентов, CDN-шаров и сетевых маршрутов, обеспечивающих работу тысяч сайтов. Обновление с исправлением было внедрено около 14:42 UTC, после