Компании по всему миру 19 июля столкнулись с ошибкой «синего экрана смерти» после некорректного обновления приложения информационной безопасности CrowdStrike для Windows. Хотя уже через полтора часа разработчики исправили ошибку, обновление продолжало распространяться в интернете и поражать все больше систем. В итоге по всему миру перестали работать около 8,5 млн компьютеров с Windows 10 и 11. У CrowdStrike на момент сбоя насчитывалось 24 тыс. клиентов, 60% из которых входят в списки Fortune 500 и Fortune 1000.
Через неделю после инцидента работу 97% систем удалось восстановить. Однако полное решение проблемы может занять несколько недель. На примере инцидента с CrowdStrike «РБК Тренды» разбирались, какие виды отраслей и офлайн-бизнеса наиболее подвержены подобным сбоям.
Авиация
Одной из наиболее пострадавших от сбоя отраслей стала авиация. По данным платформы отслеживания рейсов FlightAware, 19 июня и позднее по всему миру отменили более 30 тыс. перелетов. Компания — оператор аэропортов Испании Aena заявила о задержках рейсов, международный аэропорт Берлин-Бранденбург приостановил работу, а сотрудники аэропортов в Индии и парижского Орли начали вручную заполнять билеты. Представители аэропортов Белфаста и Сингапура писали маркером на белых досках информацию о рейсах. В целом неполадки коснулись систем аэропортов от Амстердама до Цюриха и от Сингапура до Гонконга.
В Turkish Airlines также предупредили о проблемах с бронированием билетов и регистрацией. Ирландская авиакомпания Ryanair посоветовала пассажирам прибывать на посадку заранее, а нидерландская KLM и вовсе приостановила рейсы. Также о проблемах в работе сообщали авиакомпании British Airways, Wizz Air, Eurowings, Lufthansa и Qantas.
В США число авиарейсов Delta Air Lines сократилось на 1087, или на 46%, United Airlines — на 596, или на 36%, American Airlines — на 376, или на 16%. При этом Delta Air Lines потребовалось больше всего времени, чтобы восстановить работу систем после инцидента. Вероятно, у авиакомпании не было плана аварийного восстановления всех IT-систем после инцидентов, а большую часть своих IT-задач она передавала на аутсорс. Теперь компания намерена требовать от Crowdstrike компенсации ущерба в размере $500 млн.
При этом число рейсов еще одной американской авиакомпании, Southwest Airlines, наоборот, выросло на 101, или на 3%. Эксперты связали это с тем, что авиакомпания может использовать старую операционную систему Windows 3.1 в своих системах. Она вышла в 1992 году и больше не получает обновления.
Здравоохранение
Сбой затронул и учреждения здравоохранения. В США пострадала Epic Systems, которая является самой широко используемой системой электронных медицинских карт в стране и насчитывает сведения о 305 млн пациентов. В итоге медицинские организации столкнулись с техническими проблемами. Так, клиника Penn Medicine в Пенсильвании предупредила, что некоторые приемы, возможно, придется отменить или перенести. UVA Health, система здравоохранения, связанная с Университетом Вирджинии, закрыла свои амбулаторные клиники, за исключением онкологического центра, а также радиологии и визуализации. Больницы и клиники Университета Майами раздали персоналу ручки и бумагу для заполнения обычных карт.
Национальная служба здравоохранения Англии (NHS) также признала, что большинство врачей общей практики в стране столкнулись со сбоями в работе систем медицинских записей EMIS и службы, используемой для записи на прием. В итоге врачи заполняли обычные карты, выписывали бумажные рецепты и предупреждали пациентов о переносе визита по телефону. EMIS пользуются 60% британских специалистов системы здравоохранения.
Однако некоторые поставщики медицинских услуг, такие как система здравоохранения Среднего Запада Mercy Health, сумели избежать сбоев. Там пояснили, что используют сразу несколько систем на базе Microsoft, а также выполняют процедуры резервного копирования данных для бесперебойного обслуживания пациентов.
В интервью The New York Times IT-руководитель системы здравоохранения Providence Дж. Мур рассказал о масштабах проблемы. Он отметил, что этот инцидент был «хуже кибератаки», а представители сферы понимали, что происходит «катастрофа», когда система вышла из строя. По словам Мура, отключение затронуло около 15 тыс. серверов организации, а также около 40 тыс. из 150 тыс. компьютеров. Полное восстановление систем Providence, вероятно, займет несколько недель.
С проблемами столкнулись и другие страны. Минимум две немецкие больницы отменили плановые операции, а Министерство здравоохранения Израиля объявило, что глобальный сбой коснулся 16 медучреждений.
Финансовые учреждения
Сбой Microsoft также повлиял на работу банков по всему миру, в том числе в США, Австралии, ЮАР, Новой Зеландии и Великобритании. В частности, с проблемами столкнулись Bank of America, US Bank, Lloyds в Великобритании и Capitec в ЮАР. У некоторых из них перестали работать банкоматы. Commercial Bank of Qatar сообщил, что его клиенты не могли пользоваться мобильным банкингом и дозвониться в call-центр. Наблюдались сбои и в работе популярных платежных систем, в том числе Visa.
Пострадали фондовые биржи. Служба новостей RNS Лондонской фондовой биржи была выведена из строя, а торги были нарушены. JP Morgan и UBS испытывали трудности с завершением торгов.
Влияние сбоя затронуло и связанные системы. Так, генеральный директор Глобальной ассоциации по расчету заработной платы Мелани Пицци рассказала, что многие клиенты не смогли получить доступ к программному обеспечению для расчета зарплаты. По ее словам, это может «иметь очень серьезные последствия для предприятий, особенно для тех, которые обрабатывают расчеты заработной платы на еженедельной основе».
Автопроизводители
Сбой CrowdStrike затронул автомобильную промышленность. Глава Tesla Илон Маск рассказал, что он «привел к срыву цепочки поставок автомобилей». По данным Business Insider, были остановлены сразу две производственные линии. Теперь компания удалила CrowdStrike из всех систем.
Аналогичная ситуация возникла у Renault, которому пришлось закрыть два завода. Один из них производит линейку автомобилей Kangoo.
Поставщик автозапчастей Magna International, который производит различные продукты, от автомобильных электронных систем до кузовов автомобилей, также сообщил о сбоях в работе.
Toyota Motor Company указала, что некоторые ее дилерские центры столкнулись с проблемами. Представитель Nissan Motor сказал, что системы компании не пострадали, но сбой коснулся некоторых поставщиков и дилеров. Ford Motor Company тоже жаловалась на сбой и теперь оценивает его влияние на работу компании.
Телевещание
Крупнейшие вещатели по всему миру столкнулись с техническими трудностями из-за сбоя. Каналы NBC News, MSNBC и Sky News были вынуждены использовать резервные варианты. Например, Sky News начал транслировать документальные фильмы, но прекратил вещание примерно через час. Затем канал возобновил вещание, но без графики, телесуфлера и предварительно записанных сцен.
Принадлежащий BBC детский канал CBBC и вовсе демонстрировал фразу: «Извините! Что-то пошло не так».
Австралийские Sky News Australia, ABC, SBS, Channel7 и Channel 9 были вынуждены прервать вещание. На Sky News Australia видеостены демонстрировали экраны восстановления Microsoft Window с пустыми телесуфлерами. Некоторые ведущие новостей выходили в эфир из темных офисов, перед компьютерами, на которых отображались синие экраны.
Торговля
В результате сбоя у британских торговых сетей Waterstones, Waitrose и Wetherspoons возникли проблемы с приемом платежей по картам, а американские заправочные станции Circle K начали принимать только наличные. В Японии остановили работу примерно треть ресторанов McDonald’s из-за неполадок с кассовыми аппаратами. В Австралии с проблемами столкнулись торговые сети Woolworth, Coles и 7-Eleven. В итоге перестали работать кассы, а у покупателей принимали только наличные. Это вызвало огромные очереди, а также «падение» сайтов продавцов, где люди пытались заказать продукты онлайн.
Сообщалось, что после сбоя у австралийских супермаркетов возникли проблемы с пополнением запасов продукции, так как закон ограничивает работу сотрудников в выходные. Местным властям пришлось ввести временное послабление. Ущерб сфере торговли Австралии оценивается более чем в $1 млрд.
Наземный транспорт
Из-за сбоя пострадали транспортные системы. На границе США и Канады остановили движение из-за частичного отключения телефонной системы оповещения. Проблемы испытывал метрополитен Вашингтона, сайт которого был недоступен. Управление транспорта залива Массачусетс в Бостоне, а также Управление общественного транспорта Нью-Йорка не могли отслеживать транспортные средства и получать уведомления о прибытии пассажиров.
Во многих странах перестали работать сервисы для покупки билетов — такие проблемы возникли у малайзийского железнодорожного оператора Keretapi Tanah Melayu, Transport for Ireland и системы HOP компании Auckland Transport в Новой Зеландии.
В Новом Южном Уэльсе и Виктории в Австралии пришлось отменить или задержать поезда. В Великобритании возникла аналогичная проблема. Кроме того, пассажиры такси в Лондоне не могли платить банковскими картами. В Швеции, Нидерландах и Бельгии билеты на общественный транспорт вообще не продавались.
Кто потерял больше денег
Согласно первым подсчетам аналитической компании Parametrix, общий прямой финансовый ущерб компаниям по всему миру в результате сбоя CrowdStrike составляет не менее $15 млрд, и только часть от этих потерь — от $1,5 млрд до $3 млрд — будет покрыта страховкой.
Всего пострадало 125 корпораций, или 25% списка Fortune 500. Самый высокий средний ущерб в сфере авиации — $148,38 млн на компанию.
При этом самый высокий совокупный убыток в размере $1,94 млрд пришелся на здравоохранение. Далее идут банки, чей ущерб измеряется $1,15 млрд.
Средний убыток одной компании из списка Fortune 500 оценивается в $43,64 млн.
Как застраховаться от сбоев
Аналитики заявили, что взаимосвязанная природа SaaS, облачных сервисов и современных приложений способствовала масштабности сбоя. Связь программного и аппаратного обеспечения необходима организациям для работы и удовлетворения потребностей потребителей. Но эксперты говорят, что бизнесу нужно учитывать традиционные планы обеспечения непрерывности работы и восстановления систем.
Вице-президент по исследованиям Enterprise Management Associates Крис Штеффен считает, что развитие облачных сервисов и автоматизации вызвало небрежное отношение к исправлениям, обновлениям и доступу к системе. Клиенты, которые полагаются на автоматизацию для получения обновлений, должны планировать все сценарии, в том числе и худшие, добавил он.
Президент и основатель Data Center Intelligence Group Джером Вендт полагает, что отказываться от автоматических обновлений бессмысленно, так как они обеспечивают безопасность и согласованность работы систем. Однако организации, которые внедряют их, должны планировать карту своих ресурсов и просчитывать, как каждый компонент программного обеспечения или оборудования может повлиять на их работу при сбое.
Главный технологический консультант Futurum Group Кейт Таунсенд добавляет, что план восстановления систем должен включать возможности автоматизированного отката. Это позволит отделять работу приложений от операционной системы, обеспечивая быстрое восстановление без воздействия на хранящиеся данные.