МИНИСТЕРСТВО ТРАНСПОРТА РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ВОЗДУШНОГО ТРАНСПОРТА
ПИСЬМО
от 13 июля 2015 г. N АН1.07-2218
ИНФОРМАЦИЯ ПО БЕЗОПАСНОСТИ ПОЛЕТОВ N 13
15 мая 2015 года в Санкт-Петербургском РЦ ЕС ОрВД произошел отказ средств подвижной и фиксированной связи системы коммутации речевой связи "Мегафон" (далее - СКРС "Мегафон"). Связь отсутствовала на рабочих местах диспетчеров второй линейки диспетчерских пультов (секторы Р6 "Великие Луки", Р5 "Петрозаводск", МДП) в период времени с 02.27 до 03.13 UTC. Продолжительность отказа 45 минут.
В ходе расследования отказа средств радиотехнического обеспечения и связи выявлено, что в 02 час. 24 мин. по данным ЦРП-3 произошло аварийное переключение фидеров 110 кВ городской ТП-195, за которым последовал скачок напряжения по двум фидерам ТП-22, питающей объект РЦ ЕС ОрВД. После скачка напряжения в 02.26 выбило автомат, который подключен к источнику бесперебойного питания (далее - ИБП) N 3, и, как следствие, вводной автомат на щите гарантированного питания (далее - ЩГП) N 8, питающий стойку СКРС "Мегафон".
В 02.27.41 после включения дежурным инженером по РН, РЛ и связи автомата на ЩГП N 8 сетевые коммутаторы (свитчи) рабочих мест локально-вычислительной сети (далее - ЛВС) N 1, N 2 стойки N 1 СКРС "Мегафон" перешли в режим перезапуска, причем один из них, организующий ЛВС N 2, не запустился ("завис"), а дежурный инженер этого не заметил.
В 02.30.37 после перезагрузки коммутаторов первая линейка диспетчерских пультов (секторы Р1 "Север", Р2 "Юго-Восток", Р3 "Юго-Запад", Р4 "Запад", А "Внетрассовый") заработала, а вторая линейка диспетчерских пультов (Р6 "Великие Луки", Р5 "Петрозаводск", МДП) не работала из-за отказа (зависания) свитча ЛВС N 2 и отсутствия питания на свитче ЛВС N 1 интерфейсного оборудования (IO) стойки N 2 СКРС "Мегафон" второй линейки диспетчерских пультов из-за отказа ИБП N 3 (2200).
Далее дежурный инженер предпринял попытку восстановления работоспособности ИБП N 3 второй линейки. Для этого он попытался заменить корзину с аккумуляторами ИБП, а затем и полностью ИБП 2200, но ситуация не изменилась. Проверив наличие входного напряжения на ИБП N 3 2200 и убедившись в его отсутствии, дежурный инженер заметил отключенный автомат на стойке питания СКРС "Мегафон" и включил его.
В 03.12.48 все диспетчерские места второй линейки были работоспособны.
Однако в 03.24.21 произошел второй скачок электропитания сети на ТП-195, в результате чего ушел в аварию ИБП 500 стойки N 1, питающий ЛВС N 1. В итоге произошел отказ ЛВС СКРС "Мегафон" на всех рабочих местах.
В 03.28.23 работа была восстановлена путем сброса аварии на ИБП 500 и перезапуска свитчей ЛВС N 1.
В 03.38.22 произошел третий скачок напряжения в электросети. В результате произошел повторный кратковременный отказ ЛВС СКРС "Мегафон". Нормальная работа была восстановлена в 03.39.11. Данный перезапуск произошел без последствий.
Отказ СКРС "Мегафон" произошел в результате неоднократных кратковременных (менее 5 секунд) скачков напряжения в течение короткого промежутка времени, что не позволило автоматике ДЭС отработать и запустить дизель-агрегаты. Продолжающиеся скачки напряжения привели к отказу ИБП, питающего интерфейсное оборудование ЛВС N 2 СКРС, и, как следствие, срабатыванию автоматических выключателей на панели питания шкафа интерфейсного оборудования СКРС и в ЩГП-8. Причиной отказа ИБП явился пробой ограничителя напряжения входной цепи. При кратковременном пропадании питания на свитчах ЛВС СКРС не прошла перезагрузка одного из свитчей ЛВС N 1 ("зависание"). В результате получился перекрестный отказ воздушной и наземной связи второй линейки диспетчерских пультов (секторы Р6 "Великие Луки", Р5 "Петрозаводск", МДП).
В период отказа СКРС "Мегафон" на первой линейке, сектор "Санкт-Петербург", были задействованы аварийные радиостанции "Фазан Р5" и "Баклан-РН", размещенные на диспетчерских пультах.
Для обеспечения безопасности полетов на второй линейке (сектор Р5 "Петрозаводск" и Р6 "Великие Луки") по телефонной связи было запрошено содействие смежных секторов ОВД Москва, Рига, Таллинн, Архангельск, Тампере.
Воздушные суда работали на своих частотах до установления связи со смежными РЦ. Взаимодействие со смежными секторами ОВД было организованно по протоколу OLDI, который обеспечил обмен плановой информацией между центрами (ДП) ОВД по текущим планам. Были введены увеличенные временные интервалы эшелонирования.
В районе ответственности РЦ находилось до 9 воздушных судов. ВС на запасные аэродромы не направлялись, задержек на вылет не было. Авиационных событий, нарушений норм эшелонирования не выявлено.
Согласно выводам по результатам расследования причиной отказа СКРС "Мегафон" явились неоднократные кратковременные скачки напряжения в промышленной сети электроснабжения и, как следствие, выход из строя ИБП, срабатывание вводного автомата на шкафу питания интерфейсного оборудования СКРС и автомата защиты в ЩГП-8, а также "зависание" сетевого оборудования, повлекшие отказ основной и резервной ЛВС СКРС "Мегафон".
Ошибочные действия оперативной смены инженерно-технического персонала при устранении отказа, выразившиеся в нарушении инструкции по резервированию оборудования участка технического обеспечения РЦ ЕС ОрВД, в части последовательности выполнения операций в аварийной ситуации не позволили оперативно устранить неисправность.
С учетом обстоятельств данного события комиссией по расследованию была отмечена необходимость реализации разработчиком оборудования СКРС "Мегафон" - ООО "Фирма "НИТА" - следующих мероприятий:
1. Изменить топологию ЛВС (установка двух корневых концентраторов с резервированным питанием).
2. Заменить автоматы защиты в щитах на более мощные (не менее 32 А, из расчета на два ИБП 2200).
3. Изменить схему электропитания группового оборудования с целью повышения надежности.
4. Распределить основные и резервные интерфейсы радиостанций на разные стойки СКРС "Мегафон" (ГО).
5. Рассмотреть возможность организации электропитания от различных ТП.
6. Организовать дополнительную диагностическую сеть по контролю состояния ИБП и сетевого оборудования.
Вместе с тем в результате анализа материалов расследования отказа СКРС "Мегафон", произошедшего 15.05.2015 в Санкт-Петербургском РЦ ЕС ОрВД, дополнительно выявлены следующие недостатки:
- после первого скачка напряжения (02:24 мск) дежурный инженер по радионавигации, радиолокации и связи около 40 минут пытался самостоятельно восстановить работоспособность системы электроснабжения и ЛВС СКРС "Мегафон", не доложив своевременно о случившемся ведущему инженеру службы ЭРТОС, что свидетельствует о его неготовности действовать в нестандартной ситуации, связанной с одновременным отказом ЛВС и систем электропитания;
- ведущий инженер службы ЭРТОС (сменный) в вышеуказанный период эффективную помощь инженеру по радионавигации, радиолокации и связи не смог оказать, так как его рабочее место находится в Санкт-Петербургском ЗЦ ЕС ОрВД и он получил информацию об отказе только в 03.05;
- третье выключение СКРС "Мегафон" (в 03:38 мск) произошло не по причине скачка напряжения, а в результате самостоятельного переключения ИБП дежурным инженером по радионавигации, радиолокации и связи (без разрешения руководителя полетов).
Таким образом, причинами длительного отказа средств связи явились не только внешние факторы (скачки напряжения) и отказы оборудования, но и "человеческий фактор" (недостаточная квалификация и ошибочные действия персонала), а также организационные недостатки (несвоевременные доклады, переключение аппаратуры без разрешения руководителя полетов).
В целях обеспечения надежности функционирования КСА УВД и систем связи предлагаю:
1. Руководителям территориальных органов Росавиации довести данную информацию до сведения организаций гражданской авиации, эксплуатирующих средства РТОП и авиационной электросвязи.
2. Начальнику Северо-Западного межрегионального территориального управления Росавиации О.Т. Гринченко проконтролировать устранение недостатков в филиале "Аэронавигация Северо-Запада" ФГУП "Госкорпорация по ОрВД", выявленных в ходе расследования отказа СКРС "Мегафон" 15.05.2015.
3. Генеральному директору ФГУП "Госкорпорация по ОрВД" И.Н. Моисеенко:
а) до 24.07.2015 доложить в Управление радиотехнического обеспечения полетов и авиационной электросвязи Росавиации и Северо-Западное межрегиональное территориальное управление Росавиации о принятых мерах по устранению недостатков, выявленных при расследовании случая отказа СКРС "Мегафон" 15.05.2015;
б) организовать проведение анализа построения систем гарантированного электроснабжения объектов КДП, ЗЦ и РЦ ЕС ОрВД. По результатам проведенного анализа выработать меры, исключающие возможность одновременного отказа основных и аварийных источников электроснабжения;
в) рассмотреть вопрос о целесообразности внедрения средств мониторинга состояния ИБП;
г) совместно с ООО "Фирма "НИТА" рассмотреть вопрос о проведении доработок СКРС "Мегафон" с учетом рекомендаций комиссии по расследованию;
д) учитывая ранее имевшие место случаи отказов в обеспечении электропитания центров и объектов ЕС ОрВД и замечаний к нему, в том числе отключения электропитания Главного центра ЕС ОрВД, нарушения норм гарантированного электроснабжения в Ростовском ЗЦ ЕС ОрВД, приведших к отказу функционирования объектов АКТС-МЗ и КСА ПИВП 30 сентября 2014 г., повторно провести анализ причин указанных событий и принять меры по предупреждению аналогичных.
4. Руководителям организаций гражданской авиации, эксплуатирующих средства РТОП и авиационной электросвязи:
а) изучить настоящую информацию с инженерно-техническим персоналом подразделений ЭРТОС;
б) проанализировать организацию работы и подготовку инженерно- технического персонала дежурных смен служб ЭРТОС по действиям в аварийных ситуациях;
в) провести внеочередную проверку знания инженерно-техническим персоналом службы ЭРТОС, непосредственно занятым в эксплуатации оборудования, эксплуатационной документации в части порядка действий при отказах в аварийных ситуациях, включая практические тренировки;
г) обеспечить укомплектование дежурных смен объектов ЕС ОрВД и служб ЭРТОС квалифицированным инженерно-техническим персоналом, прошедшим необходимую подготовку, на объектах с большим количеством оборудования, организовать заступление в смену не менее 2 (двух) человек;
д) провести дополнительные проверки автоматического перехода на резервные и аварийные источники электропитания с оформлением актов;
е) провести проверку автоматов защиты в ЩГП на соответствие подключенным нагрузкам, при несоответствии провести их замену;
ж) рассмотреть вопрос о необходимости внесения дополнений в инструкции по резервированию оборудования, учитывающих особенности отказа СКРС "Мегафон" 15.05.2015;
з) провести технические мероприятия для повышения надежности системы связи и передачи данных, в том числе рассмотреть вопрос об установке на рабочих местах диспетчеров УВД и персонала дежурных смен служб ЭРТОС резервных средств связи, функционирующих независимо от основных СКРС.
Руководитель
А.В.НЕРАДЬКО
