Полигон испытаний ПТК АСУ ТП в режиме «Информационный шторм»

Стандарт МЭК 61850 играет важную роль в создании «цифровой подстанции» и «интеллектуальных сетей», обеспечивая унифицированную платформу для доступа и обмена информацией между микропроцессорным (МП) оборудованием различных производителей.

Основным преимуществом систем на базе МЭК 61850 является то, что комплексы, удовлетворяющие этому стандарту, обеспечивают более высокую скорость и безопасность передачи информации по сравнению с традиционными [1]. Взаимозаменяемость отдельных компонентов системы достигается за счет стандартизации протоколов передачи данных, а также за счет выполнения жестких требований по совместимости оборудования. Многие части стандарта уже широко используются на объектах энергетики, но до сих пор являются предметом широких дискуссий: мнения разделяются от горячего одобрения до крайнего скепсиса в отношении необходимости применения данной технологии. Тем не менее, всё больше объектов энергетики в России строится с применением стандарта МЭК 61850. Основной вопрос, который интересует конечного заказчика, – это совместимость оборудования разных производителей между собой и их корректная работа в единой информационной сети, устойчивость данных комплексов к информационным перегрузкам [2].

В конце 2011 года введен в действие стандарт организации ОАО «ФСК ЕЭC» СТО 56947007-25.040.40.112-2011, в котором приводятся требования, предъявляемые к программно-техническим комплексам (ПТК) и микропроцессорным комплексам систем сбора и передачи информации (МПК ССПИ) в режиме повышенной информационной нагрузки -«Информационный шторм» [3]. Для проведения различных испытаний в соответствии с данным стандартом в г. Чебоксары был создан испытательный полигон «Шторм», краткое описание которого и первые результаты выполненных работ приведены ниже.

Цель создания испытательного полигона: проведение комплексной проверки устойчивой работы контроллеров, МП устройств релейной защиты и автоматики (РЗА) и ПТК автоматизированных систем управления технологическими процессами (АСУ ТП) в режиме повышенной информационной нагрузки и информационного всплеска.

Задачи, поставленные при выполнении испытаний на полигоне:

• проверка соответствия стандарту МЭК 61850 и корректной совместной работы МП РЗА, контроллеров, сетевого оборудования и ПТК АСУ ТП различных производителей в единой информационной сети в режиме повышенной информационной нагрузки и информационного всплеска согласно СТО 56947007-25.040.40.112-2011,
• исследование целостности данных, временных задержек GOOSE-коммуникации и порога «переполнения буфера» МП РЗА и компонентов ПТК АСУ ТП (устойчивость к информационному всплеску, «GOOSE-шторму» и DDoS-атаке),
• проверка устойчивости работы коммуникационного оборудования в режиме информационного всплеска и замер времени восстановления связи при единичном отказе коммуникационного оборудования.

Структура испытательного полигона

В структуре полигона можно выделить три уровня. Верхний уровень системы, собранный на полигоне, состоит из следующих устройств:

• резервированный сервер приложений – 2 шт.,
• автоматизированное рабочее место (АРМ) оперативного персонала – 2 шт.,
• АРМ инженерного персонала – 2 шт.,
• дополнительные компьютеры имитации систем вышестоящего уровня управления.

Рис. 1: Упрощенная структурная схема испытательного полигона «Шторм»

Средний уровень ПТК АСУ ТП составляет сетевое оборудование (коммутаторы и медиаконверторы), серверы точного времени, маршрутизаторы для связи с имитаторами вышестоящих уровней управления (РДУ, ССПТИ и т.д.)

На полигоне организована оптическая резервируемая локальная вычислительная сеть (ЛВС) – два кольца стандарта 1000BaseTX, содержащая резервируемые коммутаторы станционного уровня и коммутаторы нижнего уровня. При построении сети использованы коммутаторы фирмы Ruggedcom серии RSG2200 и RSG2100. Во время проведения испытаний синхронизация всех компонентов системы осуществляется от приемников GPS/ГЛОНАСС Метроном-300 (по NTP) и Lantime М300 фирмы Meinberg (по IRIG-B).

В состав нижнего уровня полигона на данный момент времени входит следующие интеллектуальные электронные устройства (ИЭУ) с поддержкой протокола МЭК61850:

• контроллеры присоединения производства GE, Siemens, ЭКРА в количестве 15 шт.,
• терминалы РЗА, в том числе терминалы автоматики управления выключателями, производства GE, Siemens, ЭКРА – 66 шт.,

Рис. 2: Панели с терминалами РЗА

Так же предусмотрены устройства РЗА и универсальные измерители с последовательными интерфейсами передачи данных:

• терминалы РЗА БЭМП1, производства ЧЭАЗ (протокол передачи данных МЭК 60870-5-103) – 6 шт.,
• измерительные преобразователи ЭНИП-2, производства ИЦ ЭНЕРГОСЕРВИС (протокол передачи данных Modbus, МЭК60870-5-104) – 6 шт.

Рис. 3: Шкафы серверов

Между устройствами организованы следующие взаимосвязи, обеспечивающие реализацию модели энергообъекта:

• собраны три цепи аналоговых сигналов (установившийся режим, повышенная информационная нагрузка, аварийный сигнал),
• взаимосвязи между терминалами РЗА GE, ЭКРА и Siemens посредством GOOSE-сообщений и/или проводных связей,
• взаимосвязи между контроллерами ЭКРА, Siemens посредством GOOSE-сообщений и/или проводных связей.

Дополнительно физически смоделированы силовые выключатели на базе двухпозиционных электромеханических реле, контакты и катушки управления которых подключены к дискретным входам и выходам контроллеров.

Взаимосвязи между устройствами обеспечивают одновременность возникновения и протекания аварийного процесса аналогично реальным процессам, протекающим на подстанции.

Испытания в режиме информационного шторма

Понятие информационной нагрузки и стойкости к информационной нагрузке

АСУ ТП, как правило, осуществляет свою работу путём обмена информацией с устройствами нижнего уровня: терминалами РЗА и контроллерами. Объёмы информации, передаваемой за определённый промежуток времени в различных режимах, могут быть оценены количественно и, в этой работе, будут пониматься под термином «информационная нагрузка».

Особенностью систем управления подстанции является неравномерность потока сигналов с полевого уровня: в обычном режиме количество сигналов не велико, но в моменты аварийных отключений поток сигналов скачкообразно возрастает в сотни раз, поэтому введено понятие «информационный шторм», означающее лавинообразно возрастающий поток сигналов во время аварии.

Одним из главных вопросов применения МЭК 61850 является надёжность работы всей системы. На данный момент существует множество исследований по надёжности отдельных аспектов применения МЭК 61850 [2]. Однако, внимание стабильности систем АСУ ТП и связи между устройствами РЗА при повышенной информационной нагрузке на сеть передачи данных стало уделяться совсем недавно.

Способность ПТК принять и заархивировать весь поток сигналов информационного шторма, не потеряв ни одного сигнала, – называют «стойкостью ПТК АСУ ТП к информационной нагрузке».

Стойкость МП РЗА и контроллеров к информационной нагрузке – это способность микропроцессорных устройств нормально выполнять свои основные функции и корректно, без потерь передавать всю текущую информацию в ПТК АСУ ТП.

Моделирование информационной нагрузки

Испытания ПТК АСУ ТП в режиме информационного шторма – проверка работы в режиме повышенной информационной нагрузки, характерной для аварийных режимов работы подстанции. Испытания ПТК АСУ ТП производятся в двух режимах:

• повышенная информационная нагрузка,
• информационный всплеск (шторм).

Режим повышенной информационной нагрузки. Длительный режим повышенной информационной нагрузки характеризуется интенсивным потоком дискретных и аналоговых событий (выход аналоговых сигналов за пределы апертур) и предназначен для проверки производительности системы и отсутствия потерь при передаче данных.

Поток аналоговых событий создается при подаче токов и напряжений на физические входы микропроцессорных устройств (терминалов РЗА и контроллеров присоединения) «пилообразной формы»: за 20 секунд амплитуды токов и напряжений изменяются от 0,5 номинального значения до номинального значения, затем за 20 секунд – от номинального значения до 0,5 номинального значения, угол мощности составляет 30°. Создается поток объемом одно событие в секунду по каждому каналу аналоговых измерений (фазным токам и напряжениям), а так же по вычисляемым величинам мощности P, Q, S. К имитатору физических сигналов тока и напряжения подключаются 8 различных микропроцессорных устройств, формирующих поток объемом не менее 80 событий в секунду.

Поток дискретных событий формируется с использованием источника ежесекундных импульсов. Для упрощения обработки результатов эксперимента в качестве источника используется сервер точного времени с антенной GPS/ГЛОНАСС и возможностью генерации импульсов PPS (СВ-02 производства ООО НПП «ЭКРА»). Ежесекундный импульс (PPS) напряжением 220 В постоянного тока заводится на предусмотренные для этого дискретные входы микропроцессорных устройств. Фронт импульса с высокой точностью совпадает с нулевой миллисекундой каждой секунды (t0), длительность импульса составляет 100 мс. Сигнал от источника ежесекундных импульсов заводится на не менее чем 300 дискретных входов микропроцессорных терминалов.

На уровне серверов проверяется стойкость ПТК АСУ ТП к информационной нагрузке, контролируется отсутствие пропусков аналоговых и дискретных событий за фиксированный промежуток времени (не менее 5 минут). Сравнивается количество событий в отчете с ожидаемым количеством:

где  K – количество выбранных сигналов,  T – интервал времени в минутах

Дополнительно проверяются метки времени событий (передний фронт событий должен возникать в 0 мс и фиксироваться в 0±1 мс).

Режим информационного шторма. Данный режим предназначен для проверки устойчивости ПТК АСУ ТП к информационным всплескам, связанным с возникновением сложных технологических нарушений на подстанции.

Режим информационного шторма имитируется возникновением короткого замыкания на одном из присоединений подстанции, его неуспешным отключением, срабатыванием УРОВ и последующим отключением выключателей различных присоединений. В результате аварии должно происходить отключение не менее половины выключателей моделируемой подстанции и срабатывание не менее половины терминалов МП РЗА, установленных на полигоне. С точки зрения SCADA-сервера информационный всплеск будет характеризоваться формированием множества отчётов о значительном изменении аналоговых величин и большого объёма изменений дискретных состояний за короткий период времени (1-2 секунды).

Для проверки работоспособности системы в условиях информационного шторма обеспечивается отправка максимального количества сигналов от каждого терминала МП РЗА, участвующего в создании информационного шторма. Информационный шторм накладывается на длительный режим повышенной информационной нагрузки.

Рис. 4: Временной график развития аварии

Количество событий генерируемых каждым терминалом определяется внутренней логикой и функциональными возможностями устройства. Суммарное количество сигналов от терминалов РЗА составляет примерно 5000 сигналов в секунду.

Анализ результатов испытаний

После публикации методики испытаний СТО 56947007-25.040.40.112-2011, а особенно после попыток некоторых производителей пройти данные испытания, она стала подвергаться жесткой критике. Основные замечания относятся к объемам сигналов, а именно:

• объем сигналов в режиме повышенной информационной нагрузки завышен – на действующих реальных объектах количество постоянно поступающих сигналов значительно меньше,
• объем сигналов в режиме информационного шторма так же сильно завышен, а сам сценарий развития аварии – маловероятен на реальном объекте.

С этими доводами можно согласиться, если не учитывать, что методика разработана с учетом перспективного развития ПТК, которые сейчас представлены на рынке и которые будут монтироваться на объектах энергетики в ближайшие годы.  Следует отметить, что за последние годы объем сигналов, который обрабатывается современными ПТК АСУ ТП, возрос в геометрической прогрессии. Если пять-семь лет назад системы обрабатывали порядка 2500 сигналов, два года назад нормой были 5000 сигналов, то сейчас в проектах предусматривается 15000 и более обрабатываемых сигналов. В связи с этим, в ближайшие годы, возможно, придется даже увеличивать количественные параметры информационного шторма.

Во время проведения многочисленных опытов на полигоне «Шторм» нами получены интересные результаты.

Первое, ни один из испытанных нами ПТК АСУТП не прошел тест «Шторм» сходу. Не смотря на многочисленные внедрения, всем пришлось дорабатывать и оптимизировать программные модули отвечающие за сбор информации.

Второе, информационный шторм, создаваемый реальными ИЭУ, создает большую нагрузку на ПТК по сравнению с программными симуляторами. С этим результатом можно поспорить, но практические испытания дважды подтвердили это утверждение.

Мы считаем, что в реальной сети Ethernet объекта, в котором большое количество реальных интеллектуальных устройств, информационный трафик выше и не равномернее, нежели, создаваемый симуляторами. Пакеты eRSTP, SNMP, множество GOOSE коммуникаций, неожиданная переинициализация связи с ИЭУ эти параметры не учитываются программными симуляторами.

Третье, экспериментально установлены ограничения для информационной сети типа «Общий котел».

Сеть, которая никак не поделена на сегменты физически и/или на виртуальные сети (VLAN) нами названа типом «Общий котел». Для такой сети характерно, что пакеты multicast и broadcast доходят до большинства ИЭУ, что создает дополнительную нагрузку на интерфейсные платы ИЭУ.

Экспериментально установлено, что проблемы у некоторых устройств начинаются когда в сети более 85 ИЭУ. Так же, для такого количества устройств требуется большое количество коммутаторов, время восстановления дерева сети для которых (технология eRSTP и т.д.) при единичном отказе сетевого оборудования превышает допустимые по стандарту 400 мс.

Рис. 7: Анализ времени реконфигурирование сети

К сожалению, в реальности наладчики практически не настраивают сетевое оборудование, в итоге на многих подстанциях в сети типа «Общий котел» 150 и более интеллектуальных устройств. Для этих объектов в случае развития крупной нештатной ситуации вероятность потери аварийных сигналов крайне высока.

Выводы

Стандарт СТО 56947007-25.040.40.112-2011 – хороший инструментарий для оценки устойчивости работы ПТК АСУ ТП, применяемых в РФ на объектах электроэнергетики.

Рассмотренная методика может использоваться поставщиками и разработчиками ПТК АСУ ТП для оптимизации и доработки систем на соответствие современным требованиям.

По данной методике можно проводить испытания и аттестацию сетевого оборудования (коммутаторы, маршрутизаторы и преобразователи интерфейсов).

Методика нуждается в доработке в части однозначности понимания требований и критериев, а также дополнение ее новыми проверками: проверками по обеспечению кибербезопасности и устойчивости компонентов ПТК к DDoS-атакам

Список литературы

1. Аномем Ю., Ли Х., Кроссли П., Жанг Р., МакТаггерт К. / Количественная оценка надежности различных архитектур шины процесса по МЭК 61850 // Релейщик, 2012. №1. С. 48-52.
2. Шевцов М.В., / Передача дискретных сигналов между УРЗА по цифровым каналам связи // Релейщик, 2009. №1. С. 60-63.
3. СТО 56947007- 25.040.40.112-2011 Типовая программа и методика испытаний программно-технического комплекса автоматизированной системы управления технологическими процессами (ПТК АСУ ТП) и микропроцессорного комплекса системы сбора и передачи информации (МПК ССПИ) подстанций в режиме повышенной информационной нагрузки «шторм» / Стандарт организации ОАО «ФСК ЕЭС», 2011.