KZTMBH12-LLD (1)

ЗАО «AMT ГРУП» АО «Казахтелеком»

Использование данного механизма на сложносоставных каналах связи не целесообразно.

8.3.2 ПРОТОКОЛЬНЫЕ СОСЕДСТВА

Протоколы MPLS LDP, IS-IS и BGP имеют встроенные механизмы обнаружения соседей и определения их доступности. Однако, обычное время обнаружение потери соседства исчисляется секундами или десятками секунд, что является неприемлемым. Повышение частоты обмена сообщениями приводит к непропорциональному росту нагрузки на модули управления, поэтому данные механизмы не используются для обнаружения отказов каналов связи.

8.3.3 ПРОТОКОЛ ОПРЕДЕЛЕНИЯ ДВУСТОРОННЕЙ СВЯЗНОСТИ

BFD

Протокол BFD используется для быстрого обнаружения потери двусторонней связности на сложносоставных каналах связи, например, каналах связи построенных на основе технологии DWDM или L2VPN.

В рамках проекта построения сети МВН протокол BFD используется на каналах связи между городами Алма-Ата и Астана между устройствами MASG/AGG. Протокол BFD используется совместно с протоколом IS-IS. Для этого используются следующие настройки:

router isis core interface TenGigE0/0/0/2 bfd minimum-interval 50 bfd multiplier 3

bfd fast-detect ipv4

Протокол BFD не используется совместно с протоколом BGP, так как это не имеет смысла: протокол IS-IS обеспечивает быструю сходимость и достижимость интерфейсов Loopback, которые используются для построения соединений BGP.

8.4 МЕХАНИЗМЫ ОБРАБОТКИ ОТКАЗОВ

В рамках построения сети МВН используются следующие механизмы обработки отказов:

—улучшение протокольных таймеров;

—использование механизма предпросчёта топологии Loop-free alternate;

—использование механизма предпросчёта лучших путей BGP Prefix Independent convergency.

8.4.1 УЛУЧШЕНИЕ ПРОТОКОЛЬНЫХ ТАЙМЕРОВ

Протокол IS-IS является основным протоколом нахождение наилучших путей в сети МВН. По умолчанию, протокол IS-IS использует значения, устанавливаемые стандартами, но далёкие от наилучших.

В рамках проекта используются следующие изменения в настройках протокола

IS-IS:

—увеличение срока жизни LSP и времени их пересоздания;

—уменьшение времени ожидания перед первым и вторым пересчётом

топологии после получения сведений о её изменении до 5 мс, наибольшее время ожидания 200мс.

Данные изменения применяются на устройствах MASG/AGG и Pre-AGG. Устройства CSG подключаются только одним каналом связи и не имеют запасных путей, следовательно применение улучшений возможно, но на данном этапе построения сети МЫН не даёт никакой выгоды.

На устройствах MASG/AGG используются следующие настройки:

router isis core

lsp-gen-interval maximum-wait 200 initial-wait 5 secondary-wait 5 lsp-refresh-interval 65000

max-lsp-lifetime 65535 address-family ipv4 unicast

spf-interval maximum-wait 200 initial-wait 5 secondary-wait 50

На устройствах Pre-AGG используются следующие настройки:

router isis core fast-flood max-lsp-lifetime 65535 lsp-refresh-interval 65000 spf-interval 5 50 200 prc-interval 5 50 200 lsp-gen-interval 5 5 200

На устройствах CSG используются следующие настройки:

router isis access fast-flood max-lsp-lifetime 65535 lsp-refresh-interval 65000 spf-interval 5 50 200 prc-interval 5 50 200 lsp-gen-interval 5 5 200

8.4.2 LOOP-FREE ALNERNATE

Механизм Loop-Free Alternate позволяет уменьшить время ответа на отказ за счёт исключения времён на нахождение новой беспетлевой топологии и программирования аппаратной части устройств. Данный механизм применяется только там, где устройства имеют параллельные пути, то есть на устройствах

MASG/AGG и Pre-AGG.

Настройки механизма сводятся к включению его для выбранного процесса маршрутизации и указания префиксов, для которых выполняется расчёт потенциальной беспетлевой топологии. В рамках построения сети МВН используется нахождение потенциальной беспетлевой топологии для всех префиксов ISIS и интерфейсов данного процесса маршрутизации.

На устройствах MASG/AGG используются следующие настройки:

router isis core

!

interface TenGigE0/0/0/10 address-family ipv4 unicast

fast-reroute per-prefix

На устройствах Pre-AGG используются следующие настройки:

router isis core

fast-reroute per-prefix level-1 all

8.4.3 BGP PREFIX INDEPENDENT CONVERGENCE

Механизм BGP Prefix Independent convergency позволяет уменьшить время переключения с одного BGP-соседа на другого в случае недоступности первого. Данное уменьшение обеспечивается за счёт вычисления для заданного префикса запасных путей через других соседей BGP.

В рамках построения сети МВН механизм BGP Prefix Independent convergency используется на устройствах MASG/AGG и устройствах Pre-AGG. На устройствах CSG применение данного механизма не даёт никакой выгоды, так как они имеют только одно соединение BGP.

На устройствах MASG/AGG используются следующие настройки:

router bgp 9198 address-family ipv4 unicast additional-paths receive additional-paths send

additional-paths selection route-policy add-path-to-ibgp

!

address-family vpnv4 unicast

additional-paths selection route-policy add-path-to-ibgp

!

route-policy add-path-to-ibgp

set path-selection backup 1 install end-policy

На устройствах Pre-AGG используются следующие настройки:

cef table output-chain build favor convergence-speed

!

router bgp 9198 address-family ipv4

bgp redistribute-internal bgp additional-paths receive

На устройствах CSG используются следующие настройки:

router bgp 9198

address-family ipv4

bgp additional-paths install

8.5 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ РАСПРОСТРАНЕНИЯ ОПОРНОЙ ЧАСТОТЫ И ТОЧНОГО ВРЕМЕНИ

8.5.1 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ ПРИ ПЕРЕДАЧЕ ОПОРНОЙ ЧАСТОТЫ

Надёжность при передаче опорной частоты достигается за счёт использования нескольких источников опорной частоты и нескольких путей её доставки. Источниками опорной частоты являются устройства MASG/AGG, потребителями устройства CSG, промежуточными устройствами - устройства Pre-AGG.

Надёжность предоставления опорной частоты должна быть обеспечена для устройств CSG, как устройств подключения конечных потребителей. Однако, сами устройства CSG не имеют возможности получать опорную частоты несколькими независимыми путями. Следовательно, единственной точкой приложения механизмов отказоустойчивости являются устройства Pre-AGG.

Каждое устройство предукрупнения (Pre-AGG) подключается к обоим устройствам MASG/AGG своего города, следовательно устройство имеет два разных источника и пути получения опорной частоты. Выбор основного источника опорной частоты и обеспечение переключения осуществляется на основе состояния интерфейса и сообщений SSM. Для включения автоматического выбора лучшего или доступного источника опорной частоты используются следующие настройки:

network-clock revertive

network-clock synchronization automatic network-clock synchronization mode QL-enabled network-clock hold-off 1800 global

network-clock input-source 10 interface TenGigabitEthernet0/1/0 network-clock input-source 5 interface TenGigabitEthernet0/0/0 network-clock wait-to-restore 600 global

esmc process

8.5.2 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ ПРИ ПЕРЕДАЧЕ ТОЧНОГО ВРЕМЕНИ

Надёжность при передаче точного времени достигается за счёт использования нескольких источников точного времени и нескольких путей его доставки. Источниками точного времени являются устройства MASG/AGG, потребителями являются устройства CSG, промежуточными устройствами - устройства Pre-AGG.

Надёжность доставки точного времени должна быть обеспечена для устройств CSG, как устройств подключения конечных потребителей. Однако, ввиду

аппаратных ограничений, устройства CSG не имеют возможности получать точное время одновременно из нескольких источников. Кроме того, идеология распространения точного времени по сети МВН предполагает, что устройства CSG получают точное время от вышестоящих устройств Pre-AGG. Следовательно, точкой приложения механизмов отказоустойчивости при передаче точного времени являются устройства Pre-AGG.

Каждое устройство предукрупнения (Pre-AGG) подключается к обоим устройствам MASG/AGG своего города и имеет возможность получать точное время от обоих устройств. Выбор основного источника точного времени и обеспечение переключения осуществляется на основе достижимости адреса вышестоящего источника, качества точного времени вышестоящего источника (clock-class) и местного для устройства Pre-AGG предпочтения источника. Для включения механизмов надёжности при выборе лучшего или доступного источника точного времени используются следующие настройки:

ptp clock boundary domain 0 hybrid clock-port Loo2_slave slave

transport ipv4 unicast interface Lo2 negotiation clock source <MASG/AGG_main_IP_addr> 2

clock source <MASG/AGG_backup_IP_addr> 1

8.6 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ ПРЕДОСТАВЛЕНИЯ УСЛУГ CES

Задача обеспечения надёжности предоставления услуг Circuit Emulation Services может быть разделена на две части:

—обеспечение надёжности стыка;

—обеспечение надёжности передачи через сеть.

8.6.1 ЗАЩИТА СТЫКА

Услуга CES имеет два стыка: один на стороне устройства CSG и второй на стороне устройства CSG или MASG.

Ни устройство CSG, ни устройство MASG не имеют средств защиты стыка, таких как, например, подключение с помощью Y-кабеля. Однако, есть возможность подключить потребителя услуги CES к двум и более устройствам и переключать поток в зависимости от их доступности или исправности. Данное переключение должно также поддерживаться потребителем услуги CES.

В рамках построения сети МВН для защиты стыка используется автоматическое переключение на запасной стык, при сбое на основном. Это обеспечивается с использованием механизма pseudo-wire redundancy, описанном в следующем разделе.

Основным стыком назначается стык на площадке ОПТС-6 между устройством alma-006001-masg-1 и сетью SDH. Запасным является стык на площадке ОПС-73 между устройством alma-073001-masg-1 и сетью SDH. Согласованно с сетью SDH основной стык находится в рабочем состоянии, тогда как запасной стык получает и передаёт сигнал CES. Соответственно, соединения pseudo-wire, связанные с данным стыком, находятся в нерабочем состоянии. При выходе из строя основного стыка или устройства в целом основные соединения pseudo-wire переходят в нерабочее состояние, а запасной стык переводится в рабочее (совместно с сетью SDH). Соответственно, происходит переключение потоков на работу через запасной стык.

Настройки поведения полностью совпадают с настройками pseudo-wire redundancy.

8.6.2 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ ПРИ ПЕРЕДАЧЕ ЧЕРЕЗ СЕТЬ

Услуга CES по своей сути является услугой AToM и, соответственно, позволяет использовать все механизмы отказоустойчивости, применимые в сети

MPLS.

Кроме механизмов надёжности несущей сети MPLS, для обеспечение надёжности может применяться подход pseudo-wire redundancy. В случае Pseudowire redundancy для каждого конечного устройства, устройства предоставления услуги CES, настраивается запасное подключение до другого соседа. Переключение происходит используя данные о состоянии или готовности основного и запасного соединений pseudo-wire.

Для включения подхода pseudo-wire redundancy на устройствах MASG используются следующие настройки:

l2vpn

xconnect group XGRCEMTEST p2p masg6csr006001

interface CEM0/7/0/0/1/1/1/1:0

neighbor <Neighbour_IP_address_main> pw-id <pw-id>

backup neighbor <Neighbour_IP_address_backup> pw-id <pw-id>

Для включения подхода pseudo-wire redundancy на устройствах CSG используются следующие настройки:

interface CEM0/0 no ip address cem 0

xconnect <Neighbour_IP_address_main> <pw-id> encapsulation mpls\ pw-class PWCEMTEST

backup peer <Neighbour_IP_address_main> <pw-id> encapsulation mpls\ pw-class PWCEMTEST

8.7 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ ПРЕДОСТАВЛЕНИЯ УСЛУГ E-LINE

Услуга E-Line по своей сути является услугой AToM и, соответственно, позволяет использовать все механизмы отказоустойчивости, применимые в сети

MPLS.

Кроме механизмов надёжности несущей сети MPLS, для обеспечение надёжности может применяться подход pseudo-wire redundancy. В случае Pseudowire redundancy для каждого конечного устройства, устройства предоставления услуги E-Line, настраивается запасное подключение до другого соседа. Переключение происходит используя данные о состоянии или готовности основного и запасного соединений pseudo-wire.

Координация переключения с основного на запасной стыки выполняется с помощью обычных протоколов устранения петель на уровне L2 - STP и его разновидностей, - так как услуга E-Line позволяет прозрачно передавать BPDU.

Для включения подхода pseudo-wire redundancy на устройствах MASG используются следующие настройки:

l2vpn

xconnect group ELINE p2p 2A901

interface TenGigE0/0/0/7

neighbor <main_IP_address> pw-id <pw-id>

backup neighbor <backup_IP_address> pw-id <pw-id> pw-class PWLINE

Для включения подхода pseudo-wire redundancy на устройствах CSG используются следующие настройки:

interface GigabitEthernet0/7 load-interval 30 negotiation auto

xconnect <main_IP_address> <pw-id> encapsulation mpls backup peer <backup_IP_address> <pw-id> encapsulation mpls

8.8 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ ПРЕДОСТАВЛЕНИЯ УСЛУГ E-LAN

Услуга E-LAN на участке «устройство CSG» - «устройство MASG» является услугой AToM и, соответственно, позволяет использовать все механизмы отказоустойчивости, применимые в сети MPLS. Кроме механизмов надёжности несущей сети MPLS, для обеспечение надёжности на этом участке может применяться подход pseudo-wire redundancy. В случае Pseudo-wire redundancy для каждого конечного устройства, устройства предоставления услуги E-Line, настраивается запасное подключение до другого соседа. Переключение происходит используя данные о состоянии или готовности основного и запасного соединений pseudo-wire.

На устройствах MASG для обеспечения надёжности предоставления услуги сущности L2-коммутации создаются на каждом устройстве. Для обеспечения связности между устройствами MASG создаются дополнительные соединения между L2-сущностями, относящимися к одной и той же услуге E-LAN. Для предотвращения петель на устройствах MASG используются механизмы maclearning и split-horizon. Координация переключения с основного на запасной стыки

исущности L2-коммутации выполняется с помощью обычных протоколов L2 - STP

иего разновидностей, - так как услуга E-LAN позволяет прозрачно передавать

BPDU.

Для включения подхода pseudo-wire redundancy на устройствах MASG в сторону устройств CSG используются следующие настройки:

l2vpn

bridge group BGLAN bridge-domain BDLAN

interface TenGigE0/0/0/7

!

neighbor <another_masg_ip_address> pw-id <pw-id> pw-class ELAN

!

neighbor <csg_1_ip_address> pw-id <pw-id> pw-class ELAN

!

neighbor <csg_2_ip_address> pw-id <pw-id> pw-class ELAN

Для включения подхода pseudo-wire redundancy на устройствах СSG используются следующие настройки:

interface GigabitEthernet0/7 load-interval 30 negotiation auto

xconnect <masg_1_ip_address> <pw-id> encapsulation mpls backup peer <masg-2-ip-address> <pw-id> encapsulation mpls

8.9 ОБЕСПЕЧЕНИЕ НАДЁЖНОСТИ ПРЕДОСТАВЛЕНИЯ УСЛУГ L3 VPN

Для обеспечения надёжности предоставления услуг L3VPN используются механизмы обеспечения надёжности несущей сети MPLS, а также возможности, предоставляемые использованием протоколов маршрутизации, таких как BGP.

Описание механизмов отказоустойчивости и обработки отказов несущей сети MPLS приведены в соответствующих разделах.

Механизмы надёжности, присущие услугам L3VPN, и используемые в рамках построения сети:

—создание нескольких точек стыка для услуги L3VPN;

—использование динамической маршрутизации на стыке с потребителями - использование протоколов BGP, а также возможность использовать протоколы EIGRP, OSPF, RIP;

— выбор различных значений параметров RD и RT для обеспечения существования в сети МВН нескольких маршрутов к одному и тому же назначению в рамках данной L3VPN.

Особые настройки отказоустойчивости не требуются.

9 УПРАВЛЕНИЕ ОБОРУДОВАНИЕМ МВН

В рамках построения сети МВН используются следующие средства управления системой и обеспечения безопасного управления системой:

—протокол удалённого сетевого терминала telnet;

—защищённые протоколы управления SNMPv3, SSH;

—использование служб Удостоверения, Уполномочивания и Учёта;

—использование разграничения доступа для администраторов системы;

—использование внутреннего и удалённого журналирования.

9.1 ОБЕСПЕЧЕНИЕ УДАЛЁННОГО УПРАВЛЕНИЯ

Передача данных управления осуществляется с использованием общей таблицы маршрутизации (GRT). В качестве адресов управления используются адреса интерфейсов Loopback0 устройств сети МВН. Также адреса интерфейсов Loopback0 используются как адрес источника для протоколов:

—Telnet;

—SSH;

—TFTP;

—FTP;

—SNMP;

—NTP;

—Syslog.

Для устройств MASG/AGG, в зависимости от условий, могут как адреса источников могут использоваться как интерфейсы Loopback0, так и Loopback 1.

На устройствах MASG/AGG используются следующие настройки:

logging source-interface Loopback0

tacacs source-interface Loopback1 vrf default snmp-server trap-source Loopback0

tftp client source-interface Loopback1 logging source-interface Loopback0

tacacs source-interface Loopback1 vrf default snmp-server trap-source Loopback0

ftp client source-interface Loopback1

На устройствах CSG и Pre-AGG используются следующие настройки:

ip ftp source-interface Loopback0 ip ssh source-interface Loopback0 ip telnet source-interface Loopback0 ip tftp source-interface Loopback0 logging source-interface Loopback0 snmp-server trap-source Loopback0

Выделенная сеть внеполосного управления не создаётся, однако все устройства сети поддерживают такую возможность.