Prípadová štúdia · Telekomunikácie

RCA – Root Cause Analysis

Kontext

RCA je rozšírením aplikácie SIA, ktorú prevádzkujeme v Orange Slovensko. Zatiaľ čo SIA vyhodnocuje dopad sieťových prvkov na služby a zákazníkov, RCA otáča otázku naopak: zo zoznamu postihnutých zákazníkov a ich služieb hľadá, čo majú spoločné v topológii siete – napríklad zdieľaný optický kábel, ktorý je po prerušení pravdepodobným miestom poruchy. RCA bola pôvodne nasadená na podporu služieb FTTH (Fiber To The Home).

JavaSpring StackPostgreSQL
Nájdenie spoločného prvku
Nájdenie spoločného prvku
Vizualizácia pravdepodobnej hlavnej príčiny
Vizualizácia pravdepodobnej hlavnej príčiny
Vizualizácia pravdepodobnej hlavnej príčiny
Vizualizácia pravdepodobnej hlavnej príčiny
Definícia problému a cieľ

Počas neplánovaného výpadku siete čelí operátor zvyčajne veľkému množstvu alarmov, mnohým postihnutým zákazníkom a početným sťažnostiam v dôsledku nefunkčnosti služieb. Identifikácia hlavnej príčiny je často zložitá: pri službách FTTH môže problém spočívať v aktívnom sieťovom prvku, ako je Optical Line Terminal (OLT), alebo v pasívnej infraštruktúre. Ak zlyhá OLT, systém zvyčajne vygeneruje alarm, ktorý umožňuje priamu identifikáciu. Prerušenie optického kábla však spravidla nevyvolá žiadne alarmy viazané priamo na samotný kábel – iba veľký počet odpojených zákazníkov – takže operátor len ťažko určí presnú príčinu.

Cieľom RCA je automaticky identifikovať najpravdepodobnejší sieťový prvok zodpovedný za výpadok a prezentovať výsledok v prehľadnej a použiteľnej forme.

Odvetvie
Telekomunikácie
Kompetencie
Integrácia údajovDátové modelovanieMikroslužbyDistribuované aplikácieSpracovanie veľkého objemu dát
Technológie
JavaSpring StackPostgreSQLApache LuceneVueVuetifyNeo4jChevrotain

Výzvy

SIA už bola integrovaná do ekosystému Orange – do inventárnych systémov a systémov správy siete pre siete RAN, DWDM, MW, SDH a IP – a poskytovala pravidelne aktualizované a korelované inventárne a konfiguračné dáta. Nájdenie skutočnej hlavnej príčiny výpadku si však vyžadovalo zásadne odlišný prístup k analýze topológie siete.

  1. Automatizovaná detekcia postihnutých zákazníkov

    Aby sme dokázali zoznam postihnutých zákazníkov generovať automaticky, museli sme sa integrovať so systémom správy porúch Zabbix a spoľahlivo previesť vyvolané alarmy na množinu zákazníkov a služieb, ktoré sa za nimi skrývajú.

  2. Zoskupovanie zákazníkov so spoločnou hlavnou príčinou

    Nie každá dávka alarmov patrí k jedinému výpadku. Implementovali sme vlastné algoritmy, ktoré zoskupujú zákazníkov so spoločnou pravdepodobnou príčinou – ak alarmy pochádzajú z rôznych regiónov alebo majú výrazne odlišné časové značky, systém spustí samostatné analýzy hlavnej príčiny.

  3. Prezentácia výsledku v použiteľnej podobe

    Výstup musel byť prezentovaný v používateľsky prívetivom rozhraní, ktoré operátorom pomáha rýchlo identifikovať najpravdepodobnejšiu príčinu výpadku a konať – bez nutnosti študovať surové dáta o topológii.

Riešenia

Výpadky možno odhaliť buď prostredníctvom sťažností zákazníkov, alebo cez alarmy v systéme správy porúch, preto RCA podporuje oba vstupné body a odtiaľ preberá celý proces.

Dva spôsoby spustenia analýzy

Implementovali sme dve vstupné metódy: manuálne zadanie identifikátorov zákazníkov a automatizovanú integráciu so systémom Zabbix cez REST API, ktorá získava zoznam postihnutých zákazníkov priamo z vyvolaných alarmov.

Nájdenie spoločného prvku

Algoritmy RCA analyzujú celú cestu pripojenia každého postihnutého zákazníka a hľadajú prvky spoločné pre všetky cesty. Pri skupine FTTH zákazníkov to typicky odhalí spoločný optický kábel, ktorý je najpravdepodobnejším miestom poruchy.

Nájdenie spoločného prvku

Vizualizácia pravdepodobnej hlavnej príčiny

Vizualizačná vrstva zvýrazňuje zdieľané segmenty v topológii siete a zobrazuje počet postihnutých zákazníkov pre každý segment. Operátor tak dokáže rýchlo lokalizovať najpravdepodobnejší úsek pasívnej optickej siete, kde k poruche došlo – napríklad prerušenie optického vlákna – a vyslať terénny tím na správne miesto.

Základné funkcie

  • Integrácia údajov
  • Dátové modelovanie
  • Mikroslužby
  • Distribuované aplikácie
  • Spracovanie veľkého objemu dát
Je to pre vás?

Pri výpadku dostávate alarmy. Potrebujete príčinu.

RCA hľadá pre Orange Slovensko najpravdepodobnejší chybný sieťový prvok, pričom vychádza zo zasiahnutých zákazníkov. Rovnaký problém vzniká všade, kde sa jedna porucha prejaví ako stovky symptómov.

  • Telekomunikačné a FTTH siete
  • Distribúcia energie
  • IT a prevádzka dátových centier
  • Distribučné siete
Poznáte to?

0 z 5 poznáte

Ako by sme začali

  1. Napojiť zdroje porúchAlarmy z monitoringu a hlásenia zákazníkov ako vstupy. V Orange Slovensko: systém správy porúch Zabbix a ručné zadanie identifikátorov zákazníkov.
  2. Nájsť, čo majú zasiahnutí spoločnéAlgoritmy, ktoré zoskupia zákazníkov s pravdepodobne spoločnou príčinou a hľadajú spoločné prvky v topológii.
  3. Ukázať pravdepodobnú príčinuSpoločné úseky a počet zasiahnutých zákazníkov zvýraznené v topológii, pripravené pre tím v teréne.
Záplava alarmov pri výpadku?

Povedzte nám
o svojom projekte

Opíšte, čo chcete vybudovať. Do 24 hodín sa vám ozveme s návrhom ďalších krokov.

Potrebujete viac informácií?

Obráťte sa priamo na našich projektových manažérov, radi vám povedia viac.

Romana Kovalová