Fallstudie · Telekommunikation

RCA – Root Cause Analysis

Kontext

RCA ist eine Erweiterung der SIA-Anwendung, die wir bei Orange Slovakia betreiben. Während SIA die Auswirkungen von Netzwerkelementen auf Dienste und Kunden bewertet, kehrt RCA die Fragestellung um: Ausgehend von der Liste der betroffenen Kunden und ihrer Dienste ermittelt es, was diese in der Netzwerktopologie gemeinsam haben – zum Beispiel ein gemeinsames Glasfaserkabel, das nach einer Durchtrennung die wahrscheinliche Fehlerstelle ist. RCA wurde zunächst zur Unterstützung von FTTH-Diensten (Fiber To The Home) eingesetzt.

JavaSpring StackPostgreSQL
Das gemeinsame Element finden
Das gemeinsame Element finden
Visualisierung der wahrscheinlichen Ursache
Visualisierung der wahrscheinlichen Ursache
Visualisierung der wahrscheinlichen Ursache
Visualisierung der wahrscheinlichen Ursache
Problemdefinition und Ziel

Bei einem ungeplanten Netzwerkausfall sehen sich Betreiber in der Regel mit einer großen Zahl von Alarmen, vielen betroffenen Kunden und zahlreichen Beschwerden über Servicestörungen konfrontiert. Die Identifikation der eigentlichen Ursache ist oft komplex: Bei FTTH-Diensten kann das Problem in einem aktiven Netzwerkelement wie einem Optical Line Terminal (OLT) oder in der passiven Infrastruktur liegen. Fällt das OLT aus, löst das System in der Regel einen Alarm aus, der eine direkte Identifikation ermöglicht. Die Durchtrennung eines Glasfaserkabels erzeugt jedoch üblicherweise keine direkten Alarme am Kabel selbst – nur eine große Zahl von Kunden ohne Verbindung –, sodass der Betreiber die genaue Ursache nur schwer eingrenzen kann.

Das Ziel von RCA ist es, das Netzwerkelement, das den Ausfall am wahrscheinlichsten verursacht hat, automatisch zu identifizieren und das Ergebnis in einer klaren, umsetzbaren Form zu präsentieren.

Branche
Telekommunikation
Kompetenzen
DatenintegrationDatenmodellierungMikroservicesVerteilte AnwendungenVerarbeitung großer Datenmengen
Technologien
JavaSpring StackPostgreSQLApache LuceneVueVuetifyNeo4jChevrotain

Herausforderungen

SIA war bereits in das Orange-Ökosystem integriert – in Inventarsysteme und Netzwerkmanagementsysteme für RAN-, DWDM-, MW-, SDH- und IP-Netze – und lieferte regelmäßig aktualisierte und korrelierte Bestands- und Konfigurationsdaten. Die tatsächliche Ursache eines Ausfalls zu finden, erforderte jedoch einen grundlegend anderen Ansatz bei der Analyse der Netzwerktopologie.

  1. Automatisierte Erkennung betroffener Kunden

    Um die Liste der betroffenen Kunden automatisch zu erzeugen, mussten wir das Fault-Management-System Zabbix integrieren und ausgelöste Alarme zuverlässig in die dahinterstehenden Kunden und Dienste übersetzen.

  2. Gruppierung von Kunden mit gemeinsamer Ursache

    Nicht jedes Bündel von Alarmen gehört zu einem einzigen Ausfall. Wir haben eigene Algorithmen implementiert, die Kunden mit einer wahrscheinlichen gemeinsamen Ursache gruppieren – stammen Alarme aus unterschiedlichen Regionen oder weichen ihre Zeitstempel deutlich voneinander ab, startet das System separate Ursachenanalysen.

  3. Umsetzbare Darstellung des Ergebnisses

    Das Ergebnis musste in einer benutzerfreundlichen Oberfläche präsentiert werden, die Betreibern hilft, die wahrscheinlichste Ursache des Ausfalls schnell zu identifizieren und darauf zu reagieren – ohne rohe Topologiedaten studieren zu müssen.

Lösungen

Ausfälle können entweder über Kundenbeschwerden oder über Alarme im Fault-Management-System erkannt werden. RCA unterstützt daher beide Einstiegspunkte und übernimmt von dort die weitere Analyse.

Zwei Wege, eine Analyse zu starten

Wir haben zwei Eingabemethoden implementiert: die manuelle Eingabe von Kundenkennungen und die automatisierte Integration mit Zabbix über eine REST-API, um die Liste der betroffenen Kunden direkt aus den ausgelösten Alarmen abzurufen.

Das gemeinsame Element finden

Die RCA-Algorithmen analysieren den vollständigen Verbindungspfad jedes betroffenen Kunden und suchen nach Elementen, die in allen Pfaden vorkommen. Bei einer Gruppe von FTTH-Kunden ist das typischerweise das gemeinsame Glasfaserkabel, das die wahrscheinlichste Fehlerstelle darstellt.

Das gemeinsame Element finden

Visualisierung der wahrscheinlichen Ursache

Die Visualisierungsebene hebt die gemeinsamen Segmente in der Netzwerktopologie hervor und zeigt die Zahl der betroffenen Kunden pro Segment an. Der Betreiber kann so den wahrscheinlichsten Abschnitt des passiven optischen Netzes, in dem der Fehler aufgetreten ist – zum Beispiel ein durchtrenntes Glasfaserkabel –, schnell lokalisieren und das Außendienstteam zur Reparatur an die richtige Stelle entsenden.

Hauptfunktionen

  • Datenintegration
  • Datenmodellierung
  • Verarbeitung großer Datenmengen
  • Mikroservices
  • Verteilte Anwendungen
Passt das zu Ihnen?

Bei einem Ausfall bekommen Sie Alarme. Sie brauchen die Ursache.

RCA findet für Orange Slowakei das wahrscheinlich ausgefallene Netzelement, ausgehend von den betroffenen Kunden. Dasselbe Problem gibt es überall dort, wo sich ein einziger Fehler als Hunderte Symptome zeigt.

  • Telekom- und FTTH-Netze
  • Energieverteilung
  • IT- und Rechenzentrumsbetrieb
  • Versorgungsnetze
Kommt Ihnen das bekannt vor?

0 von 5 kommen Ihnen bekannt vor

So würden wir starten

  1. Fehlerquellen anbindenMonitoring-Alarme und Kundenmeldungen als Eingaben. Bei Orange Slowakei: das Fault-Management-System Zabbix und die manuelle Eingabe von Kundenkennungen.
  2. Finden, was die Betroffenen teilenAlgorithmen, die Kunden mit wahrscheinlich gemeinsamer Ursache gruppieren und gemeinsame Elemente in der Topologie suchen.
  3. Die wahrscheinliche Ursache zeigenGemeinsame Segmente und die Zahl betroffener Kunden auf der Topologie hervorgehoben, bereit für das Außenteam.
Alarmflut bei einem Ausfall?

Erzählen Sie uns
von Ihrem Projekt

Beschreiben Sie, was Sie bauen möchten. Wir melden uns innerhalb von 24 Stunden mit einem Vorschlag für die nächsten Schritte.

Noch Fragen?

Wenden Sie sich direkt an unsere Projektmanager, sie erzählen Ihnen gern mehr.

Romana Kovalová