Migracja danych elektroenergetycznych – projekt przeprowadzka

Czym jest migracja?

Migracja bazy danych to trudny i skomplikowany proces, z którym mamy do czynienia w przypadku konieczności zmiany systemu GIS z dotychczas używanego na inny. Proces ten jest tym trudniejszy, im użytkowany dotychczas system jest dojrzalszy, a dane bardziej kompletne. Projekt migracji danych często postrzegany bywa wyłącznie jako przeniesienie danych z jednej bazy do drugiej, połączone ze zmianą formatu danych.Nic bardziej mylnego. Wraz z ogromnym rozwojem narzędzi do masowego przetwarzania danych typu ETL (Interoperability, FME) zmiana formatu nie stanowi dziś problemu. Dużo większym wyzwaniem jest spójne przeniesienie danych biznesowych klienta w taki sposób, aby w nowym środowisku – systemie można je było wykorzystywać w zakładanych procesach biznesowych. Migracja jest procesem wieloetapowym, powtarzalnym, o wysokim stopniu trudności, podobnie jak proces przeprowadzki głównej siedziby firmy do nowej lokalizacji. Mamy na myśli proces o dużej skali i wpływie na funkcjonowanie całej organizacji, która jest gotowa dołożyć wszelkich starań, aby czas przestoju związany z przenosinami był jak najkrótszy.

Rys. 1. Dane energetyczne w systemie GIS

Rys. 1. Dane energetyczne w systemie GIS

Migracja danych elektroenergetycznych dla Tauron Dystrybucja W tym artykule posłużymy się konkretnym przykładem jednego z wielu realizowanych przez naszą firmę projektów tego typu – migracji danych elektroenergetycznych dla Tauron Dystrybucja. Migracja dotyczyła danych sieci elektroenergetycznej wszystkich poziomów napięć i była wykonywana z systemu źródłowego Smallworld 4.0 (SW) do autorskiego systemu Komit firmy Apator Rector, bazującego na platformie Esri. Podczas migracji wykorzystany został zestaw narzędzi autorskich stworzonych przez firmę GISonLine na platformach FME, ArcGIS/Python, ArcGIS/.Net.

Skala projektu dla Tauron była ogromna. Migracja w liczbach:

  • 33 tys. km sieci energetycznej,
  • 8 tys. stacji,
  • 300 tys. słupów,
  • 180 tys. przyłączy,
  • 18 miesięcy przygotowań,
  • 3 tygodnie przeznaczone na proces migracji.

Rys. 2. Schemat stacji SN/nN

Rys. 2. Schemat stacji SN/nN

Półtora roku przygotowań – 3 tygodnie realizacji

Charakterystyczną cechą przeprowadzki (migracji) jest dążenie do maksymalnego skrócenia czasu potrzebnego na przenosiny, tak aby okres wstrzymania działalności przedsiębiorstwa był jak najkrótszy. Proces przeprowadzki rozpoczyna się długotrwałymi przygotowaniami, podczas których planujemy i analizujemy sposób realizacji, zakres prac (przenoszonych urządzeń, dokumentów), sposób zapakowania i transportu, a także określamy, gdzie dokładnie w nowym biurze należy umieścić dany element, by po przeprowadzce jak najszybciej wznowić działalność przedsiębiorstwa.

Organizacja każdej przeprowadzki (migracji) jest ogromnym logistycznym wyzwaniem, stawiającym przed wykonawcą wiele barier. Jedną z najważniejszych stanowi konieczność przygotowania i realizacji procesu migracji (przeprowadzki) w sposób powtarzalny. Pozwoli to na ponowne uruchomienie cyklu migracji w razie stwierdzenia i poprawienia pojedynczego błędu.

Proces migracji powinien być usystematyzowany, zautomatyzowany i szczegółowo opisany w procedurach.

Biorąc pod uwagę stopień skomplikowania procesu, liczbę danych sięgającą wielu milionów rekordów oraz wysokie wymagania jakościowe, jedyną drogą do celu jest stopniowe doskonalenie procedur i mechanizmów migracji. To właśnie powtarzalność procesu ma na celu ich usprawnienie, poprzez ewolucyjne doskonalenie tworzonych narzędzi i eliminację zidentyfikowanych niedociągnięć. Po opracowaniu wszystkich narzędzi proces migracji jest testowany podczas tzw. próbnej migracji testowej na całości danych. Jest to ostatni test procesu przed jego właściwym wykonaniem. Migracja testowa ma ostatecznie potwierdzić poprawność działania narzędzi migracyjnych i je zweryfikować w reżimie czasowym zbliżonym do migracji ostatecznej. To kolejny powód, dla którego powtarzalność jest główną cechą poprawnie zaprojektowanej i wykonanej migracji. Przecież jeśli podczas przeprowadzki do nowego biura zgubimy jeden transport dokumentacji, nie oznacza to konieczności realizacji przeprowadzki od początku.

Jak spakować, przewieźć i rozmieścić w nowej lokalizacji infrastrukturę sieciową? Migracja schematów

Układem nerwowym nowoczesnego przedsiębiorstwa, niezależnie od rodzaju wykonywanej działalności, jest infrastruktura sieciowa zapewniająca komunikację pomiędzy urządzeniami. To jeden z kluczowych warunków prawidłowego funkcjonowania przedsiębiorstwa.

Dlatego bardzo ważnym zagadnieniem jest staranne udokumentowanie logicznych połączeń sieciowych jeszcze przed przystąpieniem do przeprowadzki, aby móc je odtworzyć w docelowej lokalizacji. Analogicznym zadaniem podczas migracji danych elektroenergetycznych jest migracja schematów wewnętrznych obiektów takich jak stacja lub złącze. Schematy wewnętrzne, a także sposób ich logicznego połączenia z pozostałymi elementami sieci są różnie modelowane w poszczególnych systemach (Esri, Smallworld). Stanowi to duże wyzwanie, ponieważ mając do dyspozycji różne mechanizmy modelowania sieci, musimy odtworzyć tożsamą logikę połączeń pomiędzy urządzeniami, zapewniając poprawność ciągów zasilających.

W nowej lokalizacji będziemy mieli do czynienia z nowym rozmieszczeniem pomieszczeń, z inaczej rozmieszczonymi punktami dostępu do sieci i zasilania. Kluczową kwestią z punktu widzenia funkcjonalności jest odwzorowanie logiki połączeń pomiędzy komputerami osobistymi i innymi urządzeniami przy jednoczesnym dopasowaniu tych połączeń do nowego rozkładu pomieszczeń biura. Często się zdarza, że podczas migracji dokonuje się zmian w liczbie urządzeń, np. rezygnuje się z kilku drukarek i osobnego urządzenia kserującego na rzecz jednego urządzenia wielofunkcyjnego.

Podczas migracji danych schematycznych wielokrotnie spotykaliśmy się z odmiennym modelowaniem urządzeń w systemie docelowym, wymagającym konwersji geometrii (np. w jednym systemie głowica kablowa jest punktem, a w innym linią), zmiany rozmiaru lub innego odwzorowania zależności i hierarchii pomiędzy urządzeniami. Głównym kryterium opracowania poprawnej metodyki migracji obiektów zawierających schematy jest staranne mapowanie obiektów, ich atrybutów i geometrii z uwzględnieniem wzajemnych relacji (hierarchia, kolejność urządzeń) wraz z regułami topologicznymi (poprawność połączeń, przecinanie, wspólne granice itp.). Kulminacyjnym momentem migracji jest łączenie topologii sieciowej w celu potwierdzenia i weryfikacji poprawności wykonanej przeprowadzki.

Rys. 3. Schemat stacji w systemie Smallworld i Komit

Rys. 3. Schemat stacji w systemie Smallworld i Komit

Porządki przed przeprowadzką – nie warto przenosić zbędnych lub błędnych informacji

Bezpośredni związek z zakresem migracji ma proces czyszczenia danych w systemie źródłowym. Celem migracji jest przenoszenie spójnych informacji o wysokiej jakości. Również przeprowadzka powinna być poprzedzona analizą materiałów pod kątem ich poprawności, kompletności, a także zgodności sposobu ich przechowywania z założoną hierarchią dokumentacji. W przypadku zidentyfikowanych braków lub błędów przeprowadzka jest doskonałym momentem do uporządkowania i skompletowania dokumentacji. Włączenie zespołu firmy zamawiającej do procesu uzupełnienia i czyszczenia danych sprawi, że prace będą przebiegać bardzo efektywnie. Proces migracji na bieżąco dostarcza raportów i zestawień danych wymagających czyszczenia. Są one niejako produktem ubocznym uruchamiania procedur migracyjnych, a także kolejnych migracji testowych. Pojawiają się zawsze tam, gdzie jakość danych odbiega od zakładanych reguł i standardów. W przypadku dobrze przeprowadzonej migracji, w czasie której dokonano analizy danych i zrealizowano procesu ich czyszczenia, dane po migracji mają wyższą jakość niż przed jej rozpoczęciem.

Kontrola i akceptacja

Decyzja o otwarciu biura po przeprowadzce zawsze powinna być poprzedzona procesem kontrolnym. Warto wiedzieć, jakie kryteria odbiorowe przyjąć oraz jak proces kontroli przeprowadzić. Kryteria powinny być przede wszystkim realne i mierzalne oraz dostosowane do celów biznesowych klienta, rozpoznanych przed migracją (przeprowadzką). Aby zagwarantować możliwość szybkiego podjęcia decyzji o odbiorze prac, plan kontroli jakości powinien obejmować ciągłą weryfikację produktu w trakcie jego wytwarzania. Kontrola Ilościowa powinna zweryfikować liczbę poprawnie przeniesionych obiektów i atrybutów. Kontrola geometrii natomiast powinna sprawdzić poprawność położenia przestrzennego obiektów oraz topologii, czyli wzajemnych połączeń urządzeń tworzących sieć. Kontrola logiczna ma za zadanie zweryfikować poprawność merytoryczną poszczególnych wartości atrybutowych powiązanych relacjami. Kontrola nie musi, a nawet nie powinna być wykonywana na całości danych. Wystarczy dobrze dobrana próbka statystyczna. Przecież aby skontrolować, czy dokumenty i urządzenia są poprawnie zapakowane i bezpiecznie transportowane do nowego biura, nie będziemy otwierać wszystkich kartonów we wszystkich pojazdach wykorzystywanych do transportu.

W wyniku poprawnie przeprowadzonego procesu kontrolnego powinniśmy uzyskać odpowiedź, czy jakość danych po migracji (przeprowadzce) jest wystarczająco dobra i gwarantuje realizację naszych potrzeb biznesowych oraz efektywne działanie systemu.