W Powszechnym Spisie Rolnym 2010 (PSR 2010) i Narodowym Spisie Powszechnym 2011 (NSP 2011) po raz pierwszy na szeroką skalę wykorzystano GIS i zasoby map cyfrowych. Przygotowanie danych dla map cyfrowych rozpoczęto w 2009 roku na ponad dwustu stanowiskach GIS wyposażonych w oprogramowanie ArcView i dedykowane aplikacje.
Zarówno w PSR 2010, jak i w NSP 2011, przy zastosowaniu GIS-u realizowano te same zadania i stosowano podobne mechanizmy ich wykonania. Poniżej, bardziej szczegółowo, zostało opisane zastosowanie oprogramowania Esri w tegorocznym Spisie.
Przygotowane dane zostały zgromadzone w Geobazie i udostępnione poprzez Centralny Serwer GIS Głównego Urzędu Statystycznego. Serwer ten, z oprogramowaniem Esri ArcGIS Server, realizował zadania w obydwu Spisach podczas:
- aktualizacji gminnej;
- obchodu przedspisowego;
- samego spisu.
Podstawę sprzętową stanowiły serwery HP typu Blade (każdy wyposażony w dwa sześciordzeniowe procesory Xeon), połączone z systemami dyskowymi o dużej pojemności i wydajności. Platforma działała pod kontrolą systemu operacyjnego Windows Server 2008 R2 Enterprise. Architektura serwera usług GIS składała się z trzech warstw: warstwy serwerów internetowych (WS), warstwy serwerów GIS (SOC) i warstwy serwerów bazy danych (SDE). Pełniły one następujące funkcje:
- trzy serwery internetowe (IIS 7.0) udostępniały usługi GIS poprzez aplikacje internetowe z zachowaniem kontroli dostępu i uprawnień użytkowników;
- sześć serwerów GIS (ArcGIS Server 10 .NET Standard Enterprise) realizowało usługi GIS w ramach opublikowanych serwisów;
- dwa serwery bazy danych (MS SQL Server 2008 R2 Standard) odpowiadały za przechowywanie i udostępnianie danych GIS.
Łącznie architektura Centralnego Serwera GIS składała się z jedenastu serwerów.
Rys.1. Fizyczna architektura ArcGIS Server Centralnego Serwera GIS
Ruch sieciowy serwerów był rozdzielany przez serwer równoważenia obciążenia sieciowego MS ISA. Infrastruktura została zaprojektowana i zbudowana w technologii HA wysokiej dostępności. W ramach serwera WS3 zostały zainstalowane redundantne komponenty tak, aby w przypadku awarii któregokolwiek z serwerów, zapewnić ciągłość dostawy usług GIS bez znacznego spadku wydajności.
Dane geograficzne dla obszaru całego kraju zostały zapisane w Geobazie Esri ArcSDE. W ich skład wchodziła ortofotomapa oraz referencyjne i operacyjne dane wektorowe.
Ortofotomapa lotnicza, składająca się z 65000 obrazów rastrowych, stanowiła największe wyzwanie dla systemu dyskowego, ponieważ jej wstępna objętość (po konwersji do struktur katalogu rastrów ArcSDE) wyniosła 4 TB. Po aktualizacji danych i zastąpieniu jednokanałowych zdjęć panchromatycznych wysokorozdzielczymi trójkanałowymi zdjęciami RGB, przestrzeń dyskowa została zajęta przez ponad 7 TB danych. Standardowy czas ładowania takiego zbioru danych wraz z optymalizacją wyniósłby kilka tygodni. Jednak czas ten został kilkukrotnie skrócony, ponieważ zastosowano autorskie podejście równoległego ładowania danych z kilku serwerów.
Referencyjne dane wektorowe (o wielkości 20 GB), w odniesieniu do ortofotomapy, nie stanowiły obciążenia dla systemu dyskowego. Z uwagi na ich charakterystykę należało jednak dokonać optymalizacji bazy danych. Na przykład warstwa działek referencyjnych, pochodzących ze zbiorów LPIS, składała się z ponad 30 000 000 obiektów poligonowych. Operacyjność takiej warstwy uzyskano przez zoptymalizowanie indeksów przestrzennych i atrybutowych. Dodatkowo w skład danych referencyjnych weszły dane z Państwowego Rejestru Nazw Geograficznych – 100 000 obiektów; warstwa Dróg i Ulic – 1 000 000 obiektów i dane podziału administracyjnego Państwowego Rejestru Granic. Warto zaznaczyć, że geometria pojedynczych obiektów może składać się nawet z kilkudziesięciu tysięcy wierzchołków, np. obiekt „województwo mazowieckie” to 37 000 wierzchołków.
Ponadto w bazie zgromadzono 6 GB danych operacyjnych, które były na bieżąco odświeżane podczas aktualizacji gminnej. Składały się z graficznych reprezentacji rejestrów BREC (obwody spisowe – 184 000 obiektów i rejony statystyczne – 34 000 obiektów) i NOBC (punkty adresowe – 5 700 000 obiektów).
Baza ta stanowiła podstawę do wygenerowania przez program ArcGIS Server map cyfrowych i dostarczenia innych usług GIS do aktualizacji gminnej, obchodu przedspisowego i samego spisu, zarówno podczas PSR i NSP. W ramach obchodu przedspisowego oraz w czasie spisu, mapy ArcGIS Server były używane w aplikacjach dyspozytorskich oraz w 18 000 urządzeń PDA rachmistrzów. Największe obciążenie dla systemu stanowiło jednak zadanie aktualizacji gminnej, podczas której weryfikacji (za pośrednictwem aplikacji internetowej) podlegała baza punktów adresowych. Dla zadania Aktualizacja Gminna system został wyskalowany tak, aby mógł obsługiwać jednoczesną pracę 5000 użytkowników (po dwie osoby z każdej gminy). Użytkownikom musiał być zapewniony unikalny autoryzowany dostęp. Każdy z nich miał pracować wyłącznie w swoim wyznaczonym obszarze. Dodatkowo, w przypadku awarii, przerwa w dostawie usługi nie mogła być dłuższa niż 10 minut.
Rys.2. Aplikacja internetowa „Aktualizacja Gminna”
Aplikacja internetowa Aktualizacja Gminna wykorzystywała „lekkie” technologie JavaScript Api dla ArcGIS i wydajny interfejs komunikacji REST. W celu implementacji mechanizmu autoryzacji została ona opublikowana jako aplikacja .NET. Dzięki temu możliwe było zastosowanie mechanizmu .NET Forms z bazą SQL Server jako magazynu informacji o użytkownikach, hasłach i ich zasięgach przestrzennych.
Aplikację internetową Aktualizacja Gminna obsługiwało 6 serwisów, które realizowały jej poszczególne funkcje. Podział taki umożliwił przydzielenie określonych zasobów sprzętowych do realizowanych zadań i optymalizację wydajności systemu. Do zabezpieczenia serwisów przed nieuprawnionym dostępem użyto mechanizmu „token”. Dla uzyskania optymalnej wydajności zastosowano „cache” map referencyjnych i renderowanie danych operacyjnych po stronie użytkownika – z wykorzystaniem Feature Service. Mapowe serwisy dynamiczne zastosowano wyłącznie do funkcjonalności drukowania. Edycja danych aktualizowanych punktów adresowych odbywała się w najnowszej technologii REST Api Feature Service.
W ciągu trzech tygodni aktualizacji gminnej, serwery zrealizowany ponad 160 000 000 zapytań, z czego około 100 000 000 zapytań do serwerów GIS. W wyniku aktualizacji zweryfikowano 5 700 000 istniejących punktów adresowych i dodano do bazy danych ponad 250 000 nowych punktów adresowych.