Wat weet je al van NoSQL-databases?

Laatst kwam het voorbij in een gesprek: NoSQL-databases. Al eens wat over gehoord of gelezen? Deze manager wel, maar hij dacht dat er geen link was tussen NoSQL-databases en het ArcGIS-platform. Toen ik vertelde dat ze ook onderdeel zijn van het ArcGIS-platform nam het gesprek een verrassende wending.

 

Paradigmashift

Decennialang waren relationele databases de standaard. De laatste jaren zijn NoSQL-databases in opkomst en voltrekt zich in de IT-wereld een paradigmashift. Is er iets mis met relationele databases? Als we prof. Michael Stonebraker (MIT) mogen geloven wel. Stonebraker is een vooraanstaand computerwetenschapper en won diverse prijzen, waaronder in 2015 een IEEE-prijs voor het 10-Year Most Influential Paper.

Volgens Stonebraker zijn relationele databases achterhaald. Eigenlijk zijn het allemaal doorontwikkelingen van System R-software uit de jaren 70, dat weer is gebaseerd op hardware uit de jaren 70. Stonebraker stelt dus dat de softwarearchitectuur van de relationele databases van vandaag is geoptimaliseerd voor de hardware van eergisteren.

blog-boris-Michael-Stonebraker-esri

NoSQL-databases zijn een alternatief voor de gebruikelijke relationele databases, zoals Oracle, SQL Server en PostgreSQL. Op een aantal plekken in het ArcGIS-platform worden NoSQL-databases meegeleverd:

  • De Tile Cache Datastore (nieuw in 10.3.1) van Portal for ArcGIS gebruikt onder de motorkap Couchbase, een NoSQL-database.
  • De Spatiotemporal Datastore (nieuw in 10.4) van GeoEvent maakt onder de motorkap gebruik van ElasticSearch, een NoSQL-database.
  • De Big Datastore van GeoAnalytics (nieuw in 10.5) gebruikt onder de motorkap ook ElasticSearch.

Relationele databases hebben ook nadelen

Het is scherp gesteld, maar het klopt. Relationele databases hebben zich bewezen, maar er kleven ook beperkingen aan. Allereerst zijn ze ontworpen voor een statische wereld, waarin data strak is gestructureerd. Maar de praktijk is niet statisch en niet altijd strak gestructureerd. Het toevoegen, verwijderen of veranderen van kolommen is daardoor lastig: we zijn er zo vertrouwd mee dat we ons erbij hebben neergelegd dat dit nou eenmaal lastig is.

Verder hebben relationele databases moeite met big data. Ze zijn niet gemaakt om met echt veel data om te gaan. Ten slotte is horizontale schaalbaarheid (uitbreiden) duur en moeilijk. Hier heb je al snel een Storage Area Network (SAN) voor nodig – dit soort storage is duur en vraagt gespecialiseerde kennis.

 

NoSQL: sneller door anders denken

NoSQL-databases winnen terrein. Ze worden onder de motorkap gebruikt bij Facebook, LinkedIn en Google. Wat zijn NoSQL-databases en wat heb je eraan? Ze bieden support voor on- of semi-gestructureerde data en gaan flexibel om met wijzigingen in de structuur van de data.

En: NoSQL-databases bieden een betere performance. Een verklaring wordt vaak gezocht in het normaliseren van data, zoals gebruikelijk bij relationele databases. Door het normaliseren wordt data die bij elkaar hoort opgeslagen op verschillende plaatsen ‘op disk’. Er is al snel een join nodig om data bij elkaar te brengen die op verschillende plaatsen op de disk is opgeslagen. Zoals bekend zijn joins zware operaties. Oftewel: bij relationele databases komt er voor een eenvoudige dataraadpleging  al veel kijken.

blog-boris-nosql-esri

Goedkoop en makkelijk

NoSQL-databases slaan data anders op: bij elkaar, zodat er maar op een plek geschreven hoeft te worden. En voor het ophalen van data hoeft maar op een plek ‘op disk’ worden gekeken. De gedachte is dat NoSQL-databases juist daardoor zo snel zijn. Het is dus een heel andere denkwijze, vandaar dat er wordt gesproken over een paradigmashift.

Dit geeft te denken. Ook voor de manager die ik sprak. NoSQL-databases bieden horizontale schaalbaarheid op de hardware van nu. Gebruik daarom geen duur SAN, maar gebruik een stel dertien-in-een-dozijn computers. NoSQL-databases zijn ontworpen om daarop te kunnen werken. Daardoor is de specifieke specialistische kennis van SAN niet meer nodig (voor beheer) en leidt dat ertoe dat de uiteindelijke investering een stuk lager uitvalt.

 

Ook al bieden NoSQL-databases grote voordelen, Esri blijft relationele databases gewoon ondersteunen.

LinkedInFacebookTwitterDeel deze blogpost
Posted in ArcGIS, Databases, Esri | Tags: , , , | Plaats een reactie

Vandaag is rood

De luchtfoto 25cm is begin dit jaar beschikbaar gesteld als open data. Beeldmateriaal.nl – een samenwerking tussen een aantal gemeenten, de provincies, Rijksoverheid en de waterschappen – heeft de Luchtfoto 25cm als open data vrijgegeven. Dit beeldmateriaal is veel gedetailleerder dan de huidige luchtfoto van 50cm. Met de vrijgave van de 25cm Luchtfoto zijn we ook verblijd met een ander cadeautje: de Colour Infra Red (oftewel CIR) luchtfoto. Beide datasets zijn inmiddels door Esri Nederland als onderdeel van ArcGIS Content als weblaag beschikbaar gemaakt voor ArcGIS-gebruikers. Wat is een Colour Infra Red luchtfoto eigenlijk? En wat kun je ermee?


Een gedeelte van de CIR-luchtfoto van Nederland.
Copyright beeldmateriaal.nl, Esri Nederland

 

Kleuren krijgen een andere kleur

Colour Infra Red is een bijzonder vorm van visualisatie. Het wordt ook wel ‘false colour’ genoemd, omdat de foto er voor ons nep uitziet. De foto bestaat voornamelijk uit tinten rood en grijs, wat ons niet meteen aan het groene Nederlandse landschap doet denken. Een CIR visualiseert de kleuren die wij normaal waarnemen op een andere manier. Maar nog belangrijker, behalve de gebruikelijke RGB (rood/groen/blauw) banden van een gewone kleurenfoto, wordt ook infrarood gebruikt. Dit licht is normaal niet met het blote oog waarneembaar, maar in een CIR-afbeelding krijgt infrarood een rode kleur. Het gewone rood wordt groen, groen wordt blauw en blauw wordt zwart:

blog-cir-luchtfoto-25cm-esri-rood

 

Vegetatie analyseren

Dit heeft niet alleen een interessant effect op de afbeelding van de foto, maar het betekent ook dat bepaalde zaken er beter door te zien zijn. Door de foto te bekijken is er al veel uit halen! Met name het infrarood is belangrijk. Infrarood weerspiegelt namelijk op het chlorofyl, het groen in planten. CIR wordt daarom ook meestal gebruikt om vegetatie te analyseren. Hoe gezond is de vegetatie? Wat voor soorten bomen groeien daar? De verschillende tinten rood kunnen duiden op gezonde, snel groeiende vegetatie (veel chlorofyl is felrood) of juist zieke of dode planten (lichtroze) en het is ook mogelijk om verschillende plantensoorten te onderscheiden aan de hand van hun chlorofylwaarden. Zo hebben naaldbomen minder chlorofyl omdat ze geen bladeren hebben, en zijn dus ook minder felrood gekleurd.

 

Kunstmatige objecten

Deze eigenschap zorgde ervoor dat CIR-fotografie voor het eerst al werd gebruikt in de Tweede Wereldoorlog. Omdat het verschil tussen vegetatie en niet-vegetatie snel is te zien, kon gericht camouflagemateriaal opsporen. Behalve vegetatie kun je ook andere informatie uit een CIR-luchtfoto halen. Nu is het verschil duidelijk te zien als we bijvoorbeeld naar sportvelden kijken. In een CIR-afbeelding wordt een veld van kunstgras weergegeven met grijs, terwijl een veld van natuurlijk gras met rood is afgebeeld. Door de mens gemaakte objecten zijn namelijk vaak grijs, met de uitzondering van kunstmatige objecten die rood of blauw/groen zijn, deze worden immers als groen en respectievelijk paars aangegeven. Zo kun je zien hoe verstedelijkt een gebied is. En: is een weg verhard of onverhard? Colour Infra Red ken ik zelf al langer. In archeologie, waar ik een achtergrond in heb, wordt via CIR gekeken naar onregelmatigheden die kunnen wijzen op archeologische sites, zoals celtic fields.

blog-cir-luchtfoto-25cm-esri-rood-2
De grachten van Amsterdam in Colour Infra Red, waarbij rode daken groen worden afgebeeld. Copyright Beeldmateriaal.nl, Esri Nederland.

 

Effect op water

Wat is eigenlijk de staat van het water? Water kan verschillende kleuren hebben, wat afhangt van de diepte en de helderheid van het water. Diep, helder water, wordt in een CIR-afbeelding als zwart afgebeeld. Als het water ondiep is (en daarom de bodem nog weerkaatst wordt) of het water troebel is (en er dus veel organische deeltjes in het water weerkaatst worden), wordt dit in een CIR-afbeelding blauw.

blog-cir-luchtfoto-25cm-esri-rood-3
Water kan in een CIR-afbeelding verschillende kleuren hebben, afhankelijk van de diepte en helderheid. Copyright Beeldmateriaal.nl, Esri Nederland.

 

Nieuwe kleurverdeling

De nieuwe Colour Infra Red luchtfoto is een gedetailleerde luchtfoto, maar met een nieuwe kleurverdeling. Dit kan het eenvoudiger maken om bepaalde objecten beter te herkennen en te analyseren. Bijvoorbeeld om het landschap te analyseren, vegetatie te monitoren, wordt er gekeken naar kunstmatige (door de mens gecreëerde) elementen in het landschap. CIR wordt ook voor militaire doeleinden gebruikt, omdat kunstmatige camouflage gemakkelijk is te herkennen.

 

Heeft u de nieuwe CIR-luchtfoto al voor een project gebruikt? Laat het ons weten via content@esri.nl!

 

Klik hier voor de nieuwe RGB luchtfoto 25cm weblaag

Klik hier voor de nieuwe CIR-luchtfoto 25cm weblaag

Posted in ArcGIS, Content, open data | Plaats een reactie

IT-beveiliging is serious business

Digitale beveiliging is niet langer een technisch onderwerp. Door de technologische ontwikkelingen raakt het onderwerp digital security tegenwoordig de hele organisatie. Het beveiligingsbeleid moet daarom niet door IT, maar door de business opgesteld worden. Een goede afstemming met IT is uiteraard wel noodzakelijk. Onderwerpen als bedrijfsstrategie, enterprise architectuur en governance spelen bij het opstellen van het beveiligingsbeleid belangrijke rollen.

Digitaal leven en werken

Dat beveiliging niet langer alleen een IT-aangelegenheid is heeft drie belangrijke redenen. De eerste reden is dat ons leven de laatste jaren veel digitaler is geworden. Steeds meer werkprocessen of delen van werkprocessen worden met behulp van computers of mobiele devices uitgevoerd en het digitale werken vindt ook steeds meer zowel op kantoor als buiten in het veld plaats. IT heeft daarmee een centrale rol in de hele organisatie gekregen en is overal aanwezig. Tegelijkertijd heeft digitale technologie ook in ons privéleven een steeds grotere rol gekregen. Bijna iedereen heeft tegenwoordig een smartphone of tablet en de meeste mensen kunnen bijna overal en altijd online zijn. Beide werelden, privé en zakelijk, zijn door het gebruik van digitale technologie meer en meer verweven geraakt en door elkaar heen gaan lopen.

Het karakter van cybercrime is veranderd.

Het karakter van cybercrime is veranderd. De beveiliging is niet alleen een verantwoordlijkheid voor IT.

Malware, DDoS, hacks, social engineering

Een tweede reden is dat het karakter van cybercrime veranderd is. De manier waarop organisaties worden aangevallen is anders dan een paar jaar geleden. Voorheen hadden organisaties vaak te maken met virussen. De laatste jaren is de aandacht verschoven naar aanvallen met ransomware en naar het hacken van omgevingen. De nadruk ligt tegenwoordig minder op het beschadigen of vernietigen van gegevens en meer op het blokkeren van toegang tot gegevens en systemen of diefstal van persoonlijke gegevens. Malware – met name ransomware – vormt een steeds grotere bedreiging voor organisaties. Toegang tot bedrijfsgegevens wordt hierbij geblokkeerd door deze gegevens te encrypten. Tegen betaling van ‘losgeld’ kunnen de gegevens weer worden vrijgegeven. Ook DDoS-aanvallen nemen in aantal en omvang toe. Bij dit soort aanvallen wordt een zeer groot aantal vragen aan een systeem gesteld waardoor dit systeem door overbelasting tijdelijk onbruikbaar of ontoegankelijk wordt. Een andere grote bedreiging vormt de diefstal van enorme hoeveelheden, vaak privacygevoelige, gegevens. Via hacks verschaffen aanvallers zich toegang tot een systeem waarbij de data worden buitgemaakt. Deze gegevens kunnen later verhandeld worden of via openbare websites publiek bekend gemaakt worden. Een laatste verandering is dat het gevaar voor aanvallen niet langer vooral van buiten de organisatie komt meer in toenemende mate van binnenuit de organisatie komt. Social engineering speelt hierbij een steeds grotere rol. Via medewerkers wordt geprobeerd om op sluwe wijze toegang tot bedrijfssystemen te verkrijgen. Medewerkers worden hierbij misleid of soms zelfs gechanteerd.

Aangescherpte wetgeving

Een laatste reden dat digitale beveiliging niet langer primair een verantwoordelijkheid voor IT is, komt door de veranderde wetgeving rond dit onderwerp. Er gelden strengere regels, zoals bijvoorbeeld beschreven in de ‘Meldplicht datalekken’ en boetes voor overtredingen zijn erg hoog. Ook zijn er veel verschillende wetten en regels, zowel vanuit de landelijke overheid maar ook vanuit de EU, zoals de algemene verordening gegevensbescherming. Deze strenge regels gaan de hele organisatie aan. Iedereen heeft de plicht om op een veilige manier met privacygevoelige gegevens om te gaan en om verantwoord met digitale technologie te werken.

Voor digitale veiligheid is nieuw beleid en mogelijk zelfs een aangepaste bedrijfsstrategie nodig.

Voor digitale veiligheid is nieuw beleid en mogelijk zelfs een aangepaste bedrijfsstrategie nodig.

Beleid en bedrijfsstrategie

Digitale veiligheid is een complex onderwerp geworden, waarvoor nieuw beleid en mogelijk zelfs een aangepaste bedrijfsstrategie nodig is. De verantwoordelijkheid hiervoor ligt daarom dan ook bij de business, waardoor IT-beveiliging serious business is geworden.

 

Jack van der Horst blogt vanaf nu met regelmaat over onderwerpen binnen het thema informatiemanagement. Heeft u een vraag over informatiemanagement of wilt u reageren op deze blogpost? E-mail naar jvanderhorst@esri.nl

Het ArcGIS-platform biedt een ruime keus aan mogelijkheden om aan de specifieke wensen en eisen van een organisatie op het gebied van security tegemoet te komen. Er is daardoor ook niet één antwoord op de vraag hoe de beveiliging van een Web GIS ingericht moet worden. De specialisten van Esri kunnen helpen bij het maken van de juiste keuzes en het toepassen van best practices. 

Posted in Beveiliging | Plaats een reactie

ArcGIS Content, het nieuwe keukengereedschap

In mijn vorige blog schreef ik over een kijkje in onze keuken. Over hoe we in 5 jaar tijd zijn gegroeid van een Nederlandse topografische basiskaart naar een breed pallet aan content en alle technologische uitdagingen die daarbij komen kijken. Maar we zitten niet stil, het aanbod blijft groeien en het gebruik neemt steeds meer toe. Dat betekent dat ons platform ook moet meegroeien. Als beheerder van de omgeving voor ArcGIS Content deel ik graag met jullie waar we nu en in de nabije toekomst aan werken: zeg maar het nieuwe keukengereedschap.

Het ‘DevOps-principe’

DevOps is een inkorting van Developers Operators en het houdt de samenwerking in tussen deze twee groepen. Maar belangrijker is de samenwerking tussen verschillende disciplines. Omdat het content-team een relatief klein team is, zijn de taken al multidisciplinair verdeeld tussen de medewerkers. Nu is het beheer daar ook in opgenomen en werk ik nauw samen met de content engineers, zodat we elkaars werk goed begrijpen en elkaars keuzes kunnen begrijpen en afstemmen. Dit heeft mij heel veel geholpen bij het ontwikkelen van scripts en snellere releases van de infrastructuur en content. Dit principe sluit ook heel goed aan bij het agile werken, iets wat we al geruime tijd gewend zijn om te doen.

Veranderingen: webcaching proxy

De architectuur voor ArcGIS Content verandert drastisch. De meest voor ons in het oog springende wijziging is de introductie van een webcaching proxy. In eerste instantie gaan de basiskaarten op specifieke proxyservers geplaatst worden, zodat de achterliggende servers worden ontlast. We hebben namelijk het punt bereikt dat een dedicated cache voor de basiskaarten efficiënter is dan steeds meer servers in te zetten, waar de caches ook gepubliceerd staan. De backend blijft uiteraard nog steeds ArcGIS en de webcaching proxy is niet meer dan een kopie van de cache van de ArcGIS-server. De REST-interface, het opvragen van de offline basiskaart-packages en dynamische mapservices blijven nog steeds het domein van ArcGIS. Echter, doe je als gebruiker een verzoek naar een plaatje van een basiskaart, dan komt dit verzoek nooit bij onze ArcGIS-server terecht, maar wordt direct door de webcache afgehandeld. Voor gebruikers overigens een wijziging waar niets van te merken is, alles blijft werken zoals het werkt en net zo snel als eerst. Wellicht zelfs iets sneller.

Een webcache is overigens pas interessant bij heel veel hits. Wij verwerken per dag meer dan vijf miljoen hits op alleen de basiskaarten. Voor deze basiskaarten zetten we nu al meerdere ArcGIS-servers in. Het inrichten en onderhouden van een webcache vergt veel kennis, tijd en extra computerkracht. Bij minder belasting is een webcache simpelweg niet rendabel en is out-of-the-box ArcGIS beter te gebruiken, of gewoon ArcGIS Online.

Veranderingen: automatisch ‘uitrollen’

Een andere belangrijke verandering in de infrastructuur is het automatisch ‘uitrollen’. We gebruiken hier een zogeheten end-state configuration tool voor. Wij geven in een configuratiebestand aan wat de beoogde configuratie is en deze programmatuur zorgt ervoor dat alle servers afgestemd worden op deze beoogde situatie. Dit heeft voor ons twee belangrijke voordelen. We kunnen zeer eenvoudig een kopie van onze omgeving inrichten voor testdoeleinden en we kunnen extra servers toevoegen als de belasting toeneemt. We weten via een dergelijke end-state configuration in elk geval zeker dat alle servers identiek aan elkaar zijn. Of het nu een loadbalancer, een ArcGIS-server of een webcache is.

Dit zijn mooie ontwikkelingen die technologisch gezien erg interessant zijn. Wie mij een beetje kent, weet dat ik urenlang kan doorpraten over dit werk en hoeveel plezier ik eraan beleef. Gelukkig houdt mijn werk na het inrichten van deze veranderingen niet op: big data komt ook om de hoek kijken.

Posted in Achter de schermen, Content | Tags: , , , | Plaats een reactie

ArcGIS Content, een kijkje in de keuken

Goede basisdata is het begin van een goed geografisch informatiesysteem. Vijf jaar geleden lanceerde Esri Nederland de eerste versie van de topografische basiskaart in het Rijksdriehoekstelsel. In navolging daarvan kwamen andere basiskaarten beschikbaar en werd belangrijke open data aangeboden, zoals de BAG, BGT, BRT, postcodevlakken en demografie. Hoe zag het er de afgelopen jaren achter de schermen eigenlijk uit? Als beheerder van de contentomgeving wil ik jullie graag een persoonlijke kijk geven in onze ‘contentkeuken’.

Het prille begin

We begonnen met een basisinrichting van ArcGIS Server. Een omgeving die in een extern datacentrum stond. Vanuit die omgeving boden we een aantal basiskaarten aan. De belangrijkste gebruikers waren ArcGIS Desktop-gebruikers; maximaal enkele miljoenen hits per maand. Een groot contrast met nu, met per dag meer dan 5 miljoen hits op alle ArcGIS Content-services.

In 2012 werd ArcGIS Online geïntroduceerd. Het gebruik van de basiskaarten nam daardoor toe, want ze waren beter vindbaar. We moesten daardoor de omgeving wel uitbreiden, maar de architectuur voldeed nog. In die tijd las ik ergens dat een goede beheerder zo min mogelijk te doen heeft (dan is tenslotte alles up-and-running). Dat was van toepassing op die tijd: het beheer was nog eenvoudig.

Wat er veranderde met het AHN

2014 was een omslagpunt: het Actueel Hoogtebestand Nederland (AHN) werd vrijgegeven. Dit betekende het einde van de eenvoud van onze ArcGIS Server-omgeving met alleen basiskaarten. De toevoeging van het AHN zou alle lucht uit de servers persen met grote risico’s op storingen.

Met de opgedane kennis uit het verleden gingen we terug naar de tekentafel. Betrouwbaarheid en snelheid waren het credo. In de praktijk betekende dit een veelvoud aan servers, alles redundant uitgevoerd en verspreid over twee datacenters. De infrastructuur was hiermee klaar om de groei in gebruik verder te blijven faciliteren.

Leren van de Esri ANP Verkiezingskaarten

Hoewel de nieuwe omgeving op verschillende scenario’s was voorbereid, volgde al snel een leerzaam traject: de verkiezingen. Een relatief eenvoudige kaart visualiseerde realtime per gemeente de verkiezingsuitslag. Veel nieuwssites plaatsten deze kaart, waarmee er direct een groot bereik was. Dit ging om duizenden hits per seconde. We moesten snel bijschalen… en nog meer bijschalen qua hardware. Een uitzonderlijke situatie, maar ook dan moet de kaart blijven werken.

Met alle ervaringen zijn we continu bezig om de contentomgeving te monitoren, slimmer in te richten en te automatiseren. Door de aanwezige redundantie in de infrastructuur is er altijd wel voldoende capaciteit. Zelfs als er een server uitvalt. Er vielen begin vorig jaar op één moment zelfs meerdere servers uit. Graafwerkzaamheden zorgden voor meerdere glasvezelkabelbreuken bij één van de datacentra. Wij weten van die situatie, maar gebruikers van onze kaarten hebben het nooit gemerkt.

Blijven groeien

We zitten niet stil. Dat kan ook niet, want elk jaar blijft het gebruik van ArcGIS Content verdubbelen. Als beheerder vind ik het fantastisch om bij te mogen dragen in het groeien van deze omgeving. De groei blijft onze verwachtingen overtreffen. Het contentteam zelf groeit ook mee, het aanbod groeit mee en de hoeveelheid gebruikers groeit mee.

Ik ben er trots op dat we een robuuste omgeving aanbieden, waarin we gebruikers kunnen faciliteren met een rijke hoeveelheid content en de uitval van servers gewoon kunnen opvangen. En achter de schermen werken we alweer aan de volgende uitbreiding van de back-end, zodat we de betrouwbaarheid en snelheid van ArcGIS Content blijven waarborgen.

Posted in ArcGIS, ArcGIS Online, Content, Support | Tags: , , , , , | Plaats een reactie