Big datafloden: Hur nederländska vatten försöker att vända

Nederländerna är ett par månader in sitt årslånga Digital Delta big data forskningsprojekt. När systemet slutar i juni 2014 bör det ge holländare med svar om hur man handskas med de uppgifter som pumpas ut av deras vattensystem – och pengarna strömmar in det.

En störtflod av data

Socialt företagande, Linkedin avslöjar sin nya blogging plattform, stora datamängder, är detta en ålder av Big OLAP,? Big Data Analytics, DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap, stora datamängder, MapR grundare John Schroeder steg ner, COO för att ersätta

Med 55 procent av befolkningen i Nederländerna lever under hotet om översvämningar, är vatten förståe nära hjärtan holländarna.

Deras regering tar också det på allvar, spendera € 7 miljarder ($ 9.5bn) årligen hantera vatten och ett nätverk av gångar eller vallar, kanaler, slussar, hamnar, dammar, floder, stormspänningshinder, slussar och pumpstationer. Denna kostnad kan stiga till så mycket som € 9 miljarder ($ 12,2 miljarder) till 2020.

På grund av den potentiella inverkan av översvämningar – och torka – på den nederländska befolkningen och ekonomin, myndigheterna köra en sofistikerad vattenledningssystem, ständig övervakning och modellering för att förstå och förutse biverkningar.

Enligt Raymond Feron, programdirektör för Digital Delta vid det nederländska ministeriet för vatten (det Rijkswaterstaat), den Dyke Data Service Center databas enbart hanterar 2 petabyte (PB) av sensordata årligen, medan en typisk vatten projektledning – av vilka det finns upp till 100 – kan enkelt generera 10TB till 30 TB av strukturerad och ostrukturerad information.

Så det är ett vattensystem som bara inte kan hjälpa generera data. Problemet är att det finns lite konsekvens i sin samling och på grund av de volymer, hitta relevant information är svårt.

“Detta projekt kombinerar och samverkar med andra projekt som kommer att generera denna information. Det är inte i sig ett data generationens program. Men vad vattensektorn i Nederländerna kommer att gynnas är att kunna välja relevanta data för ditt syfte snabbt. jag är inte ute efter stora uppgifter men för små, relevanta uppgifter “, säger Feron.

Problemet är, är den mängd data växer utan någon kontroll, säger Feron, eftersom nyare, billigare sensorteknik läggs till konventionella metoder för uppgiftsinsamling.

Data som genereras om verksamheten av människor och döda ting på en massiv och ökande skala. Vi undersöker hur mycket data är inblandad, hur mycket kan vara användbar, vilka verktyg och tekniker finns tillgängliga för att analysera den, och om företagen verkligen komma till rätta med stora uppgifter.

Vi ser en förändring i tänkande. Vi brukade ha välkontrollerade övervakningsprogram för enkelsidiga, strikt-styrning, hög datakvalitet “, säger Feron.” Vi ser en övergång till öppen, flexibel, multi-purpose, typ multisensor för övervakning. Denna förändring ger en exponentiell förändring i data med en blandning av låg- och hög kvalitet och mångsidiga uppgifter.

Du kan sätta mycket billiga sensorer i infrastrukturen och dessa sensorer kommer att spotta ut enorma mängder data. I verksamhetsprocesser vatten-förvaltning, vi är inte vana vid att få dessa nya typer av data, som kan vara lägre kvalitet än vi är vana vid, men ger dig en bredare geografisk vy.

Ett av syftena med den digitala Delta-projektet, som är ett samarbete mellan Rijkswaterstaat, IBM, lokala vattenmyndigheten Delfland, den Deltares Science Institute och Delft University of Technology, är att upprätta ett centralt register av datakällor, som kommer att byggas av IBM.

Tanken är att bättre integrerad information gör det möjligt för myndigheterna att förutse katastrofer och minska kostnaderna för hantering av vatten med upp till 15 procent.

Till exempel, Feron citerar selektiv användning av sensorer i vallar som ett sätt att göra mer korrekta beslut utgifts.

“Vi väljer ett par platser och se om denna nya sensorteknik, mäter alla typer av nya saker i och på vallen, kan samla in information för en bättre utformning av en ny vall infrastruktur”, sade han.

Det är ett exempel som direkt sparar pengar. Om du gör bra sensoring för ett eller två år och kan bevisa det är inte nödvändigt att göra något, då du spara pengar för infrastruktur och du kan spendera den på en annan plats. Dessa nya sensorer är inte avsedda just nu att ersätta befintlig övervakning, så det är inte en verkningsgrad operation för övervakning.

Projektets mål ingår att främja samarbetet mellan nationell och regional nivå, kommuner och städer med förbättrade förbindelser mellan de olika datainsamlingsprocesser.

“Den grundläggande drivkraften för regeringen är att hålla nyskapande i färd med vattenförvaltningen. Men detta är inte ett stort IT-projekt. Vi fokuserar på resultat och inte tekniken,” underhåller Feron.

“Vi tittar på offentlig-privat forskning och hur stora företag som IBM kan arbeta med små företag Vi skulle vilja se vattnet disciplin interagera bättre med andra discipliner -. Så jordbruk, miljö, stadsplanering och trafik”, tillägger han .

Big data: En översikt

Enligt Feron, gör stora datamängder i det nederländska systemet inte enbart har sitt ursprung från insamlingen levande data, men också från de hydrologiska modeller som utvecklats av Deltares.

Forskningen tittar på olika arkitekturer som kan öppna upp alla nya och gamla data så att den kan delas lättare och nya användare kan hitta den.

“Dessa modeller används för att användas för att fatta beslut och för planering och prognoser, men nu spotta de ut enorma mängder av produktionen och denna modell utgång är de nya indata för andra processer”, sade han.

Utgången är flera gånger större än de data som du lägger in i modellen så det finns en exponentiell tillväxt. Som kan användas i andra discipliner – vindkraftspark planering i Nordsjön eller jordbruk eller stadsplanering – och sedan kommer att användas av andra typer av experter som inte kan vara säker på dess ursprung – är det verkliga data eller modelldata?

Det är stora problem med data som denna som gör större öppenhet och standardisering en nyckelfråga för den digitala Deltaprojektet.

“De säger,” Vi ska öppna upp våra data “, men databasen i Rotterdam är helt annorlunda till databasen i Amsterdam eller en mindre stad. Vad du vill se en viss samverkan mellan dessa databaser om de är öppna upp till privata parter eller allmänheten. det måste vara något som sammanbinder att en mer effektiv användning av alla tillgängliga uppgifter “, säger Feron.

Forskningen tittar på olika arkitekturer som kan öppna upp alla nya och gamla data så att den kan delas lättare och nya användare kan hitta den.

“Under de senaste 10 åren har vi infört alla typer av standarder – kanske alltför många standarder Vi har välbetalda människor tänker på IT-arkitekturer Vi bygger alla typer av nya verktyg och plattformar men vi tror fortfarande -.. Och detta är den huvudsakliga forsknings fråga -. det kan finnas vissa ytterligare IT-infrastruktur över standarder och arkitekturer Men vi är inte säker på vad det är “, säger Feron.

Vi vill inte att det ska vara för tung eller komplicerad. Frågan är vad vi behöver extra? Är det bara några regler, eller ett slutförvar, eller är det en mycket komplex Enterprise Server buss?

Linkedin avslöjar sin nya blogging plattform

Utfall, inte tekniken

Är detta en ålder av Big OLAP?

DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap

MapR grundare John Schroeder steg ner, COO för att ersätta