Big data projekt: Är infrastrukturen hårdvaran förbises?

De flesta samtal om big data kretsar kring affärsidéer, hålla varje bit av information som möjligt och upptäcka spel föränderliga insikter.

Socialt företagande, Linkedin avslöjar sin nya blogging plattform, stora datamängder, är detta en ålder av Big OLAP,? Big Data Analytics, DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap, stora datamängder, MapR grundare John Schroeder steg ner, COO för att ersätta

Men bortsett från några omvägar till lagring, är den faktiska infrastrukturen under stora dataapplikationer ofta förbises. Det bör inte vara.

Jag fångade upp med Gary Tyreman, Univa VD, att prata hårdvaruinfrastruktur och stora uppgifter. Tyreman teori är att stora uppgifter kommer att leda till mer högpresterande datorer (HPC) i företaget. Univa är ett företag som utvecklar Grid Engine, HPC programvara som ursprungligen utvecklades av Sun Microsystems.

Grid Engine kod släpptes av Sun 2001 och användes i mer än 10.000 datacenter när Oracle köpte bolaget i januari 2010. I slutet av 2010, Oracle stängt Grid Engine öppen källkod och avvecklas HPC verksamheten Sun skapat. I januari 2011, Univa anlitade kärn Grid Engine utvecklingsteam och utvecklade den. Nu konkurrerar Univa med Oracles Grid Engine.

Också, 30 stora projektdata hämtställen, Hur stor data används idag: Tre sätt, TechLines panel, T-Mobiles Christine Twiford, Arkimedes Katrina Montinola, Fords Michael Cavaretta, NASA: s Nicholas Skytland, IBM: s James Kobielus

Univa har in den stora marknadsdata som kunderna be om hjälp. Univa utvecklat den arkitektur som Archimedes, en TechLines panelmedlem, använder för sina Hadoop arbetsbelastningar.

Här är höjdpunkterna i min konversation med Tyreman

Är maskinvaruproblem förbises i alla de stora uppgifterna prata? “Jag vet inte om de glömmer eller helt enkelt inte uppskattar utmaningar”, säger Tyreman. “Hadoop noder i dag är 10 eller mindre så är det inte svårt att få det att fungera. Företagen underskattar hur mycket tid det tar att rulla i produktion och få igång.” I ett nötskal, det finns ett hopp från en Hadoop pilot att faktiskt skala den.

Vad är lösningen? Tyreman sade att kluster idag är ett sätt att få stora uppgiftsmiljöer set. Tiden måste sättas in för att konfigurera programvaran bakom infrastrukturen ställa lagring och fixa nätverksinställningar. “Om sådana konfigurationer ta två dagar är det inte en stor sak, men då är det rullas i produktion och det finns fler komplikationer”, sade han.

Varför är inte hårdvaran ersättning? Vid denna tidpunkt, är företag främst inriktad på resultatet av big data och vad som kan göras. Företag måste fokusera på resultatet, liksom vad de vill veta. Befintliga Business Intelligence verktyg måste också övervägas.

De företag som kommer att få stora uppgifter spelet ner initialt är de som redan har investerat i högpresterande datorer. “När CIO komma till den punkt där de faktiskt har att bestämma var stor datainfrastruktur går de kommer att behöva överväga hårdvara”, säger Tyreman. Företag kommer att prata med Oracle, HP, IBM och Dell för att få bästa möjliga resultat. lagringskostnader kommer att bli svårt. Big data behöver mer än några “biffiga enheter” Eftersom data forskare vill vara Packrats.

Vad ser du i området? Tyreman sade kunder har närmar sitt företag för rådgivning. “Om kunderna har en investering i HPC som är vad de utnyttja”, sade han. “Orsaken är inte hårdvaran utan operativ kompetens.” Företagen måste ta reda på hur man får data från lagringssystem från lik av NetApp och EMC till en ram Hadoop och tillbaka igen.

Är apparater ett botemedel? Apparater lösa de initiala problemen med installation och konfiguration, men tar inte upp de viktigaste frågorna med verksamhet på en pågående verksamhet. En server med fokus på stora uppgifter fungerar inte hur man skär ut för ERP skulle.

Linkedin avslöjar sin nya blogging plattform

Är detta en ålder av Big OLAP?

DataRobot syftar till att automatisera lågt hängande frukt uppgifter vetenskap

MapR grundare John Schroeder steg ner, COO för att ersätta