In de afgelopen 12-18 maanden is meer veranderd in het speelveld van BI & DWH dan in de agelopen 10 jaar! Een technologische push maakt veel discussies los over de toekomst van Business Intelligence, Data Warehousing en alle aanverwante onderwerpen (MDM, Governance, Agile, Self-service, etc.). Dit arktikel (vertaald uit het Engels) gaat in op 10 belangrijke trends voor dit jaar (2014-...) en verder.
1. Big Data en Hadoop
2. Desktop Analytics
3. Master Data Management
4. Meer aandacht voor Operational BI
5 . Meer en meer interesse in Agile BI Best Practices
6 . Mislukte BI Programma's en Projecten blijven een enorme uitdaging
7 . BI in de Cloud groeit en omarmt " Hybrid IT "
8 . Meerdere BI-tools zijn hier om te blijven
9 . Data Security is belangrijker dan ooit
10 . Groeiende Belofte van DW / BI Automation
1 . Belangstelling voor Big Data en groei voor Hadoop
We hebben allemaal veel gehoord over big data en Hadoop in de afgelopen jaren . Dit is begrijpelijk, want datavolumes blijven groeien , dataformaten blijven ontwikkelen , gegevens worden verzameld op het verhogen van tarieven , en technologieën moeten innoveren om deze veranderingen te ondersteunen op een kosteneffectieve manier . Bovendien zijn deze technologieën zeer goed op de markt gebracht; leveranciers hebben fors geïnvesteerd in het creëren van een buzz .
Een studie uit 2013 ( NewVantage Big Data Executive Survey) van 50 bedrijven en overheidsinstellingen is gebleken dat 91 procent van de managers gaf aan dat ze een groot data initiatief gepland of in uitvoering hadden. Van de ondervraagde managers gaf 88 procent aan in 2016 ruim 1 miljoen te willen investeren in Big Data . Big data is niet alleen buzz - business adoptie is aan de gang .
In dezelfde studie slechts 32 procent van de managers gemeld dat ze een grote dataoplossing productie . Net als de meeste nieuwe technologieën , de mogelijkheden zijn nog steeds niet goed begrepen door vele organisaties . Ze zijn ook moeilijk uit te voeren , mede vanwege de onrijpheid van de instrumenten en deels vanwege het gebrek aan ervaren middelen op de markt . Bovendien is de technologie bepaalde taken uitvoeren die zeer goed , maar zijn meestal niet een groothandel vervanging platform voor bestaande technologieën . Men zou kunnen zeggen dat big data is nog in de kinderschoenen , en het lijkt erop dat het opnemen van deze begrippen in de reguliere data -organisaties zal langer duren dan veel analisten aanvankelijk voorspelden , jaren geleden .
Een recente studie van data management deskundige Richard Winter heeft gewezen op het feit dat het aanbrengen van de juiste technologie voor het juiste doel een aanzienlijke invloed op de total cost of ownership voor een oplossing kan hebben . In de ene situatie , een vijfjarige vergelijking van TCO werd uitgevoerd tussen een traditionele RDBMS oplossing en een vergelijkbaar met de knop Hadoop -oplossing voor data verfijning van de sensor output van dieselmotoren . De studie heeft geleid tot een kostenvoordeel van bijna 3:01 , in het voordeel van Hadoop . In een tweede studie, echter , een vijf- jaar vergelijking werd gemaakt tussen de totale cost of ownership van een traditionele RDBMS oplossing en een vergelijkbaar met de knop Hadoop oplossing voor analyse van een grote financiële organisatie te ondersteunen . De tweede studie leverde een kostenvoordeel van bijna 3:01 , in het voordeel van de RDBMS .
Dit toont duidelijk het belang van het afstemmen van de juiste technologie om de zakelijke behoefte . Het voorziet ook in de behoefte aan evaluatierichtsnoeren tussen Hadoop en RDBMS voor elke organisatie overweegt een verandering . Criteria voor het selecteren van de juiste oplossing , of het traditionele RDBMS , Hadoop , of een hybride van de twee , moet omvatten :
· Het begrijpen van de data management en analytische eisen van de organisatie .
· Evaluatie van alle kosten van eigendom, waaronder hardware , software , ontwikkeling en ondersteuning .
· Rekening houdend met een architectuur die de sterke punten van beide platforms benut .
Een opmerkelijk bijproduct van de onduidelijkheid over welke technologie aanpak het meest geschikt is voor organisaties een recente verzachten van de BI / DW software markt. Sommige organisaties hebben ervoor gekozen om te vertragen of te verminderen hun investering in BI-technologie tot een duidelijk pad is gedefinieerd in de ruimte .
In de komende jaren verwachten we dat de rol die elke technologie speelt zal beginnen te kristalliseren , en benchmarks en vuistregels zal worden opgericht . Totdat aanvullende technologieën ontstaan die Hadoop en RDBMS -mogelijkheden combineren , verwachten we dat een hybride architectuur meest voorkomende zal zijn.
2 . Momentum Doorgaan met geheugen en Desktop Analytics
Met de opkomst van 64 - bit architecturen en de steeds dalende kosten van het geheugen , zien we een voortdurende opkomst van in-memory analyses en in-memory databases .
De afgelopen jaren hebben de snelle opkomst van in-memory analytische technologieën gezien. Hulpmiddelen zoals Tableau , IBM TM1 , Spotfire en QlikView bieden de belofte van vrijwel directe analytische respons . Dergelijke hulpmiddelen blijven zakelijke gebruikers in staat om te verkennen , te evalueren en te controleren hun gegevens met toenemende efficiëntie.
Bovendien , omdat de kosten van het geheugen blijft dalen , in-memory databases zoals SAP HANA en Oracle Exalytics hebben marktaandeel gewonnen , en het geheugen geoptimaliseerd databases, zoals Kognitio en Teradata hebben hun platforms geoptimaliseerd om efficiënt te benutten meer data in het geheugen . Dit resulteert in een aanzienlijk sneller bewerkingen databank voor gegevens die in het geheugen terwijl grotere datasets op schijf te verblijven . Deze hybride vermogen kunnen beheerders tunen van hun omgeving om hun specifieke analytische workloads tegen een gereduceerde prijs ten opzichte van in-memory databases.
In-memory analytics zal blijven evolueren en het overbruggen van de kloof tussen zakelijke gebruikers en data binnen hun onderneming. Echter, dergelijke instrumenten niet pakken inherente uitdagingen integreren , conforme en reinigende dergelijke gegevens. Hoewel zien we de trend in het geheugen databases verhogen we ook erkennen dat datavolumes neiging om de groei van geheugen overtreffen . Daarom hebben we niet voorzien van alle bedrijfsgegevens worden opgeslagen in het geheugen op elk moment snel . Integendeel, wij geloven hybride / - temperatuur -gebaseerde benaderingen ( waar vaak geraadpleegde gegevens worden opgeslagen in het geheugen , terwijl minder kritische data wordt opgeslagen op schijf) zal vaker worden aangenomen.
3 . Master Data Management als competitief voordeel
Master data management is belangrijker dan ooit , met de proliferatie van gegevensbronnen , zowel op het terrein en in de wolk en toenemende belang van het verbinden met klanten , fine-tuning producten aan hun behoeften en het beheren van leveranciers en verkopers ontmoeten . Klantgegevens name heeft verzwaren dan ooit als gevolg van de toename van het aantal kanalen dat bedrijven bieden . Daarnaast zijn sociale media interacties , sensor data en toenemende methoden van communicatie alle aangedreven een toename van de complexiteit om unieke klanten echt te begrijpen en verbinden met hen in de meest geschikte manier . Entiteit resolutie in een poging om de " gouden plaat " te bereiken is nog nooit zo belangrijk geweest .
Enabling technologies zijn al jaren aanwezig op de markt geweest , en hun capaciteiten hebben ontwikkeld om deze behoefte te voorzien . Bedrijven zoals Informatica , SAS en Stibo hebben stevige MDM aanbod, bijvoorbeeld. Ondanks de looptijd van MDM software en leveringsmethodologie , de mogelijkheid om succesvolle MDM projecten leveren nog steeds een uitdaging gebleken .
Enkele van de redenen voor deze ongerijmdheid zijn:
· MDM vereist culturele buy-in . Sponsoring door het bedrijfsleven en een klimaat van samenwerking tussen de business en IT is noodzakelijk . Toch beschouwen de meeste organisaties MDM een IT probleem. MDM -technologie , op zichzelf , is niet genoeg om het probleem op te lossen , en vele IT-only/technology-driven MDM projecten mislukken om hun gestelde doelen te bereiken .
· Om te slagen op MDM , moet men hebben geïmplementeerd op zijn minst een zekere mate van data governance - het is een voorwaarde te wijten aan de politieke uitdagingen van data ownership , overlevingspensioen en voorrang . Veel organisaties echter worstelen met zelfs de meest elementaire data governance . Als gevolg MDM neemt nooit wortel , en als dat zo is , worstelt om verder te gaan .
· Het rechtvaardigen van een MDM -project is vaak een uitdagend proces . Veel organisaties worstelen om te definiëren en articuleren van de business case voor een MDM -project . Bijvoorbeeld , het rationaliseren van de producten niet altijd leidt tot aanzienlijke stijgingen van de inkomsten of kostenbesparingen . Een goede business case is van essentieel belang om een dergelijke grote onderneming te rechtvaardigen , en aangezien de mission statement is niet altijd duidelijk of een samenstel , veel MDM projecten gaan afgezonderd.
· Het beheren van project scope is een andere uitdaging . MDM -projecten omvatten vaak talloze potentiële gegevensbronnen en data-elementen , maar de echte zakelijke waarde kan worden gerealiseerd voor een select groepje. Deze down- selectie proces kan een breedte van belanghebbenden te betrekken en het is niet altijd een triviale proces om tot een consensus te bereiken . De tendens is dus een breder bereik van elementen dan kan effectief worden beheerd omvatten . Dit levert een hoger - dan - ideale risico project .
Alle bovenstaande uitdagingen kunnen worden overwonnen . Als de extractie van de waarde van de gegevens komt naar voren als een hoeksteen doelstelling voor organisaties , de essentiële zichtbaarheid en de wens om adresgegevens uitdagingen zal zwellen. In de komende drie jaar , verwachten we dat meer organisaties dan ooit tevoren zal beginnen aan MDM projecten met de essentiële top-down business support , in combinatie met de nodige bottom-up IT-expertise .
4. Meer aandacht voor Operational BI
In de afgelopen jaren hebben we meer aandacht voor de rapportage en analyse van lagere latency data waargenomen . Als corporate BI programma volwassen , dit is een natuurlijke evolutie . Met behulp van BI ter ondersteuning en verbetering activiteiten binnen een bedrijf levert aanzienlijke waarde . Zo kan de klant / user experience worden verbeterd , cross-en up-sell mogelijkheden gemaximaliseerd , en B2B messaging benut om activiteiten te stroomlijnen .
Bedrijven die erin slagen met operationele BI beseffen dat het een andere klasse van het systeem . Operational BI vereist in het algemeen lager data latency , hogere data selectiviteit en een grotere hoeveelheid vraag concurrency dan traditionele analytische workloads . Deze factoren vereisen vaak een andere architectuur dan de traditionele voor data warehouses is .
Bovendien steun voor operationele BI is vaak verschillend . Als een dagelijkse gegevens belasting op een traditionele data warehouse faalt , is het vaak acceptabel om het aan te pakken binnen enkele uren , geen minuten . Voor operationele BI , een 24x7 ( of iets dergelijks) ondersteuning model is vaker nodig is , omdat de belasting storingen onmiddellijk kunnen invloed hebben op de gebruiker of ervaring verkoper en , bijgevolg , bottom line van de organisatie .
We zien de trend in de richting van operationele BI en lagere latency analytics voortgezet als organisaties verbreden hun focus van enterprise data warehousing tot enterprise data management .
5 . Meer en meer interesse in Agile BI Best Practices
We hebben altijd bewust van de hoge kosten en lange doorlooptijden voor de implementatie van BI- oplossingen. Daarnaast BI-projecten hebben vaak een moeilijke tijd het verkrijgen van de juiste niveaus van zakelijke participatie en geheel het bedrijf soms te sluiten . Software - as-a -service BI- aanbod en departementale oplossingen stellen bedrijven in staat om verder te gaan zonder IT , om nog meer druk op de BI- programma's om sneller resultaten te leveren . Bedrijven zijn op zoek naar nieuwe manieren om de uitvoering van BI en vinden dat veel agile practices ( kleinere gericht iteraties , dagelijkse scrum meetings , korte sprints , ingebed vertegenwoordigers van het bedrijfsleven , prototyping en geïntegreerde testen ) helpen bij het versnellen van BI projecten en versterken de communicatie tussen zakelijke gebruikers en IT . Bepaalde technologieën helpen ook invloed deze verschuiving . Data virtualisatie , bijvoorbeeld , kan een " prototype , dan bouwen " mogelijkheid en vereist geen physicalizing alle voor de analyse van gegevens.
Echter , wendbaar is gemaakt voor software-ontwikkeling , niet BI , en early adopters leren dat er veel verschillen . Bijvoorbeeld , de gereedschappen om software code testen automatiseren zijn veel talrijker en volwassener dan wat men zou kunnen vinden voor ETL mappings en data warehouses . Ook fundamentele activiteiten zoals het definiëren van een data- architectuur of het maken van een datamodel niet altijd netjes passen in de " sprint " model van Agile .
We verwachten dat BI beoefenaars blijven verfijnen die agile principes effectief met BI en welke niet zo goed vertalen . We verwachten ook tot een stijging van enabling technologies , zoals desktop analytische software, data virtualisatie en geautomatiseerd testen / gegevensvalidatie zien.
6 . Mislukte BI Programma's en Projecten blijven een enorme uitdaging
Hoewel de sector heeft geleerd en gedocumenteerd de redenen BI-projecten hebben de neiging om te mislukken , heeft deze kennis niet veel om het tij van mislukte projecten voort gedaan . Vanuit ons perspectief , de overkoepelende reden is dat de uitvoering van een succesvolle BI-projecten is , simpel gezegd , moeilijk. Het bereiken van succes vraagt om een balans van de sterke betrokkenheid van het bedrijfsleven , een grondige analyse van gegevens , schaalbare systemen en data- architecturen , sterk presterende teams, uitgebreid programma en data governance , vastgestelde normen en processen , uitstekende communicatie , en BI - gerichte projectmanagement. Bovendien moet duidelijk succescriteria gedefinieerd en de oplossing moet gericht op de vermelde doel bereiken blijven .
Vanuit ons perspectief , doen we niet altijd zien deze trend veranderen , tenzij organisaties leren :
· Grote (Enterprise) Data management praktijken af te dwingen .
· Zorgen voor een hoge mate van betrokkenheid van het bedrijfsleven voor BI-projecten .
· Besteed meer tijd aan marketing mogelijkheden en het stappenplan voor het bedrijf.
· Grondig screenen nieuwe medewerkers en consulting partners .
· Ontwerpgegevens architecturen op basis van werklast eisen
· Maak gebruik van een herhaalbare best - practice project methodologie die resoneert met de organisatie .
· Instellen meetbare , waardegedreven succescriteria voor elk BI-project .
Alle bovenstaande factoren kunnen worden aangepakt met gerichte business en IT leiderschap en een verlangen om samen te werken om gemeenschappelijke doelen te bereiken . Organisaties die dat doen, zal de vruchten plukken van een echt krachtige en dynamische BI-omgeving.
7 . BI in de Cloud groeit en omarmt " Hybrid IT "
Het concept van " hybride IT " of " hybride Cloud " is onlangs naar voren gekomen , waar organisaties beheren een deel van hun IT-middelen in huis, maar leverage cloud - gebaseerde oplossingen voor IT-behoeften . Deze hybride aanpak kan een organisatie strategische mogelijkheden zoals data governance centraal te beheren , terwijl gebruik te maken van de voordelen van cloud computing , waar ze produceren het grootste voordeel (bijvoorbeeld Salesforce.com ) . Door de intensivering van het alles-of -niets- benadering worden organisaties leren om de voordelen van BI te evalueren en te meten in de cloud .
Ook BI in de cloud is blijven groeien en evolueren in de afgelopen jaren , maar de vooruitgang is geleidelijk geweest . Volgens Howard Dresner 's " 2013 Wisdom of Crowds Cloud Business Intelligence Market Study , " meer dan 30 procent van de respondenten beschouwd BI in de cloud kritisch of zeer belangrijk te zijn .
Verkopers zijn het ontwikkelen van technologische innovaties voor de traditionele tekortkomingen en belemmeringen , zoals beveiliging van gegevens , gebrek aan krachtige ETL mogelijkheden en prestaties uitdagingen ( van zowel hardware en bandbreedte ) aan te pakken . Ze zijn ook het aanpakken van problemen die " infrastructuur - as-a - service" kunnen te complex zijn voor veel BI organisaties te overwegen .
Om deze bezwaren weg te nemen , hebben we het ontstaan en de evolutie van een aantal leveranciers in de SaaS ruimte waargenomen . Oplossingen zoals MicroStrategy Cloud , Microsoft Azure , Informatica Cloud , Pervasive Cloud Integration en GoodData beginnen om deze problemen aan te pakken . Deze producten hebben een grote belofte , en in de komende jaren verwachten we dat ze blijven om te rijpen en valideren van de technische en fiscale haalbaarheid van de ruimte .
In de komende drie jaar , verwachten we dat de trend om stukken van BI te duwen naar de cloud ( in een hybride IT mode ) zal blijven . Deze trend zal blijven industrie inzicht over welke cloud-gebaseerde BI-functionaliteit het meest effectief zijn en hoe ze het best geïntegreerd worden in een organisatie milieu. Het zal ook helpen BI cloud -leveranciers om hun inspanningen op de meest verkoopbare oplossingen richten.
8 . Meerdere BI-tools zijn hier om te blijven
De opkomst en acceptatie van data discovery gereedschappen , samen met laagdrempelige toegang tot cloud- aanbod is toegenomen , niet verminderd , de versnippering van analytische en rapportage tools in de onderneming .
Wij verwachten dat deze trend zich zal doorzetten in de komende jaren . De specifieke analytische en rapportage tools zullen steeds minder van een beslissende factor in het succes van een BI- programma geworden . Dit zorgt voor een interessant dilemma voor organisaties , omdat het afwijkt van het begrip "een versie van de waarheid" , dat is een van de leerboek principes van succes door de jaren heen .
Deze trend legt steeds meer belang aan gegevens disciplines zoals : data modeling , data kwaliteit , MDM , metadata management, data-integratie , data masking en enterprise data management / bestuur . De breder het scala van instrumenten die worden gebruikt om toegang te krijgen tot gegevens van een organisatie , hoe belangrijker het is om ervoor te zorgen dat de gegevens worden gepresenteerd in een consistente , goed gedocumenteerd , gemakkelijk te begrijpen en hoge kwaliteit mode.
9 . Data Security is belangrijker dan ooit
Persoonlijk identificeerbare informatie ( PII of ) en gevoelige financiële en medische gegevens worden verzameld en opgeslagen door meer organisaties dan ooit . De snelheid waarmee deze gegevens is toegenomen is verbazingwekkend , maar pas onlangs heeft de aandacht gevestigd op de gevolgen van dergelijke gegevens worden verzameld en opgeslagen door bedrijven en overheidsinstellingen. Recente media-aandacht voor de innerlijke werking van de NSA geleid tot een groter bewustzijn van de problematiek . Gegevenslekken van Target , LivingSocial en Sony hebben verder gewezen op de aangeboren uitdaging waarmee wij geconfronteerd worden om adequaat gegevens die kunnen worden gebruikt om klanten en burgers te treffen veilig . De veiligheid uitdaging wordt nog verergerd door de opkomst en verspreiding van elektronisch medisch dossier gegevens . Niet alleen de prevalentie , maar ook de gevoeligheid van de gegevens is op de stijging .
Dit vergroot de focus op beveiliging van gegevens als een praktijk binnen IT-organisaties - in het bijzonder binnen BI organisaties. BI- programma's moeten blijven om hun competenties ontwikkelen op gebieden zoals : HIPAA normen , beveiliging van gegevens , testdata management, data masking , enterprise data management , inbreuk detectie en , in sommige gevallen , analytische oplossingen die specifiek gericht zijn op het waarborgen van enterprise data beveiliging zijn gericht .
De voornaamste obstakel is dat de beveiliging van gegevens valt in de categorie van de lage waarschijnlijkheid van optreden met een aanzienlijke impact . Organisaties daarom moeite hebben om uitgaven te rechtvaardigen vanuit een ROI perspectief . Dat gezegd hebbende , zijn wij van mening dat deze trend naar verhoogde beveiliging van gegevens een evolutie die wordt gevoed door high-profile inbreuken op de beveiliging samen met een verhoogde overheid voorgeschreven compliance-eisen zal zijn . Deze trend zal zich sneller ontwikkelen in sectoren als de gezondheidszorg en de overheid , waar de impact van een inbreuk het grootst is.
10 . Groeiende Belofte van DW / BI Automation
Een verscheidenheid aan DW / BI automatisering verkopers worden steeds bekendheid in de BI- markt. Bedrijven zoals WhereScape , Kalido en BIReady beloven om het datawarehouse te bouwen proces te automatiseren. Het doel is om de kosten te verlagen terwijl het verbeteren van de flexibiliteit (en uiteindelijk tevredenheid van de gebruiker ) van BI-projecten .
DW / BI automatisering niet alleen beloftes verminderde ontwikkeling van de tijd , maar ook helpt identificeren impact van wijzigingen van de onderliggende gegevensbronnen of business rules . Wanneer gegevens attributen veranderen , kunnen er aanzienlijke impact op het datamodel , database tabellen , ETL banen , BI semantische lagen en rapporten eindgebruiker . Inzicht in de omvang van dit effect kan variëren van moeilijk tot bijna onmogelijk , afhankelijk van de grootte van de BI-omgeving . Aangezien deze producten profiteren van een gemeenschappelijke metadata ruggengraat , kunnen ze snel de impact van wijzigingen in de architectuur te identificeren. Ze kunnen ook in staat stellen versiebeheer en wijzigingsbeheer .
Deze technologieën zijn echter nog relatief nieuw op de markt , en de technische hindernis om het brede scala aan zakelijke uitdagingen , data- architecturen en technologie mixen steunen vormen een grote uitdaging . We verwachten consolidatie aanhoudende vendor zien in deze ruimte . We verwachten ook een verhoogde prevalentie van deze technologieën in middelgrote bedrijven op zoek naar de kosten te verlagen en de prestaties van hun BI- programma's te vergroten zien .
Geen opmerkingen:
Een reactie posten