Data Science en algoritmes

By 2020, algorithms will positively alter the behavior of more than 1 billion global workers global workers.

“Contextualization algorithms have advanced exponentially to include a variety of behavioral interventions such as psychology, social neuroscience and cognitive science,” Gartner believes.

“Human beings tend to be emotionally charged and factually drained, causing them to be irrational. Algorithms can positively alter that behavior by augmenting their intelligence with the large collective memory bank containing knowledge that has been socialized and put to the test. This will help workers ‘remember’ anything or be informed of just-in-time knowledge that they have never even experienced, leaving them to objectively complete the task at hand but also to better appreciate life as it unveils. Use of algorithms can raise alarms of ‘creepiness,’ however, when used to effect positive outcomes, it can bring about changes to multiple industries.”

Geknipt uit Gartner’s Top 10 Predictions for IT in 2017 and Beyond

8 open deuren voor succesvolle Self-Service Analytics (SSA)

Self-service analytics (SSA) worden alsmaar populairder omdat het ook voor niet-technische gebruikers toegankelijk is. Analytics zijn niet langer voorbehouden aan data scientists en andere beperkte groepen binnen de onderneming. Tijd dus voor een (onvolledige) check-list met acht kritieke componenten om een SSA-strategie succesvol te implementeren.

1.  Focus op gebruiksgemak

Zorg voor eenvoudigheid en een toegankelijke manier om de data en inzichten aan te bieden aan gebruikers. Gebruik een intuïtieve interface (bijvoorbeeld een data discovery app) die gebruikers helpt meer met data te doen en hen in staat stelt om zelf analyses te maken. Dit stimuleert het gebruik van SSA in het dagelijkse werk, en uiteindelijk ook de return on investment.

2. Traploze schaalbaarheid

Maak gebruik van een schaalbare data-architectuur om toekomstige hardware- en onderhoudskosten te voorkomen wanneer SSA een vlucht gaat nemen en het gebruik toeneemt van enkele early-adaptors naar tientallen of zelfs honderden gebruikers. Cloud is hierin een te overwegen strategie.

3. Beveiliging zonder compromis.

Data integriteit behoud en beveiliging is altijd een forse uitdaging in BI en Analytics programma’s. Zeker wanneer de data ook buiten de onderneming wordt gedeeld aan bijvoorbeeld partners of klanten. Maak beveiliging een integraal onderdeel van de self-service strategie.

4. Gebruik Data Services en integratie

Stel IT in staat om data integraties en –services te gebruiken om het SSA landschap steeds verder uit te breiden. Denk hierbij aan de interne CRM, ERP, legacy systemen, maar ook cloud, mobiele applicaties en andere bronnen.

5. Benadruk het gebruiksgemak

Gebruikers willen niet zoeken en switchen tussen tools, maar één informatieportaal. Biedt dus een geïntegreerd SSA-platform met een breed scala aan mogelijkheden om aan alle behoeften en wensen van de eindgebruikers te voldoen.

6. Performance is key

Feitelijk is performance is een dissatisfier. Het kan nooit te snel, wel te langzaam. Gebruikers haken snel af wanneer de performance van het SSA-platform niet goed is. Ook bij grotere data volumes geven gebruikers maar weinig bewegingsruimte om aan hun verwachtingen te voldoen.

7. Biedt ruimte voor personalisatie

Geef gebruikers de grootst mogelijke vrijheid over wat ze zien en hoe ze het zien, omdat de informatie pas echt relevant is wanneer gebruikers hun informatie kunnen vormgeven aan hun eigen specifieke behoeften. Dit laat het dagelijks gebruik van BI toenemen en daarmee het succes van het SSA-initiatief.

8. Data Integriteit op orde

Misschien niet terecht op de achtste plaats, want de mate waarop op de data kan worden vertrouwd is in grote mate bepalend voor het succes. Net als performance is data integriteit een onderwerp dat ‘gewoon geregeld’ moet zijn. Dat is niet eenvoudig. Zorg ervoor dat het SSA-initiatief wordt ondersteund door een aanpak voor datakwaliteit. Zorg dat de data consistent, volledig en klopt wanneer het wordt gedeeld met een grote gebruikersgroep.

Bovenstaande acht onderwerpen geven een beknopt overzicht van de belangrijkste overwegingen om een SSA-initiatief te starten. Over elk van de onderwerpen kan een apart artikel worden geschreven en heeft de aandacht nodig die het vereist om SSA succesvol te implementeren. Vanzelfsprekend is de lijst niet uitputtend, maar het geeft het spectrum van SSA goed weer.

Business Intelligence en privacy; kan dat wel?

Wie had gedacht dat BI ook een nadeel zou hebben? Maar zoals bij elke krachtige tool; je kunt er goede maar ook slechte dingen mee doen. Hoewel het idee achter business intelligence is om de juiste informatie uit miljoenen individuele gegevens te halen, meestal gaat het om zakelijke onderwerpen, zoals de beste tijd van het jaar om een product te lanceren of de relatie met de weersomstandigheden, zijn er ook zorgelijke geluiden. Het gaat dan over het gebruik van BI-systemen met betrekking tot privacy.

De hoeveelheid gegevens die systemen over je verzamelen is enorm. Google kent uw web gebruik, Facebook kent uw vrienden, opleidingsniveau en relatiestatus, Twitter weet wanneer je ontbijt, lunch en diner had en Bol.com, Amazon en Coolblue weten voor wie je cadeaus kocht sinds pak ‘m beet 2011. Als afzonderlijke ‘sets’ van data verstrekken deze verzamelingen niet veel informatie over jou als persoon, maar wanneer we ze combineren kunnen we duidelijke patronen herkennen om wie je bent en wat je doet. Tot voor kort hadden deze gegevens dan ook weinig waarde. Echter, degenen die geld verdienen met de verkoop van deze gegevens, meestal alle grote social networking sites, hebben geleerd alles van je bij te houden. Immers, ze moeten op een of andere manier betaald krijgen, en jouw data is hun valuta. Vanzelfsprekend hebben zij (ook) een privacy-beleid, en de meesten zullen individuele informatie niet zonder een gerechtelijk bevel afgeven. Maar dat is ook niet hun belang. Het gaat hen om gebruik te maken van geavanceerde BI-systemen die alle stukjes en beetjes data over u als een legpuzzel bij elkaar leggen en daarmee tot een - verrassend duidelijk - beeld van je komen. Denk aan voorkeuren in koopgedrag, eetgewoonten, ondeugden, je relaties, je inkomen, betaalde belastingen, etc. ... zelfs dingen die je misschien niet over jezelf weet, maar anderen wel.

Wat hier interessant aan is, is dat de genoemde data-ingrediënten (de ‘sets’) op zichzelf geen privacy problemen veroorzaken; het is de analyse van de gegevens door een BI-systeem. Ofwel, BI-systemen zijn de beste kans voor het goed begrijpen en doorgronden van uw markt, doelgroep of vraagstukken, en tegelijkertijd zijn ze ook de grootste bedreiging bij het overwegen van privacy issues.

De mate waarin organisaties hierin de juiste balans vinden zal hen de komende jaren een competitief voordeel opleveren. Hiervan ben ik overtuigd.

Data Protection Laws of The Netherlands

LAW IN NETHERLANDS

The Netherlands implemented the EU Data Protection Directive 95/46/EC on 1 September 2001 with the Dutch Personal Data Protection Act (‘Wbp’). Enforcement is through the Dutch Data Protection Authority (‘College Bescherming Persoonsgegevens’).

 

DEFINITIONS

 

Definition of personal data

Any data relating to an identified or identifiable natural person.

 

Definition of sensitive personal data

Personal data regarding a person’s religion or philosophy of life, race, political persuasion, health and sexual life, trade

union membership, criminal behaviour and personal data regarding unlawful or objectionable conduct connected with a

ban imposed as a result of such conduct.

 

NATIONAL DATA PROTECTION AUTHORITY

The College Bescherming Persoonsgegevens

Juliana van Stolberglaan 4-10

2595 CL DEN HAAG

Postbox 93374

2509 AJ DEN HAAG

T 00.31.70 – 8888 500

F 00.31.70 – 8888 501

www.cbpweb.nl

 

REGISTRATION

Unless an exemption applies, data controllers who process personal data by automatic means must notify the College

Bescherming Persoonsgegevens so that their processing of personal data may be registered and made public.

Changes to the processing of personal data will require the notification to be amended.

 

The notification shall, inter alia, include the following information:

·         name and address of the data controller

·         purpose(s) of the processing

·         data subjects or categories of data subjects

·         data or categories of data relating to these data subjects

·         recipients or categories of recipients

·         proposed transfers of personal data to countries outside the European Union, and a general description of the security measures the data controller is planning to take.

 

If any of the following changes occurs, the data controller must notify the College Bescherming Persoonsgegevens of

·         these changes within one year after the previous notification. This concerns changes in:

·         the purpose or purposes of the data processing

·         the data subjects and recipients or categories of data subjects and recipients

·         the security measures, and/or

·         the intended transfers to countries outside the European Union.

 

However, this is only required if the changes are not of a purely incidental nature.

Also, any change to the name or address of the data controller should be notified to the College Bescherming

Persoonsgegevens within one week.

 

DATA PROTECTION OFFICERS

Companies, industry associations, governments and institutions can appoint a data protection officer. There is no legal

requirement in the Netherlands to do so. The data protection officer ensures that processing of personal data will take

place in accordance with the Wbp. The statutory duties and powers of the data protection officer gives this officer an

independent position within the organisation.

 

COLLECTION & PROCESSING

Data controllers may collect and process personal data when any of the following conditions are met:

 

For collecting personal data:

Pursuant to the Wbp, a data controller may only collect personal data if he has a purpose for this. The purpose must be:

·         specified

·         explicit

·         legitimate.

A data controller may not collect data if he has not clearly specified the purpose.

For processing personal data:

·         the data subject has unambiguously given his prior consent thereto

·         the processing is necessary for the performance of a contract to which the data subject is party

·         the processing is necessary in order to comply with a legal obligation to which the data controller is subject

·         the transfer is necessary in order to protect the vital interests of the data subject

·         the transfer is necessary or legally required in order to protect an important public interest

·         the processing is necessary for upholding the legitimate interests of the data controller or of a third party to

·         whom the data is supplied, except where the interests or fundamental rights and freedoms of the data subject, in

·         particular the right to protection of individual privacy, prevail.

·         In addition, personal data may not be further processed in a way incompatible with the purposes for which the data were

·         originally collected. Whether further processing is incompatible depends on different circumstances, such as:

·         the relationship between the purpose of the intended processing and the purposes for which the data originally

·         was obtained

·         the nature of the data concerned

·         the consequences of the intended processing for the data subject

·         the manner in which the data have been obtained

·         the extent to which appropriate guarantees have been put in place with respect to the data subject.

 

Also, personal data may only be processed, where, given the purposes for which they are collected or subsequently

processed, they are adequate, relevant and not excessive.

 

Finally, the Wbp sets out strict rules in relation to sensitive data. The main rule is that such data may not be processed,

unless the data subject has given its explicit consent to it. However, there are exemptions to this rule which may apply

in certain circumstances.

 

TRANSFER

Transfer of a data subject’s personal data to non EU/European Economic Area countries is allowed if the countries

provide ‘adequate protection’. For transfer of data to the United States, companies which adhere to the US/EU Safe

Harbor principles are deemed to offer adequate protection.

 

Data controllers may transfer personal data out of the European Economic Area to countries which are not deemed to

offer adequate protection if any of the following exceptions apply:

·         the data subject has unambiguously given its consent thereto

·         the transfer is necessary for the performance of the contract between the data controller and the data subject

·         the transfer is necessary in respect of an important public interest, or for the establishment, exercise or defence

in law of any right

·         the transfer is necessary in order to protect the vital interests of the data subject

·         the transfer occurred from a register that was set by law and can be consulted by anyone or by any person

demonstrating a legitimate interest

 

the transfer is based on unchanged Model Clauses as referred to in article 26(4) of Directive 95/46/EC on the

protection of individuals with regard to the processing of personal data and on the free movement of such data,

or a permit thereto has been granted by the Minster of Justice, after consultation of the College Bescherming

Persoonsgegevens. In order to obtain such permit, certain conditions should be met. One of these conditions

can be implementing Binding Corporate Rules ('BCR').

 

BCR are internal codes of conduct regarding data privacy and security, to ensure that transfers of personal data outside

the European Union will take place in accordance with the EU rules on data protection.

 

The use of BCRs is not obligatory. It will however bring benefits to both processors and controllers. Once BCRs are approved they can be used by the controller and processor, thereby ensuring compliance with the EU data protection rules without having to negotiate the safeguards and conditions each and every time a contract is entered into.

 

SECURITY

Data controllers and processors must implement appropriate technical and organisational measures to protect personal data against accidental or unlawful destruction or accidental loss, alteration, unauthorised disclosure or access.

 

BREACH NOTIFICATION

The Wbp does not yet provide for a data security breach notification duty.

 

Mandatory breach notification

There is no mandatory requirement in the Wbp. However, a legislative bill introduces the obligation to report such a data

breach as soon as possible to the College Bescherming Persoonsgegevens. If a data breach is not reported, the

College Bescherming Persoonsgegevens can impose a fine up to EUR 200,000.

 

ENFORCEMENT

In the case of possible violations of the Wbp, the College Bescherming Persoonsgegevens can impose the following

sanctions:

enforce an administrative order; the data controller would be forced to change its policy with immediate effect

administrative fines up to a maximum of EUR 4,500 may be imposed by the Authority in case of violation of the

notification duty penal sanctions could be punished with a fine of the second category in the case of contravention of:

the duty to designate a person or body in the Netherlands to act on behalf of a party who are not established in the European Union, but make use of means situated in the Netherlands the notification duties mentioned before, or

transfer of personal data to a country outside the European Union that is not considered to guarantee an adequate level of protection, or transfer without permit to those countries.

 

It is very likely that in 2015, the power of the College Bescherming Persoonsgegevens to impose fines will be extended

to violations of general obligations under the Wbp with respect to the use and processing of personal data, like

violations of retention periods or security measures that have to be taken.

ELECTRONIC MARKETING

Electronic marketing is partially regulated in Article 11.7 of the Dutch Telecommunications Act ('Tw'). In the context of

this Article electronic marketing could be defined as SMS, e-mail, fax and similar media for the purposes of unsolicited

communication related to commercial, charitable or ideal purposes without the individuals’ prior express consent.

Electronic marketing directed to corporations does not require prior consent if: the advertiser/electronic marketer uses electronic address data which are meant to be for this particular purpose, and if the individual is located outside the EU, the advertiser/electronic marketer complies with the relevant rules of that particular country in this respect.

 

On the basis of Article 11.7 of the Tw electronic marketing to individuals is in principle prohibited. If certain conditions

are being met, such as prior express consent, electronic marketing directly to individuals can be allowed. Furthermore,

electronic marketing to individuals is also allowed if it is restricted to the marketing of existing customers and restricted

to similar products/services of the advertiser/electronic marketer. In the last case, the advertiser/electronic marketer is

obliged to provide opt-out possibilities to his customers when obtaining the data from the customers and in every

marketing message sent.

 

ONLINE PRIVACY

 

Traffic Data

Traffic Data is regulated in Article 11.5 of the Tw. Traffic Data held by a public electronic communications services

provider ('CSP') must be erased or anonymised when it is no longer necessary for the purpose of the transmission of a

communication. However, Traffic Data can be retained if:

·         it is being used to provide a value added service, and

·         consent has been given for the retention of the Traffic Data.

·         Traffic Data can only be processed by a CSP for:

·         the management of billing or traffic

·         dealing with customer enquiries

·         the prevention of fraud

·         the provision of a value added service (subject to consent)

·         market research (subject to consent)

 

Location Data

(Traffic Data not included) – Location Data is regulated in Article 11.5a of the Tw. Location Data may only be processed:

if these data are being processed in anonymous form with informed consent of the individual

 

Cookie Compliance

The amended E-Privacy Directive requires the user to consent to the use of cookies. On 5 June 2012, the Netherlands

implemented the E-Privacy Directive through the Dutch Telecommunications Act in Article 11.7a. (hereinafter: Article

11.7a). The Authority for Consumers and Markets ('ACM') is entrusted with the enforcement of Article 11.7a.

The main rule is that the website operator needs to obtain prior consent from a user before using cookies (opt in) and

needs to clearly and unambiguously inform the user about these cookies (purpose, type of cookie, etc). It is necessary to obtain the informed consent of users to the use of cookies by way of a 'yes/confirmed' as well as a 'no/change cookie

settings' button or a similar arrangement. Implicit consent is not sufficient under Dutch law. Please note that the website

operator is entitled to refuse users access to its website(s) if no consent is given.

 

The requirement to obtain prior consent from a user does not apply where such storage or access is strictly necessary

for the provision of an information society service requested by the subscriber or user. An example is that of where a

user of a website has chosen the goods they wish to buy and the user clicks the ‘add to basket’ or ‘proceed to checkout’

button, the website remembers what they have chosen from the previous page. This cookie is deemed ‘strictly

necessary’ to provide the service requested by the user, therefore no consent to the storage of such a cookie is

required.

 

Following upcoming legislation, the use of cookies that have little or no impact on the user's privacy (eg first party

analytic cookies, affiliate or performance cookies used for the purpose of paying affiliates or cookies used for testing the

effectiveness of certain banners) will be allowed without consent, on the condition that:

·         the data collected by such cookies are not used for, among other things, creating profiles by the website owner and/or the third party with whom the data are shared

·         website owners sharing the data with a third party take additional measures in order to limit any possible privacy impact.

 

Furthermore, new regulations are considered that would make it possible to obtain users 'implied consent'. The duty to

inform users about the use of cookies still applies. The effective date of such new legislation is unknown. The information collected through cookies are to be considered ‘personal data’, unless the party which places the cookies can prove otherwise. This goes only for tracking cookies, whereby the surfing behaviour of customers on several different websites is being observed (and the information obtained is being used for commercial purposes).

 

In case of violation of electronic marketing or online privacy legislation, the ACM can impose fines up to EUR 450,000 per violation.

Top 10 Trends voor BI & DWH in 2014

In de afgelopen 12-18 maanden is meer veranderd in het speelveld van BI & DWH dan in de agelopen 10 jaar! Een technologische push maakt veel discussies los over de toekomst van Business Intelligence, Data Warehousing en alle aanverwante onderwerpen (MDM, Governance, Agile, Self-service, etc.). Dit arktikel (vertaald uit het Engels) gaat in op 10 belangrijke trends voor dit jaar (2014-...) en verder. 

1. Big Data en Hadoop

2. Desktop Analytics

3. Master Data Management

4. Meer aandacht voor Operational BI

5 . Meer en meer interesse in Agile BI Best Practices

6 . Mislukte BI Programma's en Projecten blijven een enorme uitdaging

7 . BI in de Cloud groeit en omarmt " Hybrid IT "

8 . Meerdere BI-tools zijn hier om te blijven

9 . Data Security is belangrijker dan ooit

10 . Groeiende Belofte van DW / BI Automation

 

1 . Belangstelling voor Big Data en groei voor Hadoop

We hebben allemaal veel gehoord over big data en Hadoop in de afgelopen jaren . Dit is begrijpelijk, want datavolumes blijven groeien , dataformaten blijven ontwikkelen , gegevens worden verzameld op het verhogen van tarieven , en technologieën moeten innoveren om deze veranderingen te ondersteunen op een kosteneffectieve manier . Bovendien zijn deze technologieën zeer goed op de markt gebracht; leveranciers hebben fors geïnvesteerd in het creëren van een buzz .

Een studie uit 2013 ( NewVantage Big Data Executive Survey) van 50 bedrijven en overheidsinstellingen is gebleken dat 91 procent van de managers gaf aan dat ze een groot data initiatief gepland of in uitvoering hadden. Van de ondervraagde managers gaf 88 procent aan in 2016 ruim 1 miljoen te willen investeren in Big Data . Big data is niet alleen buzz - business adoptie is aan de gang .

In dezelfde studie slechts 32 procent van de managers gemeld dat ze een grote dataoplossing productie . Net als de meeste nieuwe technologieën , de mogelijkheden zijn nog steeds niet goed begrepen door vele organisaties . Ze zijn ook moeilijk uit te voeren , mede vanwege de onrijpheid van de instrumenten en deels vanwege het gebrek aan ervaren middelen op de markt . Bovendien is de technologie bepaalde taken uitvoeren die zeer goed , maar zijn meestal niet een groothandel vervanging platform voor bestaande technologieën . Men zou kunnen zeggen dat big data is nog in de kinderschoenen , en het lijkt erop dat het opnemen van deze begrippen in de reguliere data -organisaties zal langer duren dan veel analisten aanvankelijk voorspelden , jaren geleden .

Een recente studie van data management deskundige Richard Winter heeft gewezen op het feit dat het aanbrengen van de juiste technologie voor het juiste doel een aanzienlijke invloed op de total cost of ownership voor een oplossing kan hebben . In de ene situatie , een vijfjarige vergelijking van TCO werd uitgevoerd tussen een traditionele RDBMS oplossing en een vergelijkbaar met de knop Hadoop -oplossing voor data verfijning van de sensor output van dieselmotoren . De studie heeft geleid tot een kostenvoordeel van bijna 3:01 , in het voordeel van Hadoop . In een tweede studie, echter , een vijf- jaar vergelijking werd gemaakt tussen de totale cost of ownership van een traditionele RDBMS oplossing en een vergelijkbaar met de knop Hadoop oplossing voor analyse van een grote financiële organisatie te ondersteunen . De tweede studie leverde een kostenvoordeel van bijna 3:01 , in het voordeel van de RDBMS .

Dit toont duidelijk het belang van het afstemmen van de juiste technologie om de zakelijke behoefte . Het voorziet ook in de behoefte aan evaluatierichtsnoeren tussen Hadoop en RDBMS voor elke organisatie overweegt een verandering . Criteria voor het selecteren van de juiste oplossing , of het traditionele RDBMS , Hadoop , of een hybride van de twee , moet omvatten :

·          Het begrijpen van de data management en analytische eisen van de organisatie .

·          Evaluatie van alle kosten van eigendom, waaronder hardware , software , ontwikkeling en ondersteuning .

·          Rekening houdend met een architectuur die de sterke punten van beide platforms benut .

Een opmerkelijk bijproduct van de onduidelijkheid over welke technologie aanpak het meest geschikt is voor organisaties een recente verzachten van de BI / DW software markt. Sommige organisaties hebben ervoor gekozen om te vertragen of te verminderen hun investering in BI-technologie tot een duidelijk pad is gedefinieerd in de ruimte .

In de komende jaren verwachten we dat de rol die elke technologie speelt zal beginnen te kristalliseren , en benchmarks en vuistregels zal worden opgericht . Totdat aanvullende technologieën ontstaan die Hadoop en RDBMS -mogelijkheden combineren , verwachten we dat een hybride architectuur meest voorkomende zal zijn.

2 . Momentum Doorgaan met geheugen en Desktop Analytics

Met de opkomst van 64 - bit architecturen en de steeds dalende kosten van het geheugen , zien we een voortdurende opkomst van in-memory analyses en in-memory databases .

De afgelopen jaren hebben de snelle opkomst van in-memory analytische technologieën gezien. Hulpmiddelen zoals Tableau , IBM TM1 , Spotfire en QlikView bieden de belofte van vrijwel directe analytische respons . Dergelijke hulpmiddelen blijven zakelijke gebruikers in staat om te verkennen , te evalueren en te controleren hun gegevens met toenemende efficiëntie.

Bovendien , omdat de kosten van het geheugen blijft dalen , in-memory databases zoals SAP HANA en Oracle Exalytics hebben marktaandeel gewonnen , en het geheugen geoptimaliseerd databases, zoals Kognitio en Teradata hebben hun platforms geoptimaliseerd om efficiënt te benutten meer data in het geheugen . Dit resulteert in een aanzienlijk sneller bewerkingen databank voor gegevens die in het geheugen terwijl grotere datasets op schijf te verblijven . Deze hybride vermogen kunnen beheerders tunen van hun omgeving om hun specifieke analytische workloads tegen een gereduceerde prijs ten opzichte van in-memory databases.

In-memory analytics zal blijven evolueren en het overbruggen van de kloof tussen zakelijke gebruikers en data binnen hun onderneming. Echter, dergelijke instrumenten niet pakken inherente uitdagingen integreren , conforme en reinigende dergelijke gegevens. Hoewel zien we de trend in het geheugen databases verhogen we ook erkennen dat datavolumes neiging om de groei van geheugen overtreffen . Daarom hebben we niet voorzien van alle bedrijfsgegevens worden opgeslagen in het geheugen op elk moment snel . Integendeel, wij geloven hybride / - temperatuur -gebaseerde benaderingen ( waar vaak geraadpleegde gegevens worden opgeslagen in het geheugen , terwijl minder kritische data wordt opgeslagen op schijf) zal vaker worden aangenomen.

 

3 . Master Data Management als competitief voordeel

Master data management is belangrijker dan ooit , met de proliferatie van gegevensbronnen , zowel op het terrein en in de wolk en toenemende belang van het verbinden met klanten , fine-tuning producten aan hun behoeften en het beheren van leveranciers en verkopers ontmoeten . Klantgegevens name heeft verzwaren dan ooit als gevolg van de toename van het aantal kanalen dat bedrijven bieden . Daarnaast zijn sociale media interacties , sensor data en toenemende methoden van communicatie alle aangedreven een toename van de complexiteit om unieke klanten echt te begrijpen en verbinden met hen in de meest geschikte manier . Entiteit resolutie in een poging om de " gouden plaat " te bereiken is nog nooit zo belangrijk geweest .

Enabling technologies zijn al jaren aanwezig op de markt geweest , en hun capaciteiten hebben ontwikkeld om deze behoefte te voorzien . Bedrijven zoals Informatica , SAS en Stibo hebben stevige MDM aanbod, bijvoorbeeld. Ondanks de looptijd van MDM software en leveringsmethodologie , de mogelijkheid om succesvolle MDM projecten leveren nog steeds een uitdaging gebleken .

Enkele van de redenen voor deze ongerijmdheid zijn:

·          MDM vereist culturele buy-in . Sponsoring door het bedrijfsleven en een klimaat van samenwerking tussen de business en IT is noodzakelijk . Toch beschouwen de meeste organisaties MDM een IT probleem. MDM -technologie , op zichzelf , is niet genoeg om het probleem op te lossen , en vele IT-only/technology-driven MDM projecten mislukken om hun gestelde doelen te bereiken .

·          Om te slagen op MDM , moet men hebben geïmplementeerd op zijn minst een zekere mate van data governance - het is een voorwaarde te wijten aan de politieke uitdagingen van data ownership , overlevingspensioen en voorrang . Veel organisaties echter worstelen met zelfs de meest elementaire data governance . Als gevolg MDM neemt nooit wortel , en als dat zo is , worstelt om verder te gaan .

·          Het rechtvaardigen van een MDM -project is vaak een uitdagend proces . Veel organisaties worstelen om te definiëren en articuleren van de business case voor een MDM -project . Bijvoorbeeld , het rationaliseren van de producten niet altijd leidt tot aanzienlijke stijgingen van de inkomsten of kostenbesparingen . Een goede business case is van essentieel belang om een dergelijke grote onderneming te rechtvaardigen , en aangezien de mission statement is niet altijd duidelijk of een samenstel , veel MDM projecten gaan afgezonderd.

·          Het beheren van project scope is een andere uitdaging . MDM -projecten omvatten vaak talloze potentiële gegevensbronnen en data-elementen , maar de echte zakelijke waarde kan worden gerealiseerd voor een select groepje. Deze down- selectie proces kan een breedte van belanghebbenden te betrekken en het is niet altijd een triviale proces om tot een consensus te bereiken . De tendens is dus een breder bereik van elementen dan kan effectief worden beheerd omvatten . Dit levert een hoger - dan - ideale risico project .

Alle bovenstaande uitdagingen kunnen worden overwonnen . Als de extractie van de waarde van de gegevens komt naar voren als een hoeksteen doelstelling voor organisaties , de essentiële zichtbaarheid en de wens om adresgegevens uitdagingen zal zwellen. In de komende drie jaar , verwachten we dat meer organisaties dan ooit tevoren zal beginnen aan MDM projecten met de essentiële top-down business support , in combinatie met de nodige bottom-up IT-expertise .

4. Meer aandacht voor Operational BI

In de afgelopen jaren hebben we meer aandacht voor de rapportage en analyse van lagere latency data waargenomen . Als corporate BI programma volwassen , dit is een natuurlijke evolutie . Met behulp van BI ter ondersteuning en verbetering activiteiten binnen een bedrijf levert aanzienlijke waarde . Zo kan de klant / user experience worden verbeterd , cross-en up-sell mogelijkheden gemaximaliseerd , en B2B messaging benut om activiteiten te stroomlijnen .

Bedrijven die erin slagen met operationele BI beseffen dat het een andere klasse van het systeem . Operational BI vereist in het algemeen lager data latency , hogere data selectiviteit en een grotere hoeveelheid vraag concurrency dan traditionele analytische workloads . Deze factoren vereisen vaak een andere architectuur dan de traditionele voor data warehouses is .

Bovendien steun voor operationele BI is vaak verschillend . Als een dagelijkse gegevens belasting op een traditionele data warehouse faalt , is het vaak acceptabel om het aan te pakken binnen enkele uren , geen minuten . Voor operationele BI , een 24x7 ( of iets dergelijks) ondersteuning model is vaker nodig is , omdat de belasting storingen onmiddellijk kunnen invloed hebben op de gebruiker of ervaring verkoper en , bijgevolg , bottom line van de organisatie .

We zien de trend in de richting van operationele BI en lagere latency analytics voortgezet als organisaties verbreden hun focus van enterprise data warehousing tot enterprise data management .

5 . Meer en meer interesse in Agile BI Best Practices

We hebben altijd bewust van de hoge kosten en lange doorlooptijden voor de implementatie van BI- oplossingen. Daarnaast BI-projecten hebben vaak een moeilijke tijd het verkrijgen van de juiste niveaus van zakelijke participatie en geheel het bedrijf soms te sluiten . Software - as-a -service BI- aanbod en departementale oplossingen stellen bedrijven in staat om verder te gaan zonder IT , om nog meer druk op de BI- programma's om sneller resultaten te leveren . Bedrijven zijn op zoek naar nieuwe manieren om de uitvoering van BI en vinden dat veel agile practices ( kleinere gericht iteraties , dagelijkse scrum meetings , korte sprints , ingebed vertegenwoordigers van het bedrijfsleven , prototyping en geïntegreerde testen ) helpen bij het versnellen van BI projecten en versterken de communicatie tussen zakelijke gebruikers en IT . Bepaalde technologieën helpen ook invloed deze verschuiving . Data virtualisatie , bijvoorbeeld , kan een " prototype , dan bouwen " mogelijkheid en vereist geen physicalizing alle voor de analyse van gegevens.

Echter , wendbaar is gemaakt voor software-ontwikkeling , niet BI , en early adopters leren dat er veel verschillen . Bijvoorbeeld , de gereedschappen om software code testen automatiseren zijn veel talrijker en volwassener dan wat men zou kunnen vinden voor ETL mappings en data warehouses . Ook fundamentele activiteiten zoals het definiëren van een data- architectuur of het maken van een datamodel niet altijd netjes passen in de " sprint " model van Agile .

We verwachten dat BI beoefenaars blijven verfijnen die agile principes effectief met BI en welke niet zo goed vertalen . We verwachten ook tot een stijging van enabling technologies , zoals desktop analytische software, data virtualisatie en geautomatiseerd testen / gegevensvalidatie zien.

6 . Mislukte BI Programma's en Projecten blijven een enorme uitdaging

Hoewel de sector heeft geleerd en gedocumenteerd de redenen BI-projecten hebben de neiging om te mislukken , heeft deze kennis niet veel om het tij van mislukte projecten voort gedaan . Vanuit ons perspectief , de overkoepelende reden is dat de uitvoering van een succesvolle BI-projecten is , simpel gezegd , moeilijk. Het bereiken van succes vraagt om een balans van de sterke betrokkenheid van het bedrijfsleven , een grondige analyse van gegevens , schaalbare systemen en data- architecturen , sterk presterende teams, uitgebreid programma en data governance , vastgestelde normen en processen , uitstekende communicatie , en BI - gerichte projectmanagement. Bovendien moet duidelijk succescriteria gedefinieerd en de oplossing moet gericht op de vermelde doel bereiken blijven .

Vanuit ons perspectief , doen we niet altijd zien deze trend veranderen , tenzij organisaties leren :

·          Grote (Enterprise) Data management praktijken af te dwingen .

·          Zorgen voor een hoge mate van betrokkenheid van het bedrijfsleven voor BI-projecten .

·          Besteed meer tijd aan marketing mogelijkheden en het stappenplan voor het bedrijf.

·          Grondig screenen nieuwe medewerkers en consulting partners .

·          Ontwerpgegevens architecturen op basis van werklast eisen

·          Maak gebruik van een herhaalbare best - practice project methodologie die resoneert met de organisatie .

·          Instellen meetbare , waardegedreven succescriteria voor elk BI-project .

Alle bovenstaande factoren kunnen worden aangepakt met gerichte business en IT leiderschap en een verlangen om samen te werken om gemeenschappelijke doelen te bereiken . Organisaties die dat doen, zal de vruchten plukken van een echt krachtige en dynamische BI-omgeving.

7 . BI in de Cloud groeit en omarmt " Hybrid IT "

Het concept van " hybride IT " of " hybride Cloud " is onlangs naar voren gekomen , waar organisaties beheren een deel van hun IT-middelen in huis, maar leverage cloud - gebaseerde oplossingen voor IT-behoeften . Deze hybride aanpak kan een organisatie strategische mogelijkheden zoals data governance centraal te beheren , terwijl gebruik te maken van de voordelen van cloud computing , waar ze produceren het grootste voordeel (bijvoorbeeld Salesforce.com ) . Door de intensivering van het alles-of -niets- benadering worden organisaties leren om de voordelen van BI te evalueren en te meten in de cloud .

Ook BI in de cloud is blijven groeien en evolueren in de afgelopen jaren , maar de vooruitgang is geleidelijk geweest . Volgens Howard Dresner 's " 2013 Wisdom of Crowds Cloud Business Intelligence Market Study , " meer dan 30 procent van de respondenten beschouwd BI in de cloud kritisch of zeer belangrijk te zijn .

Verkopers zijn het ontwikkelen van technologische innovaties voor de traditionele tekortkomingen en belemmeringen , zoals beveiliging van gegevens , gebrek aan krachtige ETL mogelijkheden en prestaties uitdagingen ( van zowel hardware en bandbreedte ) aan te pakken . Ze zijn ook het aanpakken van problemen die " infrastructuur - as-a - service" kunnen te complex zijn voor veel BI organisaties te overwegen .

Om deze bezwaren weg te nemen , hebben we het ontstaan en de evolutie van een aantal leveranciers in de SaaS ruimte waargenomen . Oplossingen zoals MicroStrategy Cloud , Microsoft Azure , Informatica Cloud , Pervasive Cloud Integration en GoodData beginnen om deze problemen aan te pakken . Deze producten hebben een grote belofte , en in de komende jaren verwachten we dat ze blijven om te rijpen en valideren van de technische en fiscale haalbaarheid van de ruimte .

In de komende drie jaar , verwachten we dat de trend om stukken van BI te duwen naar de cloud ( in een hybride IT mode ) zal blijven . Deze trend zal blijven industrie inzicht over welke cloud-gebaseerde BI-functionaliteit het meest effectief zijn en hoe ze het best geïntegreerd worden in een organisatie milieu. Het zal ook helpen BI cloud -leveranciers om hun inspanningen op de meest verkoopbare oplossingen richten.

8 . Meerdere BI-tools zijn hier om te blijven

De opkomst en acceptatie van data discovery gereedschappen , samen met laagdrempelige toegang tot cloud- aanbod is toegenomen , niet verminderd , de versnippering van analytische en rapportage tools in de onderneming .

Wij verwachten dat deze trend zich zal doorzetten in de komende jaren . De specifieke analytische en rapportage tools zullen steeds minder van een beslissende factor in het succes van een BI- programma geworden . Dit zorgt voor een interessant dilemma voor organisaties , omdat het afwijkt van het begrip "een versie van de waarheid" , dat is een van de leerboek principes van succes door de jaren heen .

Deze trend legt steeds meer belang aan gegevens disciplines zoals : data modeling , data kwaliteit , MDM , metadata management, data-integratie , data masking en enterprise data management / bestuur . De breder het scala van instrumenten die worden gebruikt om toegang te krijgen tot gegevens van een organisatie , hoe belangrijker het is om ervoor te zorgen dat de gegevens worden gepresenteerd in een consistente , goed gedocumenteerd , gemakkelijk te begrijpen en hoge kwaliteit mode.

9 . Data Security is belangrijker dan ooit

Persoonlijk identificeerbare informatie ( PII of ) en gevoelige financiële en medische gegevens worden verzameld en opgeslagen door meer organisaties dan ooit . De snelheid waarmee deze gegevens is toegenomen is verbazingwekkend , maar pas onlangs heeft de aandacht gevestigd op de gevolgen van dergelijke gegevens worden verzameld en opgeslagen door bedrijven en overheidsinstellingen. Recente media-aandacht voor de innerlijke werking van de NSA geleid tot een groter bewustzijn van de problematiek . Gegevenslekken van Target , LivingSocial en Sony hebben verder gewezen op de aangeboren uitdaging waarmee wij geconfronteerd worden om adequaat gegevens die kunnen worden gebruikt om klanten en burgers te treffen veilig . De veiligheid uitdaging wordt nog verergerd door de opkomst en verspreiding van elektronisch medisch dossier gegevens . Niet alleen de prevalentie , maar ook de gevoeligheid van de gegevens is op de stijging .

Dit vergroot de focus op beveiliging van gegevens als een praktijk binnen IT-organisaties - in het bijzonder binnen BI organisaties. BI- programma's moeten blijven om hun competenties ontwikkelen op gebieden zoals : HIPAA normen , beveiliging van gegevens , testdata management, data masking , enterprise data management , inbreuk detectie en , in sommige gevallen , analytische oplossingen die specifiek gericht zijn op het waarborgen van enterprise data beveiliging zijn gericht .

De voornaamste obstakel is dat de beveiliging van gegevens valt in de categorie van de lage waarschijnlijkheid van optreden met een aanzienlijke impact . Organisaties daarom moeite hebben om uitgaven te rechtvaardigen vanuit een ROI perspectief . Dat gezegd hebbende , zijn wij van mening dat deze trend naar verhoogde beveiliging van gegevens een evolutie die wordt gevoed door high-profile inbreuken op de beveiliging samen met een verhoogde overheid voorgeschreven compliance-eisen zal zijn . Deze trend zal zich sneller ontwikkelen in sectoren als de gezondheidszorg en de overheid , waar de impact van een inbreuk het grootst is.

10 . Groeiende Belofte van DW / BI Automation

Een verscheidenheid aan DW / BI automatisering verkopers worden steeds bekendheid in de BI- markt. Bedrijven zoals WhereScape , Kalido en BIReady beloven om het datawarehouse te bouwen proces te automatiseren. Het doel is om de kosten te verlagen terwijl het verbeteren van de flexibiliteit (en uiteindelijk tevredenheid van de gebruiker ) van BI-projecten .

DW / BI automatisering niet alleen beloftes verminderde ontwikkeling van de tijd , maar ook helpt identificeren impact van wijzigingen van de onderliggende gegevensbronnen of business rules . Wanneer gegevens attributen veranderen , kunnen er aanzienlijke impact op het datamodel , database tabellen , ETL banen , BI semantische lagen en rapporten eindgebruiker . Inzicht in de omvang van dit effect kan variëren van moeilijk tot bijna onmogelijk , afhankelijk van de grootte van de BI-omgeving . Aangezien deze producten profiteren van een gemeenschappelijke metadata ruggengraat , kunnen ze snel de impact van wijzigingen in de architectuur te identificeren. Ze kunnen ook in staat stellen versiebeheer en wijzigingsbeheer .

Deze technologieën zijn echter nog relatief nieuw op de markt , en de technische hindernis om het brede scala aan zakelijke uitdagingen , data- architecturen en technologie mixen steunen vormen een grote uitdaging . We verwachten consolidatie aanhoudende vendor zien in deze ruimte . We verwachten ook een verhoogde prevalentie van deze technologieën in middelgrote bedrijven op zoek naar de kosten te verlagen en de prestaties van hun BI- programma's te vergroten zien .