Data-integratie is een complex proces, waarbij data uit diverse databronnen en IT-applicaties van een organisatie worden samengevoegd, verbeterd, verrijkt en opgeschoond. Door inzicht te krijgen in deze gecombineerde

De laatste jaren wordt er veel gesproken over Big Data. Vast en zeker in combinatie met de zin: ‘data is het nieuwe goud’. Big Data is pas goud waard wanneer er aan twee van de volgende drie kenmerken voldaan wordt:

  • De hoeveelheid van de data is groot;
  • De diversiteit van de data is groot;
  • De snelheid waarmee de data binnenkomt is hoog.

Data-integratie kan dus waardevol zijn voor een bedrijf en zelfs een voorsprong opleveren ten opzichte van de concurrentie. Datavisualisatie is wel een vereiste om om inzicht te krijgen in alle beschikbare data. Zo kun je ‘ruwe’ data analyseren en veranderen in relevante en bruikbare ‘intelligente’ data.

Predictive Maintenance, op weg naar Smart Industry

Betrouwbaar inzicht dankzij een complete dataset.

Waarom zijn grote datasets zo waardevol? Vanwege de wet van de grote getallen. Die is simpel: Hoe meer data je tot je beschikking hebt, hoe beter de voorspellingen zijn die je op basis hiervan kunt maken en hoe groter de kans dat onvoorziene correlaties aan het licht komen. Om betrouwbare inzichten te krijgen wil je dus een zo compleet mogelijke dataset. Die maak je door data-integratie toe te passen: voeg verschillende bronnen samen en analyseer het volledige plaatje.

Voorbeeld
Als er 2000 vrouwelijke klanten tussen de 30 en 35 jaar oud met een bovenmodaal inkomen in een CRM-systeem staan, kun je voor deze groep specifiek een gedegen inschatting maken van de gemiddelde uitgaven. Deze informatie is vervolgens waardevol om te gebruiken voor allerlei marketingdoeleinden. 

Live data streamen via IoT-sensoren.

Wanneer je alle data combineert is het natuurlijk ook van belang dat je systemen deze data ook kunnen verwerken. Voldoende snelheid, opslagruimte en rekenkracht zijn essentieel. Door de brede beschikbaarheid van cloud-technologie – denk aan Microsoft Azure –  is data-integratie en het benutten van Big Data tegenwoordig minder kostbaar dan voorheen.

Voorbeeld
Als gevolg van de toegenomen rekenkracht kunnen computers steeds grotere hoeveelheden data tegelijk verwerken. Dit biedt mogelijkheden om in real-time in te spelen op wat er gaande is. Een voorbeeld: als sensoren in een apparaat afwijkende statistieken laten zien, kun je hier direct een monteur op afsturen om downtime te voorkomen. Dit noemen we Predictive Maintenance

Verschillende typen data op slimme wijze samenbrengen.

Hoeveel verschillende applicaties draaien er binnen je bedrijf? Een ERP-systeem, een CRM-systeem, een self-service portaal voor je klanten en ga zo maar door. Al deze systemen genereren gestructureerde data, die in een database wordt opgeslagen. Om succesvol data te analyseren is het belangrijk om verschillende typen data op een slimme manier samen te brengen. We hebben het dan over:

  • Gestructureerde data: gegevens uit databases;
  • Semi-gestructureerde data: bijvoorbeeld informatie uit een mailbox;
  • Ongestructureerde data: bijvoorbeeld de data afkomstig van sensoren.

Voorbeeld
De verwachting is dat er over een paar jaar meer dan 25 miljard apparaten voorzien zijn van sensoren die met elkaar en andere bronnen kunnen communiceren. Denk aan sensoren die de drukte meten in winkels. Door die data te combineren met inzichten in lopende orders en klantdata grijpen klanten nooit mis. 

Data vastleggen via een Data lake of Datawarehouse.

Er zijn twee veelgebruikte methodes om data-integratie toe te passen: het Data lake en het Datawarehouse.

  • In een Data lake wordt data opgeslagen in de oorspronkelijke vorm, of dat nu gestructureerd, semigestructureerd of ongestructureerd is. Dat maakt een Data lake erg flexibel.
  • In een Datawarehouse wordt data al direct bij de opslag gestandaardiseerd. Hoewel het minder flexibel is, is data is hierdoor wel sneller en eenduidiger beschikbaar.

We gebruiken bij voorkeur een combinatie van deze twee methodes voor complete controle over data.

Ongestructureerde, semigestructureerde en gestructureerde data in één omgeving opgeslagen.

Een Data lake is een grote opslag voor data. Data uit verschillende bronnen wordt in een Data lake in ruwe vorm opgeslagen. Een Data lake bevat vaak zowel ongestructureerde, semi-gestructureerde als gestructureerde data. Verschillende bestandsformaten kunnen worden vastgelegd. Een belangrijk verschil met een Datawarehouse is dat álle data behouden blijft, ook data die in eerste instantie niet relevant is wordt behouden.

De voordelen van een Data lake:

  • Gemakkelijk aan te passen en uit te breiden;
  • Alle data opslaan voor later onderzoek;
  • Geschikt voor complexe en diverse vraagstukken.

Stuur- en verantwoordingsinformatie beschikbaar stellen.

Een Datawarehouse is een gestructureerde vorm voor de opslag van data. Data uit verschillende bronnen wordt genormaliseerd en opgeslagen in een centraal database. Data warehouse heeft als doelstelling om stuur en verantwoordingsinformatie beschikbaar te stellen. Dus data die bedoeld is om kritische bedrijfsbesluitvorming te ondersteunen en het intern delen van informatie om besluiten te nemen. Vaak is veelal al duidelijk wat er daadwerkelijk moet worden opgeleverd met de behulp van de data.

De voordelen van kiezen voor een data warehouse:

  • Toegang tot genormaliseerde data
  • Eenvoudig rapportages genereren
  • Eenvoudig beheer opgeslagen persoonsgegevens

Wij lossen datavraagstukken voor deze klanten:

Naast data-integratie helpen we bedrijven met:

01

Customer Value Analytics

Wil je voorspellen hoe jouw klanten zich gaan ontwikkelen? Door verschillende databronnen te combineren krijgen we inzicht in het gedrag van klanten en is het mogelijk om voorspellingen te doen over bijvoorbeeld Customer Lifetime Value. Denk aan de commerciële mogelijkheden van vragen als: hoe lang blijft deze klant bij ons en wat is de waarde van zijn of haar toekomstige aankopen?

02

Predictive maintenance

In de technische sector is het mogelijk om via sensoren in apparaten data te verzamelen. We stellen parameters in en geven aan bij welke waardes apparaten volgens plan functioneren of wanneer er juist onderhoud of preventieve reparatie nodig is. Zo wordt het mogelijk om onderhoud en reparaties voorspelbaar te maken en kostbare downtime te voorkomen.

03

Analytics Enterprise Architecture

HSO helpt klanten van A tot Z via een complete data-architectuur. Dit gaat van datavisualisatie via Power BI tot aan Artificial Intelligence (AI), om zo te voldoen aan complexe informatievraagstukken. HSO ondersteunt bij het inrichten en onderhouden van verschillende tools voor data-integratie, datamanagement, Business Intelligence en AI.

04

DNA Framework

De HSO-dienst: Data aNd Analytics Framework (kortweg: DNA Framework) is onze manier om het inrichten en implementeren van een complete datawarehouse-oplossing drastisch te versnellen. Dankzij de slimme en open infrastructuur is het mogelijk om data uit diverse bronnen versneld samen te brengen. De data wordt bewerkt en is beschikbaar in elk gewenst format.

Onze blogs over data en AI