Data Engineering 360°
Ik word een data engineer.
Opleidingsinformatie
21 maart 2023
12 dagen
€ 6.950,-
9:30 uur - 16:30 uur
Haarlem
Woensdag
Data Engineering 360°: de opleiding tot Data Engineer
Heb je een aantal jaren werkervaring als programmeur? En wil je graag de overstap maken naar een functie als Data Engineer? Dan is de opleiding Data Engineering 360° bedoeld voor jou!
Waarom een opleiding volgen tot Data Engineer?
De opleiding Data Engineering 360° sluit aan op de groeiende behoefte aan mensen met kennis over het organiseren van data voor analytische doeleinden en het beschikbaar en bruikbaar maken van deze data voor organisaties en bedrijven.
In de afgelopen jaren stond het verzamelen van data centraal. Inmiddels zitten we in een tijd waarin het verzilveren van data van belang is. Het is de rol van de Data Engineer om de organisatie te helpen data effectief in te zetten om datagedreven beslissingen te kunnen maken.
Een Data Engineer is inmiddels een veelgevraagde functie binnen met name datagedreven organisaties. Er zijn zelfs meer vacatures voor Data Engineers dan voor Data Scientists. De verwachting is dat het gat tussen vraag en aanbod in de toekomst alleen nog maar groter zal worden.
Doordat het vakgebied van data engineering relatief nieuw is, staan data engineers voor bijzondere uitdagingen. Zo bestaat er (nog) geen officiële studie waardoor het voor (toekomstige) Data Engineers belangrijk is relevante ervaring op te doen in de praktijk en zo snel mogelijk hoogwaardige kennis te vergaren. Beide doe je op in deze opleiding.
Wat houdt de opleiding Data Engineering 360° precies in?
Data Engineering 360° is één van de meest uitgebreide opleidingen van Novalinq. Deze opleiding leidt je op tot Data Engineer. Vanuit een 360°-overzicht leer je in twaalf dagen hoe je data kan koppelen, organiseren en ontsluiten, zodat een organisatie effectief gebruik kan maken van de kracht van die data. Met andere woorden, je leert hoe je een organisatie helpt om data om te zetten in actie.
Data engineering is het aspect van data science dat zich richt op het praktisch toepassen van dataverzameling en -analyse. Voor al het werk dat Data Scientists doen om vragen te beantwoorden met behulp van grote hoeveelheden informatie, moeten er mechanismen zijn om die informatie te verzamelen en te valideren.
Om dat werk uiteindelijk enige waarde te laten hebben, moeten er ook mechanismen zijn om het toe te passen op de dagelijkse processen. Dat zijn beide ingenieurstaken: het toepassen van wetenschap op praktische, functionerende systemen.
Met welke tools ga je werken?
Tijdens de opleiding Data Engineering 360° maak je gebruik van Python, SQL en Spark. Deze tools helpen je om de beschikbare data in de juiste vorm bij elkaar te brengen en te organiseren. Vaak moet je hierbij op verschillende platforms werken, omdat de gegevens uit verschillende bronnen komen.
De docenten nemen je mee in Python, waarbij je meer inzicht krijgt in (big)data-management, (big)data-architectuur, (big)data-infrastructuur, datakwaliteit, dataveiligheid, data-opslag en data-modelling. Je krijgt inzicht in de verschillende vormen van een pipeline en leert de code voor deze pipelines aan te passen. Vervolgens leer je data te transformeren in Spark.
Aan het eind van dit programma heb je kennis van:
- Model- en data gestuurde architectuur.
- De rol van een data engineer
- Python toepassen voor data verkenning en data processing
- Een data lake oplossing bedenken en uitwerken
- Een juiste serving layer te ontwerpen
- Een batch processing oplossing te ontwerpen
- Een stream processing oplossing te ontwerpen
- Data engineering toepassen in onbekende situaties
- Data security in data engineering
Datagedreven infrastructuur
Python
Data lake
Pijplijn bouwen
Data engineering
Programma
Module 1: Data architectuur
De module data architectuur behandelt de volgende onderwerpen:
1. Introductie data
2. Modelgedreven infrastructuur
3. Big Data
4. Datagedreven infrastructuur
Introductie data
Introductie werken met data - theorie & interactie
> Vier velden van data analyse
> Feiten en dimensies
> Data kwaliteit.
Introductie data opslag structuren - theorie & interactie
> Model gedreven data structuur (SQL)
> Database normalisatie
> Data gedreven data structuur (NoSQL/Key-Value)
Modelgedreven infrastructuur
OLTP & OLAP - theorie & interactie
> Databases & applicaties
> Oefenen met entiteit en relatie diagrammen
> Data kwaliteit
> Multidimensionale modellen (stermodel)
> Data analyse
Data integratie - theorie & interactie
> Basis ETL en data warehousing
> Data lakes en data reservoirs
> Data kwaliteit
Big Data
Intro big data - theorie
> Het big data probleem
> De big data oplossing
> Definitie big data volgens Gartner inc.
Big data clusters - theorie
> Distributed systems
> Master node
> Worker node
> Hortonworks demo
Big data architectuur - theorie
> Big data engines
> Big data datawarehousing
> Realtime data processing
> Hive demo
Datagedreven infrastructuur
NoSQL databases - praktijk
> NoSQL databases: key-value-, document oriented-, graph-, en wide column databases
> Data lakes
> Data reservoirs
Module 2: Data analyse en data engineering
De module data analyse en engineering behandeld de volgende onderwerpen:
1. AnalyticsBox®
2. Gartner analyse niveau's
3. Data engineering
4. Python
5. Data cleansing
6. Data verkenning
AnalyticsBox®
Vanuit het framework AnalyticsBox® wordt het analyse proces stap voor stap uitgelegd.
> Van vraag naar uitkomst
> 7 analyse stappen
Gartner analyse niveau's
> Beschrijvende analyse
> Diagnostiserende analyse
> Voorspellende analyse
> Voortschrijvende analyse
Data engineering
> Wat is data engineering
> Welke skills heeft een data engineer nodig?
> Hoe werken gedistributeerde data stores?
> Wat is Hortonworks en hoe werkt het?
Python basics
Python basics - praktijk
> Installatie & uitleg IDE’s
> Operatoren en assignment
> Data typen en structuren
> Markdown
Data cleansing
> Introductie Python Pandas
> Data frames
> Indexing
> Data cleaning
Dataverkenning
> Connecties met externe databronnen
> Geavanceerde transformatietechnieken
Module 3: Data transformatie en batch-verwerkingsoplossingen
De module data transformatie en batch-verwerkingsoplossingen behandeld de volgende onderwerpen:
1. Gegevens opnemen en transformeren
2. Ontwerp batch-verwerkingsoplossingen
Gegevens opnemen en transformeren
> Transformeer gegevens met behulp van Apache Spark
> Transformeer gegevens met behulp van SQL
> Transformeer gegevens met behulp van Apache Hive
> Gegevens opschonen
> Gesplitste gegevens
> Versnipperen JSON
> Gegevens coderen en decoderen
> Waarden normaliseren en denormaliseren
> Gegevens verkennende analyse uitvoeren
Ontwerp batch-verwerkingsoplossingen
> Ontwerp datapipelines
> Ontwerp incrementele data loads
> Ontwerp langzaam veranderende afmetingen
> Configureer de batchgrootte
> Ontwerpen en maken van tests voor datapipelines
> Omgaan met dubbele gegevens
> Omgaan met ontbrekende gegevens
> Om te gaan met laat binnenkomende gegevens
> Afhandeling van uitzonderingen op het ontwerp
Module 4: Stroomverwerkingsoplossingen en Data security
De module data transformatie en batch-verwerkingsoplossingen behandeld de volgende onderwerpen:
1. Ontwerp stroomverwerkingsoplossingen
2. Ontwerp data security
Ontwerp stroomverwerkingsoplossingen
> Ontwerp een oplossing voor streamverwerking
> Gegevens verwerken met behulp van gestructureerde streaming van Spark
> Tijdreeksgegevens verwerken
> Optimaliseer pipelines voor analytische of transactionele doeleinden
Ontwerp data security
> Ontwerp beveiliging voor gegevensbeleid en standaarden
> Ontwerp data encryption for data at rest and in transit
> Ontwerp een strategie voor gegevensaudits
> Ontwerp een strategie voor het maskeren van gegevens
> Ontwerp voor gegevensprivacy
> Ontwerp een beleid voor het bewaren van gegevens
> Ontwerp om gegevens te wissen op basis van zakelijke vereisten
Extra informatie
Je hebt voor deze training een eigen laptop nodig. Je hoeft van te voren geen software te installeren. Alle programma’s die tijdens de opleiding gebruikt worden zijn open source en gratis te gebruiken.
Er wordt gebruik gemaakt van een aantal programma’s, die tijdens de opleiding geïnstalleerd worden: zorg dus ervoor dat je een laptop meeneemt waarvan je de installatie rechten hebt. De laptop dient Windows 7 of hoger, of OS X Yosemite of hoger te ondersteunen.
- Voor deze opleiding is geen specifieke voorkennis vereist.
- Tijdens de opleiding zal de lunch worden voorzien.
- Je ontvangt het boek ‘Succes met Big Data’.
Voor wie is de opleiding Data Engineering 360° geschikt?
Deze opleiding is bedoeld voor professionals die affiniteit hebben met data en al data transformeren in bruikbare informatie binnen een organisatie. De opleiding is ook uitermate geschikt voor mensen die zich willen omscholen, of die zich willen laten specialiseren als Data Engineer. Belangrijk is dat je enige jaren werkervaring hebt als programmeur.
Wil je meer informatie over de opleiding? Of twijfel je of je genoeg voorkennis hebt om deze opleiding te volgen? Neem gerust contact met ons op via ons contactformulier, dan voorzien wij je van advies!
Veel gestelde vragen
Novalinq staat garant voor kwaliteit en wij zijn in het bezit van het NRTO-keurmerk.
Wij werken met eigen trainers die in dienst zijn bij Novalinq en ruime ervaring hebben met doceren en implementeren van data science, data analyse en data engineering. Dit zijn ervaren domeinexperts die snappen hoe data omgezet moet worden in actie en de uitdagingen kennen.
Wij vinden het cruciaal dat onze trainers de theorie kunnen omzetten in relevante kennis uit de praktijk. Dit realiseren wij door ons eigen opleidingsprogramma te maken volgens de taxonomie van Bloom. Onze opleidingen worden periodiek van een update voorzien in dit snel veranderende vakgebied. Zo ben jij er zeker van dat je de meest actuele kennis krijgt.
Novalinq hanteert een startgarantie voor elke opleiding. Dit betekent dat elke opleiding doorgaat. Mocht een opleiding om welke reden dan ook toch verplaatst worden, dan behoudt je het recht om binnen 5 werkdagen na kennisgeving jouw deelname te annuleren of voor een andere opleidingsdatum te kiezen.
Je hoeft zich geen zorgen te maken dat de inschrijfmogelijkheid van de door jouw gekozen opleiding vol is. Wij sturen je na jouw inschrijving een mail met de bevestiging van jouw deelname en mocht het maximaal aantal deelnemers toch bereikt zijn, dan plannen wij een extra opleiding in.
Jazeker! Het is zeker mogelijk om een opleiding bij jou op locatie te geven. Tijdens zo’n opleiding bij jou krijg je persoonlijke en intensieve begeleiding van onze ervaren trainers. Klik hier voor meer informatie over een incompany opleiding.
Onze opleidingen starten om 10:00 uur en eindigen om 16:00 uur. Je bent vanaf 9:30 uur van harte welkom. Aan het einde van de dag dien je rekening te houden met maximaal 30 minuten uitloop. Eventuele afwijkingen van deze tijden worden door de trainer duidelijk met je gecommuniceerd.
Wij verzorgen de opleidingen bij ons op kantoor in Haarlem. Deze locatie is makkelijk bereikbaar en kent voldoende parkeergelegenheid en is van alle gemakken voorzien.
Je kan rekenen op een uitgebreide lunch en gedurende de dag staan uiteenlopende (fris)drankjes, koffie en/of thee tot jouw beschikking. Deze kosten nemen wij voor onze rekening.
Inschrijven voor de opleiding doe via de knop 'schrijf je in'. Er zal een nieuw venster geopend worden om het inschrijfformulier in te vullen. Na het verzenden van het inschrijfformulier ontvang je een bevestiging.
De getoonde prijzen zijn exclusief 21% BTW. Voor particulieren geldt dat zij vrijgesteld zijn van BTW.
Je ontvangt de factuur voor jouw deelname in een aparte mail na ontvangst van de bevestigingsmail. Wij hanteren een betalingstermijn van 21 dagen.
Na de bevestiging van jouw deelname aan één van onze opleidingen, kan je 30 dagen voor aanvang van de eerste dag jouw deelname annuleren of verplaatsen. Je dient ons hierover per email of telefonisch in te lichten via info@novalinq.com of 085-060 5534.
Het is ook mogelijk om een vervangende deelnemer aan te dragen. Breng ons hiervan uiterlijk 48 uur voor aanvang van de eerste cursusdag op de hoogte. Voor de annulering van een opleiding vragen wij je onze algemene voorwaarden die opgesteld zijn door de NRTO te raadplegen. Wij zullen in elke situatie ons uiterste best doen om een passende oplossing voor jou te vinden.
De opleidingen van Novalinq zijn geschikt voor personen met een werk- en denkniveau van HBO/HBO+.
Novalinq biedt opleidingen en trainingen aan in het Nederlands.
Om op een goed deel te kunnen nemen aan een online-training van Novalinq, vragen wij je zorg te dragen voor de volgende zaken:
1. Een computer of laptop met stabiele internetverbinding van minimaal 15 Mbps.
2. Een (ingebouwde) video (webcam) en audio (microfoon) waarmee je goed zichtbaar en verstaanbaar bent.
3. Een rustige ruimte waar je ongestoord kunt deelnemen aan de opleiding. Zo waarborgen we voor elke deelnemer een waardevolle training.
Staat je vraag er niet bij? Neem dan contact met ons op via 085-060 55 34 of via info@novalinq.com. Wij beantwoorden graag je vraag. Een bericht sturen via het contactformulier kan natuurlijk ook.
Blijf op de hoogte
Wij houden je graag op de hoogte van ons opleidingenaanbod, geven je tips en delen onze beste blogs met je.
.svg)
