This event is history, please check out the List of Upcoming Seminars, or send us an email

Check out our related in-house workshops:

 Leerdoelen

Waarom deze workshop over Apache Spark ?

Big Data is de hype van het moment in de ICT en marketing wereld. Apache Hadoop werd sinds zijn ontstaan in 2007 beschouwd als de facto standaard voor het opslaan en verwerken van big data volumes in batch.

Maar elke nieuwe technologie kent ook zijn beperkingen, zo ook Hadoop: het is batch-oriented en het MapReduce framework is te beperkend om elk type van data analyse te implementeren binnen dezelfde technologie stack.

Gezien het toenemende volume en snelheid waarmee data gegenereerd wordt, stijgt de behoefte naar snellere data verwerking en analyse om een stap vooruit te blijven en de verwachtingen van eindgebruikers in te lossen.

Apache Spark komt tegemoet aan deze verwachtingen als een "open source data analytics cluster computing framework". Spark werd ontwikkeld in 2009 aan het AMPLab (Algorithms, Machines, and People Lab) van de University of California in Berkeley, en geschonken aan de open source wereld in 2010. Het is sneller dan Hadoop, in sommige gevallen tot 100x sneller, en voorziet een framework dat meerdere types van data analyse ondersteunt binnen dezelfde technologie stack: snelle interactieve queries, streaming analyse, graph analyse en machine learning. Tijdens deze workshop bespreken we de theorie en praktijk van diverse data analyse toepassingen.

Voor wie is deze workshop bestemd ?

Deze workshop is vooral bedoeld voor developers en data analysten die meer willen weten over Apache Spark. Deze cursus laat hen toe om hands-on de basics van Spark aan te leren. U krijgt een introductie tot alle Spark componenten vanuit het perspectief van de "data developer". Een basiservaring programmeren is nodig om deze cursus te kunnen volgen.

De oefeningen worden uitgevoerd op een eigen laptop met behulp van de Scala programmeertaal en variëren van eenvoudig tot moeilijk.

Deze cursus is ook beschikbaar via I.T. Works als in-house opleiding voor minimum 5 personen van uw bedrijf.

 Volledig Programma

Waar komt Spark vandaan en waarom is het zo snel uitgegroeid tot het meest populaire cluster computing framework in een mum van tijd? Wat zijn de voordelen ten opzichte van Hadoop?

Spark werd ontwikkeld in Scala, een high-level programmeertaal die object-oriented en functioneel programmeren combineert. Het definiëren van variabelen, functies en het gebruik van collecties in Scala worden toegelicht.

De Spark API wordt bekeken vanuit het perspectief van de "Data Developer": van het prototypen in de Spark Shell tot hoe Spark applicaties te compileren en te packagen om deze te submitten naar de cluster toe, en hoe de applicatie uitgevoerd wordt in de cluster.

Volgende onderwerpen komen daarbij aan bod:

• Spark Shell: De interactieve shell waarmee je interactief data analyses in Spark kan uitvoeren
• Spark Context: Deze context laat toe om met een cluster te communiceren en wordt gebruikt om RDDs, broadcast variabelen en accumulators aan te maken
• Spark Master: De Spark context communiceert met een spark master om acties op RDDs op de cluster uit te voeren
• RDD (Resilient Distributed Datasets): Het belangrijkste Spark concept, dit stelt een gedistribueerde collectie van objecten voor
• Transformaties & Actions: De operaties die men kan uitvoeren op RDDs kan men opsplitsen in transformaties en acties
• Caching: Wanneer RDDs in een iteratief process gebruikt worden dan kan men deze best cachen wat bijdraagt tot een betere performantie
• Spark Applications: Nu we weten hoe we onze applicatie kunnen schrijven met behulp van RDDs, transformaties en acties, kunnen we de code van een applicatie schrijven, compileren, bundelen en submitten naar de cluster toe
• Spark Execution Model: Hoe wordt een Spark applicatie uitgevoerd op de cluster?

Naast de Spark core module bekijken we een aantal modules die werden toegevoegd aan de Spark stack:

• Spark SQL: Het analyseren van gestructureerde data met behulp van SQL commando's
• Spark Streaming: Deze module laat toe om een continue stroom van data te analyseren terwijl deze data ontvangen wordt. Een eenvoudige twitter analyse applicatie wordt bekeken
• MLlib: Een machine learning bibliotheek voor Spark. Deze laat onder andere clustering, classificatie en het maken van recommendations toe. Een movie recommendation applicatie wordt toegelicht
• GraphX: Een nieuwe module die toelaat om graphs voor te stellen als RDDs om daarop bewerkingen uit te voeren zoals PageRanking en andere graph algoritmes
• Notebooks: Notebooks zijn interactieve programma's die toelaten om tijdens de data analyse de verkregen resultaten te visualiseren. We analyseren data en visualiseren de resultaten met behulp van apache Zeppelin

 Sprekers

Questions about this ? Interested but you can't attend ? Send us an email !