Adding Value Consulting
Advanced Streaming Big Data with Spark - eLearning
Software & Cloud

Advanced Streaming Big Data with Spark - eLearning

4.950,00 NOK

  • 25 hours
eLæring

Gå inn i sanntidsdatabehandling med kurset Streaming Big Data with Spark Training, utviklet for å hjelpe deg å bygge høyytelses, skalerbare datapipelines som behandler informasjon idet den oppstår. Dette kurset introduserer deg for Apache Sparks streaming-funksjonalitet, slik at du kan jobbe med kontinuerlige datastrømmer for moderne analyse- og beslutningssystemer.

Nøkkelfunksjoner

Språk

Kurs og materiell på engelsk

Nivå

Mellomnivå – avansert nivå

Tilgang

1 års tilgang til læringsplattformen

9 timer med videoer på forespørsel

med over 25 timer anbefalt studietid

38 veiledede praktiske øvelser

13 automatisk vurderte prøver

33 repetisjonsquizer

3 virkelige prosjekter

Sertifikat

Sertifikat for fullført program inkludert

Hero

Læringsutbytte

Ved slutten av dette kurset vil du kunne forstå:

Kjøretid

Få en fullstendig forståelse av Spark-kjøretidsarkitekturen

DataFrame

Utfør grunnleggende DataFrame-operasjoner og -funksjoner i Spark

Strøm

Lær det grunnleggende om strømbehandling med Spark

Kafka

Utforsk direkte integrasjon av Spark Streaming med Apache Kafka

Amazon

Arbeid med Spark Streaming ved hjelp av Amazon Kinesis

Søk

Forstå og anvend glidende vindu-operasjoner i strømprosessering

Hero

Kursplan

  1. Kjøretid for Spark

    Leksjon 01

    • Forståelse av Spark RDD
    • Forståelse av Spark DataFrame
    • Oversikt over Spark-kjøretidsarkitektur

  2. ETL med Spark

    Leksjon 02

    • Karttransformasjoner
    • Forvandlingene
    • Grunnleggende handlinger
    • Transformasjoner av nøkkel-verdi-par
    • Sammenføyningsoperasjoner
    • Numeriske RDD‑operasjoner og utvalgsfunksjoner
    • Partisjonering i Spark
    • Styring av partisjoner i Spark
    • Bruke eksterne programmer med Spark

  3. SparkSQL og DataFrames

    Leksjon 03

    • Spark SQL-arkitektur
    • Oversikt over DataFrame-API
    • Opprette DataFrames
    • DataFrame-datamodell og skjemaer
    • Grunnleggende DataFrame-operasjoner
    • DataFrame-funksjoner
    • Mengeoperasjoner og aggregeringer i DataFrames
    • Lagring og utdata av DataFrame
    • DEMO Spark SQL og DataFrames

  4. Introduksjon til strømbehandling med Spark

    Leksjon 04

    • Introduksjon til Spark Streaming
    • Introduksjon til DStreams
    • DStream-operasjoner

  5. Tilstandsbehandling med Spark Streaming

    Leksjon 05

    • Statlige operasjoner
    • Introduksjon til Event Sourcing
    • Demonstrasjon av tilstandsbasert strømming med Spark

  6. Glidende vindusoperasjoner med Spark Streaming

    Leksjon 06

    • Vindusoperasjoner
    • Vindusfunksjoner
    • DEMO av glidende vindusoperasjoner med Spark Streaming

  7. Introduksjon til strukturert strømming   

    Leksjon 07

    • Oversikt over strukturert strømming
    • Utdatamoduser og utløsning med Structured Streaming
    • DEMO Introduksjon til strukturert strømming

  8. Introduksjon til Apache Kafka

    Leksjon 08

    • Oversikt og arkitektur for Apache Kafka
    • Meldingshåndtering med Kafka
    • Demo: Lokal installasjon av Apache Kafka

  9. Kafka-integrasjon med Spark Streaming    

    Leksjon 09

    Bruke Spark Streaming med Apache Kafka

  10. Bruke mottaker-tilnærmingen

    Leksjon 10

    • Demo: Lokal installasjon av Apache Kafka
    • Bruke den direkte tilnærmingen
    • DEMO av Spark Streaming med Apache Kafka ved bruk av Direct-tilnærmingen

  11. Kafka-integrasjon med Structured Streaming

    Leksjon 11

    • Strukturert strømming og Kafka
    • Lese og skrive data til Kafka med Structured Streaming
    • DEMO Kafka og Structured Streaming

  12. Bruke Spark Streaming med Kinesis

    Leksjon 12

    • Bruke Amazon Kinesis-produsent- og klientbiblioteker
    • DEMO Introduksjon til Amazon Kinesis

  13. Bruke Spark Streaming med Kinesis

    Leksjon 13

    • Bruke Spark Streaming med Amazon Kinesis
    • DEMO Bruke Spark Streaming med Amazon Kinesis
    • Bruke Structured Streaming med Amazon Kinesis
    • DEMO Bruke Structured Streaming med Amazon Kinesis

  14. Flere integrasjoner med Spark Streaming

    Leksjon 14

    • Spark Streaming med MQTT
    • Spark Streaming og Apache Flume
    • Spark Streaming og Twitter
    • Spark Streaming og Snowflake
    • DEMO strukturert strømming med Snowflake
Avansert strømming av stordata med Spark

Hvem bør melde seg på dette programmet?

Dataingeniører som jobber med sanntidsdatasystemer

Big data-spesialister og Spark-utviklere

Programvareingeniører som går over i dataingeniørroller

Datascientister som er interessert i sanntidsanalyse

Backend-utviklere som bygger datakrevende applikasjoner

IT-fagfolk som jobber med storskala distribuerte systemer

Start kurset nå

Forutsetninger

  • Grunnleggende forståelse av programmering (helst Java, Scala eller Python)
  • Kjennskap til big data-konsepter og distribuerte systemer
  • Grunnleggende kunnskap om databehandling eller analysearbeidsflyter
  • Forståelse av databaser og SQL (nyttig, men ikke obligatorisk)
  • Ingen tidligere erfaring med Spark Streaming er nødvendig.

Uttalelser

Lisensiering og akkreditering

Dette kurset tilbys i henhold til Partnerprogramavtalen og er i samsvar med kravene i Lisensavtalen

Likestillingspolicy

Kandidater oppfordres til å ta kontakt med AVC for veiledning og støtte gjennom hele tilretteleggingsprosessen.


Ofte stilte spørsmål

Contact background

Trenger du bedriftsløsninger eller LMS-integrasjon?

Fant du ikke kurset eller programmet som ville være passende for din bedrift? Trenger du LMS-integrasjon? Ta kontakt med oss! Vi er agile og løser alt!