Apache Spark og Scala kurs – klasserom
22.500,00 NOK
- 24 hours
Lås opp det fulle potensialet i stordata ved å mestre Apache Spark med Scala – en av de kraftigste kombinasjonene innen moderne data engineering. Dette praktiske kurset er laget for å hjelpe deg med å behandle, analysere og hente innsikt ut av enorme datasett ved hjelp av Sparks lynraske, minnebaserte beregningskraft. Du lærer å bygge skalerbare datapipelines, utføre sanntidsanalyse og implementere maskinlæringsmodeller – samtidig som du utvikler solide programmeringsferdigheter i Scala.
Nøkkelfunksjoner
Språk
Kursmateriell på engelsk
Nivå
Nybegynner- til middels nivå
24 timer med instruktørledet, praktisk opplæring
Over 50 timer anbefalt studietid
3 virkelige prosjekter for praktisk anvendelse
Over 70 timer med quizer, oppgaver og øvingsmateriale
Praktiske laboratorier med virkelige datasett
Dekning av verktøy i Spark-økosystemet som Spark SQL, MLlib og Streaming
Praktisk erfaring med Scala-programmering
Ekspertveiledning og oppfølging gjennom hele kurset
Be om bekreftelse på dato!
Sertifikat for fullført program inkludert
Læringsutbytte
Når du er ferdig med dette programmet, vil du kunne:
Grunnleggende om stordata
Utvikle en solid forståelse av big data-konsepter, nøkkelkomponenter og rammeverk, inkludert Hadoop-arkitektur og dens driftsmoduser.
Introduksjon til Scala
Lær det grunnleggende i Scala-programmering, inkludert kjernesyntaks og konsepter som kreves for å jobbe med Apache Spark.
Introduksjon til Spark
Forstå kjerneprinsippene i Apache Spark og hvordan du bygger og kjører Spark-applikasjoner.
Spark-rammeverk og -distribusjon
Utforsk Spark-rammeverket i dybden, inkludert dets arkitektur og ulike måter å distribuere det på.
Spark-datastrukturer
Arbeid med Sparks interne datastrukturer som RDD-er, og bruk API-er og Scala-funksjoner til å opprette og transformere data.
Spark-økosystemet
Få praktisk erfaring med viktige komponenter i Spark-økosystemet, inkludert Spark SQL, Streaming, MLlib, GraphX og mer.
Kursplan
Introduksjon til Big Data, Hadoop og Spark
Leksjon 1
- Big data-konsepter og virkelige bruksområder
- Hadoop-økosystemet og HDFS
- Klyngearkitektur og YARN
- Batch- kontra sanntidsbehandling
- Introduksjon til Spark og dets fordeler
Introduksjon til Scala
Leksjon 2
- Grunnleggende Scala og REPL
- Variabler, kontrollstrukturer og funksjoner
- Samlinger (Array, Map, lister, tupler)
- Scala i stordata-økosystemer
Objektorientert og funksjonell programmering i Scala
Leksjon 3
- Klasser, objekter og pakker
- Egenskaper og arv
- Funksjonelle programmeringskonsepter
- Høyereordensfunksjoner og feilhåndtering
Scala-kolleksjons-API-er
Leksjon 4
- Samlingstyper og hierarkier
- Ytelsesegenskaper
- Java-interoperabilitet
- Bruke Scala-implicits
Introduksjon til Spark og RDD-er
Leksjon 5
- Spark-arkitektur og oppsett
- Spark-applikasjoner og Spark-skall
- RDD (Resilient Distributed Datasets)
- Datatransformasjoner og handlinger
- Mellomlagring og persistens
- Laste inn og lagre data
Spark SQL og databehandling
Leksjon 6
- Spark SQL-arkitektur
- DataFrames og datasett
- Arbeide med JSON og Parquet
- Brukerdefinerte funksjoner (UDF-er)
- Integrasjon med Hive
Maskinlæring med Spark MLlib
Leksjon 7
- Introduksjon til maskinlæringskonsepter
- MLlib-funksjoner og verktøy
- Overvåkede og ikke-overvåkede algoritmer
- Lineær regresjon, beslutningstrær, tilfeldige skoger
- Klyngemetoder
Strømming med Kafka og Flume
Leksjon 8
- Konsepter for sanntidsdatabehandling
- Kafka-arkitektur og klyngeoppsett
- Datainnsamling og strømmingspipeliner
Hvem bør melde seg på dette programmet?
Forutsetninger
- Grunnleggende forståelse av SQL og databaser
- Kjennskap til programmering (Python, Java eller Scala anbefales)
- Grunnleggende kunnskaper i Linux/Unix (nyttig, men ikke obligatorisk)
- Erfaring med Hadoop-konsepter er en fordel, men ikke et krav
Data Scientists og Data Engineers
Dataanalytikere og BI-spesialister
Programvareutviklere og -arkitekter
Fagpersoner innen forskning som arbeider med data
Uttalelser
Lisensiering og akkreditering
Kurset tilbys i henhold til Partnerprogramavtalen og oppfyller kravene i Lisensavtalen.
Likestillingspolicy
Kandidater oppfordres til å ta kontakt med AVC for veiledning og støtte gjennom hele tilretteleggingsprosessen.
Ofte stilte spørsmål
Trenger du bedriftsløsninger eller LMS-integrasjon?
Fant du ikke kurset eller programmet som ville være passende for din bedrift? Trenger du LMS-integrasjon? Ta kontakt med oss! Vi er agile og løser alt!