AWS Academy Data Engineering¶
Module 1:¶
Voraussetzungen¶
| Voraussetzung | Beschreibung |
|---|---|
| Vorwissen AWS | Abschluss des AWS Cloud Foundations-Kurses oder gleichwertige Erfahrung |
| SQL | Erfahrung mit Structured Query Language |
| Datenbanken | Allgemeine Erfahrung im Umgang mit Datenbanken |
| Netzwerke | Einführung in grundlegende Netzwerkkonzepte |
| Mathe / Statistik | Grundlagen in Mathematik, Wahrscheinlichkeit und Statistik |
Ziel-Berufe¶
| Rolle | Relevanz |
|---|---|
| Data Engineer | Hauptzielgruppe |
| Data Analyst | Passend |
| Data Scientist | Passend |
| ETL-Entwickler | Passend |
| ML Practitioner | Passend |
Kursziele¶
Teil 1: Grundlagen¶
| Ziel | Inhalt |
|---|---|
| Data Science verstehen | Rolle und Wert in einer datengetriebenen Organisation erklären |
| Pipeline-Infrastruktur | Einfluss von Daten auf Designentscheidungen erkennen |
| AWS-Datenpipeline | Visualisierung eines generischen Szenarios |
| Datensicherheit | Risiken und Governance je Pipeline-Schritt |
| Skalierung | Best Practices für grosse Datenmengen |
| Datenerfassung | Design mit Fokus auf Skalierbarkeit, Kosten, Fehlertoleranz, Latenz |
Teil 2: Umsetzung¶
| Ziel | Inhalt |
|---|---|
| Speicherung | Passende Datenhaltung je Use Case auswählen |
| Datenformate | Strukturierte, semi- und unstrukturierte Daten verarbeiten |
| MapReduce & EMR | Grundlagen und Anwendung in Big Data Pipelines |
| ML-Pipelines | Merkmale und Schritte verstehen |
| Datenanalyse | Passende AWS-Tools einsetzen |
| Visualisierung | Darstellung abhängig von Zielgruppe und Datentyp |
Modulübersicht¶
| Modul | Titel |
|---|---|
| 1 | Einführung |
| 2 | Datengetriebene Organisationen |
| 3 | Elemente von Daten |
| 4 | Designprinzipien und Muster |
| 5 | Sicherheit und Skalierung |
| 6 | Datenaufnahme und -vorbereitung |
| 7 | Batch- vs. Stream-Verarbeitung |
| 8 | Speicherung und Organisation |
| 9 | Big Data Verarbeitung |
| 10 | ML-Datenverarbeitung |
| 11 | Analyse und Visualisierung |
| 12 | Pipeline-Automatisierung |
| 13 | Zertifizierungsbrücke |
| Zusatz | IoT Use Case Slides |
Wichtige Bilder rund um Pipeline¶
Moudule 2:¶
5 Vs of data:¶
| V | Deutsch | Erklärung |
|---|---|---|
| Volume | Datenmenge | Die Menge an Daten, die täglich entsteht – z. B. durch Webseiten, Sensoren, Apps usw. |
| Velocity | Geschwindigkeit | Wie schnell Daten erzeugt, übertragen und verarbeitet werden müssen. Realtime-Analyse ist oft wichtig. |
| Variety | Vielfalt | Unterschiedliche Datenarten: Text, Bilder, Videos, Audio, strukturierte und unstrukturierte Daten. |
| Veracity | Wahrhaftigkeit | Die Zuverlässigkeit der Daten – sind sie korrekt, vollständig, vertrauenswürdig? |
| Value | Wert | Der Nutzen, den Unternehmen |
