Zobrazit příspěvky
1
Studium a uplatnění / Informace o oboru Data Engineering
« kdy: 30. 01. 2021, 17:13:26 »
- Dělá z vás někdo práci, která by se dala nazvat data engineer? V jakém oboru se pohybujete?
- V čem spočívá vaše práce a co vás odlišuje od klasických softwarových vývojářů, datových analytiků a datových vědců?
- Liší se váš pohled na testování v datově intenzivním prostředí, kde tvar vstupních dat není konzistentní? (Oproti třeba klasickému softwaru, kde jsou vstupy jasně definovány nebo validovány).
- Uchováváte data radši v data laku nebo v data warehouse nebo nějakém lakehouse hybridu?
- Preferujete dávkové nebo streamovací zpracování dat? Jaké technologie používáte, nebo byste chtěli používat? (Postgres, redshift, spark, snowflake, databricks, kafka, flink, beam, dbt, airflow, ...).
Nevšiml jsem si, že by se to tu někdy řešilo, tak otvírám takovou otevřenou otázku. Obecně mi přijde, že u nás o tom není moc diskuse, přitom to vypadá na nový obor plný otevřených otázek.
- V čem spočívá vaše práce a co vás odlišuje od klasických softwarových vývojářů, datových analytiků a datových vědců?
- Liší se váš pohled na testování v datově intenzivním prostředí, kde tvar vstupních dat není konzistentní? (Oproti třeba klasickému softwaru, kde jsou vstupy jasně definovány nebo validovány).
- Uchováváte data radši v data laku nebo v data warehouse nebo nějakém lakehouse hybridu?
- Preferujete dávkové nebo streamovací zpracování dat? Jaké technologie používáte, nebo byste chtěli používat? (Postgres, redshift, spark, snowflake, databricks, kafka, flink, beam, dbt, airflow, ...).
Nevšiml jsem si, že by se to tu někdy řešilo, tak otvírám takovou otevřenou otázku. Obecně mi přijde, že u nás o tom není moc diskuse, přitom to vypadá na nový obor plný otevřených otázek.
