Inżynier Danych (Data Engineer)- Zespół Big Data (K/M)
Warszawa (REKRUTACJA ZDALNA)
Pion Analityki i Zarządzania Danymi w LINK4 poszukuje osoby na stanowisko Inżyniera Danych. Będziesz pracował/ła w dynamicznym zespole, który odpowiada za program transformacji w Data Driven Organization (m.in.: budowa wydajnego środowiska BI, budowa nowoczesnego Data Lake zasilającego inicjatywy oparte na Machine Learning). Korzystamy z nowoczesnych narzędzi do przetwarzania, eksploracji oraz analizy danych. Zespół aktywnie uczestniczy w transformacji firmy, co wiąże się z rozwojem klasycznej analityki oraz BI, jak i wykorzystaniem w szerokim zakresie technologii Big Data
Twoje zadania:
- budowa procesów przetwarzania danych w oparciu o usługi chmurowe Azure (m.in. Databricks) oraz on-prem (Python/SQL)
- optymalizacja procesów przetwarzania danych i optymalizacja kodów Python, SQL, Pyspark
- utrzymywanie dokumentacji procesów zasileń
- implementacja procesów zarządzania jakością danych, w tym wdrożenie reguł walidacji danych, standardów wprowadzania danych
- wdrożenie automatycznych procesów monitorowania jakości danych
Wystarczy, że:
- min. 1 rok doświadczenia w Pyspark (Spark)
- dobra znajomości języka Python (obszar przetwarzania danych),
- biegła znajomości SQL,
- umiejętności analityczne,
- doświadczenie w pracy na danych typu: parquet, delta, xml, json, avro, csv,
- doświadczenie w projektowaniu i budowaniu procesów przetwarzania danych.
Dodatkowym atutem będzie:
- doświadczenie w narzędziu Databricks,
- doświadczenie w projektowaniu i budowie procesów ETL (SSIS, ADF, Synapse, Airflow)
- znajomość baz danych: relacyjnych (PostgreSQL) i NoSQL (MongoDB),
- znajomość usług Azure (Event-Hubs, Storage, Synapse)
W zamian oferujemy Ci:
- współpracę w oparciu o umowę o pracę,
- pracę w trybie hybrydowym ( planowane spotkania min. 1 raz w kwartale)
- wdrożenie na stanowisko pracy – przekażemy Ci naszą wiedzę oraz doświadczenie, abyś mógł/a komfortowo rozpocząć pracę i rozwijać swoje kompetencje,
- świadczenia dodatkowe: prywatną opiekę medyczną, kartę Mulitsport, możliwość przystąpienia do grupowego ubezpieczenia na życie, liczne akcje na rzecz pracowników, program Rodzina LINK4,
- kulturę organizacyjną opartą na trzech wartościach: klient, mistrzostwo, szacunek – w centrum naszego zainteresowania zawsze jest klient, swoimi działaniami dążymy do mistrzostwa, a podstawą naszych relacji jest szacunek.