Data Engineer (.NET) - Allegro Pay
- Pełny etat
Opis stanowiska
Na czym polegać będzie Twoja praca?
- Będziesz samodzielnie pracować nad budową nowoczesnego, korzystającego z klastra Big Data, osadzonego w chmurze rozwiązania analitycznego, mającego na celu wsparcie obszaru usług finansowych oferowanych na portalu Allegro
- Weźmiesz udział w projektowaniu i implementowaniu nowoczesnych procesów ETL integrujących i przetwarzających dane z różnych systemów opartych na mikroserwisach wystawionych na klastrze Kubernetes
- Będziesz zarządzać, monitorować i udoskonalać procesy związane z przepływem danych
- Wykorzystasz różnorodne formaty np. JSON, Avro, Parquet, tabele w relacyjnych bazach danych, dane geograficzne
Dlaczego miał(a)byś z nami pracować?
- W ekosystemie .NET korzystamy z najnowszej wersji .NET Core (3.1)
- Mikrousługi w .NET uruchamiane na Kubernetes w chmurze Microsoft Azure
- Środowisko łączące nasze prywatne dwa Data Centers (10 000 serwerów) oraz Chmurę Publiczną (MS Azure oraz GCP)
- Mikroserwisy na serio (900+), skala na serio (60k+ rps na biznesowej szynie danych), Big Data (kilka petabajtów danych), Machine Learning wykorzystywany produkcyjnie
- Code Review, Continuous Integration, Scrum/Kanban (zależnie od zespołu), Domain Driven Design, Test Driven Development, Pair Programming
- Będziesz pracować przy projekcie związanym z modelowaniem
w obszarze finansów, w którym skala, zaawansowanie algorytmów, wpływ na biznes i wymagania techniczne będą kluczowym wyzwaniem - Bezpośrednio wpłyniesz na procesy przepływu danych, które w czasie rzeczywistym zmieniają to jak miliony użytkowników korzystają z Allegro
- Korzystamy z najnowocześniejszych narzędzi takich, jak DVC, PyCharm, Data Grip, Visual Studio Code, Zeppelin, Slack oraz technologii takich jak: Azure EventHub, CosmosDb, Kubernetes, PySpark, Snowflake, GCP Bigquery, Composer, Dataflow, Airflow oraz Tableau
- Zespół IT tworzony przez pasjonatów i pasjonatki, którzy w ramach Allegro Tech chętnie dzielą się wiedzą i doświadczeniem wewnątrz firmy na przykład przez turystykę zespołową (przeczytaj jak to działa) oraz na dziesiątkach konferencji w Polsce, w Europie i na świecie
- Nasi pracownicy regularnie wyjeżdżają na konferencje w Polsce
i zagranicą (Europa i USA), każdy zespół ma budżet na szkolenia i książki, jeśli chcesz się rozwijać, to zawsze Ci pomożemy
Ze swojej strony oferujemy:
- Sprawdź sam/a, a oprócz tego m.in:
- Nowoczesne biuro i narzędzia pracy
- Nieformalną atmosferę pracy w profesjonalnym zespole
- Bogaty pakiet świadczeń pozapłacowych w systemie kafeteryjnym – Ty decydujesz z czego korzystasz
- Zajęcia angielskiego z programem nauczania stworzonym z myślą
o inżynierach, opłacane przez nas - Budżet szkoleniowy oraz wewnętrzna platforma MindUp
Ofertę kierujemy do osób, które:
- Mają 2+ lat doświadczenia w przy budowie rozwiązań opartych o dane
- Są doświadczeni w programowaniu na platformie .NET
- Mają praktyczną wiedzę w tworzeniu procesów ETL z wykorzystaniem C#
- Zwyczajnie lubią, jak dane przetwarzają się wydajnie, czują satysfakcję, jak zapalą dużo core’ów, żeby szybko przetworzyć terabajty danych
- Umieją optymalizować zapytania SQL w silnikach tradycyjnych (SQL Server, Oracle), Big Data (Spark) oraz chmurowych (BigQuery, Snowflake)
- Mają doświadczenie w pracy z dużymi zbiorami danych, rozumieją algorytmy bazodanowe oraz struktury danych (np. wiedzą, czym się różni merge join od hash joina)
- Potrafią samodzielnie podejmować decyzje w powierzonych obszarach oraz biorą odpowiedzialność za stworzony przez siebie kod
Wyślij nam swoje CV i sprawdź dlaczego #dobrzetubyć