Senior Data Engineer (.NET)

  • Warszawa, Poland
  • Pełny etat

Opis stanowiska

Na czym polegać będzie Twoja praca?

W skrócie: będziesz samodzielnie pracować nad budową nowoczesnego, korzystającego z klastra Big Data, osadzonego w chmurze rozwiązania analitycznego, mającego na celu wsparcie obszaru usług finansowych oferowanych na portalu Allegro. Trochę bardziej szczegółowo, będziesz:

  • Projektować i implementować nowoczesny proces ETL integrujący i przetwarzający dane z różnych systemów, 
  • Zarządzać, monitorować i udoskonalać procesy związane z przepływem danych,
  • Pracować z różnorodnymi formatami np. json, Avro, Parquet, tabele w relacyjnych bazach danych, dane geograficzne,
  • Optymalizować koszta związane z funkcjonowaniem rozwiązania w chmurze GCP oraz Azure,
  • Wspomagać zespół analityków w tworzeniu efektywnych zapytań SQL i innego rodzaju rozproszonych przetwarzań,
  • Współtworzyć roadmapę zespołu na kolejne kwartały.   

Dlaczego miał(a)byś z nami pracować?

  • W ekosystemie .NET korzystamy z najnowszej wersji .NET Core (3.1)
  • Mikrousługi w .NET uruchamiane na Kubernetes w chmurze Microsoft Azure
  • Środowisko łączące nasze prywatne dwa Data Centers (10 000 serwerów) oraz Chmurę Publiczną (MS Azure oraz GCP)
  • Mikroserwisy na serio (900+), skala na serio (60k+ rps na biznesowej szynie danych), Big Data (kilka petabajtów danych), Machine Learning wykorzystywany produkcyjnie
  • Code Review, Continuous Integration, Scrum/Kanban (zależnie od zespołu), Domain Driven Design, Test Driven Development, Pair Programming
  • Będziesz pracować przy projekcie związanym z modelowaniem w obszarze finansów, w którym skala, zaawansowanie algorytmów, wpływ na biznes i wymagania techniczne będą kluczowym wyzwaniem. 
  • Bezpośrednio wpłyniesz na procesy przepływu danych, które w czasie rzeczywistym zmieniają to jak miliony użytkowników korzystają z Allegro.
  • Korzystamy z najnowocześniejszych narzędzi takich, jak DVC, PyCharm, Data Grip, Visual Studio Code, Zeppelin, Slack oraz technologii takich jak: Azure EventHub, CosmosDb, Kubernetes, PySpark, Snowflake, GCP Bigquery, Composer, Dataflow, Airflow oraz Tableau.
  • Zespół IT tworzony przez pasjonatów i pasjonatki, którzy w ramach Allegro Tech chętnie dzielą się wiedzą i doświadczeniem wewnątrz firmy na przykład przez turystykę zespołową (przeczytaj jak to działa)oraz na dziesiątkach konferencji w Polsce, w Europie i na świecie 
  • Nasi pracownicy regularnie wyjeżdżają na konferencje w Polsce i zagranicą (Europa i USA), każdy zespół ma budżet na szkolenia i książki, jeśli chcesz się rozwijać, to zawsze Ci pomożemy

Ze swojej strony oferujemy:

  • Nowoczesne biuro i narzędzia pracy
  • Nieformalną atmosferę pracy w profesjonalnym zespole oraz elastyczne godziny pracy
  • Bogaty pakiet świadczeń pozapłacowych w systemie kafeteryjnym – Ty decydujesz z czego korzystasz
  • Zajęcia angielskiego opłacane przez nas
  • Uczestnictwo w specjalnych wydarzeniach wewnętrznych typu Allegro Tech Meeting (wewnętrzna konferencja techniczna na 500 osób: zobacz podsumowanie i prelekcje na kanale YouTube)

Ofertę kierujemy do osób, które:

  • Mają 4+ lat doświadczenia w przy budowie rozwiązań opartych o dane 
  • Są doświadczeni w programowaniu na platformie .NET
  • Mają praktyczną wiedzę w tworzeniu procesów ETL z wykorzystaniem C#, F#
  • Zwyczajnie lubią jak dane przetwarzają się  wydajnie, czują satysfakcję jak zapalą dużo core’ów żeby szybko przetworzyć terabajty danych
  • Umieją optymalizować zapytania SQL w silnikach tradycyjnych (Sql Server, Oracle), Big Data (Spark) oraz chmurowych (BigQuery, Snowflake)
  • Mają doświadczenie w pracy z dużymi zbiorami danych, rozumieją algorytmy bazodanowe oraz struktury danych (np. wiedzą czym się różni merge join od hash joina)
  • Potrafią samodzielnie podejmować decyzje w powierzonych obszarach oraz biorą odpowiedzialność za stworzony przez siebie kod

Wyślij nam swoje CV i dołącz do Allegro!

Polityka prywatności