Software Engineer for MLOps Team (Python) - Data&AI

  • Warszawa, Poznań, Poland
  • Pełny etat

Opis stanowiska

Widełki wynagrodzenia przewidziane przy tym stanowisku to: 12 500 - 17 000 PLN

Trenowanie i serwowanie predykcji z modeli ML wiąże się z poważnymi wyzwaniami inżynierskimi. Słyszeliście pewnie o modelach zbyt niebezpiecznych by je publikować? Architektura modeli z rodziny GPT to naprawdę kawał sieci neuronowej, najnowszy GPT-3 to ponad 175 miliardów parametrów do tunowania. Podobnie modele językowe BERT-like jak choćby nasz Allegrowy Herbert (https://lnkd.in/erSRUqY) to kilka dobrych tygodni treningu na wypasionych maszynach z kartami graficznymi, a czas predykcji waha się od kilkuset milisekund do sekundy. Jak więc wykorzystać drzemiące w tych rozwiązaniach możliwości w sytuacji gdy użytkownikowi musimy odpowiedzieć w kilkadziesiąt milisekund? Jak rozproszyć trening żeby mieć nową wersję modelu szybciej? Jak zapewnić zasilanie aktualnymi danymi i zapewnić spójność transformacji między danymi używany do trenowania i predykcji? Tego typu wyzwania czekają na Ciebie w zespole MLOps, który zajmuje się tworzeniem infrastruktury i narzędzi, wspierających cały cykl życia modelu ML. 

Platforma którą tworzymy składa się z:

  • platformy do serwowania modeli jako mikroserwisy

  • frameworka do eksperymentów i treningów

  • usługi do przechowywania artefaktów związanych z ML

  • rozproszonej wyszukiwarki wektorowej, opartej o FAISS

  • bazy cech do treningu i predykcji (dane są dostępne online i offline)

  • BigFlow (https://github.com/allegro/bigflow) – frameworka open-source służącego m.in. do predykcji offline/streaming

  • platformy do anotacji danych

Do naszych obowiązków należy:

  • Rozwój i utrzymanie mikroserwisów, procesów ETL, bibliotek, procesów CI/CD i frameworków

  • Projektowanie architektury poszczególnych rozwiązań jak i całej platformy MLOps.

  • Zbieranie wymagań, tworzenie backlogu i budowanie roadmapy

  • Pisanie dokumentacji, szkolenie użytkowników i wspieranie ich w codziennej pracy na naszej platformie

Dlaczego miał(a)byś z nami pracować?:

  • Mamy pełną kontrolę nad rozwojem naszych produktów. Jako część zespołu MLOps, możesz mieć duży wpływ na to jak działa Allegro w obszarze Data & AI. Nasza platforma jest wykorzystywana przez inżynierów i data scientist’ów do serwowania dziesiątek modeli ML (a to dopiero początek)

  • Będziesz miał(a) szansę rozwinąć się w wielu obszarach technologicznych, w których pracujemy na co dzień: mikroserwisy, big data, ML, DevOps. Najważniejsze technologie które wykorzystujemy to: Python, Java, Kotlin, Groovy, Dataflow, Spring, BigQuery i Airflow

  • Będziesz rozwiązywał(a) problemy o dużej złożoności i zróżnicowaniu, nie tylko na płaszczyźnie technicznej, ale też organizacyjnej i domenowej

  • Będziesz miał(a) szansę pracować z nad rozwiązaniami, które muszą obsłużyć tysiące RPSów i przegryźć się przez terabajty danych.

  • Oprócz naszej wewnętrznej infrastruktury poznasz też Google Cloud Platform

Oprócz tego oferujemy m.in.:

  • Wysokiej klasy sprzęt (Macbook Pro, 2 monitory, akcesoria Apple których potrzebujesz, telefon służbowy)

  • Bogaty pakiet świadczeń pozapłacowych w systemie kafeteryjnym – Ty decydujesz z czego korzystasz

  • Zajęcia angielskiego opłacane przez nas

  • Budżet na szkolenia zewnętrzne i konferencje oraz dostęp do szkoleń na naszej wewnętrznej platformie

Ofertę kierujemy do osób, które:

  • Programują w Pythonie lub Javie i są chętne do nauki pozostałych języków i technologii z naszego stosu

  • Chcą się rozwijać we wszystkich obszarach technicznych w których pracuje zespół: mikroserwisy, big data, ML (od strony inżynierskiej), DevOps

  • Chcą rozwijać swoje umiejętności “miękkie” i są graczami zespołowymi.

Aplikując przez to ogłoszenie przejdziesz przez ścieżkę rekrutacyjną w języku Python. Jeśli chcesz aplikować na to stanowisko przechodząc przez scieżkę Java, a nie Python, aplikuj przez poniższe ogłoszenie:

Software Engineer (Java/Kotlin) - Data&AI

Polityka prywatności