Software Engineer for MLOps Team (Python) - Data&AI
- Pełny etat
Opis stanowiska
Widełki wynagrodzenia przewidziane przy tym stanowisku to: 12 500 - 17 000 PLN
Trenowanie i serwowanie predykcji z modeli ML wiąże się z poważnymi wyzwaniami inżynierskimi. Słyszeliście pewnie o modelach zbyt niebezpiecznych by je publikować? Architektura modeli z rodziny GPT to naprawdę kawał sieci neuronowej, najnowszy GPT-3 to ponad 175 miliardów parametrów do tunowania. Podobnie modele językowe BERT-like jak choćby nasz Allegrowy Herbert (https://lnkd.in/erSRUqY) to kilka dobrych tygodni treningu na wypasionych maszynach z kartami graficznymi, a czas predykcji waha się od kilkuset milisekund do sekundy. Jak więc wykorzystać drzemiące w tych rozwiązaniach możliwości w sytuacji gdy użytkownikowi musimy odpowiedzieć w kilkadziesiąt milisekund? Jak rozproszyć trening żeby mieć nową wersję modelu szybciej? Jak zapewnić zasilanie aktualnymi danymi i zapewnić spójność transformacji między danymi używany do trenowania i predykcji? Tego typu wyzwania czekają na Ciebie w zespole MLOps, który zajmuje się tworzeniem infrastruktury i narzędzi, wspierających cały cykl życia modelu ML.
Platforma którą tworzymy składa się z:
platformy do serwowania modeli jako mikroserwisy
frameworka do eksperymentów i treningów
usługi do przechowywania artefaktów związanych z ML
rozproszonej wyszukiwarki wektorowej, opartej o FAISS
bazy cech do treningu i predykcji (dane są dostępne online i offline)
BigFlow (https://github.com/allegro/bigflow) – frameworka open-source służącego m.in. do predykcji offline/streaming
platformy do anotacji danych
Do naszych obowiązków należy:
Rozwój i utrzymanie mikroserwisów, procesów ETL, bibliotek, procesów CI/CD i frameworków
Projektowanie architektury poszczególnych rozwiązań jak i całej platformy MLOps.
Zbieranie wymagań, tworzenie backlogu i budowanie roadmapy
Pisanie dokumentacji, szkolenie użytkowników i wspieranie ich w codziennej pracy na naszej platformie
Dlaczego miał(a)byś z nami pracować?:
Mamy pełną kontrolę nad rozwojem naszych produktów. Jako część zespołu MLOps, możesz mieć duży wpływ na to jak działa Allegro w obszarze Data & AI. Nasza platforma jest wykorzystywana przez inżynierów i data scientist’ów do serwowania dziesiątek modeli ML (a to dopiero początek)
Będziesz miał(a) szansę rozwinąć się w wielu obszarach technologicznych, w których pracujemy na co dzień: mikroserwisy, big data, ML, DevOps. Najważniejsze technologie które wykorzystujemy to: Python, Java, Kotlin, Groovy, Dataflow, Spring, BigQuery i Airflow
Będziesz rozwiązywał(a) problemy o dużej złożoności i zróżnicowaniu, nie tylko na płaszczyźnie technicznej, ale też organizacyjnej i domenowej
Będziesz miał(a) szansę pracować z nad rozwiązaniami, które muszą obsłużyć tysiące RPSów i przegryźć się przez terabajty danych.
Oprócz naszej wewnętrznej infrastruktury poznasz też Google Cloud Platform
Oprócz tego oferujemy m.in.:
Wysokiej klasy sprzęt (Macbook Pro, 2 monitory, akcesoria Apple których potrzebujesz, telefon służbowy)
Bogaty pakiet świadczeń pozapłacowych w systemie kafeteryjnym – Ty decydujesz z czego korzystasz
Zajęcia angielskiego opłacane przez nas
Budżet na szkolenia zewnętrzne i konferencje oraz dostęp do szkoleń na naszej wewnętrznej platformie
Ofertę kierujemy do osób, które:
Programują w Pythonie lub Javie i są chętne do nauki pozostałych języków i technologii z naszego stosu
Chcą się rozwijać we wszystkich obszarach technicznych w których pracuje zespół: mikroserwisy, big data, ML (od strony inżynierskiej), DevOps
Chcą rozwijać swoje umiejętności “miękkie” i są graczami zespołowymi.
Aplikując przez to ogłoszenie przejdziesz przez ścieżkę rekrutacyjną w języku Python. Jeśli chcesz aplikować na to stanowisko przechodząc przez scieżkę Java, a nie Python, aplikuj przez poniższe ogłoszenie: