Data Engineer (energy)

  • Department icon
    Data engineering & ML
  • Experience icon
    Mid
  • Working mode icon
    Remote
  • Location icon
    Polska | Białystok | Kielce | Lublin | Warszawa
Apply now

About the role

Data Engineer odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP). Branża energetyczna.

Our expectations

Udział w kilku projektach budowy rozwiązań cloud w roli Data Engineer

−    Bardzo dobre umiejętności komunikacyjne oraz organizacyjne.

−    Umiejętność efektywnej współpracy z zespołami IT i Project Managerami technicznymi.

−    Znajomość języka angielskiego na poziomie umożliwiającym pracę w środowisku międzynarodowym.

−   Gotowość do okazjonalnych wizyt w biurze klienta w Warszawie.

Kompetencje techniczne

−    Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics:

−    BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.

−    Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.

−    Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.

−    Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.

−    Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).

−    Dataplex: Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.

−    Pub/Sub: Praca z systemami kolejkowania komunikatów do integracji strumieniowej.

−    Dataform: Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.

Języki Programowania

−    Python: Znajomość języka, w tym bibliotek do przetwarzania danych (Pandas).

−    SQL: Znajomość SQL (ANSI SQL, dialekt BigQuery) do transformacji, analizy i modelowania danych.

Bazy Danych:

−    MySQL: Zrozumienie relacyjnych baz danych, optymalizacja zapytań, praca z danymi transakcyjnymi (CSZZ).

−    PostgreSQL, MS SQL Server: Znajomość tych baz danych jako źródeł danych.

Koncepcje i Metodologie:

−    Architektura Medalionowa (Bronze, Silver, Gold): Doświadczenie w implementacji i utrzymaniu tej architektury.

−    ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.

−    Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).

−    Deduplikacja Danych: Projektowanie i implementacja strategii deduplikacji klientów, zarządzanie regułami łączenia i wykluczania.

−    Wersjonowanie Danych (Data Versioning): Zrozumienie technik wersjonowania schematów i danych.

Narzędzia i Procesy Deweloperskie:

−    Git: Znajomość systemów kontroli wersji (strategie branchingu, Pull Requests).

−    CI/CD: Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).

−    Monitorowanie i Alertowanie: Konfiguracja Cloud Monitoring i Cloud Logging.

What we offer

Unique atmosphere

Unique atmosphere

A good and friendly atmosphere in the company and the satisfaction of working with both departmental colleagues and direct superiors.

Team-building events

Team-building events

Large internal technology conferences, star parties and team outings.

Flexibility

Flexibility

Working hours are flexible and tailored to individual preferences. As is the mode of work delivery: remotely or in a hybrid model.

Development paths

Development paths

They are clear, straightforward and certainly not bumpy. Choose between a managerial or expert development path.

Certifications

Certifications

We facilitate the development of desired competencies, subsidize training and courses.

Security

Security

We have many years of experience in the market and implement national and international projects. We skillfully manage tasks and enable smooth allocation between projects.

Language lessons

Language lessons

For those who speak fluently and want to maintain this level or wish to develop their language skills, we enable free participation in language lessons. Are conducted in the modern and safe form of online meetings. Just learn IT!

Comfort at work

Comfort at work

Attractively decorated relaxation areas, available in the company's largest branches, to encourage relaxation during the day, and equipped kitchens with aromatic coffee.

Support for activity

Support for activity

We have soccer teams, we play championships, we have marathon runners and other active sports lovers on board. We support all passions.

Apply for the position

Icon down
Icon down
Icon down
Icon down
Icon paperclip

Max. 10MB, .pdf|.doc|.docx