Проектирование и разработка высокопроизводительных Data Pipelines с использованием Apache Kafka и Apache NiFi для обработки и интеграции данных в режиме реального времени.
Настройка и управление оркестрацией ETL/ELT-процессов с помощью Apache Airflow и dbt.
Оптимизация и поддержка реляционных баз данных (Postgres/MySQL) и аналитических хранилищ данных, таких как ClickHouse.
Управление хранилищами данных и системами для работы с большими данными (такими как S3/MinIO) и их интеграция с системами анализа данных, такими как Apache Spark.
Автоматизация задач мониторинга и обеспечения надежности потоков данных.
Работа над повышением производительности и надежности процессов обработки данных с учетом требований безопасности и отказоустойчивости.
Взаимодействие с командами разработки и аналитики для обеспечения бесперебойного доступа к данным.
Разработка и внедрение стратегий по управлению данными, их качества и доступности.
Что мы от вас ожидаем
Отличное знание SQL, Python.
Опыт работы с потоковыми платформами, такими как Apache Kafka.
Глубокое понимание и опыт работы с Apache NiFi для построения потоков данных и управления интеграцией.
Знание систем оркестрации процессов, таких как Apache Airflow, и инструментов трансформации данных, таких как dbt.
Хорошее знание реляционных баз данных (Postgres, MySQL) и аналитических хранилищ данных, таких как ClickHouse.
Опыт работы с системами хранения данных, такими как S3/MinIO или HDFS, и инструментами для работы с большими данными, такими как Apache Spark, Flink.
Опыт создания и поддержки ETL/ELT-процессов в production-среде.
Знание принципов построения отказоустойчивых и масштабируемых систем для работы с большими объемами данных.
Опыт настройки и оптимизации производительности баз данных и хранилищ данных.
Приветствуется опыт работы с CI/CD для автоматизации процессов обработки данных.
Что мы можем предложить
Возможность полностью работать удаленно из любой точки мира или в офисе (Москва, Кипр) для желающих поработать в формате коворкинга или с закрепленным рабочим местом.
Оформление в штат компании и не только.
Возможность получать з/п в любой валюте.
Плавающее начало дня, 8 часов рабочий день.
Разнообразные корпоративные программы.
Anastasiya Rebenkova Recruiter
О компании Название скрыто (Сфера iGaming)
Сфера
Продуктовая компания
Название скрыто под NDA. Одна из ведущих компаний в сфере онлайн-ставок и азартных игр. Предлагает широкий спектр услуг для ставок на различные спортивные события и доступ ко множеству игр казино на инновационной платформе. Компания постоянно расширяет свое международное присутствие, предлагая свои услуги в различных странах и поддерживая высокие стандарты обслуживания и клиентской поддержки.
