Senior Data Engineer (Migrasi Databricks) Berpartisipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks Merancang dan mengimplementasikan arsitektur Lakehouse yang skalabel menggunakan Databricks dan Delta Lake Menganalisis beban kerja ETL / ELT yang ada dan menentukan pendekatan migrasi Mengembangkan dan mengoptimalkan pipeline data yang memproses data ritel dan analitik dalam volume besar Menerapkan strategi pemrosesan inkremental dan framework transformasi yang skalabel Membangun dan memelihara solusi pemrosesan data berbasis Spark menggunakan PySpark Merancang dan memelihara lapisan arsitektur medallion, termasuk Bronze, Silver, dan Gold Menerapkan praktik terbaik tata kelola dan keamanan data menggunakan Unity Catalog Berkolaborasi dengan tim Data Science, Analytics, Product, dan Customer Engineering Berpartisipasi dalam diskusi arsitektur dan perancangan solusi teknis Mengembangkan komponen platform data yang dapat digunakan kembali serta standar engineering Melakukan code review dan berkontribusi pada keandalan serta kemudahan pemeliharaan platform Melakukan troubleshooting dan mengoptimalkan beban kerja SQL dan Spark yang kompleks Mendukung deployment produksi dan aktivitas modernisasi platform Pengalaman profesional 5+ tahun sebagai Data Engineer Kemampuan pemrograman yang kuat dalam Python dan SQL tingkat lanjut Pengalaman komersial langsung menggunakan Databricks Pengetahuan yang kuat tentang Apache Spark, terutama PySpark Pengalaman merancang dan membangun platform data modern berbasis cloud Pengalaman mengembangkan pipeline ETL / ELT dan solusi pemrosesan data berskala besar Pengalaman langsung menggunakan Delta Lake Pengalaman menggunakan Spark Declarative Pipelines Pengalaman dalam pemantauan cluster, analisis metrik, dan optimalisasi performa Pemahaman yang kuat tentang arsitektur pemrosesan data terdistribusi Pemahaman yang baik tentang konsep data warehousing dan pemodelan dimensional Pengalaman menggunakan Airflow atau tools orkestrasi serupa Pengalaman mengoptimalkan beban kerja SQL analitik yang kompleks Pengalaman menerapkan praktik CI / CD untuk platform data engineering Kemampuan troubleshooting dan optimalisasi performa yang kuat Mampu bekerja secara kolaboratif dalam tim lintas fungsi dan internasional Kemampuan bahasa Inggris tingkat Upper-Intermediate atau lebih tinggi AKAN MENJADI NILAI TAMBAH Pengalaman menggunakan layanan cloud GCP Pengalaman menggunakan platform cloud AWS atau Azure Pengalaman di bidang analitik ritel atau optimalisasi harga Pengalaman mendukung beban kerja data terkait machine learning atau AI Pengalaman dalam inisiatif modernisasi platform dan migrasi cloud PROFIL PRIBADI Pola pikir analitis dan kemampuan pemecahan masalah yang kuat Pendekatan kerja yang proaktif dan berorientasi pada tanggung jawab Mampu bekerja secara mandiri maupun kolaboratif Kemampuan komunikasi dan kolaborasi yang baik dengan para pemangku kepentingan Ketertarikan pada data engineering yang skalabel dan platform data modern Minat untuk terus belajar serta mengikuti inovasi teknologi Apakah Anda Senior Data Engineer yang bersemangat membangun platform data berskala besar dengan performa tinggi dan bekerja dengan teknologi Lakehouse modern? Bergabunglah dengan Data Engineering Center of Excellence milik Sigma Software dan berkontribusilah pada modernisasi ekosistem analitik berskala enterprise untuk bidang ritel. Kami mencari spesialis Senior dengan keahlian kuat dalam Databricks, PySpark, dan data engineering berbasis cloud untuk berpartisipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks. Anda akan berkolaborasi dengan tim internasional, berkontribusi dalam pengambilan keputusan arsitektur, dan membantu membangun solusi data yang andal serta skalabel. Di Sigma Software, kami menciptakan peluang untuk pembelajaran berkelanjutan, pengembangan teknologi, dan dampak engineering yang berarti melalui proyek internasional yang kompleks. PELANGGAN Pelanggan kami adalah perusahaan teknologi ritel terkemuka yang berspesialisasi dalam solusi optimalisasi harga berbasis AI untuk peritel enterprise. Perusahaan ini membantu bisnis meningkatkan profitabilitas dan daya saing melalui analitik canggih, otomatisasi, dan strategi penetapan harga yang cerdas. Platform mereka menggabungkan business intelligence dengan algoritme canggih untuk mendukung pengambilan keputusan penetapan harga berbasis data dalam skala besar bagi organisasi ritel global. PROYEK Proyek ini berfokus pada migrasi strategis platform analitik berskala besar dari ekosistem BigQuery lama ke arsitektur Databricks Lakehouse modern. Platform ini memproses dataset ritel bervolume tinggi, beban kerja machine learning, pipeline analitik, dan logika bisnis khusus pelanggan. Sebagai bagian dari inisiatif modernisasi, tim engineering menerapkan pemrosesan berbasis Spark yang skalabel, arsitektur Delta Lake, lapisan data medallion, dan praktik tata kelola modern. Posisi ini memberikan kesempatan untuk bekerja dengan sistem pemrosesan data terdistribusi, mengoptimalkan beban kerja berskala besar, dan berkontribusi pada pengembangan platform data tingkat enterprise. Teknologi utama: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog Awalnya dipublikasikan di Himalayas

Senior Data Engineer (Databricks Migration)

Deskripsi Pekerjaan

Ringkasan

Lowongan Terkait Lainnya

Competitive Data Scientist

AI Agent Specialist – Remote (Brazil-based)

Generative Media Engineer, AI Social - US

Data Engineer - Global Team (India)