Berpartisipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks - Merancang dan menerapkan arsitektur Lakehouse yang skalabel menggunakan Databricks dan Delta Lake - Menganalisis beban kerja ETL / ELT yang ada dan menentukan pendekatan migrasi - Mengembangkan dan mengoptimalkan pipeline data yang memproses data ritel dan analitik dalam volume besar - Menerapkan strategi pemrosesan inkremental dan framework transformasi yang skalabel - Membangun dan memelihara solusi pemrosesan data berbasis Spark menggunakan PySpark - Merancang dan memelihara lapisan arsitektur medallion, termasuk Bronze, Silver, dan Gold - Menerapkan praktik terbaik tata kelola dan keamanan data menggunakan Unity Catalog - Berkolaborasi dengan tim Data Science, Analytics, Product, dan Customer Engineering - Berpartisipasi dalam diskusi arsitektur dan perancangan solusi teknis - Mengembangkan komponen platform data yang dapat digunakan kembali serta standar engineering - Melakukan code review dan berkontribusi pada keandalan serta kemudahan pemeliharaan platform - Memecahkan masalah dan mengoptimalkan beban kerja SQL dan Spark yang kompleks - Mendukung deployment produksi dan aktivitas modernisasi platform Persyaratan: - Pengalaman profesional 5+ tahun sebagai Data Engineer - Kemampuan pemrograman yang kuat dalam Python dan SQL tingkat lanjut - Pengalaman komersial langsung menggunakan Databricks - Pengetahuan yang kuat tentang Apache Spark, terutama PySpark - Pengalaman merancang dan membangun platform data modern berbasis cloud - Pengalaman mengembangkan pipeline ETL / ELT dan solusi pemrosesan data berskala besar - Pengalaman langsung menggunakan Delta Lake - Pengalaman menggunakan Spark Declarative Pipelines - Pengalaman dalam pemantauan cluster, analisis metrik, dan pengoptimalan performa - Pemahaman yang kuat tentang arsitektur pemrosesan data terdistribusi - Pemahaman yang baik tentang konsep data warehousing dan pemodelan dimensional - Pengalaman menggunakan Airflow atau alat orkestrasi serupa - Pengalaman mengoptimalkan beban kerja SQL analitik yang kompleks - Pengalaman menerapkan praktik CI / CD untuk platform data engineering - Kemampuan troubleshooting dan pengoptimalan performa yang kuat - Mampu bekerja secara kolaboratif dalam tim lintas fungsi dan internasional - Kemampuan bahasa Inggris tingkat Upper-Intermediate atau lebih tinggi Akan menjadi nilai tambah: - Pengalaman menggunakan layanan cloud GCP - Pengalaman menggunakan platform cloud AWS atau Azure - Pengalaman di bidang analitik ritel atau optimasi harga - Pengalaman mendukung beban kerja data terkait machine learning atau AI - Pengalaman dalam inisiatif modernisasi platform dan migrasi cloud Profil pribadi: - Pola pikir analitis dan kemampuan pemecahan masalah yang kuat - Pendekatan kerja yang proaktif dan berorientasi pada kepemilikan - Mampu bekerja secara mandiri maupun kolaboratif - Kemampuan komunikasi dan kolaborasi dengan stakeholder yang baik - Ketertarikan pada data engineering yang skalabel dan platform data modern - Minat terhadap pembelajaran berkelanjutan dan inovasi teknologi Apakah Anda Senior Data Engineer yang bersemangat membangun platform data berperforma tinggi dan skalabel serta bekerja dengan teknologi Lakehouse modern? Bergabunglah dengan Data Engineering Center of Excellence Sigma Software dan berkontribusilah pada modernisasi ekosistem analitik berskala enterprise untuk bidang ritel. Kami mencari spesialis Senior dengan keahlian kuat dalam Databricks, PySpark, dan data engineering berbasis cloud untuk berpartisipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks. Anda akan berkolaborasi dengan tim internasional, berkontribusi pada keputusan arsitektur, serta membantu membentuk solusi data yang andal dan skalabel. Sigma Software menciptakan peluang untuk pembelajaran berkelanjutan, pengembangan teknologi, dan dampak engineering yang berarti melalui pengerjaan proyek internasional yang kompleks. PELANGGAN Pelanggan kami adalah perusahaan teknologi ritel terkemuka yang berspesialisasi dalam solusi optimasi harga berbasis AI untuk peritel enterprise. Perusahaan ini membantu bisnis meningkatkan profitabilitas dan daya saing melalui analitik canggih, otomatisasi, dan strategi penetapan harga yang cerdas. Platform mereka menggabungkan business intelligence dengan algoritme canggih untuk mendukung keputusan penetapan harga berbasis data dalam skala besar bagi organisasi ritel global. PROYEK Proyek ini berfokus pada migrasi strategis platform analitik berskala besar dari ekosistem BigQuery lama ke arsitektur Databricks Lakehouse modern. Platform ini memproses dataset ritel bervolume tinggi, beban kerja machine learning, pipeline analitik, dan logika bisnis khusus pelanggan. Sebagai bagian dari inisiatif modernisasi, tim engineering menerapkan pemrosesan berbasis Spark yang skalabel, arsitektur Delta Lake, lapisan data medallion, dan praktik tata kelola modern. Posisi ini memberikan kesempatan untuk bekerja dengan sistem pemrosesan data terdistribusi, mengoptimalkan beban kerja berskala besar, dan berkontribusi pada pengembangan platform data tingkat enterprise. Teknologi utama: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog Awalnya dipublikasikan di Himalayas

Senior Data Engineer (Databricks Migration)

Deskripsi Pekerjaan

Ringkasan

Lowongan Terkait Lainnya

English-Spanish OPI/VRI Interpreter – Sign-On Bonus

Enterprise Internship, Information Technology

Founders Associate

VP of AI Engineering