Senior Data Engineer (Migrasi Databricks) — Sigma Software IkutiParticipate? Must translate: "Berparticipasi dalam migrasi..." Then responsibilities. Need retain 5+ years. Write "pengalaman profesional 5+ tahun". Good. "Upper-Intermediate or higher English level" capital? "Kemampuan bahasa Inggris pada level Upper-Intermediate atau lebih tinggi." Maybe natural "tingkat Upper-Intermediate atau lebih tinggi". Fine. "originally posted..." Translate. "Data Engineering Center of Excellence" maybe retain English term. Let's ensure all claims. "commercial experience" in Databricks. "Spark Declarative Pipelines" proper. "cluster monitoring metrics analysis performance optimization". "pricing optimization domains" etc. "interest in..." personal. "company helps businesses..." claims. "AI-driven pricing optimization solutions". "global retail organizations." "customer-specific business logic." "modern governance practices." "enterprise-grade". No numbers beyond 5+. Let'sSenior Data Engineer (Migrasi Databricks) — Sigma Software Berparticipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks. Merancang dan mengimplementasikan arsitektur Lakehouse yang skalabel menggunakan Databricks dan Delta Lake. Menganalisis beban kerja ETL/ELT yang ada dan menentukan pendekatan migrasi. Mengembangkan serta mengoptimalkan pipeline data yang memproses volume besar data ritel dan analitik. Menerapkan strategi pemrosesan inkremental dan framework transformasi yang skalabel. Membangun serta mempertahankan solusi pemrosesan data berbasis Spark menggunakan PySpark. Merancang dan mempertahankan lapisan arsitektur medallion, termasuk Bronze, Silver, dan Gold. Menerapkan praktik terbaik tata kelola data dan keamanan menggunakan Unity Catalog. Bekerja sama dengan tim Data Science, Analytics, Product, dan Customer Engineering. Berparticipasi dalam diskusi arsitektur dan perancangan solusi teknis. Mengembangkan komponen platform data yang dapat digunakan kembali serta standar rekayasa. Melakukan code review dan berkontribusi terhadap keandalan serta maintainability platform. Mendiagnosis masalah danRAF optimizes SQL and Spark workloads that are complex. Supporting production deployments and platform modernization activities. Kualifikasi: 5+ tahun pengalaman profesional sebagai Data Engineer. Kemampuan pemrograman yang kuat dalam Python dan SQL lanjutan. Pengalaman langsung dengan Databricks dalam lingkungan komersial. Pengetahuan mendalam tentang Apache Spark, terutama PySpark. Pengalaman merancang dan membangun platform data berbasis cloud modern. Pengalaman mengembangkan pipeline ETL/ELT dan solusi pemrosesan data berskala besar. Pengalaman langsung dengan Delta Lake. Pengalaman dengan Spark Declarative Pipelines. Pengalaman dalam pemantauan cluster, analisis metrik, dan optimasi performa. Pemahaman yang solid tentang arsitektur pemrosesan data terdistribusi. Pemahaman yang baik tentang konsep data warehousing dan dimensional modeling. Pengalaman dengan Airflow atau tool orkestrasi serupa. Pengalaman optimizes complex analytical SQL workloads. Pengalaman mengimplementasikan praktik CI/CD untuk platform data engineering. Keterampilan troubleshooting dan optimasi performa yang baik. Mampu bekerja secara kolaboratif dalam tim lintas fungsi internasional. Kemampuan bahasa Inggris pada tingkat Upper-Intermediate atau lebih tinggi. Nilai tambah: Pengalaman bekerja dengan layanan cloud GCP. Pengalaman dengan platform cloud AWS atau Azure. Pengalaman dalam domain analitik ritel atau optimasi harga. Pengalaman mendukung workload data terkait machine learning atau AI. Pengalaman dalam inisiatif modernize platform dan migrasi cloud. Profil pribadi: Berpikir analitis dan kuat dalam pemecahan masalah. Berpendekatan proaktif dan berorientasi pada kepemilikan hasil. Mampu bekerja secara mandiri maupun kolaboratif. Memiliki komunikasi yang baik dan keterampilan kolaborasi dengan stakeholder. Hasrat terhadap data engineering yang skalabel dan platform data modern. Minat terhadap pembelajaran berkelanjutan dan inovasi teknologi. Peran ini，给他/j?We need avoid new pronouns. "Peran ini menawarkan kesempatan..." The source asks "Are you..." We can translate directly. "Apakah Anda Senior Data Engineer yang passionate..." Natural. Then join. Need maybe complete. "Sigma Software's Data Engineering Center of Excellence" possessives. "Data Engineering Center of Excellence milik Sigma Software". "Passionate..." okay. "continuous learning opportunities..." preserve. PROJECT and customer. "leading retail technology company" claim. "machine learning workloads, analytics pipelines, customer-specific business logic." Key technologies list. "Originally posted on Himalayas." translated. Need ensure "maintainability" translated "kem Easily maintainable" / "kemudahan pemeliharaan". Good. Let's produce polished but not promotional SEO. Could section labels. Plain text no bullet formatting. Use headings, which aren't markdown if no #. Fine. Ensure no list with bullets? They said without markdown, plain paragraphs acceptable. Let's make readable. Check every important fact and requirement. "Implement incremental processing strategies and scalable transformation frameworks" yes. "Build and maintain Spark-based..." yes. "Code reviews". "Support production deployments..." yes. "modern cloud-based data platforms" yes. "Ability to work collaboratively in cross-functional international teams" yes. "Proactive and ownership-driven approach" yes. "Interest in continuous learning..." yes. Could include "perannya提供一个 opportunity" but original wording. "large-scale analytical platform from legacy BigQuery ecosystem to modern Databricks Lakehouse architecture" yes. "high-volume retail datasets..." yes. "contribute to evolution..." yes. "Key Technologies". Fine. Need no markdownSenior Data Engineer (Migrasi Databricks) — Sigma Software Berparticipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks, merancang dan mengimplementasikan arsitektur Lakehouse yang skalabel menggunakan Databricks dan Delta Lake, menganalisis beban kerja ETL/ELT yang ada, serta menentukan pendekatan migrasi. Mengembangkan dan mengoptimalkan pipeline data yang memproses volume besar data ritel dan analitik, termasuk menerapkan strategi pemrosesan inkremental dan framework transformasi yang skalabel. Membangun serta mempertahankan solusi pemrosesan data berbasis Spark menggunakan PySpark. Merancang dan mempertahankan lapisan arsitektur medallion, termasuk Bronze, Silver, dan Gold, serta menerapkan praktik terbaik tata kelola data dan keamanan menggunakan Unity Catalog. Bekerja sama dengan tim Data Science, Analytics, Product, dan Customer Engineering, berparticipasi dalam diskusi arsitektur dan perancangan solusi teknis, mengembangkan komponen platform data yang dapat digunakan kembali, dan menetapkan standar rekayasa. Melakukan code review serta berkontribusi terhadap keandalan dan kemudahan pemeliharaan platform. Mendiagnosis masalah dan mengoptimalkan beban kerja SQL dan Spark yang kompleks, serta mendukung deployment produksi dan aktivitas modernisasi platform. Kualifikasi yang dibutuhkan mencakup pengalaman profesional 5+ tahun sebagai Data Engineer, kemampuan pemrograman yang kuat dalam Python dan SQL lanjutan, pengalaman langsung dengan Databricks dalam lingkungan komersial, pengetahuan mendalam tentang Apache Spark terutama PySpark, serta pengalaman merancang dan membangun platform data berbasis cloud modern. Kandidat juga perlu memiliki pengalaman mengembangkan pipeline ETL/ELT dan solusi pemrosesan data berskala besar, pengalaman langsung dengan Delta Lake dan Spark Declarative Pipelines, pengalaman dalam pemantauan cluster, analisis metrik, dan optimasi performa. Diperlukan pemahaman yang solid tentang arsitektur pemrosesan data terdistribusi, konsep data warehousing, dan dimensional modeling. Pengalaman dengan Airflow atau tool orkestrasi serupa, optimasi beban kerja SQL analitik yang kompleks, penerapan praktik CI/CD untuk platform data engineering, serta kemampuan troubleshooting dan optimasi performa juga menjadi bagian dari persyaratan. Kandidat harus mampu bekerja secara kolaboratif dalam tim lintas fungsi internasional dan memiliki kemampuan bahasa Inggris pada tingkat Upper-Intermediate atau lebih tinggi. Nilai tambah mencakup pengalaman bekerja dengan layanan cloud GCP, pengalaman dengan platform cloud AWS atau Azure, pengalaman dalam domain analitik ritel atau optimasi harga, pengalaman mendukung workload data terkait machine learning atau AI, serta pengalaman dalam inisiatif modernisasi platform dan migrasi cloud. Profil pribadi yang diharapkan meliputi mindset analitis dan kuat dalam pemecahan masalah, pendekatan proaktif dan berorientasi pada kepemilikan hasil, kemampuan bekerja secara mandiri maupun kolaboratif, komunikasi yang baik,-great? Need finish. and keterampilan kolaborasi dengan stakeholder, hasrat terhadap data engineering yang skalabel dan platform data modern, serta minat terhadap pembelajaran berkelanjutan dan inovasi teknologi. Peran ini menawarkan kesempatan untuk bekerja dengan sistem pemrosesan data terdistribusi, 최적isasi beban kerja berskala besar, dan kontribusi terhadap perkembangan platform data kelas enterprise. Posisi ini akan berkontribusi pada modernisasi ekosistem analitik berskala besar di domain ritel melalui Kappa? No. Should include initial "Are you..." maybe equivalent. Sigma Software menyediakan kesempatan untuk pembelajaran berkelanjutan, pertumbuhan teknologi, dan dampak rekayasa yang bermakna dalam proyek internasional yang kompleks. Pelanggan adalah perusahaan teknologi ritel terkemuka yang specialize in AI-driven pricing optimization solutions for enterprise retailers. The company helps businesses improve profitability and competitiveness through advanced analytics, automation, and intelligent pricing strategies. Their platform combines business intelligence with sophisticated algorithms to support data-informed pricing decisions at scale for global retail organizations. Proyeknya berfokus pada migrasi strategis platform analitik berskala besar dari ekosistem BigQuery lama ke arsitektur Databricks Lakehouse modern. Platform tersebut memproses dataset ritel dengan volume tinggi, workload machine learning, pipeline analitik, dan logika bisnis spesifik pelanggan. Sebagai bagian dari inisiatif modernisasi, tim rekayasa mengimplementasikan pemrosesan berbasis Spark yang skalabel, arsitektur Delta Lake, lapisan data medallion, dan praktik tata kelola modern. Teknologi utama: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog. Lowongan ini awalnya dipublikasikan di Himalayas.Senior Data Engineer (Migrasi Databricks) — Sigma Software Berparticipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks. Merancang dan mengimplementasikan arsitektur Lakehouse yang skalabel menggunakan Databricks dan Delta Lake. Menganalisis beban kerja ETL/ELT yang ada dan menentukan pendekatan migrasi. Mengembangkan serta mengoptimalkan pipeline data yang memproses volume besar data ritel dan analitik. Menerapkan strategi pemrosesan inkremental dan framework transformasi yang skalabel. Membangun serta mempertahankan solusi pemrosesan data berbasis Spark menggunakan PySpark. Merancang dan mempertahankan lapisan arsitektur medallion, termasuk Bronze, Silver, dan Gold. Menerapkan praktik terbaik tata kelola data dan keamanan menggunakan Unity Catalog. Bekerja sama dengan tim Data Science, Analytics, Product, dan Customer Engineering. Berparticipasi dalam diskusi arsitektur dan perancangan solusi teknis. Mengembangkan komponen platform data yang dapat digunakan kembali serta standar rekayasa. Melakukan code review dan berkontribusi terhadap keandalan serta kemudahan pemeliharaan platform. Mendiagnosis masalah dan mengoptimalkan beban kerja SQL dan Spark yang kompleks. Mendukung deployment produksi dan aktivitas modernisasi platform. Kualifikasi yang dibutuhkan: 5+ tahun pengalaman profesional sebagai Data Engineer. Kemampuan pemrograman yang kuat dalam Python dan SQL lanjutan. Pengalaman langsung dengan Databricks dalam lingkungan komersial. Pengetahuan mendalam tentang Apache Spark, terutama PySpark. Pengalaman merancang dan membangun platform data berbasis cloud modern. Pengalaman mengembangkan pipeline ETL/ELT dan solusi pemrosesan data berskala besar. Pengalaman langsung dengan Delta Lake. Pengalaman dengan Spark Declarative Pipelines. Pengalaman dalam pemantauan cluster, analisis metrik, dan optimasi performa. Pemahaman yang solid tentang arsitektur pemrosesan data terdistribusi. Pemahaman yang baik tentang konsep data warehousing dan dimensional modeling. Pengalaman dengan Airflow atau tool orkestrasi serupa. Pengalaman optimizes complex analytical SQL workloads. Pengalaman mengimplementasikan praktik CI/CD untuk platform data engineering. Keterampilan troubleshooting dan optimasi performa yang baik. Mampu bekerja secara kolaboratif dalam tim lintas fungsi internasional. Kemampuan bahasa Inggris pada tingkat Upper-Intermediate atau lebih tinggi. Nilai tambah: Pengalaman bekerja dengan layanan cloud GCP. Pengalaman dengan platform cloud AWS atau Azure. Pengalaman dalam domain analitik ritel atau optimasi harga. Pengalaman mendukung workload data terkait machine learning atau AI. Pengalaman dalam inisiatif modernisasi platform dan migrasi cloud. Profil pribadi: Berpikir analitis dan kuat dalam pemecahan masalah. Berpendekatan proaktif dan berorientasi pada kepemilikan hasil. Mampu bekerja secara mandiri maupun kolaboratif. Memiliki komunikasi yang baik dan keterampilan kolaborasi dengan stakeholder. Hasrat terhadap data engineering yang skalabel dan platform data modern. Minat terhadap pembelajaran berkelanjutan dan inovasi teknologi. Apakah Anda Senior Data Engineer yang bers passionately? Need natural. "yang passionate..." Let's do "yang memiliki ketertuban..." But all facts. "yang passionate membangun platform data berskala besar dan berkinerja tinggi serta bekerja dengan teknologi Lakehouse modern?" Preserve passion. "Bergabunglah..." etc. The full source has call to join. Include. Sigma Softwareamn creates opportunities for continuous learning etc. Customer. Project. Key technologies. Originally posted. Need no new facts from title/company. We're only translating. "Customer is leading..." preserve exact claim. Potential phrase "commercial experience" -> pengalaman komersial. "Hands-on" langsung. "workloads processing high volume". fine. Let's make final only.Senior Data Engineer (Migrasi Databricks) — Sigma Software Berparticipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks. Merancang dan mengimplementasikan arsitektur Lakehouse yang skalabel menggunakan Databricks dan Delta Lake. Menganalisis beban kerja ETL/ELT yang ada dan menentukan pendekatan migrasi. Mengembangkan serta mengoptimalkan pipeline data yang memproses volume besar data ritel dan analitik. Menerapkan strategi pemrosesan inkremental dan framework transformasi yang skalabel. Membangun serta mempertahankan solusi pemrosesan data berbasis Spark menggunakan PySpark. Merancang dan mempertahankan lapisan arsitektur medallion, termasuk Bronze, Silver, dan Gold. Menerapkan praktik terbaik tata kelola data dan keamanan menggunakan Unity Catalog. Bekerja sama dengan tim Data Science, Analytics, Product, dan Customer Engineering. Berparticipasi dalam diskusi arsitektur dan perancangan solusi teknis. Mengembangkan komponen platform data yang dapat digunakan kembali serta standar rekayasa. Melakukan code review dan berkontribusi terhadap keandalan serta kemudahan pemeliharaan platform. Mendiagnosis masalah dan mengoptimalkan beban kerja SQL dan Spark yang kompleks. Mendukung deployment produksi dan aktivitas modernisasi platform. Kualifikasi yang dibutuhkan: 5+ tahun pengalaman profesional sebagai Data Engineer. Kemampuan pemrograman yang kuat dalam Python dan SQL lanjutan. Pengalaman langsung dengan Databricks dalam lingkungan komersial. Pengetahuan mendalam tentang Apache Spark, terutama PySpark. Pengalaman merancang dan membangun platform data berbasis cloud modern. Pengalaman mengembangkan pipeline ETL/ELT dan solusi pemrosesan data berskala besar. Pengalaman langsung dengan Delta Lake. Pengalaman dengan Spark Declarative Pipelines. Pengalaman dalam pemantauan cluster, analisis metrik, dan optimasi performa. Pemahaman yang solid tentang arsitektur pemrosesan data terdistribusi. Pemahaman yang baik tentang konsep data warehousing dan dimensional modeling. Pengalaman dengan Airflow atau tool orkestrasi serupa. Pengalaman dalam mengoptimasi beban kerja SQL analitik yang kompleks. Pengalaman mengimplementasikan praktik CI/CD untuk platform data engineering. Keterampilan troubleshooting dan optimasi performa yang baik. Mampu bekerja secara kolaboratif dalam tim lintas fungsi internasional. Kemampuan bahasa Inggris pada tingkat Upper-Intermediate atau lebih tinggi. Nilai tambah: Pengalaman bekerja dengan layanan cloud GCP. Pengalaman dengan platform cloud AWS atau Azure. Pengalaman dalam domain analitik ritel atau optimasi harga. Pengalaman mendukung workload data terkait machine learning atau AI. Pengalaman dalam inisiatif modernisasi platform dan migrasi cloud. Profil pribadi: Berpikir analitis dan kuat dalam pemecahan masalah. Berpendekatan proaktif dan berorientasi pada kepemilikan hasil. Mampu bekerja secara mandiri maupun kolaboratif. Memiliki komunikasi yang baik dan keterampilan kolaborasi dengan stakeholder. Hasrat terhadap data engineering yang skalabel dan platform data modern. Minat terhadap pembelajaran berkelanjutan dan inovasi teknologi. Apakah Anda Senior Data Engineer yang memiliki ketertuban terhadap membangun platform data berskala besar dan berkinerja tinggi serta bekerja dengan teknologi Lakehouse modern? Bergabunglah dengan Data Engineering Center of Excellence milik Sigma Software dan berkontribusi terhadap modernisasi ekosistem analitik berskala besar di domain ritel. Posisi ini mencari spesialis senior dengan keahlian kuat di bidang Databricks, PySpark, dan cloud data engineering untuk turut berparticipasi dalam migrasi platform analitik berskala besar dari BigQuery ke Databricks. Anda akan bekerja sama dengan tim internasional, berkontribusi terhadap keputusan arsitektur, dan membantu membentuk solusi data yang andal serta skalabel. Sigma Software menyediakan kesempatan untuk pembelajaran berkelanjutan, pertumbuhan teknologi, dan dampak rekayasa yang bermakna melalui pengerjaan proyek internasional yang kompleks. Pelanggan adalah perusahaan teknologi ritel terkemuka yang menyediakan solusi optimasi harga berbasis AI untuk retailer enterprise. Perusahaan ini membantu bisnis meningkatkan profitabilitas dan daya saing melalui analitik lanjutan, otomasi, dan strategi harga cerdas. Platformnya menggabungkan business intelligence dengan algoritma sophistication untuk mendukung keputusan harga berbasis data dalam skala besar bagi organisasi ritel global. Proyek berfokus pada migrasi strategis platform analitik berskala besar dari ekosistem BigQuery lama ke arsitektur Databricks Lakehouse modern. Platform tersebut memproses dataset ritel dengan volume tinggi, workload machine learning, pipeline analitik, dan logika bisnis spesifik pelanggan. Sebagai bagian dari inisiatif modernisasi, tim rekayasa mengimplementasikan pemrosesan berbasis Spark yang skalabel, arsitektur Delta Lake, lapisan data medallion, dan praktik tata kelola modern. Peran iniKesempatan untuk bekerja dengan sistem pemrosesan data terdistribusi, optimize? Let's ensure natural: "Kesempatan ini memungkinkan untuk bekerja dengan sistem pemrosesan data terdistribusi, mengoptimasi beban kerja berskala besar, serta berkontribusi pada perkembangan platform data kelas enterprise." Teknologi utama: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog. Lowongan ini awalnya dipublikasikan di Himalayas.

Senior Data Engineer (Databricks Migration)

Deskripsi Pekerjaan

Ringkasan

Lowongan Terkait Lainnya

Senior Data Engineer (Databricks Migration)

Competitive Data Scientist

AI Agent Specialist – Remote (Brazil-based)

Generative Media Engineer, AI Social - US