FULL_TIME
Lowongan: Senior Data Engineer (Python, Pandas & Numpy)
Perusahaan: Lumiq
Tujuan lowongan: Kami mencari ETL Data Engineer yang sangat terampil untuk merancang ulang pipeline data yang ada agar mengekstrak data dari sumber baru, yaitu sistem PostgreSQL/CURA, bukan Microsoft SQL Server (penyimpanan persisten CRM) yang saat ini digunakan, sembari mempertahankan pola pemuatan yang sudah ada ke Elasticsearch dan MongoDB. Engineer akan memastikan migrasi ini tidak menimbulkan dampak apa pun terhadap kualitas data, performa sistem, atau pengalaman pengguna akhir.
Tanggung jawab utama: Menganalisis pipeline ETL yang ada serta ketergantugannya pada Microsoft SQL Server sebagai sistem sumber; merancang dan mengimplementasikan modifikasi untuk mengarahkan kembali ekstraksi ETL ke PostgreSQL (CURA) sambil mempertahankan transformasi dan logika pemuatan saat ini ke Elasticsearch dan MongoDB; memastikan integritas, kualitas, dan kesegaran data secara end-to-end tetap tidak terganggu setelah pergantian sumber; menulis kueri SQL yang efisien dan dioptimalkan untuk mengekstrak data dari sumber baru; melakukan pengujian performa untuk memastikan tidak terjadi penurunan throughput atau latensi pipeline di produksi; bekerja sama dengan tim DevOps dan platform untuk melakukan kontainerisasi, orkestrasi, dan deployment ETL yang diperbarui menggunakan Docker dan Kubernetes; memantau performa pasca-deployment serta secara proaktif menangani setiap masalah produksi; dan mendokumentasikan desain, kode, pemetaan data, serta runbook operasional.
Keterampilan dan kualifikasi yang dibutuhkan: Pengalaman kuat dalam membangun dan mengelola sistem data terdistribusi berskala besar; kemahiran Python di tingkat expert, terutama dalam pustaka analisis dan manipulasi data seperti pandas, NumPy, dan Polars; keterampilan pengembangan SQL tingkat lanjut dengan pengalaman terbukti dalam optimasi performa; pengetahuan kerja mengenai Docker dan Kubernetes; familiarity dengan Elasticsearch dan MongoDB sebagai penyimpan data; serta pengalaman bekerja di lingkungan produksi dengan sistem yang kritikal.
Awalnya dipublikasikan di Himalayas.
Senior Data Engineer (Python, Pandas & Numpy)
Lumiq • India
Gaji tidak dicantumkan
Deskripsi Pekerjaan
Ringkasan
- Perusahaan
- Lumiq
- Lokasi
- India
- Tipe kerja
- FULL_TIME
- Gaji
- Gaji tidak dicantumkan
- Tanggal tayang
- 12 Okt 2026
- Terlihat sejak
- 7 Nov 2026
Sumber & keterlacakan data
Himalayas (public board)Buka sumber asli ↗https://himalayas.app/companies/lumiq-ai/jobs/senior-data-engineer-python-pandas-numpy
Siap melamar? Langsung di sumber asli.Buka Halaman Lamaran
Lowongan Terkait Lainnya
FULL_TIME1bln
Lead Data Engineer
Lumiq • India
Gaji tidak dicantumkanLihat Detail →
FULL_TIME1blnETL Data Engineer
Lumiq • India
Gaji tidak dicantumkanLihat Detail →
CONTRACT1blnCompetitive Data Scientist
micro1 • Remote
Gaji tidak dicantumkanLihat Detail →
FULL_TIME1blnAI Agent Specialist – Remote (Brazil-based)
TalentCross • United States
Gaji tidak dicantumkanLihat Detail →