Lokasi: Remote di Kanada Klien: Klien konsultasi Durasi kontrak: kontrak 6 bulan WAJIB memiliki setidaknya pengalaman 3+ tahun dalam pengembangan Databricks secara langsung. Ringkasan Klien konsultasi kami mencari Data Engineer / Developer Databricks untuk mendukung inisiatif transformasi strategis Enterprise Data Platform (EDP). Organisasi ini sedang memodernisasi lanskap datanya dan membangun platform data generasi berikutnya dengan memanfaatkan Databricks serta arsitektur modern berbasis cloud. Peran ini akan menjadi bagian penting dalam merancang, mengembangkan, dan menerapkan solusi data yang dapat diskalakan untuk mendukung pelaporan enterprise, analitik, inisiatif AI, serta kapabilitas berbasis data di masa mendatang. Kandidat ideal memiliki keahlian kuat dalam data engineering, pengalaman langsung dalam pengembangan Databricks, serta pemahaman yang baik tentang proses ETL/ELT, integrasi data, dan arsitektur data modern. Individu ini akan bekerja sama erat dengan data architect, project manager, analis, dan pemangku kepentingan bisnis untuk menghadirkan solusi data berkualitas tinggi dalam lingkungan yang berkembang pesat. Tanggung Jawab Utama - Merancang, mengembangkan, dan memelihara pipeline data dalam Enterprise Data Platform (EDP). - Membangun dan mengoptimalkan proses ETL/ELT untuk mendukung kebutuhan ingest, transformasi, dan integrasi data. - Menggunakan pendekatan Agentic dalam pengembangan dan memastikan hasilnya sesuai dengan standar pengembangan. - Mengembangkan solusi data yang dapat diskalakan dan digunakan kembali dengan Databricks serta teknologi data berbasis cloud. - Mendukung aktivitas migrasi dan modernisasi dari lingkungan HANA ke platform data modern. - Berkolaborasi dengan Data Architect untuk menerapkan model data dan solusi platform yang dapat diskalakan. - Mengembangkan logika transformasi data dan alur kerja untuk mendukung kebutuhan bisnis dan analitik. - Memastikan kualitas, integritas, konsistensi, dan performa data di seluruh solusi platform. - Memecahkan masalah dan menangani isu terkait data, bottleneck, serta kendala performa. - Berpartisipasi dalam peninjauan kode, pengujian, deployment, dan aktivitas rilis. - Bekerja sama erat dengan tim bisnis dan analitik untuk memahami kebutuhan data serta menghadirkan solusi yang sesuai tujuan. - Berkontribusi pada praktik terbaik platform, dokumentasi, dan inisiatif perbaikan berkelanjutan. Persyaratan WAJIB memiliki setidaknya pengalaman 3+ tahun dalam pengembangan Databricks secara langsung. Kualifikasi Wajib - Pengalaman 3+ tahun dalam pengembangan Databricks secara langsung. - Pengalaman 4+ tahun secara keseluruhan dalam Data Engineering, ETL, atau integrasi data. - Pengalaman kuat dalam membangun pipeline data ETL/ELT dan proses transformasi. - Pengalaman terbukti dalam menangani dataset berukuran besar dan kompleks. - Pengalaman dengan framework Agentic dan coding berbantuan AI menjadi nilai tambah. - Pengalaman mengembangkan solusi data dalam platform berbasis cloud. - Pemahaman yang baik tentang konsep data warehouse, data lake, dan lakehouse. - Pengalaman bekerja dalam lingkungan delivery Agile. - Kemampuan pemecahan masalah dan analitis yang kuat. - Kemampuan komunikasi dan kolaborasi yang sangat baik. Kualifikasi Pilihan - Pengalaman mendukung inisiatif platform data berskala besar. - Pengalaman dalam upaya migrasi data yang signifikan. - Pengalaman dengan Azure Data Services dan arsitektur Databricks Lakehouse. - Pengalaman dengan framework dan praktik terbaik data engineering modern. - Pemahaman tentang inisiatif AI, GenAI, Machine Learning, atau analitik tingkat lanjut. - Pengalaman bekerja di lingkungan enterprise besar atau konsultasi. - Pengetahuan tentang tata kelola data, manajemen metadata, dan framework kualitas data. Pengetahuan Teknis yang Dibutuhkan - Pengembangan ETL/ELT Databricks - Data Engineering - Integrasi Data - SQL - Python - Pengembangan Pipeline Data - Transformasi Data - Konsep Data Warehouse - Delivery Agile Pengetahuan Teknis yang Diutamakan - Azure Data Factory - Delta Lake - Spark / PySpark - Azure Synapse - Arsitektur Data Lake - Platform Data Cloud - Tata Kelola Data & Kualitas Data - CI/CD untuk Solusi Data Keahlian & Pengalaman Utama - Pengembangan Databricks - Data Engineering - Desain & Pengembangan ETL/ELT - Enterprise Data Platform - Modernisasi Data - Migrasi Data - Data Warehouse - Platform Data Cloud - Pengembangan SQL & Python - Kualitas & Validasi Data - Delivery Agile - Kolaborasi dengan Pemangku Kepentingan Profil Kandidat Ideal Kami mencari developer yang: - Memiliki pengalaman langsung dengan Databricks dan dapat segera berkontribusi. - Memahami konsep data enterprise dan inisiatif modernisasi platform. - Memiliki pengalaman kuat dalam ETL/ELT dan data engineering. - Dapat bekerja sama secara efektif dengan architect, project manager, dan tim bisnis. - Nyaman bekerja dalam program transformasi enterprise yang bergerak cepat dan memiliki visibilitas tinggi. - Dapat membantu membangun arsitektur lakehouse yang dapat diskalakan untuk mendukung pelaporan, analitik, dan kapabilitas AI di masa mendatang. Awalnya dipublikasikan di Himalayas.

Databricks Data Engineer / Developer (PL 866)

Deskripsi Pekerjaan

Ringkasan

Lowongan Terkait Lainnya

English-Spanish OPI/VRI Interpreter – Sign-On Bonus

Enterprise Internship, Information Technology

Founders Associate

VP of AI Engineering