FULL_TIME
Tipe: Penuh waktu
Lokasi: Jarak jauh (Filipina)
Jadwal: Shift Amerika Serikat
Tentang Expedock
Expedock adalah platform augmentasi tenaga kerja berbasis teknologi yang memanfaatkan 1% talenta lepas pantai terbaik dan teknologi mutakhir untuk membantu bisnis mencapai potensi penuhnya.
Tentang Klien
Klien kami adalah perusahaan platform AI inovatif yang mengembangkan standar industri untuk benchmark guna menilai cara analis AI menangani data perusahaan kompleks berskala produksi. Mereka mengutamakan kerja jarak jauh, tumbuh dengan cepat, dan membangun produk yang menjembatani analitik bahasa alami, pemodelan data, serta sistem data dari awal hingga akhir.
Posisi yang Dibutuhkan
Kami mencari Benchmark & Evaluation Engineer dengan kombinasi kuat dalam rekayasa data, SQL tingkat lanjut, dan evaluasi AI. Anda harus memiliki更多的人an tentang data produksi, yaitu pemahaman mengenai cara lingkungan perusahaan yang kompleks, berantakan, dan melibatkan banyak sistem bekerja, serta cenderung mengutamakan ketelitian dan penilaian yang jujur.
Tugas dan Tanggung Jawab
Membangun Lingkungan Data yang Realistis:
Merancang dan menyiapkan lingkungan perusahaan multi-sistem, seperti gudang data, data lake, API, dan basis data, dalam skala besar di berbagai domain utama, termasuk layanan kesehatan, keuangan, dan analitik produk.
Merancang Benchmark Dataset:
Membuat dataset berskala besar yang terkalibrasi denganingly realistis, serta mencakup noise, musiman, drift, dan PII sintetis untuk menguji skalabilitas kueri dan kemampuan penalaran.
Menyusun Pustaka Tugas:
Menulis dan memverifikasi tugas benchmark, SQL emas, serta kunci penalaran yang dinilai dengan rubrik, sekaligus menghilangkan kebocoran data dan ambiguitas.
Mengelola Evaluation Harness:
Mengembangkan sistem penilaian, termasuk pemeriksaan deterministik dan judge berbasis LLM, memelihara leaderboard yang melacak regresi, serta memastikan integritas skor.
Kualifikasi Wajib
SQL & Pemodelan Data Tingkat Lanjut:
Keahlian mendalam dalam SQL kelas produksi, seperti CTE, window function, query plan, dan cardinality, serta pemodelan data, termasuk star/snowflake schema, SCD, dan referential integrity.
Rekayasa Data & Sistem:
Kemampuan Python yang kuat, termasuk pandas, NumPy, dan Polars, serta pengalaman praktis dalam menyiapkan dan memuat data ke setidaknya 1 gudang data utama, seperti Snowflake, BigQuery, Redshift, atau Postgres.
Pengalaman Evaluasi & Benchmark:
Rekam jejak terbukti dalam designing set evaluasi atau tugas benchmark, termasuk verifikasi golden answer atau golden SQL, kalibrasi rubrik atau judge berbasis LLM, pencegahan kebocoran data, dan pelacakan regresi.
Lingkungan Data Multi-Sistem:
Kemampuan membangun setup multi-sistem yang realistis, seperti gudang data, data lake, DB operasional, dan API, dengan data sintetis berskala besar, semi-terstruktur, atau kotor.
Nilai Tambahan
Pengetahuan domain di bidang Healthcare/Health Insurance, Finance/FP&A, Product Analytics, atau Supply Chain.
Pengalaman dengan framework evaluasi LLM, seperti SWE-bench atau harness bergaya Cursor, maupun stack streaming atau data lake, seperti S3, Parquet, dbt, Airflow, Spark, dan DuckDB.
Informasi Data & Privasi Kandidat
Dengan mengirim lamaran Anda ke Expedock, Anda acknowledge dan menyetujui pengumpulan, penggunaan, serta pemrosesan informasi pribadi Anda untuk keperluan rekrutmen dan perekrutan. Informasi Anda akan digunakan untuk:
Menilai kualifikasi dan kesesuaian Anda untuk posisi saat ini dan posisi mendatang.
Berkomunikasi dengan Anda throughout proses rekrutmen.
Memperbaiki proses perekrutan dan pengalaman kandidat secara keseluruhan.
Memelihara talent pool untuk peluang mendatang, jika diizinkan oleh hukum.
Kami menangani data kandidat dengan perhatian dan sesuai dengan regulasi perlindungan data serta privasi yang berlaku. Informasi Anda hanya dapat diakses oleh anggota tim yang berwenang dan tidak akan dibagikan kepada pihak ketiga tanpa persetujuan Anda, kecuali diwajibkan oleh hukum.
Originally posted on Himalayas
Benchmark & Evaluation Engineer
Expedock • Philippines
Gaji tidak dicantumkan
Deskripsi Pekerjaan
Ringkasan
- Perusahaan
- Expedock
- Lokasi
- Philippines
- Tipe kerja
- FULL_TIME
- Gaji
- Gaji tidak dicantumkan
- Tanggal tayang
- 12 Okt 2026
- Terlihat sejak
- 9 Nov 2026
Sumber & keterlacakan data
Himalayas (public board)Buka sumber asli ↗https://himalayas.app/companies/expedock/jobs/benchmark-evaluation-engineer
Siap melamar? Langsung di sumber asli.Buka Halaman Lamaran
Lowongan Terkait Lainnya
CONTRACT1bln
Competitive Data Scientist
micro1 • Remote
Gaji tidak dicantumkanLihat Detail →
FULL_TIME1blnAI Agent Specialist – Remote (Brazil-based)
TalentCross • United States
Gaji tidak dicantumkanLihat Detail →
FULL_TIME1blnGenerative Media Engineer, AI Social - US
Luxury Presence • United States
Gaji tidak dicantumkanLihat Detail →
FULL_TIME1blnData Engineer - Global Team (India)
YipitData • India
Gaji tidak dicantumkanLihat Detail →