Tips Loker

← Kembali ke Daftar Lowongan

FULL_TIME

Benchmark & Evaluation Engineer

Expedock • Philippines

Gaji tidak dicantumkan


Deskripsi Pekerjaan

Tipe: Penuh waktu Lokasi: Jarak jauh (Filipina) Jadwal: Shift Amerika Serikat Tentang Expedock Expedock adalah platform augmentasi tenaga kerja berbasis teknologi yang memanfaatkan 1% talenta lepas pantai terbaik dan teknologi mutakhir untuk membantu bisnis mencapai potensi penuhnya. Tentang Klien Klien kami adalah perusahaan platform AI inovatif yang mengembangkan standar industri untuk benchmark guna menilai cara analis AI menangani data perusahaan kompleks berskala produksi. Mereka mengutamakan kerja jarak jauh, tumbuh dengan cepat, dan membangun produk yang menjembatani analitik bahasa alami, pemodelan data, serta sistem data dari awal hingga akhir. Posisi yang Dibutuhkan Kami mencari Benchmark & Evaluation Engineer dengan kombinasi kuat dalam rekayasa data, SQL tingkat lanjut, dan evaluasi AI. Anda harus memiliki更多的人an tentang data produksi, yaitu pemahaman mengenai cara lingkungan perusahaan yang kompleks, berantakan, dan melibatkan banyak sistem bekerja, serta cenderung mengutamakan ketelitian dan penilaian yang jujur. Tugas dan Tanggung Jawab Membangun Lingkungan Data yang Realistis: Merancang dan menyiapkan lingkungan perusahaan multi-sistem, seperti gudang data, data lake, API, dan basis data, dalam skala besar di berbagai domain utama, termasuk layanan kesehatan, keuangan, dan analitik produk. Merancang Benchmark Dataset: Membuat dataset berskala besar yang terkalibrasi denganingly realistis, serta mencakup noise, musiman, drift, dan PII sintetis untuk menguji skalabilitas kueri dan kemampuan penalaran. Menyusun Pustaka Tugas: Menulis dan memverifikasi tugas benchmark, SQL emas, serta kunci penalaran yang dinilai dengan rubrik, sekaligus menghilangkan kebocoran data dan ambiguitas. Mengelola Evaluation Harness: Mengembangkan sistem penilaian, termasuk pemeriksaan deterministik dan judge berbasis LLM, memelihara leaderboard yang melacak regresi, serta memastikan integritas skor. Kualifikasi Wajib SQL & Pemodelan Data Tingkat Lanjut: Keahlian mendalam dalam SQL kelas produksi, seperti CTE, window function, query plan, dan cardinality, serta pemodelan data, termasuk star/snowflake schema, SCD, dan referential integrity. Rekayasa Data & Sistem: Kemampuan Python yang kuat, termasuk pandas, NumPy, dan Polars, serta pengalaman praktis dalam menyiapkan dan memuat data ke setidaknya 1 gudang data utama, seperti Snowflake, BigQuery, Redshift, atau Postgres. Pengalaman Evaluasi & Benchmark: Rekam jejak terbukti dalam designing set evaluasi atau tugas benchmark, termasuk verifikasi golden answer atau golden SQL, kalibrasi rubrik atau judge berbasis LLM, pencegahan kebocoran data, dan pelacakan regresi. Lingkungan Data Multi-Sistem: Kemampuan membangun setup multi-sistem yang realistis, seperti gudang data, data lake, DB operasional, dan API, dengan data sintetis berskala besar, semi-terstruktur, atau kotor. Nilai Tambahan Pengetahuan domain di bidang Healthcare/Health Insurance, Finance/FP&A, Product Analytics, atau Supply Chain. Pengalaman dengan framework evaluasi LLM, seperti SWE-bench atau harness bergaya Cursor, maupun stack streaming atau data lake, seperti S3, Parquet, dbt, Airflow, Spark, dan DuckDB. Informasi Data & Privasi Kandidat Dengan mengirim lamaran Anda ke Expedock, Anda acknowledge dan menyetujui pengumpulan, penggunaan, serta pemrosesan informasi pribadi Anda untuk keperluan rekrutmen dan perekrutan. Informasi Anda akan digunakan untuk: Menilai kualifikasi dan kesesuaian Anda untuk posisi saat ini dan posisi mendatang. Berkomunikasi dengan Anda throughout proses rekrutmen. Memperbaiki proses perekrutan dan pengalaman kandidat secara keseluruhan. Memelihara talent pool untuk peluang mendatang, jika diizinkan oleh hukum. Kami menangani data kandidat dengan perhatian dan sesuai dengan regulasi perlindungan data serta privasi yang berlaku. Informasi Anda hanya dapat diakses oleh anggota tim yang berwenang dan tidak akan dibagikan kepada pihak ketiga tanpa persetujuan Anda, kecuali diwajibkan oleh hukum. Originally posted on Himalayas

Ringkasan

Perusahaan
Expedock
Lokasi
Philippines
Tipe kerja
FULL_TIME
Gaji
Gaji tidak dicantumkan
Tanggal tayang
12 Okt 2026
Terlihat sejak
9 Nov 2026
Sumber & keterlacakan data
Himalayas (public board)Buka sumber asli ↗https://himalayas.app/companies/expedock/jobs/benchmark-evaluation-engineer
Siap melamar? Langsung di sumber asli.Buka Halaman Lamaran
Lamar di Sumber Asli →

Lowongan Terkait Lainnya

CONTRACT1bln

Competitive Data Scientist

micro1 • Remote

Gaji tidak dicantumkanLihat Detail →
FULL_TIME1bln

AI Agent Specialist – Remote (Brazil-based)

TalentCross • United States

Gaji tidak dicantumkanLihat Detail →
FULL_TIME1bln

Generative Media Engineer, AI Social - US

Luxury Presence • United States

Gaji tidak dicantumkanLihat Detail →
FULL_TIME1bln

Data Engineer - Global Team (India)

YipitData • India

Gaji tidak dicantumkanLihat Detail →