Senior Machine Learning Engineer, Optimasi Inferensi LLM Nebius Tentang Nebius Nebius memimpin era baru dalam infrastruktur cloud untuk ekonomi AI global. Kami membangun platform cloud AI full-stack yang mendukung developers dan perusahaan, mulai dari pelatihan data dan model hingga deployment produksi, tanpa biaya dan kompleksitas membangun infrastruktur AI/ML internal berskala besar. Nebius dibangun oleh insinyur, untuk insinyur. Dari orkestrasi GPU berskala besar hingga optimasi inferensi, kami mengambil alih berbagai tantangan teknis di bidang komputasi, penyimpanan, jaringan, dan AI terapan. Nebius tercatat di Nasdaq (NBIS) dan berkantor pusat di Amsterdam, dengan jejak global serta pusat R&D di Eropa, Britania Raya, Amerika Utara, dan Israel. Tim kami yang beranggotakan 1.500+ orang mencakup ratusan insinyur dengan keahlian mendalam di bidang perangkat keras, perangkat lunak, dan R&D AI. Peran Sebagai Senior Machine Learning Engineer di tim Applied AI Nebius Token Factory, Anda akan menjadi penanggung jawab optimasi model dan endpoint, mulai dari artefak model hingga deployment produksi. Pekerjaan Anda mencakup internal model, kuantisasi dan kompresi model, decoding spekulatif, optimasi KV-cache, mesin inferensi, arsitektur serving, serta benchmark untuk meningkatkan latensi, throughput, efisiensi memori, utilisasi GPU, dan biaya per token, sekaligus mempertahankan kualitas dan keandalan. Anda akan bekerja bersama insinyur kernel dan platform untuk menyelidiki masalah serving, membandingkan konfigurasi, serta menangani regresi performa dan kualitas. Anda akan mengevaluasi optimasi pada tingkat model dan mesin secara bersamaan dengan desain inferensi terdistribusi, termasuk routing permintaan, penjadwalan, koordinasi prefill/decode, dan eksekusi GPU multi-node. Peningkatan yang Anda buat akan divalidasi melalui benchmark yang dapat direproduksi dan rollout produksi yang aman pada beban kerja nyata. Tanggung Jawab Anda akan bertanggung jawab atas proyek optimasi untuk keluarga model, endpoint pelanggan, atau backend serving tertentu. Anda akan membandingkan mesin inferensi dan merekomendasikan konfigurasi serving yang sesuai dengan setiap beban kerja. Anda juga akan mendiagnosis regresi kualitas model dan performa selama rollout produksi. Anda akan meningkatkan latensi, throughput, efisiensi memori, utilisasi GPU, kualitas, dan biaya per token untuk endpoint LLM dan VLM. Anda akan melakukan deployment, konfigurasi, benchmark, dan pengembangan mesin inferensi seperti vLLM, SGLang, TensorRT-LLM, Triton Inference Server, dan NVIDIA Dynamo. Anda akan mengembangkan alur kerja kompresi model produksi yang mencakup kuantisasi, pelatihan sadar kuantisasi, distilasi, serving bit rendah, dan pemulihan akurasi. Anda akan mengimplementasikan atau mengintegrasikan decoding spekulatif, pendekatan model draf, optimasi KV-cache, cache prefiks, prefill bertahap, batching kontinu, serta serving prefill/decode terpisah. Untuk disaggregasi prefill-decode (PDD), Anda akan mengevaluasi transfer KV-cache, penempatan worker, dan penyeimbangan kapasitas untuk menentukan beban kerja yang diuntungkan oleh arsitektur tersebut. Anda akan merancang dan meningkatkan router permintaan LLM serta kebijakan penjadwalan yang menyeimbangkan utilisasi worker, antrean, karakteristik permintaan, dan lokalitas KV-cache, sambil memenuhi target latensi dan keandalan. Anda akan menskalakan inferensi model dense dan mixture-of-experts di beberapa node GPU. Anda akan memilih dan menyetel paralelisme tensor, pipeline, data, dan expert, termasuk wide expert parallelism (WideEP), dengan memperhatikan topologi perangkat keras, keseimbangan beban expert, dan overhead komunikasi. Anda akan membangun harness benchmark yang dapat direproduksi untuk mengukur TTFT, TPOT, token per detik per GPU, latensi p95/p99, memori GPU, keandalan, dan biaya per token. Pilihan arsitektur akan divalidasi pada lalu lintas yang representatif dengan anggaran GPU yang konsisten. Anda akan bermitra dengan insinyur kernel GPU dan platform untuk melacak bottleneck di seluruh lapisan model code, kernel, runtime, scheduler, gateway, dan cluster. Anda juga akan menghasilkan dokumen desain, laporan performa, rencana rollout, dan penjelasan teknis untuk pelanggan. Persyaratan Wajib Kemampuan rekayasa yang kuat dalam Python dan PyTorch. Pengalaman langsung dalam melakukan deployment atau optimasi inferensi LLM, VLM, atau transformer berketputaran tinggi. Pengetahuan praktis tentang sekurangnya 1 stack inferensi modern, seperti vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe, atau sistem internal equivalents. Pemahaman yang kuat mengenai bottleneck inferensi transformer yang melibatkan KV cache, attention, bandwidth memori, batching, paralelisme, dan serving konteks panjang. Kemampuan untuk mengkuantifikasi trade-off antara latensi, throughput, kualitas, utilisasi, dan biaya. Pengalaman merancang atau mengoptimasi arsitektur sistem inferensi terdistribusi, dengan pekerjaan langsung di 1 atau beberapa area seperti routing permintaan, penjadwalan terdistribusi, PDD, inferensi multi-node, atau paralelisme expert. Kemampuan komunikasi dan kolaborasi yang kuat lintas tim riset, kernel, infrastruktur, produk, dan pelanggan. Nilai tambah Pengalaman dengan pelatihan sadar kuantisasi, kuantisasi pascapelatihan, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, atau SmoothQuant. Pengalaman dengan distilasi, decoding spekulatif, EAGLE, Medusa, prediksi multi-token, atau metode percepatan inferensi terkait. Pengalaman mendukung beban kerja agentik yang melibatkan pemanggilan tool, keluaran terstruktur, API streaming, konkurensi tinggi, dan orkestrasi multi-langkah. Familiarity dengan CUDA atau Triton; peran ini tidak menjadikan rekayasa kernel sebagai spesialisasi utama kandidat. Kontribusi pada proyek open source seperti vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, atau KServe. Pengalaman implementasi dengan routing permintaan sadar cache, PDD, atau WideEP, termasuk mendiagnosis bottleneck komunikasi dan ketidakseimbangan beban. Familiarity dengan pustaka komunikasi GPU dan interconnect seperti NCCL, NVLink, InfiniBand, atau RoCE. Manfaat dan Keunggulan Kompensasi yang kompetitif. Kesempatan berkembang karier dan belajar. Fleksibilitas danacterium tanggung jawab. Budaya yang kolaboratif dan inovatif. Kesempatan bekerja pada proyek AI yang berdampak. Lingkungan internasional dan tim yang talented. Lingkungan Kerja di Nebius Perkembangan cepat. Pemikiran berani. Pertumbuhan terus-menerus. Dampak yang bermakna. Kepercayaan dan tanggung jawab nyata. Kesempatan membentuk masa depan AI. Pernyataan Kesempatan yang Setara Nebius adalah pemberi kerja yang menyediakan kesempatan setara. Kami berkomitmen fostering lingkungan kerja yang inklusif dan beragam, serta memberikan kesempatan kerja yang setara dalam semua aspek ketenagakerjaan. Kami tidak melakukan diskriminasi berdasarkan ras, warna kulit, agama, seks, termasuk kehamilan, asal kebangsaan, leluhur, usia, disabilitas, informasi genetik, status perkawinan, status veteran, orientasi seksual, identitas atau ekspresi gender, atau karakteristik lain yang dilindungi oleh hukum yang berlaku. Pelamar wajib memiliki izin untuk bekerja di negara tempat mereka melamar dan akan diminta memberikan bukti kelayakan bekerja sebagai syarat rekrutmen. Jika Anda memerlukan akomodasi selama proses lamaran, silakan beri tahu kepada kami.

Senior Machine Learning Engineer, LLM Inference Optimization

Deskripsi Pekerjaan

Ringkasan

Lowongan Terkait Lainnya

Senior System Engineer (CloudGate)

Senior Software Engineer (YDB Team)

Senior Software Engineer (Agentic Search) – Web Rendering (Chromium)

Senior Applied AI Solutions Engineer