Staff Storage Platform Engineer (AI Storage) - Remote Tentang Radian Arc Radian Arc adalah spesialis infrastruktur AI yang dioptimalkan berdasarkan hasil—menerapkan, mengorkestrasi, dan memonetisasi komputasi GPU di tempat data, pengguna, dan permintaan benar-benar bertemu: di dalam jaringan telko, di edge, dan di pusat data inti. Bukan platform AI generik. Bukan konsultan. Kami adalah penghubung antara silikon mentah dan hasil di dunia nyata. Dampak yang akan Anda berikan Misi: Merancang, membangun, dan mengoperasikan lapisan penyimpanan AI yang mendukung infrastruktur GPU berskala besar, sehingga dataset, artefak model, checkpoint, dan status inferensi dapat dikirimkan ke klaster komputasi dengan throughput yang sangat tinggi dan latensi yang konsisten. Anda akan berperan penting dalam merancang dan mengembangkan platform penyimpanan di berbagai penerapan edge dan inti, serta mendukung seluruh siklus hidup beban kerja AI, termasuk inferensi terdistribusi, fine-tuning, dan pelatihan model berskala besar. Peran ini mencakup berbagai arsitektur penyimpanan yang digunakan di seluruh platform, termasuk penyimpanan hyperconverged yang saat ini berbasis StorPool, penyimpanan NVMe lokal untuk beban kerja yang sensitif terhadap latensi dan penerapan edge, serta platform penyimpanan AI terdisagregasi seperti VAST Data dan Weka. Sebagai peran penyimpanan platform khusus pertama di organisasi, posisi ini menggabungkan kepemilikan arsitektur tingkat Staff, arahan teknis, dan pengaruh lintas fungsi dengan eksekusi langsung dalam desain penyimpanan, penerapan, rekayasa performa, pemecahan masalah, integrasi platform, dan peningkatan operasional. Tanggung jawab utama peran ini adalah merancang dan mengoptimalkan arsitektur penyimpanan yang mendasari stack inferensi terdistribusi seperti NVIDIA Dynamo, llm-d, atau framework orkestrasi inferensi serupa. Ini mencakup memastikan sistem penyimpanan mendukung beban kerja inferensi secara efisien melalui akses dataset yang dioptimalkan, distribusi artefak model, penanganan checkpoint, dan persistensi KV-cache. Anda akan merancang sistem penyimpanan yang dapat diskalakan untuk memasok data ke ribuan GPU, sembari menyeimbangkan throughput, latensi, ketahanan, dan efisiensi biaya. Anda juga akan bekerja sama dengan tim komputasi, jaringan, dan rekayasa platform untuk memastikan integrasi yang lancar dengan lapisan orkestrasi platform. Karena saat ini ini merupakan peran penyimpanan platform utama di perusahaan, posisi ini secara sengaja bersifat hybrid: Anda diharapkan beroperasi pada tingkat L6 / Staff dalam hal desain jangka panjang, standar, pengaruh lintas tim, dan arah platform, sekaligus mengeksekusi langsung pekerjaan penyimpanan penting yang, dalam organisasi yang lebih besar, akan dibagi ke beberapa engineer. Peran ini sepenuhnya remote; kami akan mempertimbangkan kandidat yang relevan dari semua lokasi. Yang Anda perlukan Pengalaman inti - Pengalaman langsung yang kuat dalam merancang dan mengoperasikan sistem penyimpanan terdistribusi untuk lingkungan komputasi berperforma tinggi. - Pengalaman terbukti dalam merancang arsitektur penyimpanan untuk platform inferensi atau pelatihan AI berskala besar, termasuk distribusi dataset, checkpointing, dan pola penyimpanan KV-cache. - Pengetahuan mendalam tentang stack penyimpanan dan I/O Linux. - Pemahaman kuat tentang pola akses data beban kerja AI. - Pengalaman mengoptimalkan penyimpanan untuk beban kerja yang dipercepat GPU. - WEKA Data Platform, yaitu sistem penyimpanan enterprise berperforma tinggi untuk AI dan HPC. - Familiaritas dengan integrasi penyimpanan Kubernetes seperti CSI. - Pengalaman mengoperasikan klaster penyimpanan berskala besar. - Pengalaman memiliki tanggung jawab atas arsitektur sekaligus implementasi langsung dalam lingkungan yang ramping atau berkembang cepat sangat diutamakan. Keahlian lanjutan dalam penyimpanan AI Kandidat harus memiliki keahlian mendalam dalam merancang dan mengoperasikan platform penyimpanan yang dioptimalkan untuk lingkungan yang sangat bergantung pada GPU dan beban kerja AI terdistribusi. Ini mencakup pemahaman kuat tentang bagaimana sistem pelatihan, fine-tuning, dan inferensi berinteraksi dengan penyimpanan, serta bagaimana arsitektur penyimpanan memengaruhi throughput, latensi, konkurensi, pemulihan checkpoint, distribusi dataset, dan performa serving. Keahlian yang relevan mencakup: - Pemahaman kuat tentang pola akses penyimpanan untuk inferensi dan pelatihan terdistribusi. - Pengalaman merancang platform penyimpanan yang mendukung penyerapan dataset besar dan distribusi artefak model dalam skala besar. - Pengalaman praktis menyetel arsitektur penyimpanan untuk checkpointing, akses file terdistribusi, akses objek, dan inferensi dengan konkurensi tinggi. - Familiaritas dengan pola penyimpanan untuk persistensi dan pengambilan KV-cache. - Pengalaman mengoptimalkan lokalitas data dan mengurangi perpindahan jaringan yang tidak perlu antara penyimpanan dan komputasi. - Pemahaman tentang dampak performa penyimpanan terhadap framework AI berskala besar, sistem penyajian model, dan lapisan orkestrasi inferensi. Kemampuan sistem dan pemecahan masalah Kemampuan men-debug masalah lintas lapisan yang kompleks, meliputi: - Perangkat keras penyimpanan - Jaringan - Kernel Linux dan jalur I/O - Sistem file - Lapisan penyimpanan objek dan blok - Integrasi Kubernetes - Perilaku beban kerja terdistribusi - Pengetahuan kuat tentang perangkat keras penyimpanan, perangkat NVMe, fabric penyimpanan, dan jalur data berperforma tinggi. - Pengalaman merancang sistem observabilitas penyimpanan. - Kemampuan kuat untuk bertindak sebagai titik eskalasi senior untuk masalah teknis yang ambigu, berdampak tinggi, dan mencakup banyak domain. Otomatisasi - Keterampilan otomatisasi yang kuat menggunakan Python dan/atau Bash. - Pengalaman menerapkan praktik rekayasa perangkat lunak pada otomatisasi penyimpanan dan perangkat bantu operasional. - Pengalaman membangun perangkat bantu yang dapat digunakan ulang, standar, pola validasi, atau otomatisasi siklus hidup yang meningkatkan daya ungkit lintas tim. Kepemimpinan - Kemampuan terbukti untuk memimpin inisiatif teknis kompleks lintas tim. - Nyaman berkolaborasi dengan tim engineering, operasi, deployment, vendor, dan pemangku kepentingan platform. - Pemikiran tingkat sistem yang kuat dengan menyeimbangkan performa, keandalan, skalabilitas, kemudahan operasional, dan efisiensi biaya. - Kemampuan yang terbukti dalam menetapkan arah arsitektur dan mendorong penerapan standar engineering di seluruh organisasi. - Kemampuan terbukti untuk memimpin melalui pengaruh teknis di berbagai tim dan domain, tanpa mengandalkan kewenangan manajemen formal atas orang lain. - Kemampuan mentoring yang kuat dan kemampuan meningkatkan level teknis tim engineering terkait. - Mampu menyeimbangkan kebutuhan eksekusi jangka pendek dengan desain platform jangka panjang, keberlanjutan operasional, dan efisiensi biaya. Yang akan Anda lakukan Desain arsitektur penyimpanan - Merancang arsitektur penyimpanan AI yang dapat diskalakan untuk mendukung penerapan edge dan inti. - Menentukan strategi penyimpanan untuk beban kerja inferensi terdistribusi, fine-tuning, dan pelatihan. - Merancang solusi di berbagai model penyimpanan: infrastruktur hyperconverged seperti StorPool, penyimpanan NVMe lokal, serta sistem penyimpanan terdisagregasi seperti VAST, Weka, dan arsitektur terkait. - Menentukan arsitektur referensi, prinsip desain, dan pola yang dapat digunakan ulang untuk platform penyimpanan, sehingga penerapan di masa mendatang mengikuti standar, bukan implementasi satu kali. - Mengevaluasi kompromi antara throughput, latensi, ketahanan, lokalitas data, biaya, dan kemudahan operasional, serta memberikan rekomendasi yang jelas kepada tim engineering dan pimpinan. - Memengaruhi roadmap penyimpanan jangka panjang, termasuk pilihan arsitektur untuk lingkungan edge, inti, hyperconverged, dan terdisagregasi. Optimalisasi beban kerja AI - Mengoptimalkan throughput dan latensi penyimpanan untuk klaster yang sangat bergantung pada GPU. - Merancang strategi lokalitas data untuk meminimalkan perpindahan dataset melalui jaringan. - Membandingkan performa penyimpanan dalam beban kerja AI nyata. - Mengoptimalkan pola I/O untuk penyerapan dataset besar, checkpointing, dan distribusi artefak model. - Bekerja langsung dengan tim komputasi untuk memastikan arsitektur penyimpanan sesuai dengan pola akses framework pelatihan, fine-tuning, dan inferensi terdistribusi. - Menetapkan baseline performa dan metode validasi agar platform penyimpanan diuji berdasarkan perilaku beban kerja AI yang realistis, bukan hanya benchmark sintetis. Integrasi platform - Mengimplementasikan dan memelihara driver CSI. - Mengintegrasikan platform penyimpanan dengan Kubernetes dan sistem orkestrasi. - Mengintegrasikan penyimpanan blok, objek, dan file bersama ke dalam platform. - Merancang arsitektur penyimpanan multitenant yang mendukung beban kerja terisolasi. - Memastikan kemampuan penyimpanan terekspos dengan benar ke layanan platform, orkestrasi beban kerja, dan otomatisasi siklus hidup. - Menentukan standar integrasi penyimpanan ke lingkungan berbasis Kubernetes dan yang dikelola platform di berbagai model penerapan. Sistem penyimpanan terdistribusi - Berkontribusi dalam desain platform penyimpanan berskala exabyte. - Mendukung penyimpanan objek yang kompatibel dengan S3, sistem file terdistribusi, dan penyimpanan blok. - Mengintegrasikan klaster penyimpanan ke lingkungan pelanggan yang heterogen. - Merancang sistem penyimpanan dengan domain kegagalan, pendekatan manajemen siklus hidup, jalur penskalaan, dan batas operasional yang jelas. - Menentukan pola operasi yang dapat digunakan ulang untuk lingkungan penyimpanan multiklaster dan multisitus. Arsitektur penyimpanan untuk inferensi terdistribusi - Merancang arsitektur penyimpanan yang mendukung platform inferensi terdistribusi seperti NVIDIA Dynamo, llm-d, atau framework serupa. - Mengoptimalkan performa penyimpanan untuk beban kerja inferensi LLM berskala besar. - Merancang strategi efisien untuk persistensi dan pengambilan KV-cache menggunakan platform penyimpanan terdistribusi seperti VAST atau Weka. - Mengoptimalkan pola akses penyimpanan untuk pipeline pembuatan token dan beban kerja inferensi dengan konkurensi tinggi. - Memastikan infrastruktur inferensi dapat diskalakan secara efisien di ribuan GPU. - Bekerja sama dengan tim platform dan inferensi untuk memastikan desain penyimpanan mendukung arsitektur inferensi yang terus berkembang dan tidak menjadi hambatan bagi throughput, latensi, atau konkurensi. Optimalisasi jalur data AI - Merancang jalur data berperforma tinggi antara klaster GPU dan penyimpanan terdistribusi. - Mengoptimalkan performa menggunakan teknologi seperti: GPU Direct Storage, RDMA / RoCE, NVMe-oF. - Memastikan latensi yang konsisten untuk beban kerja serving inferensi. - Menentukan pendekatan arsitektur untuk perpindahan data dari penyimpanan ke GPU yang menyeimbangkan peningkatan performa dengan kompleksitas operasional dan kepraktisan penerapan. Rekayasa performa - Bekerja dengan teknologi berikut untuk memaksimalkan throughput data ke klaster GPU: RDMA, RoCE, GPU Direct Storage, SPDK, NVMe-oF. - Memimpin investigasi performa penyimpanan di seluruh titik interaksi perangkat keras, jaringan, sistem operasi, sistem file, dan beban kerja. - Mendorong penyetelan jalur penyimpanan secara sistematis untuk lingkungan GPU berskala besar serta menentukan pendekatan validasi dan benchmarking yang dapat diulang untuk penerapan di masa mendatang. Keandalan dan operasi - Meningkatkan keandalan, daya tahan, dan observabilitas stack penyimpanan. - Berkolaborasi dengan tim operasi untuk memantau sistem penyimpanan menggunakan telemetri dan metrik. - Mengoptimalkan performa, latensi, dan ketahanan infrastruktur penyimpanan. - Memimpin respons insiden dan analisis akar masalah untuk insiden penyimpanan besar serta masalah performa kronis. - Menerjemahkan kendala dan insiden operasional menjadi perubahan desain, standar, runbook, dan peningkatan arsitektur yang berkelanjutan. - Menetapkan benchmark terukur untuk keandalan penyimpanan, konsistensi performa, perilaku pemulihan, dan kemudahan operasional di berbagai penerapan. Eksekusi engineering dan delivery - Memimpin delivery engineering infrastruktur penyimpanan dari arsitektur dan validasi hingga peluncuran produksi. - Mendukung implementasi praktis platform penyimpanan pada penerapan baru maupun lingkungan yang sudah ada. - Memvalidasi BOM penyimpanan dan asumsi arsitektur bersama tim infrastruktur, komputasi, dan deployment. - Memberikan masukan terperinci terkait tata letak pusat data, profil node, dan keputusan topologi penyimpanan. - Mendorong strategi penskalaan, perencanaan kapasitas, dan keputusan siklus hidup penyimpanan. - Memastikan perubahan penyimpanan dijalankan dengan aman dan dampaknya terhadap pelanggan seminimal mungkin. - Bertindak sebagai pemilik arsitektur sekaligus pemimpin eksekusi praktis untuk inisiatif penyimpanan penting selama pembangunan fungsi penyimpanan. Kolaborasi lintas tim - Bekerja sama dengan tim komputasi, jaringan, platform, DevOps, dan operasi. - Memastikan penyimpanan terintegrasi secara lancar ke dalam arsitektur platform AI. - Bertindak sebagai otoritas desain penyimpanan utama di seluruh organisasi, serta membimbing tim terkait mengenai bagaimana batasan dan kapabilitas penyimpanan seharusnya membentuk keputusan platform.

Staff Storage Platform Engineer (AI Storage) - Remote

Deskripsi Pekerjaan

Ringkasan

Lowongan Terkait Lainnya

Tech Lead

Remote Full Stack Engineer – IAM Security (German speaking)

Software Engineer Speak Chinese (Remote Work)

Full-Stack Software Engineer