Senior Machine Learning Engineer

Cloudflare — это компания, которая стремится помочь построить лучший Интернет. Сегодня она управляет одной из крупнейших сетей в мире, которая обслуживает миллионы веб-сайтов и других интернет-ресурсов для клиентов, начиная от индивидуальных блогеров и малых и средних предприятий до компаний из списка Fortune 500. Cloudflare защищает и ускоряет любое интернет-приложение без добавления оборудования, установки программного обеспечения или изменения кода. Интернет-ресурсы, работающие на Cloudflare, имеют веб-трафик, проходящий через его интеллектуальную глобальную сеть, которая становится умнее с каждым запросом. В результате они наблюдают значительное улучшение производительности и снижение спама и других атак.

• Определять, как модели машинного обучения работают в глобальной сети Cloudflare, от открытых LLM и моделей реального времени до моделей, развернутых клиентами на гетерогенных GPU и ускорителях следующего поколения.

• Работать с системными инженерами, продуктовыми командами, аппаратными партнерами и инженерами AI/ML для внедрения моделей в производство с низкой задержкой, высокой надежностью и эффективным использованием ресурсов.

• Разрабатывать, оптимизировать и производить модели машинного обучения для серверной платформы Cloudflare с акцентом на производительность, надежность и качество модели.

• Создавать фреймворки для бенчмаркинга и оценки, чтобы измерять задержку, пропускную способность, стоимость и поведение моделей.

• Улучшать производительность вывода через квантизацию, пакетирование, кэширование, компиляцию моделей и оптимизацию с учетом ускорителей.

• Сотрудничать с продуктовыми и инженерными командами для перевода требований клиентов в масштабируемые возможности ML для Workers AI.

• Наставлять инженеров, вносить вклад в техническое направление и повышать стандарты качества практик ML-инженерии в команде.

• Опыт создания, оптимизации и эксплуатации моделей машинного обучения в производственных условиях.

• Сильная компетенция в Python и современных ML-фреймворках, таких как PyTorch, TensorFlow, JAX или аналогичных.

• Практический опыт с техниками оптимизации вывода для моделей большого масштаба, включая квантизацию, пакетирование, кэширование и настройку времени выполнения.

• Опыт работы с фреймворками или средами для обслуживания вывода, такими как SGLang, vLLM, TensorRT-LLM, ONNX Runtime, Triton, llama.cpp или аналогичными.

• Знание LLM, моделей речи, моделей зрения, встраиваний, мультимодальных моделей, генерации с увеличением извлечения или других современных архитектур глубокого обучения.

• Опыт оптимизации моделей для GPU или специализированных ускорителей.

• Глубокое понимание производственных проблем ML, включая оценку, мониторинг, регрессии моделей, безопасность развертывания и надежность.

• Способность работать на границе ML и систем, включая знакомство с распределенными системами, сетями или серверными платформами.

• Опыт руководства сложными техническими проектами и наставничества других инженеров.

• Опыт участия в разработке инструментов ML с открытым исходным кодом, фреймворков для обслуживания моделей или сред вывода.

• Конкурентоспособную зарплату и бонусы.

• Гибкий график работы и возможность удаленной работы.

• Доступ к обучению и развитию.

• Команду единомышленников и возможность влиять на будущее Интернета.

• Работа в динамичной и инновационной компании.

• Участие в интересных проектах, которые имеют значение для миллионов пользователей по всему миру.