DeepSeek открыла исходный код DeepInfer, движка инференса, который она использует для масштабного запуска V4.1-Flash. https://github.com/deepseek-ai/DeepInfer Именно этот код помогает быстрее обслуживать запросы к моделям и снижать затраты на их работу. Для компаний, развёртывающих собственные ИИ-сервисы, DeepInfer может оказаться даже ценнее самих весов модели. Ещё одна важная деталь: движок работает не только на чипах Nvidia, но и на Huawei. 👍👍👍
DeepSeek has open-sourced DeepInfer, the inference engine it is using to launch V4.1-Flash at scale.
DeepSeek has open-sourced DeepInfer, the inference engine it is using to launch V4.1-Flash at scale. https://github.com/deepseek-ai/DeepInfer It is this code that helps to quickly service requests to models and reduce the cost of their operation. For companies…
AI Summary & Key Takeaways
- DeepSeek has open-sourced DeepInfer, the inference engine it is using to launch V4.1-Flash at scale
- https://github.com/deepseek-ai/DeepInfer It is this code that helps to quickly service requests to models and reduce the cost of their operation
- For companies…
DeepSeek has open-sourced DeepInfer, the inference engine it is using to launch V4.1-Flash at scale.
Event timeline
Related stories
Companies are using the NVIDIA DSX platform to solve their energy challenges
Companies are adopting the NVIDIA DSX platform to solve energy challenges and optimize infrastructure.
RUNVIDIA расширяет платформу Cosmos для создания мировых моделей
NVIDIA расширила платформу Cosmos новыми инструментами для создания мировых моделей.
RUЕвропейские финансовые организации принимают открытые модели для ИИ
Европейские финансовые организации внедряют открытые модели для создания интеллекта.
Schoolchildren from Kazakhstan became the best at a prestigious competition in Bali with a project that checks AI errors
Two schoolchildren from Almaty received silver at IRCYS 2026 in Bali. Their PlanLens system finds errors in the plans of AI agents.
