Компания Xiaomi совершила гигантский скачок в области искусственного интеллекта, открыв исходный код своей первоначальной специализированной модели Xiaomi MiMo 7B с 7 миллиардами параметров.
Она уже всколыхнула рынок в области ИИ, превзойдя значительно более крупных конкурентов, таких как модель OpenAI с закрытым исходным кодом o1-mini и более крупную модель Alibaba QwQ-Preview с 32 миллиардами параметрами.
Эта модель является большой победой для недавно созданной Xiaomi Big Model Core Team и доказательством растущего внимания компании к продвижению возможностей ИИ от аппаратного обеспечения к разработке инновационного софта.
Содержание
Преодолевая эталоны с инновационным мышлением
Что так примечательно в MiMo, так это его высокая производительность на сложных тестах на рассуждение по сравнению с его относительно небольшим размером.
На общедоступных наборах оценки математического рассуждения (AIME 24-25) и эффективности кода (LiveCodeBench v5) модель MiMo 7B превзошла конкурентов с существенно более высокими результатами, благодаря инновационной стратегии:
- Богатый корпус рассуждений: акцент делается на извлечении богатой информации для рассуждений.
- Синтетическое улучшение: генерация около 200 млрд токенов данных экспертного уровня для рассуждений
- Тренировка с постепенным увеличением сложности: три отдельных этапа повышения сложности выполнения.
- Расширенное обучение: общее обучение по ошеломляющим 25 триллионам токенов.
Прорывы после обучения
Эволюция Xiaomi MiMo не закончилась на предварительном обучении — инновации исследовательской группы, разработанные после обучения, еще больше улучшили возможности модели:
- Простой подход к повторной выборке данных: применение методов стабилизации обучения с его контролем
- Система бесшовного развертывания: система, ориентированная на эффективность, которая ускорила обучение в 2,29 раза и его проверку в 1,96 раза.
Будущее Xiaomi в области ИИ
Запуск Xiaomi MiMo знаменует собой серьезную игру, которую Xiaomi затеяла в области ИИ. Хотя компания заслужила доверие за счет аппаратных инноваций, этот шаг свидетельствует о стратегическом сдвиге в сторону передовых исследований и разработок в области ИИ.
Открывая исходный код самой модели, Xiaomi также принимает открытую и коллективную природу инноваций искусственного, потенциально ускоряя инновации в отрасли.
Разработчики и энтузиасты искусственного интеллекта, желающие поэкспериментировать с MiMo или создать для него расширения, могут взять модель из репозитория Hugging Face компании Xiaomi вместе с подробной технической документацией.
Звучит как будущее
Какое-то непредсказуемое будущее 🙂
На этапе постобучения MiMo «скормили» 130 тысяч задач по математике и программированию, дополнительно оптимизированных системой ускоренного вывода Seamless Rollout Engine. Такой подход увеличил скорость обучения в 2,29 раза, проверки — в 1,96 раза, а также повысил стабильность работы RL-алгоритмов системы вывода.
MiMo доступна в четырёх версиях. Например, флагманская MiMo-7B-RL (по производительности сопоставима с o1-mini от OpenAI) демонстрирует высокие результаты в математических тестах, программировании и общем понимании текста.
Блин, я таких словов даже не знаю 🙁
Анонс MiMo интересным образом совпал с заметным ростом акций Xiaomi на Гонконгской фондовой бирже. Стоимость бумаг компании увеличилась более чем на 5%, а акции Kingsoft Cloud Holdings, в которой Xiaomi и ее генеральный директор Лэй Цзюнь имеют доли, выросли на 14%.