A Xiaomi acaba de entrar no campo da inteligência artificial com o seu novo modelo de IA chamado Xiaomi MiMo com suporte a 7B (mil milhões) de parâmetros. Ele se destacou por superar até modelos com 32B, como o o1-mini da OpenAI e o QwQ-Preview do Alibaba em testes de raciocínio matemático AIME 24-25 e criação de código LiveCodeBench v5.Segundo a Xiaomi, isto é possível graças as inovações em pré-treinamento da IA com foco em extração de informações com raciocínio aprimorado, geração de cerca de 200 bilhões de tokens de dados com raciocínio especializado. Tudo foi realizado em três fases separadas com dificuldade crescente, resultando no treinamento de 25 trilhões de tokens.Além disso, a Xiaomi também aplicou melhorias no pós-treinamento da IA com um novo método para lidar com a escassez de recompensas para tarefas algorítmicas complexas, aplicação de métodos para estabilizar o treinamento de aprendizado por esforço com reamostragem de dados e foco em eficiência.Clique aqui para ler mais
Leave a Reply