TinySwallow 1.5B é uma família de modelos de linguagem japoneses compactos da Sakana AI e da Swallow Team. Ela inclui um checkpoint base para continuação de texto e o TinySwallow-1.5B-Instruct para conversa e seguimento de instruções. Este cartão aponta para o Instruct porque ele é o ponto de partida prático para quem está criando um assistente local, em vez de continuar o treinamento de um modelo base.
Por que o TinySwallow foi escolhido
Em 13 de julho de 2026, o TinySwallow-1.5B ocupava o primeiro lugar em downloads mensais entre os modelos no perfil oficial da Sakana AI no Hugging Face, com a versão Instruct em segundo lugar. As contagens de downloads mudam diariamente e não medem qualidade, mas oferecem uma resposta verificável sobre qual modelo aberto atrai atualmente mais uso. Por isso, a AIDive está publicando um cartão sobre uma rede neural específica, e não um artigo geral sobre a empresa Sakana AI.
Base ou Instruct
O Base passou por pré-treinamento adicional em texto japonês e é voltado a pesquisa, treinamento contínuo e trabalhos de conclusão de texto. O Instruct foi ajustado para comandos e uso conversacional em japonês. Chats, protótipos de assistente e APIs locais normalmente devem começar pelo Instruct. O Base pode ser mais apropriado para fine-tuning personalizado quando uma personalidade de assistente ou um comportamento de chat já existente atrapalharia.
TAID e o foco no japonês
O TinySwallow foi criado com TAID, ou Temporally Adaptive Interpolated Distillation. O Qwen2.5-32B-Instruct serviu como professor, e o Qwen2.5-1.5B-Instruct como aluno. A destilação tenta transferir comportamentos úteis de um modelo maior para um menor, que custa menos para executar. O cartão do modelo lista oficialmente o japonês como idioma. Sua base Qwen pode produzir saídas em inglês ou em outros idiomas, mas a Sakana AI não promete qualidade equivalente fora do japonês.
Transformers, vLLM e 3,09 GB de pesos
O principal arquivo de pesos Instruct em BF16 tem cerca de 3,09 GB. Ele é carregado via Transformers, enquanto o perfil oficial também fornece um exemplo de vLLM para servir uma API compatível com OpenAI. Existem builds quantizadas de terceiros, mas elas devem ser avaliadas separadamente. A configuração lista até 32.768 posições de contexto. Esse é um limite técnico de janela, não uma garantia de trabalho preciso ao longo de um documento extenso: um modelo compacto pode perder detalhes, alucinar e ter dificuldade com raciocínio complexo.
Licenças e limites de um modelo experimental
A página traz o rótulo Apache 2.0, mas o modelo deriva do Qwen e também foi treinado com dados do Gemma. A Sakana AI exige explicitamente que os usuários sigam tanto os termos do Apache quanto os termos do Gemma e sua política de usos proibidos. O uso comercial é permitido somente quando ambos os conjuntos de requisitos são cumpridos. O desenvolvedor chama o TinySwallow de protótipo experimental para pesquisa e desenvolvimento, portanto a precisão factual, a segurança e a adequação a uma tarefa de produção ainda exigem testes independentes.
