TinySwallow 1.5B est une famille de modèles de langage japonais compacts de Sakana AI et de la Swallow Team. Elle comprend un checkpoint de base pour la continuation de texte et TinySwallow-1.5B-Instruct pour la conversation et le suivi d’instructions. Cette fiche renvoie vers Instruct, car c’est le point de départ pratique pour créer un assistant local, plutôt que de poursuivre l’entraînement d’un modèle de base.
Pourquoi TinySwallow a été retenu
Le 13 juillet 2026, TinySwallow-1.5B occupait la première place en nombre de téléchargements mensuels parmi les modèles du profil Hugging Face officiel de Sakana AI, la version Instruct étant deuxième. Les compteurs de téléchargements changent chaque jour et ne mesurent pas la qualité, mais ils donnent une réponse vérifiable à la question de savoir quel modèle ouvert attire actuellement le plus d’usage. AIDive publie donc une fiche consacrée à un réseau neuronal précis, et non un article général sur l’entreprise Sakana AI.
Base ou Instruct
Base a été davantage préentraîné sur du texte japonais et vise la recherche, la poursuite de l’entraînement et les travaux de complétion de texte. Instruct a été ajusté pour les commandes et l’usage conversationnel en japonais. Les chats, prototypes d’assistant et API locales devraient normalement commencer par Instruct. Base peut être plus approprié pour un fine-tuning personnalisé lorsqu’une personnalité d’assistant ou un comportement de chat déjà présents feraient obstacle.
TAID et la spécialisation en japonais
TinySwallow a été créé avec TAID, ou Temporally Adaptive Interpolated Distillation. Qwen2.5-32B-Instruct a servi de professeur et Qwen2.5-1.5B-Instruct d’élève. La distillation tente de transférer des comportements utiles d’un grand modèle vers un modèle plus petit, moins coûteux à exécuter. La fiche du modèle indique officiellement le japonais comme langue. Sa base Qwen peut produire des sorties en anglais ou dans d’autres langues, mais Sakana AI ne promet pas une qualité équivalente hors du japonais.
Transformers, vLLM et 3,09 Go de poids
Le principal fichier de poids Instruct en BF16 fait environ 3,09 Go. Il se charge via Transformers, tandis que le profil officiel fournit aussi un exemple vLLM pour servir une API compatible OpenAI. Il existe des builds quantifiés tiers, mais ils doivent être évalués séparément. La configuration indique jusqu’à 32 768 positions de contexte. Il s’agit d’une limite technique de fenêtre, pas d’une garantie de précision sur un long document : un modèle compact peut perdre des détails, halluciner et avoir du mal avec les raisonnements complexes.
Licences et limites d’un modèle expérimental
La page porte une étiquette Apache 2.0, mais le modèle dérive de Qwen et a aussi été entraîné sur des données Gemma. Sakana AI exige explicitement que les utilisateurs respectent à la fois les conditions Apache ainsi que les conditions Gemma et sa politique d’usages interdits. L’usage commercial n’est autorisé que lorsque les deux ensembles d’exigences sont satisfaits. Le développeur qualifie TinySwallow de prototype expérimental pour la recherche et le développement ; l’exactitude factuelle, la sécurité et l’aptitude à une tâche de production nécessitent donc toujours des tests indépendants.
