TinySwallow 1.5B — семейство компактных японских языковых моделей от Sakana AI и Swallow Team. Есть базовый checkpoint для продолжения текста и TinySwallow-1.5B-Instruct для диалога и выполнения инструкций. В карточке стоит ссылка на Instruct: это более практичная точка входа для пользователя, который хочет запустить локального ассистента, а не продолжать обучение базовой модели.
Почему выбрана TinySwallow
На 13 июля 2026 года TinySwallow-1.5B занимала первое место по месячным загрузкам среди моделей в официальном профиле Sakana AI на Hugging Face, а Instruct-версия — второе. Эти числа меняются ежедневно и не являются оценкой качества, но дают проверяемый ответ на вопрос о самой востребованной открытой модели разработчика. Поэтому на AIDive публикуется карточка конкретной нейросети, а не обзор компании Sakana AI.
Base или Instruct
Base дополнительно обучена на японском тексте и нужна разработчикам для исследований, дообучения и задач продолжения текста. Instruct прошла настройку на выполнение команд и разговорные сценарии на японском. Для чата, прототипа ассистента или локального API разумнее начинать с Instruct. Для собственного fine-tuning, где готовое поведение ассистента мешает, может подойти Base.
TAID и японская специализация
TinySwallow создана методом TAID — Temporally Adaptive Interpolated Distillation. В качестве учителя использовалась Qwen2.5-32B-Instruct, а студентом была Qwen2.5-1.5B-Instruct. Идея дистилляции — перенести часть поведения большой модели в меньшую, которую дешевле запускать. Официально заявленный язык — японский: русский, английский и другие языки могут давать результат благодаря базовой архитектуре Qwen, но одинаковое качество Sakana AI не обещает.
Transformers, vLLM и 3,09 ГБ весов
Основной BF16-файл Instruct занимает около 3,09 ГБ. Модель загружается через Transformers, а для сервера с OpenAI-совместимым API официальный профиль приводит пример с vLLM; доступны и сторонние квантизованные сборки, которые нужно оценивать отдельно. В конфигурации указано до 32 768 позиций контекста. Это технический предел окна, а не гарантия точного ответа на длинный документ: компактная модель может забывать детали, галлюцинировать и хуже справляться со сложным рассуждением.
Лицензии и границы экспериментальной модели
Страница помечена Apache 2.0, однако модель основана на Qwen и обучалась также на данных Gemma. Sakana AI прямо требует соблюдать и Apache 2.0, и условия Gemma с политикой запрещённого использования. Коммерческое применение допускается только при соблюдении обеих групп условий. Разработчик называет TinySwallow экспериментальным прототипом для исследований и разработки, поэтому ответы, факты, безопасность и соответствие конкретной задаче необходимо проверять до внедрения.
