Prompt Octopus помогает разработчикам сравнивать ответы разных LLM прямо в кодовой базе. Инструмент встраивается в рабочий процесс через расширение VS Code и убирает рутину ручных тестов промтов в браузере.
Сравнение моделей бок о бок
Пользователь выделяет промт в редакторе, выбирает нужные модели и сразу видит их ответы рядом. Поддерживается более 40 моделей, включая OpenAI, Anthropic, DeepSeek, Mistral, Grok и другие. Такой формат ускоряет выбор оптимальной модели и формулировки промта под конкретную задачу.
Локальные ключи и свои настройки
Prompt Octopus работает по принципу «принеси свои API-ключи». Ключи хранятся локально и не отправляются на сервер. Можно сохранять промты и наборы моделей, чтобы быстро возвращаться к удачным конфигурациям и повторять эксперименты.
Инструмент для LLM-eval в коде
Инструмент ориентирован на инженеров, которые интегрируют LLM в продукты и хотят прозрачно оценивать качество ответов. LLM-eval оказывается прямо в репозитории и редакторе, без переключения контекста и лишних вкладок.
