Prompt Octopus

Prompt Octopus помогает разработчикам сравнивать ответы разных LLM прямо в кодовой базе. Инструмент встраивается в рабочий процесс через расширение VS Code и убирает рутину ручных тестов промтов в браузере.

Сравнение моделей бок о бок

Пользователь выделяет промт в редакторе, выбирает нужные модели и сразу видит их ответы рядом. Поддерживается более 40 моделей, включая OpenAI, Anthropic, DeepSeek, Mistral, Grok и другие. Такой формат ускоряет выбор оптимальной модели и формулировки промта под конкретную задачу.

Локальные ключи и свои настройки

Prompt Octopus работает по принципу «принеси свои API-ключи». Ключи хранятся локально и не отправляются на сервер. Можно сохранять промты и наборы моделей, чтобы быстро возвращаться к удачным конфигурациям и повторять эксперименты.

Инструмент для LLM-eval в коде

Инструмент ориентирован на инженеров, которые интегрируют LLM в продукты и хотят прозрачно оценивать качество ответов. LLM-eval оказывается прямо в репозитории и редакторе, без переключения контекста и лишних вкладок.