GauGAN

GauGAN, разработанная NVIDIA, преобразует эскизы и текстовые описания в фотореалистичные изображения. Основана на генеративно-состязательных сетях GAN и ориентирована на создание пейзажей.

Обзор функций

Нейросеть GauGAN дебютировала в 2019 году на конференции GTC, а в 2021 году версия GauGAN2 добавила генерацию по тексту. Обучена на 10 миллионах пейзажных изображений, используется 3 миллионами человек по данным NVIDIA. Нейросеть поддерживает 15 типов объектов (трава, горы, вода и другие) и генерирует картинки разрешением до 512x512 пикселей. Выполняет следующие функции:

• Преобразование набросков в реалистичные сцены.
• Генерация изображений по текстовым запросам.
• Поддержка 15 сегментированных объектов.
• Создание картинок 512x512 пикселей.
• Экспорт результатов в ZIP-архиве.
• Интеграция с NVIDIA Canvas.
• Работа с многослойными эскизами.
• Генерация в реальном времени.
• Поддержка пользовательских фильтров.

Официальный сайт GauGAN NVIDIA регулярно обрабатывает 1,5 миллиона запросов.

Как пользоваться Nvidia GauGAN

Нейросеть доступна через веб-приложение на сайте gaugan.org и как программа NVIDIA Canvas для Windows 10 с видеокартами RTX. Интерфейс требует базовых навыков рисования. Инструкция:

1. Открыть сайт GauGAN.
2. Прокрутить вниз до соглашения.
3. Поставить галочку в правилах.
4. Выбрать инструмент: кисть, карандаш.
5. Нарисовать эскиз объектов.
6. Указать тип: трава, небо.
7. Ввести текст в поле запроса.
8. Нажать кнопку генерации.
9. Сохранить результат через дискету.

Доступ бесплатный на сайте, чтобы через GauGAN NVIDIA рисовать, требуется покупка видеокарты RTX (от 300 долларов). Работает на английском языке.

Особенности

• обучение на 10 млн изображений;
• генерация за 2-3 секунды;
• требует видеокарты NVIDIA RTX;
• поддерживает 15 типов ландшафтов;
• использует алгоритм SPADE;
• экспорт в PNG и ZIP;
• текстовая генерация с 2021 года;
• реалистичность выше на 30% (по тестам NVIDIA);
• интеграция с профессиональным софтом;
• обновления каждые 6 месяцев.