GauGAN, разработанная NVIDIA, преобразует эскизы и текстовые описания в фотореалистичные изображения. Основана на генеративно-состязательных сетях GAN и ориентирована на создание пейзажей.
Обзор функций
Нейросеть GauGAN дебютировала в 2019 году на конференции GTC, а в 2021 году версия GauGAN2 добавила генерацию по тексту. Обучена на 10 миллионах пейзажных изображений, используется 3 миллионами человек по данным NVIDIA. Нейросеть поддерживает 15 типов объектов (трава, горы, вода и другие) и генерирует картинки разрешением до 512x512 пикселей. Выполняет следующие функции:
- Преобразование набросков в реалистичные сцены.
- Генерация изображений по текстовым запросам.
- Поддержка 15 сегментированных объектов.
- Создание картинок 512x512 пикселей.
- Экспорт результатов в ZIP-архиве.
- Интеграция с NVIDIA Canvas.
- Работа с многослойными эскизами.
- Генерация в реальном времени.
- Поддержка пользовательских фильтров.
Официальный сайт GauGAN NVIDIA регулярно обрабатывает 1,5 миллиона запросов.
Как пользоваться Nvidia GauGAN
Нейросеть доступна через веб-приложение на сайте gaugan.org и как программа NVIDIA Canvas для Windows 10 с видеокартами RTX. Интерфейс требует базовых навыков рисования. Инструкция:
- Открыть сайт GauGAN.
- Прокрутить вниз до соглашения.
- Поставить галочку в правилах.
- Выбрать инструмент: кисть, карандаш.
- Нарисовать эскиз объектов.
- Указать тип: трава, небо.
- Ввести текст в поле запроса.
- Нажать кнопку генерации.
- Сохранить результат через дискету.
Доступ бесплатный на сайте, чтобы через GauGAN NVIDIA рисовать, требуется покупка видеокарты RTX (от 300 долларов). Работает на английском языке.
Особенности
- обучение на 10 млн изображений;
- генерация за 2-3 секунды;
- требует видеокарты NVIDIA RTX;
- поддерживает 15 типов ландшафтов;
- использует алгоритм SPADE;
- экспорт в PNG и ZIP;
- текстовая генерация с 2021 года;
- реалистичность выше на 30% (по тестам NVIDIA);
- интеграция с профессиональным софтом;
- обновления каждые 6 месяцев.
