Поскольку в примере половину изображения занимала маска текста, нейросеть посчитала, что будет неплохо разделить изображение примерно по границе текста на маске. Разрешение маски необязательно должно быть равно разрешению генерируемой картинки, но соотношение сторон лучше выдерживать. Маска может не быть чёрно-белой, но светлые части будут плохо видны на результате. Но даже в этом случае использование нейросетей ускорит работу в сравнении с самостоятельным сбором фактуры.
Например, можно взять фото человека, прогнать его через нейросеть и заменить только его внешность с сохранением остальной композиции. Стабильная диффузия работает таким образом, что принимает значения двух входящих параметров и переводит их в фиксированную точку в пространстве генеративной модели. Этими параметрами выступает значение семени и текст фразы для генерации. Если вы хотите, чтобы Стабильная Диффузия выводила один и тот же результат, необходимо зафиксировать значение семя + фраза для генерации.
Например, Canny позволяет заимствовать у картинки композицию и стилистику, но менять детали — скажем, лицо персонажа или цвета на картинке. Популярная нейросеть Stable Diffusion от компании Stability.AI уже генерирует качественные изображения. Однако пользователь не может контролировать результат генерации в полной мере. На нейросеть можно влиять текстовыми запросами и даже картинками-референсами, но все равно алгоритм много что додумывает сам. Stable Diffusion — самая продвинутая нейросеть для генерации изображений с открытым исходным кодом. Но для запуска нейросети нужен мощный компьютер и навыки программирования.
Stable Diffusion генерирует отличные пейзажи, например осенний лес в лучах заходящего солнца, фантастические замки, пляжи или футуристические города. На выходе получается соответствующий заявленной модели результат, но с артефактами и кривыми лицами у персонажей. Полная версия со всеми моделями скачивается и устанавливается как расширение к основной нейросети Stable Diffusion. Так у вас будет постоянный доступ к моделям и все возможности сервиса. Подходит для тех, у кого есть мощный ПК и минимальные навыки программирования. Для карты глубины взяли скриншот из Hogwarts Legacy.
Если вам не нужны продвинутые функции и вы хотите просто генерировать изображения, то вам хватит тех функций, что есть в предыдущих версиях. Чтобы установить Easy Diffusion, скачайте файл установки на компьютер, запустите его и следуйте инструкции. Всё моё свободное время в последние четыре дня было потрачено на одну задачу — составление запросов для нейросети Stable Diffusion, нейросети для создания изображений по текстовому описанию. Все изображения для статьи (кроме скриншотов) были созданы лично в этой нейросети, совершенно не художником. С ходу придумывать запросы сложно, тем более так, чтобы результаты сразу получались качественными. Проще всего подсматривать запросы у других пользователей, чтобы искать вдохновление или нужные вам стилизации — для таких целей существуют сайты-промптеры.
Попробуйте начать генерировать изображения уже сейчас и наслаждаться этим процессом, а также дарить другим людям возможность насладиться вашими творениями. Следите за сообществом на различных платформах, таких как GitHub или Reddit, чтобы узнавать о новых возможностях и удачных примерах использования. Также попробуйте использовать метод генерации по образцу, где вы используете набор изображений в качестве обучающей выборки и генерируете изображения в этом новом стиле.
Если вы работаете над сложным продуктом со множеством стейкхолдеров, ненастроенными процессами, большим количеством легаси — посмотрите, чтобы впечатлиться работоспособностью и оптимизмом. Основная идея — дизайнер должен брать больше ответственности и отвечать за продукт и пользовательский опыт целиком. Но весь кайф этой лекции в том, как Илья презентует свои кейсы и идеи.
Кстати, во время работы вы можете наткнуться на ещё один баг. После ввода запроса и нажатия на кнопку Generate система может писать, что вы бесконечно стоите в очереди («In queue…»), либо вообще ничего не писать. При этом кнопки для прерывания и отмены запроса могут не работать. Нам помогло нажать Enter в командной строке в чёрном окне ― программа выполнила ещё несколько действий, и потом всё заработало. Там есть версии на 4 и на 7 ГБ ― чтобы поскорее попробовать нейросеть, скачайте на 4.
Можно указать непосредственно название самого художественного стиля, например Surrealism, Steampunk, Pixel art и др. Или имя художника, чей стиль необходимо позаимствовать, например by Paul Gauguin, by Pierre-Auguste Renoir, by Rembrandt и др. Контроль внимания или расстановка акцентов будет работать как в стандартных фразах для генерации так и отрицательных. При регистрации вы получаете 100 кредитов, которых, по заявлению разработчиков, хватит на генерацию 450 изображений. Когда они будут исчерпаны, вам предложат купить платный пакет из 1000 кредитов за $10, которого должно хватить на 5000 изображений.
Она находится в свободном доступе и в любой момент может прыгнуть на два шага вперед. Разработчики также выпустили приложение Diffusion Bee на базе Stable Diffusion, которое работает на компьютере без подключения к интернету. Пока оно доступно только на Mac с чипами Apple Silicon. Для такого приложения нужен компьютер с видеокартой емкостью от 4 ГБ памяти. Отдельно разработчики развивают вариант Stable Diffusion под названием Riffusion для генерации музыки. Мелодии можно создавать как на основе предложенного шаблона, так и с помощью текстового описания.
Он позволяет получать картинки на основе других изображений, сохраняя элементы с исходных кадров. Как и в случае с Midjourney, для генерации картинки с помощью Stable Diffusion достаточно набрать promts — его текстовое описание на английском языке. И в первую очередь они касаются настройки в графическом интерфейсе Stable Diffusion. Генерация изображений через сторонние веб-сервисы обладает stable diffusion как пользоваться как преимуществами так и рядом недостатков. Вычислительные мощности серверов ограничены, поэтому разработчики вынужденно ограничивают как количество бесплатных запросов, так и максимальный размер получаемого изображения. В нейросети Stable Diffusion можно не только генерировать картинки с нуля по текстовому запросу (txt2img), но и работать с уже существующими изображениями (img2img).
Как только это произойдет, любой желающий сможет таким же образом создавать свои собственные художественные фильмы. Последствия этой технологии только начинают изучаться, поэтому она может привести нас в совершенно новых направлениях, которые мы не можем предвидеть в данный момент. Stable Diffusion позволяет создавать визуальную реальность, которую только можно представить, любому пользователю бесплатно. Модель искусственного интеллекта генерирует изображения на основе текста или входного изображения. При генерации ControlNet переносит этот набросок в новую картинку, а уже с помощью текстового запроса можно задавать параметры для нового изображения.
Например, смешать стиль Моне и Ван Гога, Синьяка и Хокусая. Кроме того, при обучении Stable Diffusion используются миллионы произведений искусства, которые были собраны без разрешения авторов, и программа генерирует очень похожие изображения. Это вызывает вопросы об авторстве и авторских правах.
Теперь идём в уже знакомый нам раздел img2img, во вкладку img2img. Традиционно выставляем размер изображения (1) так, чтобы соотношение сторон не менялось. В разделе Script (3) выбираем установленное расширение, а модель (4) — dpt_beit_large_512.