Генерация изображений по текстовому описанию, коллажам и с помощью смешивания картинок

Таких нейросетей сейчас очень много. Даже просто перечислить их — задача непростая. Мы решили остановиться на тех, которые наиболее известны.

Нейросеть DALL-E 2

Мировой лидер по генерации изображений с помощью текстовых запросов на английском языке с возможностью триального доступа. Считается одной из передовых нейросетей, созданных для генерации графики по текстовым запросам.

Кроме создания изображений с нуля, эта нейросеть способна модифицировать изображения как дорисовывая что-то на них, так и создавать варианты исходного изображения.

Нейросеть DALL-E MINI/Craiyon

Ее создатель — житель Техаса Борис Дайма. Да, эта сеть проще, чем DALL-E 2.0, работает с меньшим количеством параметров, а обучали ее на 30 млн примеров, но создана она на исходной архитектуре DALL-E 2.0, показывает неплохие результаты и быстродействие — генерирует 9 вариантов запроса всего за минуту.

DALL-E Mini быстро набрала большое количество поклонников. Эта сеть стала очень популярна у любителей мемов и не только, что вынудило разработчиков сменить ее имя на Craiyon, ведь иначе сеть ассоциировалась с оригинальным DALL-E.

Плюсы:

• Бесплатна.
• Проста в использовании.
• Изображения можно скачать в достаточно хорошем качестве и сколько угодно.
• Понимает даже довольно абстрактные запросы. Для мемов идеальна.

Минусы:

• Качество и детализация изображений оставляет желать лучшего.
• Руки и глаза, как правило, не получаются корректно.

Нейросеть Artbreeder

Отличная нейросеть для того, чтобы научиться составлять запросы (промты), к тому же позволяет делать новые изображения из грубых коллажей и даже просто зарисовок.

В классическом варианте сеть создает генерации на основе «родительских» картин. Нужно только выбрать, что именно вам нужно. Можно доработать какое-то одно изображение, изменив его до полной неузнаваемости.

Коллажирование — еще более интересная функция. Она позволяет создавать изображение из зарисовки или коллажа. Например, так: делаем грубый набросок, описываем текстом, что мы хотим получить в итоге и ждем результат. Если итог не устроил, можно изменить настройки, уменьшив или увеличив участие AI в создании генерации.

Плюсы:

• Бесплатна.
• Любое количество генераций.
• Позволяет как создавать картины, миксуя изображения или изменяя характеристики исходников, так и генерировать новые изображения из коллажей, текста и даже весьма условных зарисовок.
• Работает через браузер.
• Результаты можно использовать в коммерческих проектах.

Минусы:

• Иногда приходится ждать довольно долго.
• Платная закачка изображений в более высоком разрешении.

Нейросеть Lexica.art

Создание графики по текстовому запросу подходит для создания простых иллюстраций. Чем сложнее запрос, тем меньше шансов получить нужный результат.

Lexica также позволяет работать с уже готовыми изображениями. Для этого достаточно выбрать картинку, которая вам подходит, и посмотреть на ее промт. Потом вы сможете создать свой собственный вариант, улучшая и совершенствуя запрос.

Плюсы:

• Возможность использовать уже готовые варианты промтов для собственных работ.
• Простота интерфейса.
• Яркие работы.
• Много бесплатных триальных генераций.

Минусы:

• Работают в основном только простые запросы.

Нейросеть Dream by WOMBO

Веб-версия — бесплатная в тестовый период, но некоторые стили доступны только при премиум-подписке.

Изображения можно скачать в достаточно высоком разрешении. Также есть возможность загружать собственные картинки как эталонные и дополнять их текстовыми уточнениями.

Нейросеть с открытым кодом Stable Diffusion

Один из лучших вариантов нейросетей с генерацией картинок. Stable Diffusion — программа с открытым исходным кодом. Ее создатель —группа Stability.Ai. С помощью этого решения можно генерить изображения бесплатно, в любом количестве и хорошем качестве, а пользоваться ею можно даже с собственного компьютера.

Минусы:

• Установка на ПК требует определенных умений и знаний или хотя бы желания эти знания получить.
• Требования к железу — видеокарта должна быть не ниже Nvidia 10XX минимум с 4 ГБ видеопамяти.
• Программа «тяжелая» и занимает на жестком диске около 400 ГБ.
• Настройки, установка моделей и прочие нюансы требует траты некоторого времени.

Нейросеть Dezgo, как вариант Stable Diffusion без установки на компьютер

Dezgo по сути своей является частным развитием Stable Diffusion. В ней меньше настроек, меньше возможностей. Тем не менее для тех, кто не хочет устанавливать Stable Diffusion на компьютер, это неплохой вариант.

Нейросеть Midjourney

Сеть Midjourney способна создавать порой настоящие шедевры. Основателем проекта является Дэвид Хольц, выпускник Университета Северной Каролины. Сама нейросеть появилась в феврале 2022 года и за это время сделала огромный скачок в качестве, хотя в ее штате всего около 10 человек.

Для работы с Midjourney нужна регистрация в мессенджере Discord, который довольно популярен в среде геймеров и дизайнеров. Discord выбрали из тех соображений, что людям намного проще творить, находясь в группе. Начать работать просто — нужно зайти на сайт www.midjourney.com, затем авторизоваться через мессенджер, после чего есть вариант воспользоваться бесплатной пробной версией или же оплатить подписку.

Обратим внимание на две важные вещи, из-за незнания которых новички часто теряют свои генерации. Во-первых, нужно следить за чатом. Запрошенная картинка появится там среди многих чужих. Ее легко пропустить. Во-вторых, для сохранения картинки по ней нужно кликнуть правой кнопкой мыши и открыть изображение на новой вкладке.

Стоимость базовой подписки 10$ в месяц, стандартной — 30$ в месяц и профессиональной — 60$ в месяц. Есть также корпоративный тариф стоимостью 600$ в год. При корпоративной подписке сотрудники компании могут работать совместно в отдельной команде.

Для создания изображения нужно набрать в чате с ботом Midjourney слова, в которых описывается то, что вы хотите получить, скажем, «autumn park». Система сгенерирует четыре изображения на выбор, а дальше наиболее подходящую картинку можно масштабировать, изменять и дорабатывать до идеала. Здесь же можно генерировать новые картинки из уже готовых изображений.

Нейросети для работы с текстом и программным кодом

Explainpaper — анализ текстов и статей

Онлайн-сервис, работающий на базе GTP-3. Он предназначен для анализа сложных статей или просто текстов и получения краткого резюме по ним. Также пользователь может получать пояснения непонятных слов, фраз, абзацев или расшифровки сокращений. Сервис работает как на русском, так и на английском языке. На дополнительные вопросы нейросеть отвечает только в пределах статьи.

Сервис абсолютно бесплатный. Все что нужно — это регистрация. Формат файлов для работы — PDF.

Copilot — помощник для написания программного кода

Нейросеть в помощь программистам. Разработана компаниями GitHub и Open AI. Программа подсказывает, что можно улучшить в коде, оставляет комментарии, дает имена функциям.

По сути дела, это программа-помощник программистов, которая встраивается в IDE. Она не пишет код, но сильно облегчает его создание. Лучше всего Copilot работает с Python, JavaScript, Ruby, TypeScript и Go.

Ghostwriter — помощник для написания программного кода

Еще один помощник программиста. Предлагает улучшения для написанного кода. Основа Ghostwriter обучается на миллионах строк кода, находящихся в открытом доступе. Программа решает четыре основные задачи: пишет продолжение кода, генерирует новый код, трансформирует кода и объясняет его.

Принцип работы нейронных сетей

Основа работы нейронных сетей базируется на преобразовании нескольких параметров в один. Процесс сильно напоминает работу биологических нейронных сетей:

1. Искусственный нейрон сети принимает сигналы.
2. Полученные данные преобразовываются и передаются другим нейронам.

Соответственно, алгоритм обучения нейросети выглядит следующим образом:

• Обучающая выборка. Нейросеть получает данные, необходимые для выполнения поставленных задач, а также готовые ответы на полученную информацию. Данных должно быть в десятки раз больше, чем общий объем нейронов сети. Чем больше информации получает нейросеть в процессе обучения, тем выше вероятность правильно решить поставленную задачу.
• Преобразование. Сеть обрабатывает полученные данные и отправляет их дальше, делая это с помощью математических формул. Процесс напоминает то, как человек видит предметы — нервный импульс передает в мозг сигнал, сигнал обрабатывается и только после этого мы воспринимаем картинку.
• Обработка информации. Выводы.

Особенности нейронных сетей

Закрытый характер. Все характеристики и правила, которыми пользуется машина, неизвестны даже ее создателям. Такие нейросети начинаются с описания формул и структуры, а затем уже развиваются самостоятельно и независимо.

Независимость нейронов в сети. Функционирование каждого из нейронов автономно. Они обмениваются данными, но в пределах сети независимы. Поэтому при выходе из строя одного из нейронов, остальные работают так же, как и работали. Благодаря этому достигается высокая устойчивость сетей. Но отсюда исходит и главный минус подобной структуры — хаотичные и практически непредсказуемые решения на выходе.

Гибкость. Архитектура нейросетей во многом подобна биологическим системам. Благодаря этому они могут самостоятельно обучаться, адаптироваться к новым данным, выбирать важное и игнорировать малозначимое.

В головном мозге человека около 86 млрд нейронов. Количество нейронов в современных разработках составляет около 10 млрд нейронов.

Проблемы нейросетей

Катастрофическая забывчивость — при обучении новой задаче нейросети не запоминают старые навыки. По этой причине одна и та же сеть не может научиться последовательно выполнять сразу несколько задач — каждая новая обучающая выборка приводит к переписыванию нейронов.

Переобучение — еще одна проблема нейросетей. Модель воспринимает обучающую выборку, хорошо объясняет примеры из нее, но неспособна классифицировать примеры, которые не принимали участие в обучении.

Непредсказуемость — даже создатель нейросети не может сказать, каким именно образом идет обработка информации после обучения.

Юридические и социальные аспекты использования нейросетей

Появление нейросетей поставило под угрозу многие творческие профессии. В частности, еще в декабре 2022 года тысячи художников начали размещать на своих работах один и тот же знак — надпись AI в красном перечеркнутом круге. Это означает запрет со стороны художников на использование их работ для обучения нейросетей. Действительно, умение нейросетей перенимать художественный стиль разных авторов сродни плагиату.

Одновременно другие дизайнеры и художники начали использовать нейросети как инструменты. В настоящее время полностью отсутствует законодательная база, позволяющая достигнуть баланса между ИИ и представителями творческих профессий.

Выводы

Пока нейросети не могут полностью заменить представителей творческих профессий. Их правильней назвать инструментом, облегчающим работу. Однако отсутствие юридических документов, ограничивающих использование нейросетей и защищающих права людей, уже сейчас становится серьезной проблемой, которая потенциально будет обострятся по мере совершенствования нейросетей.