Controlnet для тг-бота pixelmuse

Добавил новую функцию для telegram-бота @pixelmuse_bot. Теперь на вход ему можно отправить кривой рисунок с командой в описании /imagine2 текст запроса и на выходе получить что-то осмысленное и даже красивое. Как это работает под капотом. Никакой магии, для управления нейросетью используем controlnet. Controlnet заставляет нейросеть использовать информацию о границах объектов как опору для создания нового изображения. После получения изображения от пользователя обрабатываем его с помощью cv2.Canny для определения краев. Тут пришлось поэксперементировать с параметрами чтобы края определялись в том числе на фотографиях, где переходы, например на лице, могут быть плавными, а потеря этих границ даёт модели слишком много свободы для творчества. ...

17 октября 2023 · 2 минуты · coyotle
Красивая девушка с сухими цветами в волосах

Telegram-бот для создания изображений нейросетью

В общем, кому не хватало Midjourney у нас дома - добро пожаловать в @pixelmuse_bot. Что бот умеет на данный момент: Создавать картинки по текстовому запросу Используется автоматический машинный перевод текста на английский, поэтому запрос может быть практически на любом языке Можно выбрать из 5 моделей: реализм, аниме, киборги, sci-fi окружение, стикеры (по факту под капотом две модели + разные LoRa) Можно загрузить свою фотографию для обработки img2img Можно сделать апскейл результата x1.5. Для апскейла используется нейронка Real-ESRGAN Даю 20 токенов для тестов (20 изображений) с лимитом 10 токенов в день Dev-лог Какое-то время ковырял Stable Diffusion в Автоматик111 и ComfyUI. В один прекрасный депрессивный день решил посмотреть, как работать с сетью напрямую в python. Сделать это можно с помощью библиотеке diffusers от Hugging Face. Написал пятистрочный скрипт и подумал почему бы ради прикола не приделать к нему телеграм бота, и тут понеслось. ...

22 сентября 2023 · 4 минуты · coyotle