Как нейросеть изменяет фото?

Современные инструменты редактирования фото почти все построены на диффузионных моделях, и принцип у них общий, хоть детали различаются. Сначала фото переводят не в пиксели, а в компактное числовое представление, латентное пространство, где похожие по смыслу изображения оказываются рядом друг с другом. К этому представлению добавляют случайный шум, а дальше сеть обучена делать обратный процесс: шаг за шагом убирать шум, восстанавливая изображение.

Ключевая часть для вашего вопроса — куда именно нейросеть смотрит при этом восстановлении. На каждом шаге удаления шума модель учитывает два источника: текстовый запрос (что должно получиться) и саму структуру исходного фото, которую специально сохраняют через дополнительные механизмы вроде ControlNet, они удерживают контуры, позы и композицию оригинала, пока меняется только то, что описано в запросе.

Именно поэтому неудачные правки чаще всего случаются там, где сети сложнее опереться на структуру: руки, мелкий текст на объектах, отражения и тени, там мало жестких контуров для ControlNet, и модели проще дофантазировать правдоподобную, но неточную деталь.

Более старые инструменты (маски возраста, смена пола на фото и подобные) чаще построены на другой архитектуре, GAN, паре из генератора и критика, которые обучались, соревнуясь друг с другом: генератор пытался обмануть критика правдоподобной подделкой, критик учился ее отличать от настоящего фото. Диффузионные модели в итоге вытеснили GAN в большинстве задач, потому что дают более стабильный и управляемый результат.