Как нейросеть оживляет фото?

Никакого понимания смысла тут нет: нейросеть не знает, кто на фото и что этот человек чувствует. Она обучена на миллионах видео с лицами и запомнила статистическую связь между чертами лица и типичными движениями — морганием, поворотом головы, мимикой при разговоре.

Технически процесс такой: сначала модель находит на фото ключевые точки лица — глаза, брови, уголки рта, затем накладывает на них движение. Иногда это движение берётся с видео-донора: кто-то записывает свою мимику на камеру, а программа переносит её на фото. Иногда движение генерируется без донора, если нужно просто моргание и лёгкий поворот головы.

Дальше в дело идёт генеративная модель — раньше это были GAN, сейчас чаще диффузионные модели вроде тех, что используются в Stable Diffusion. Она дорисовывает промежуточные кадры так, чтобы движение выглядело плавным, а не коллажем из кусков разных снимков.

Из-за этого у оживших фото типичные огрехи: странно ведут себя волосы, плохо получаются очки и серьги, а при резком повороте головы иногда искажаются пропорции лица. Чем выше разрешение исходного фото и чем ровнее на нём освещение, тем меньше таких артефактов.