Adobe нарешті додала в Photoshop можливість генерації на основі своєї нейронки Firefly

На демо­стра­цій­но­му роли­ку все вигля­дає кру­то, але в реаль­но­сті є пев­ні недо­лі­ки (ком­пен­су­ю­ться навче­ні­стю екіпажу).

1. Низь­ка роз­діль­на здатність

Модель навча­лась на зобра­же­н­нях роз­мі­ром 1024 х 1024 піксе­лів. Тому, коли ви гене­ру­є­те шма­ток зобра­же­н­ня на вашо­му фото, яке може бути зна­чно біль­шим, гене­ро­ва­на части­на все одно не буде біль­шою за 1024 по най­біль­шій сто­ро­ні. Тому вона буде про­сто роз­тя­гу­ва­тись. Поки що єди­ний вихід — гене­ру­ва­ти зобра­же­н­ня шма­тка­ми не біль­ше за 1024 на 1024 пікселів.

2. При­су­тність артефактів

Іно­ді під час гене­ра­ції вини­ка­ють арте­фа­кти. Цю про­бле­му можна випра­ви­ти, пере­ге­не­ру­вав­ши части­ну, на якій з’я­ви­лись артефакти.

2. Облич­чя та руки

Про­бле­ма бага­тьох ней­ро­нок. Я поки не тесту­вав ново­вве­де­н­ня само­стій­но, тому не можу ска­за­ти, наскіль­ки реаль­но позбу­тись цієї про­бле­ми. В тому ж Stable Diffusion це, зазви­чай, вирі­шу­є­ться інпе­ін­том (пере­ге­не­ра­ці­єю обра­но­го шма­тка зображення). 

Під­сум­ки

Потрі­бно розу­мі­ти, що це лише пер­ші кро­ки з інте­гра­ції ней­рон­ної гене­ра­ції у Фото­шоп, тому якість робо­ти буде лише покра­щу­ва­тись з часом. Про­те, вже зараз можна від­мі­ти­ти як кру­то модель гене­рує, вра­хо­ву­ю­чи пер­спе­кти­ву і осві­тле­н­ня ори­гі­наль­но­го зображення.