Слика генерисана помоћу Стабле Диффусион 2.0
Недавно Стабилност АИ, откривен путем поста на блогу друго издање система аутоматско учење Стабле Диффусион, који је способан да синтетише и мења слике на основу предложеног шаблона или описа текста на природном језику.
Стабилна дифузија је модел машинског учења развијен од стране Стабилити АИ да генерише висококвалитетне дигиталне слике из описа природног језика. Модел се може користити за различите задатке, као што је генерисање текстом вођених превода слике у слику и побољшање слике.
За разлику од конкурентских модела као што је ДАЛЛ-Е, Стабле Диффусион је отвореног кода1 и не ограничава вештачки слике које производи. Критичари су изразили забринутост због етике вештачке интелигенције, тврдећи да се модел може користити за креирање деепфакеса.
Динамичан тим Робина Ромбаха (Стабилност АИ) и Патрика Есера (Рунваи МЛ) из ЦомпВис групе на ЛМУ Минхену на челу са проф. др Бјорн Омером, предводио је оригинално издање Стабле Диффусион В1. Надоградили су свој претходни лабораторијски рад са моделима латентне дифузије и добили критичку подршку од ЛАИОН-а и Елеутхер АИ-а. Можете прочитати више о оригиналном издању Стабле Диффусион В1 у нашем претходном посту на блогу. Робин сада предводи напоре са Кетрин Кроусон у Стабилити АИ да створи следећу генерацију медијских модела са нашим ширим тимом.
Стабле Диффусион 2.0 нуди низ сјајних побољшања и функција у поређењу са оригиналном В1 верзијом.
Главне вести Стабле Диффусион 2.0
У овој новој верзији која је представљена креиран је нови модел синтезе слике на основу описа текста „СД2.0-в“, који подржава генерисање слика резолуције 768×768. Нови модел је обучен коришћењем колекције ЛАИОН-5Б од 5850 милијарди слика са текстуалним описима.
Модел користи исти скуп параметара као и модел Стабле Диффусион 1.5, али се разликује по преласку на коришћење фундаментално другачијег ОпенЦЛИП-ВиТ/Х енкодера, што је омогућило значајно побољшање квалитета добијених слика.
А је припремљено поједностављена верзија СД2.0-базе, обучен за слике величине 256×256 користећи класични модел предвиђања шума и подржава генерисање слика резолуције 512×512.
Поред овога, истиче се и то обезбеђена је могућност коришћења технологије суперсамплинга (Супер Резолуција) да бисте повећали резолуцију оригиналне слике без смањења квалитета, користећи просторно скалирање и алгоритме за реконструкцију детаља.
Од осталих промена који се издвајају из ове нове верзије:
- Обезбеђени модел за обраду слике (СД20-упсцалер) подржава 4к увећање, омогућавајући генерисање слика у резолуцији од 2048×2048.
- Стабле Диффусион 2.0 такође укључује модел Упсцалер Диффусион који побољшава резолуцију слике за фактор 4.
- Предложен је модел СД2.0-дептх2имг који узима у обзир дубину и просторни распоред објеката. МиДаС систем се користи за процену монокуларне дубине.
- Нови модел унутрашње боје заснован на тексту, фино подешен на новој бази текста у слику Стабле Диффусион 2.0
- Модел вам омогућава да синтетишете нове слике користећи другу слику као шаблон, који се може радикално разликовати од оригинала, али задржава укупну композицију и дубину. На пример, можете користити позу особе на фотографији да бисте формирали други лик у истој пози.
- Ажурирани модел за модификовање слика: СД 2.0-инпаинтинг, који омогућава коришћење текстуалних наговештаја за замену и промену делова слике.
- Модели су оптимизовани за употребу на маинстреам системима са ГПУ-ом.
Коначно да zainteresovani ste da saznate više o tome, требало би да знате да је код за алате за обуку неуронске мреже и слике написан у Питхон-у користећи ПиТорцх оквир и објављен под лиценцом МИТ-а.
Унапред обучени модели су отворени под дозвољеном лиценцом Цреативе МЛ ОпенРАИЛ-М, која омогућава комерцијалну употребу.
izvor: https://stability.ai