Sawirka lagu sameeyay Stable Diffusion 2.0
Dhawaan Xasilloonida AI, oo daaha laga rogay iyada oo loo marayo boostada blogka daabacaadda labaad ee nidaamka barashada mashiinka Faafidda Deggan, kaas oo awood u leh in uu habeeyo oo wax ka beddelo sawirada ku salaysan qaab la soo jeediyay ama sharraxaadda qoraalka luqadda dabiiciga ah.
Faafidda deggan waa qaabka barashada mashiinka ay soo saartay Stability AI si loo soo saaro sawirro dhijitaal ah oo tayo sare leh oo laga soo qaatay sharraxaadaha luqadda dabiiciga ah. Qaabka waxa loo isticmaali karaa hawlo kala duwan, sida abuurista tarjumaad-sawir-sawir-u-gudbin qoraal ah iyo kor u qaadida sawirka.
Si ka duwan moodooyinka tartamaya sida DALL-E, Stable Diffusion waa il furan1 oo si macmal ah uma xaddido sawirada ay soo saarto. Dhaleeceyntu waxay walaac ka muujiyeen anshaxa AI, iyaga oo sheeganaya in qaabka loo isticmaali karo in lagu abuuro qoto dheer.
Kooxda firfircoon ee Robin Rombach (Stability AI) iyo Patrick Esser (Runway ML) oo ka socday Kooxda CompVis ee LMU Munich oo uu madax u yahay Prof. Dr. Björn Ommer, ayaa hogaaminayay sii deynta asalka ah ee Stable Diffusion V1. Waxay ku dhiseen shaqadoodii hore ee shaybaadhka moodooyinka faafinta qarsoon waxayna taageero muhiim ah ka heleen LAION iyo Eleuther AI. Waxaad ka akhrisan kartaa wax badan oo ku saabsan siideynta asalka ah ee Stable Diffusion V1 boostadayada hore ee blog. Robin hadda wuxuu hogaaminayaa dadaalka Katherine Crowson ee Stability AI si loo abuuro jiilka xiga ee moodooyinka warbaahinta kooxdeena ballaaran.
Stable Diffusion 2.0 waxay bixisaa tiro horumar ah iyo astaamo marka loo eego nooca asalka ah ee V1.
Sheekooyinka cusub ee ugu weyn ee Stable Diffusion 2.0
Qaabkan cusub ee la soo bandhigay qaab cusub oo sawir sawireed oo ku salaysan sharraxaadda qoraalka ayaa la sameeyay "SD2.0-v", kaas oo taageera soo saarista sawirada leh xallinta 768×768. Qaabka cusub waxaa lagu tababaray iyadoo la adeegsanayo ururinta LAION-5B ee 5850 bilyan oo muuqaal ah oo leh sharraxaad qoraal ah.
Qaabku wuxuu adeegsadaa isla jaangooyooyin la mid ah qaabka Stable Diffusion 1.5, laakiin way ka duwan tahay u gudubka adeegsiga furaha furaha furan ee CLIP-ViT/H asal ahaan ka duwan, kaas oo suurtageliyay in si weyn loo hagaajiyo tayada sawirada natiijada.
A waa la diyaariyay nooca la fududeeyay ee SD2.0-saldhig, oo lagu tababaray sawirada 256×256 iyadoo la adeegsanayo qaabka saadaasha qaylada qadiimiga ah iyo taageerida jiilka sawirada oo leh xallinta 512×512.
Taas waxaa dheer in sidoo kale la iftiimiyay suurtogalnimada isticmaalka tignoolajiyada supersampling ayaa la bixiyaa (Super Resolution) si loo kordhiyo xallinta sawirka asalka ah iyada oo aan la dhimin tayada, iyada oo la adeegsanayo cabbiraadda meelaha iyo algorithms dib-u-dhiska tafatiran.
Isbeddelada kale oo ka dhex muuqda noocyadan cusub:
- Qaabka sawir-qaadista ee la bixiyay (SD20-upscaler) wuxuu taageeraa weyneynta 4x, taasoo u oggolaanaysa sawirrada leh xallinta 2048 × 2048 in la soo saaro.
- Faafinta Xasilloonida ah 2.0 waxa kale oo ka mid ah qaabka Diffusion Upscaler kaas oo hagaajinaya xallinta sawirka qodob ka mid ah 4.
- Habka SD2.0-depth2img ayaa la soo jeediyay, kaas oo tixgalinaya qoto dheer iyo habaynta meel bannaan ee walxaha. Nidaamka MiDaS waxaa loo isticmaalaa in lagu qiyaaso qoto-dheeraanta monocular.
- Nooc cusub oo rinji gudaha ah oo qoraal ah, oo si fiican loo habeeyey oo ku yaal saldhiga cusub ee Stable Diffusion 2.0 qoraal-ilaa-sawir
- Qaabku wuxuu kuu ogolaanayaa inaad sawirto sawirro cusub adoo isticmaalaya sawir kale sida template, kaas oo laga yaabo inuu ka duwan yahay asalka, laakiin wuxuu hayaa guud ahaan halabuurka iyo qoto dheer. Tusaale ahaan, waxaad isticmaali kartaa sawirka qofka sawirka ku jira si aad u sameysid jilaa kale oo isla jaan ah.
- Qaabka la cusboonaysiiyay ee wax ka beddelka sawirada: SD 2.0-inpainting, kaas oo u oggolaanaya isticmaalka tilmaamaha qoraalka si loo beddelo loona beddelo qaybaha sawirka.
- Moodooyinka waxaa loo habeeyay si loogu isticmaalo nidaamyada caadiga ah ee leh GPU.
Ugu dambeyntii haa waxaad xiisaynaysaa inaad wax badan ka ogaato, waa inaad ogaataa in koodhka tababarka shabakada neerfaha iyo qalabyada sawirada lagu qoray Python iyadoo la adeegsanayo qaabka PyTorch oo lagu sii daayo shatiga MIT.
Moodooyinka horay loo tababaray waxay ku furan yihiin shatiga Ogolaanshaha Hal-abuurka ML OpenRAIL-M, kaas oo u oggolaanaya isticmaalka ganacsiga.
source: https://stability.ai