Ẹyọ 3 / 12

Wiwo Ijinlẹ ni Awọn irinṣẹ AI Visual: Itọkasi, Itọkasi ati Iṣakoso Ara

Awọn anfani:

  • Agbara lati ṣe agbekalẹ anatomi lẹsẹkẹsẹ wiwo (koko-ọrọ, ohun elo, igun, ina, ara, odi) ati gba awọn abajade atunṣe
  • Agbara lati ṣe itọsọna itọsọna wiwo pẹlu awọn ọna iṣakoso bii aworan itọkasi, ControlNet, irugbin ati iwuwo ara
  • Agbara lati yan ọpa ni ibamu si iṣẹ-ṣiṣe naa ati ṣe iṣiro ipinnu, aitasera ati awọn opin awọn ẹtọ lilo ti iṣelọpọ

Ninu ẹyọ ti tẹlẹ, o rii bii o ṣe le ipo AI ni iran imọran. Ninu ẹyọ yii a lọ ni igbesẹ kan jinle: iwọ yoo kọ ẹkọ lati ṣakoso awọn irinṣẹ AI wiwo nitootọ. Ibanujẹ ti ọpọlọpọ awọn apẹẹrẹ ni pe ọpa ṣe awọn aworan "lori ara rẹ"; Sibẹsibẹ, iṣoro naa nigbagbogbo kii ṣe aibikita ti ọpa ṣugbọn aibikita ti awọn ilana ti a fun. Ṣiṣakoso wiwo AI nilo mimọ awọn nkan mẹta: anatomi kiakia (ṣeto ilana naa ni deede), itọkasi ati iṣakoso akopọ (asiwaju pẹlu wiwo), ati atunṣe (ngba abajade kanna lẹẹkansi). Ni kete ti o kọ awọn mẹta wọnyi, AI yipada lati ẹrọ wiwo laileto sinu ohun elo apẹrẹ steerable.

Anatomi kiakia: awọn ipele mẹfa ti apejuwe aworan kan

Iboju wiwo ti o dara kii ṣe gbolohun ọrọ laileto, ṣugbọn ohunelo ti o fẹlẹfẹlẹ kan. Wo awọn ipele mẹfa wọnyi:

  1. Koko-ọrọ: Kini a ṣe? ("apoti gbigba agbara agbekọri alailowaya")
  2. Fọọmu ati alaye: Silhouette, ipin, igun, iyatọ dada. ("awọn igun yika, nkan meji, laini pipin tinrin ni oke")
  3. Ohun elo ati CMF: Awọ-ohun elo-dada. ("polycarbonate matt anthracite, adikala aluminiomu ti a fọ")
  4. Igun ati fireemu: Ojuami ti wiwo ati fireemu. ("3/4 lati iwaju, die-die lati oke, ọja ti dojukọ")
  5. Imọlẹ ati ayika: Imọlẹ ati lẹhin. ("Imọlẹ ile isise rirọ, ina didoju grẹy ailopin backdrop")
  6. Ara ati idi: Sketch, Rendering photorealistic, iyaworan imọ. ("itumọ ọja aworan gidi")

Ṣe afikun si eyi jẹ itọsi odi: awọn nkan ti o ko fẹ. Ọpọlọpọ awọn irinṣẹ nfunni ni agbegbe “aiṣedeede odi”; Nibi o ti ko iṣẹjade kuro nipa titẹ ohun ti o ko fẹ, gẹgẹbi "ọwọ eniyan, ọrọ, aami, abẹlẹ idoti, ọja-ọja". Ti o ba fi awọn ipele ti o padanu, AI yoo kun awọn ela naa pẹlu apapọ iṣiro tirẹ; Eyi tumọ si cliché.

Imọran: Ṣeto itọsi bi ẹnipe kika lati apẹrẹ: koko-ọrọ + fọọmu + CMF + igun + ina + ara + odi. Ti o ko ba fẹran iṣẹjade kan, beere iru Layer ti o nsọnu, maṣe tun kọ gbogbo itọsi naa.

Itọkasi, akopọ ati iṣakoso ara

Awọn ọrọ ko le sọ ohun gbogbo; Nigba miiran aworan kan tọ awọn ọrọ ẹgbẹrun. Awọn irinṣẹ ode oni nfunni ni ọpọlọpọ awọn ọna agbara ti iṣakoso:

  • Aworan itọkasi (itọkasi aworan / itọkasi aworan): O gbe aworan kan si sọ “jẹ ki o dabi eleyi”. O ṣeto iye ti ọpa ti n tọka si abajade pẹlu iwuwo kan.
  • ControlNet: Ninu eto ilolupo Stable Diffusion, o jẹ ipele iṣakoso ti o tọju eti / laini / ijinle / ipilẹ ti aworan afọwọya tabi fọto ati ṣe agbejade aworan tuntun lori oke rẹ. Apẹrẹ fun titọju akopọ ati yiyipada ohun elo ti aworan afọwọya tirẹ.
  • Itọkasi ara / iwuwo ara: Lati fihan nikan oju-aye / rilara-ara-awọ ti aworan kan, kii ṣe akoonu rẹ.
  • Inpainting (atunṣe agbegbe): Ṣiṣe iboju nikan apakan ti aworan naa ati tun ṣe (fun apẹẹrẹ, yiyipada mimu nikan).
  • LoRA / ikẹkọ aṣa: Ni ipele ilọsiwaju, atunṣe awoṣe ti o dara ti o da lori ede iyasọtọ tabi ara kan pato. Eyi nilo asiri ati iṣọra aṣẹ lori ara (pẹlu data tirẹ, pẹlu igbanilaaye).

Anfani ti o wọpọ ti awọn irinṣẹ wọnyi: Wọn fi agbara mu AI lati ṣiṣẹ lati ilana ti o fun ni, kuku ju ala lati ibere. Ohun ti o niyelori julọ fun apẹẹrẹ nigbagbogbo jẹ ControlNet ati inpainting, nitori wọn ṣe itọju akopọ ti ara rẹ.

Reproducibility: irugbin ati sile

Awọn awoṣe tan kaakiri bẹrẹ pẹlu laileto. Irugbin jẹ nọmba ibẹrẹ ti ID yii. Itọkasi kanna + irugbin kanna + awọn paramita kanna nigbagbogbo funni ni aworan kanna / ti o jọra pupọ. Eyi ṣe pataki fun apẹrẹ: o ṣatunṣe irugbin lati ṣe ẹda aworan ti o fẹ, tabi kan yi ọrọ kan pada ki o wo ipa naa ni ọna iṣakoso. Awọn paramita pataki miiran: ipin abala, awọn igbesẹ (awọn igbesẹ diẹ sii, isọdọtun diẹ sii ṣugbọn o lọra), ati iwọn itọnisọna (itọnisọna / CFG; bawo ni wiwọ ti o baamu kiakia - ti o ba ga ju, o dabi atọwọda ati fi agbara mu).

iṣakoso

Kini o ṣe

Nigbati lati lo

Titunṣe irugbin

Atunse jade kanna

Nigbati o ba n dagbasoke aworan ati igbiyanju A/B

Aworan itọkasi + iwuwo

O jọ aworan kan

Tiwqn/aaye gbigbe

ControlNet (eti/ijinle)

Ṣe itọju akopọ, yi akoonu pada

Ṣiṣẹda kan mu lati ara rẹ Sketch

inpainting

Tuntun agbegbe kan ṣoṣo

Yi alaye ẹyọkan pada

odi tọ

Imukuro ti aifẹ

Ninu abẹlẹ, ọwọ, ọrọ

mẹta mini igba

Ọran 1 - Idabobo apẹrẹ ti ara rẹ. Oluṣeto kan fẹ lati yi aworan afọwọṣe ti a fi ọwọ ṣe ti afọmọ igbale ọwọ sinu iṣẹda aworan gidi kan. Nigbati o ba gbiyanju pẹlu itọ ọrọ kan, AI ṣe agbekalẹ fọọmu ti o yatọ patapata. Nigbati o ba gbe aworan rẹ silẹ nipa lilo ipo canny ControlNet, AI ṣe itọju awọn laini rẹ ati ki o bo pẹlu ṣiṣu matte ati ina ile isise. O gba abajade ti o fẹ ni awọn igbiyanju 4. Ẹkọ: fun titoju akopọ, ControlNet lagbara pupọ ju itọsi mimọ lọ.

Ọran 2 - Isonu ti a ko ni iṣakoso ti iyatọ. Onisewe kan rii imọran ti o fẹran, ṣugbọn ko ṣe akiyesi irugbin naa. Ni ọjọ keji, nigbati o beere fun "diẹ tinrin mu", ko le gbe aworan kanna jade lẹẹkansi; Ọja ti o yatọ patapata ba jade ni gbogbo igba ati pe o padanu awọn wakati. Ẹkọ: ṣafipamọ irugbin ati itusilẹ kikun ti iṣelọpọ kọọkan ti o fẹ; awọn wọnyi ni awọn aaye “pada” rẹ.

Ọran 3 - Cleaning pẹlu odi tọ. Nigbati onise kan ba ṣe agbejade awọn aworan ile-iṣere, awọn ọwọ eniyan ti aifẹ, ọrọ ti o tan, ati ọja keji han ni idaji awọn atẹjade. O ṣafikun “ọwọ eniyan, ọrọ, ami omi, ọja ẹda-iwe, ipilẹ idimu” si itọsi odi ati pe didara iṣelọpọ pọ si ni pataki pẹlu awọn ọrọ 8 nikan. Ẹkọ: sisọ ohun ti o ko fẹ ṣe pataki bii sisọ ohun ti o fẹ.

Awọn awoṣe kiakia idakọ

LAYERED PROMPT SKELETON"[koko], [fọọmu ati alaye], [CMF: awọ-ohun elo-dada], [igun ati fireemu], [ina ati lẹhin], [ara: aworan afọwọya / ṣe / ilana].

RENDER Àdàkọ LATI Itọkasi"Pa ILA AND COMPOSITION ti awọn Sketch Mo Àwọn (ControlNetedge mode). Waye awọn wọnyi ohun elo lori o: [matte ṣiṣu body, aluminiomu apejuwe]. Light: asọ isise. Background: didoju grẹy. Ma ko yi awọn fọọmu, o kan fi ohun elo ati ki ina. "

Iyipada Apejuwe NIKAN (INPAINTING) Àdàkọ "Ni aworan yii, tun ṣe NIKAN agbegbe [agbegbe ti o boju: mu] ẹya tuntun: [slimmer, ergonomic, te]. MAA ṢE fọwọkan aworan iyokù, itanna ati igun rẹ."

AKIYESI Atunṣe "Mo fẹran atẹjade yii. Fi alaye wọnyi pamọ ki o lo ni igba miiran: tọ = [ọrọ kikun], irugbin = [nọmba], aspect = [ipin], igbesẹ = [nọmba], iṣalaye = [iye]. Kan yi eroja kan pada: [X]."

Ailagbara kiakia / Alagbara kiakia

ÀWỌN ADÁJỌ́ Alágbára: "Ìfilọ́lẹ̀ tó dára ti àwọn ẹ̀rọ alátagbà lórí ẹ̀yìn funfun."

Lagbara PROMPT: "Apoti gbigba agbara agbekọri alailowaya inu-eti, fọọmu oval, laini pipin tinrin lori oke. CMF: ara polycarbonate matte matte, satin goolu mitari rinhoho. Igun: 3/4 iwaju, oke die. Ina: softbox softbox, diẹ oke irisi. Background: didoju ina grẹy ailopin backdrop. Style: photo8 respect. 4: 3 --odi: ọwọ eniyan, ọrọ, aami, omi, ọja keji, ojiji lile."

Iyara ti ko lagbara jẹ ki ohun elo kun awọn aaye pẹlu cliché; Itọpa ti o lagbara n ṣe idanimọ ipele kọọkan, yọkuro awọn odi ati jẹ ki o tun ṣe pẹlu irugbin naa.

Awọn aṣiṣe ti o wọpọ

  • Kọ itọsi aiṣedeede kan-gbolohun kan ati gbejade abajade si ohun elo naa. AI kun awọn ela, kii ṣe iwọ.
  • Ko fifipamọ awọn irugbin ati awọn paramita. O ko le gba abajade ti o fẹ lẹẹkansi.
  • Maṣe lo itọsi odi. Awọn eroja ti aifẹ jẹ ibajẹ iṣẹjade.
  • Ṣiṣe awọn ọgọọgọrun awọn idanwo laileto dipo iṣayẹwo akopọ. ControlNet/inpainting ṣe iyara iṣẹ naa.
  • Lilo aworan aladakọ ti elomiran bi itọkasi. Ewu kan wa ti afarawe ara ati aṣẹ lori ara (wo Unit 10).
Išọra: Awọn aworan itọkasi tabi awọn iwuwo ara jẹ awọn irinṣẹ ti o lagbara, ṣugbọn wọn gbele ofin ati awọn eewu ti iṣe ti o ba lo lati daakọ apẹrẹ ohun-ini ẹnikan tabi ara ibuwọlu olorin. Yan awọn itọkasi rẹ lati inu ohun elo tirẹ tabi lati awọn orisun idasilẹ/ọfẹ.

Ni akojọpọ

Ṣiṣakoso wiwo AI nilo awọn agbara mẹta: siseto itọsi siwa (koko-ọrọ, fọọmu, CMF, igun, ina, ara, odi), itọsọna pẹlu aworan (itọkasi, ControlNet, inpainting, iwuwo ara), ati pese atunṣe (fifipamọ awọn irugbin ati awọn aye). Pẹlu awọn mẹta wọnyi, AI yipada lati ẹrọ laileto sinu ohun elo apẹrẹ steerable. ControlNet ati inpainting jẹ alagbara pupọ ju itọsi mimọ lọ nigbati o fẹ lati daabobo akopọ rẹ. Mu awọn ti o ko fẹ kuro pẹlu itọsi odi ki o yan awọn itọkasi rẹ lati awọn orisun to ni aabo aṣẹ-lori.

Ohun elo iṣẹ-ṣiṣe

Yan ọja kan ki o fa (tabi wa) aworan afọwọya ti o ni inira pẹlu ọwọ ni akọkọ. Kọ itọka kan ti n ṣapejuwe ọja yii pẹlu ilana itọsi siwa, ṣafikun itọsi odi, ati gbejade awọn abajade mẹrin. Fipamọ awọn irugbin ati awọn paramita ti iṣelọpọ ti o fẹ; Lẹhinna, pẹlu “iyipada alaye ẹyọkan” kannaa, yi ẹyọkan kan pada (fun apẹẹrẹ, mimu) ki o tun gbejade pẹlu irugbin kanna. Ṣe afiwe awọn abajade meji ki o kọ bii iṣakoso ṣe yipada.

akojọ ayẹwo

  • [] Mo ṣeto itọsi lati bo awọn ipele mẹfa (koko-ọrọ, fọọmu, CMF, igun, ina, ara).
  • [] Mo ti kowe ohun ti Emi ko fẹ ninu awọn odi kiakia.
  • [] Mo ti lo itọkasi/ControlNet/inpainting nigbati mo nilo lati ṣetọju akopọ.
  • [] Mo ti fipamọ awọn irugbin ati awọn paramita ti iṣelọpọ ti Mo nifẹ.
  • [] Mo gbiyanju iyatọ iṣakoso nipasẹ gbigbe oniyipada kan.
  • [] Mo ti yan awọn aworan itọkasi mi lati awọn orisun to ni aabo aṣẹ-lori.