AI e Generazione immagini

Che ne pensate di questa tecnologia?
Per chi non li conoscesse: vi invito a dare un'occhiata a DALL-E, Midjourney, Stable Diffusion, NightCafe, ecc... Basta una ricerca in Google Images.
Sono applicazioni che convertono un breve testo (prompt) in immagine: due righe facili facili, ottengo immagini pazzesche.
Per intenderci, queste "opere" le ho fatte io scrivendo due righe di prompt.
Sono fatte benissimo, per creare (non "cercare on line in un database la foto pi? simile" ma CREARE da zero, perch? sono totalmente inventate dalla AI)

potete provarne uno qui https://beta.dreamstudio.ai/dream

Ne ho sentito parlare marginalmente in queste settimane ma trovo che sia una dimostrazione pratica di quanto le IA stiano diventando potenti abbastanza da "creare" cose che prima non esistevano, siano esse per diletto o per uso specifico.

Piccolo esempio: nel mondo degli effetti visivi esiste una pratica che si chiama Rotoscoping, consiste nello scontornare i o il soggetto scelto dal contesto intorno a lui per poi intervenire solo su di esso o su tutto tranne che su quello; negli anni ? una cosa che ? stata fatta e viene ancora fatta principalmente a mano dall'operatore.
Nell'industry si stanno affacciando i primi algoritmi AI che riescono a farlo in autonomia, non sono ancora precisi abbastanza da risultare efficaci ed i tempi di calcolo sono alti, ma ? chiara la direzione intrapresa quale sia, ed una volta perfezionata porter? all'estinzione dell'operatore addetto a quella pratica.

Mi domando, i diritti di immagine su ci? che crea una IA, di chi sono? Della compagnia che detiene i server dove gira la IA o tuoi che le hai detto cosa\come comporre?

Quote:

---

Originally Posted by Dryden

Mi domando, i diritti di immagine su ci? che crea una IA, di chi sono? Della compagnia che detiene i server dove gira la IA o tuoi che le hai detto cosa\come comporre?

---

Indovina un po'? :confused:

Also: nessun diritto conservato dagli autori originali delle immagini con cui la AI ? stata trainata.

Alla base di tutto ci sta CLIPS che sostanzialmente e' una rete neurale dove il training e' fatto con testo ed immagini allineati. Siccome sono 400 mlioni di immagini e relativi testi, i vettori che trova sono assai rappresentativi.
L'altra parte, la diffusione, fa dei bei risultati perche' ottimizza nel mentre che aumenta la scala dell'immagine.
Sostanzialmente partono da una immagine ci aggiungono rumore bianco additiviamene per predirre ogni passo (precedente!) durante il training. Durante l'applicazione fanno la predizione applicandola a una immagine di puro rumore, usando come punto di partenza il vettore del testo dato da clips, che essendo ben allineato con le immagini, consente di scovare un pattern nel rumore (come quando uno sta li a guardar la forma delle nuvole...)
Detto cio': sono modelli assai pesanti al momento, in un paio di mesi vedrete che ottimizzano, adesso flettono i muscoli che loro c'hanno le super GPU.
P.s. Questa E' solo una delle applicazioni di clips. CLIPS l'ha fatto OpenAI ed e' disponibile opensource.

Quello a cui facevo riferimento io in effetti funziona come dici tu e quindi presumo si basi su CLIPS, il tool si chiama Copycat ed ? integrato nel software The Foundry Nuke. Inutile dire che da noi, piccolo studio, non ? utilizzabile in pipeline perch? per analizzare una sequenza da 4 secondi in 4k ci mette una notte intera su RTX 2080Ti....

Quote:

---

Originally Posted by Dryden

Quello a cui facevo riferimento io in effetti funziona come dici tu e quindi presumo si basi su CLIPS, il tool si chiama Copycat ed ? integrato nel software The Foundry Nuke. Inutile dire che da noi, piccolo studio, non ? utilizzabile in pipeline perch? per analizzare una sequenza da 4 secondi in 4k ci mette una notte intera su RTX 2080Ti....

---

Clips e' la parte piu' lightweight del diffusion model, e' la rete neurale che data un immagine, o un testo, ti sputa un vettore che e' allineato bene anche con le visual features/textual features.

Comunque, sto provando a eliminare l'algoritmo di diffusione introducendo un diverso modo di ottimizzare, al momento i risultati non sono un gran che, ma tipo ho iniziato oggi...

Quote:

---

Originally Posted by Pic STK

Che ne pensate di questa tecnologia?
Per chi non li conoscesse: vi invito a dare un'occhiata a DALL-E, Midjourney, Stable Diffusion, NightCafe, ecc... Basta una ricerca in Google Images.
Sono applicazioni che convertono un breve testo (prompt) in immagine: due righe facili facili, ottengo immagini pazzesche.
Per intenderci, queste "opere" le ho fatte io scrivendo due righe di prompt.
Sono fatte benissimo, per creare (non "cercare on line in un database la foto pi? simile" ma CREARE da zero, perch? sono totalmente inventate dalla AI)

potete provarne uno qui https://beta.dreamstudio.ai/dream

---

una mia amica, che ? un'artista, ha "fatto" dei quadri fenomenali usando queste tecniche. Roba che pensavo li avesse pitturati lei

Quote:

---

Originally Posted by San Vegeta

una mia amica, che ? un'artista, ha "fatto" dei quadri fenomenali usando queste tecniche. Roba che pensavo li avesse pitturati lei

---

Per fortuna al pitturarli davvero non ci siamo ancora, se no un sacco di artisti si troverebbero senza lavoro.

Ancora, se provate a fare giochi semantici un po' difficili, non gliela fa nemmeno clips a capire cosa generare.

Tipo ho provato "two samurais fighting with rubber ducks" e sono venute le peggio cose, ma non quello che ho chiesto.

Attachment 11680

Prompt: "an oil portrait of an old chinese man with a long white beard"

Non me la cavo male pero' dai. A un 100esimo del peso del loro algoritmo. Adesso bisogna togliere un po' di rumore.

Ce devo pensa su.

Comunque vi confermo che tutta l'info viene da clips, non dal bordello che fanno dopo.

Unica prova fatta ieri con NightCafe

Evangelion Berserk

Attachment 11681

nzomma....

Quote:

---

Originally Posted by Dryden

Unica prova fatta ieri con NightCafe

Evangelion Berserk

Attachment 11681

nzomma....

---

Si, ma per quello prima fanno il retrieval di immagini simili per mettere dei limiti sulla generazione (i.e. text prompt + image prompt), se no non ti viene con quelle feature li nemmeno a piangere in greco antico, che le immagini di evangelion non sono cosi' frequenti da consentire una generalizzazione di quel livello.

lonely cyber camp on pluto

con dreamstudio ? venuta sta roba
Attachment 11682

mentre con nightcaf? questa
Attachment 11683

Una marea di tentativi dopo... Attachment 11692

e se date degli input per dei nudi femminili, cosa esce fuori?
chiedo perch?, dato che si basa su immagini esistenti, sarei curioso di vedere se tende pi? al nudo artistico o al nudo per mostrare le tette

Quote:

---

Originally Posted by San Vegeta

e se date degli input per dei nudi femminili, cosa esce fuori?
chiedo perch?, dato che si basa su immagini esistenti, sarei curioso di vedere se tende pi? al nudo artistico o al nudo per mostrare le tette

---

Qualunque applicazione benigna e maligna di computer vision e' replicabile tramite CLIP. Letteralmente nel bene e nel male.

non ho capito cosa vuoi dire :afraid:

Quote:

---

Originally Posted by San Vegeta

non ho capito cosa vuoi dire :afraid:

---

Tutte le applicazioni che trasformano una immagine in una altra immagine, sono possibili passando attraverso CLIP.

Ci sta StyleCLIP, guarda su github, da li si capisce che praticamente qualunque tipo di modifica e' possibile.

Con le risorse che ho, piu' in la di questa risoluzione/qualita' non vado

https://twitter.com/Celsius62346897/...022464/photo/1

Un miliardo di tricks con SNR PSNR e via dicendo per evitare il pesantissimo modello di diffusione.

https://www.dday.it/redazione/43724/...reate-dalle-ia

Quote:

---

Originally Posted by Ercos

https://www.dday.it/redazione/43724/...reate-dalle-ia

---

Eh ma e' giusto cosi', alla fine diventa un "chi ha la GPU piu' grossa vince", e se magari puo' anche andare per le competizioni su Kaggle, non va bene invece nel mondo artistico, in cui ci sta l'interazione col media, il colore, il soggetto, la composizione e lo studio, e la storia della persona, e il fatto che e' una attivita' umana fatta per esseri umani.
Che poi e' gente che tutto sommato ci puoi' anche arrivare alle implicazioni, pero' la decisione di metterli fuori l'hanno presa lo stesso. Bravissimi.
Nel mio piccolo, da un momento all'altro mi sono trovato a passare dal disegnare nel tempo libero a leggere del codice in Python, e cio' mi crea non poca mestizia.

Altro articolo interessante: https://attivissimo.blogspot.com/202...voluzione.html

Quote:

---

Originally Posted by Ercos

Altro articolo interessante: https://attivissimo.blogspot.com/202...voluzione.html

---

Uhm...

https://lexica.art/?q=illustrations+miro

Siamo a una mini singolarita', tocca evolvere oltre sta roba. I disegnatori professionisti se la vedranno brutta fino a che non riescono a dominare la questione.

Quote:

---

Originally Posted by Alkabar

Uhm...
https://lexica.art/?q=illustrations+miro
Siamo a una mini singolarita', tocca evolvere oltre sta roba. I disegnatori professionisti se la vedranno brutta fino a che non riescono a dominare la questione.

---

eheh non male, ma c'? ancora molto da trainare, se metti "erotica" escono fuori degli incubi mica male XD

Per? gli stili riesce a replicarli bene.