AI e Generazione immagini

[Pic STK]

Che ne pensate di questa tecnologia?
Per chi non li conoscesse: vi invito a dare un'occhiata a DALL-E, Midjourney, Stable Diffusion, NightCafe, ecc... Basta una ricerca in Google Images.
Sono applicazioni che convertono un breve testo (prompt) in immagine: due righe facili facili, ottengo immagini pazzesche.
Per intenderci, queste "opere" le ho fatte io scrivendo due righe di prompt.
Sono fatte benissimo, per creare (non "cercare on line in un database la foto pi? simile" ma CREARE da zero, perch? sono totalmente inventate dalla AI)

potete provarne uno qui https://beta.dreamstudio.ai/dream

[Dryden]

Ne ho sentito parlare marginalmente in queste settimane ma trovo che sia una dimostrazione pratica di quanto le IA stiano diventando potenti abbastanza da "creare" cose che prima non esistevano, siano esse per diletto o per uso specifico.

Piccolo esempio: nel mondo degli effetti visivi esiste una pratica che si chiama Rotoscoping, consiste nello scontornare i o il soggetto scelto dal contesto intorno a lui per poi intervenire solo su di esso o su tutto tranne che su quello; negli anni ? una cosa che ? stata fatta e viene ancora fatta principalmente a mano dall'operatore.
Nell'industry si stanno affacciando i primi algoritmi AI che riescono a farlo in autonomia, non sono ancora precisi abbastanza da risultare efficaci ed i tempi di calcolo sono alti, ma ? chiara la direzione intrapresa quale sia, ed una volta perfezionata porter? all'estinzione dell'operatore addetto a quella pratica.

Mi domando, i diritti di immagine su ci? che crea una IA, di chi sono? Della compagnia che detiene i server dove gira la IA o tuoi che le hai detto cosa\come comporre?

[Galandil]

Mi domando, i diritti di immagine su ci? che crea una IA, di chi sono? Della compagnia che detiene i server dove gira la IA o tuoi che le hai detto cosa\come comporre?

Indovina un po'?

Also: nessun diritto conservato dagli autori originali delle immagini con cui la AI ? stata trainata.

[Alkabar]

Alla base di tutto ci sta CLIPS che sostanzialmente e' una rete neurale dove il training e' fatto con testo ed immagini allineati. Siccome sono 400 mlioni di immagini e relativi testi, i vettori che trova sono assai rappresentativi.
L'altra parte, la diffusione, fa dei bei risultati perche' ottimizza nel mentre che aumenta la scala dell'immagine.
Sostanzialmente partono da una immagine ci aggiungono rumore bianco additiviamene per predirre ogni passo (precedente!) durante il training. Durante l'applicazione fanno la predizione applicandola a una immagine di puro rumore, usando come punto di partenza il vettore del testo dato da clips, che essendo ben allineato con le immagini, consente di scovare un pattern nel rumore (come quando uno sta li a guardar la forma delle nuvole...)
Detto cio': sono modelli assai pesanti al momento, in un paio di mesi vedrete che ottimizzano, adesso flettono i muscoli che loro c'hanno le super GPU.
P.s. Questa E' solo una delle applicazioni di clips. CLIPS l'ha fatto OpenAI ed e' disponibile opensource.

[Dryden]

Quello a cui facevo riferimento io in effetti funziona come dici tu e quindi presumo si basi su CLIPS, il tool si chiama Copycat ed ? integrato nel software The Foundry Nuke. Inutile dire che da noi, piccolo studio, non ? utilizzabile in pipeline perch? per analizzare una sequenza da 4 secondi in 4k ci mette una notte intera su RTX 2080Ti....

[Alkabar]

Quello a cui facevo riferimento io in effetti funziona come dici tu e quindi presumo si basi su CLIPS, il tool si chiama Copycat ed ? integrato nel software The Foundry Nuke. Inutile dire che da noi, piccolo studio, non ? utilizzabile in pipeline perch? per analizzare una sequenza da 4 secondi in 4k ci mette una notte intera su RTX 2080Ti....

Clips e' la parte piu' lightweight del diffusion model, e' la rete neurale che data un immagine, o un testo, ti sputa un vettore che e' allineato bene anche con le visual features/textual features.

Comunque, sto provando a eliminare l'algoritmo di diffusione introducendo un diverso modo di ottimizzare, al momento i risultati non sono un gran che, ma tipo ho iniziato oggi...

[San Vegeta]

Che ne pensate di questa tecnologia?
Per chi non li conoscesse: vi invito a dare un'occhiata a DALL-E, Midjourney, Stable Diffusion, NightCafe, ecc... Basta una ricerca in Google Images.
Sono applicazioni che convertono un breve testo (prompt) in immagine: due righe facili facili, ottengo immagini pazzesche.
Per intenderci, queste "opere" le ho fatte io scrivendo due righe di prompt.
Sono fatte benissimo, per creare (non "cercare on line in un database la foto pi? simile" ma CREARE da zero, perch? sono totalmente inventate dalla AI)

potete provarne uno qui https://beta.dreamstudio.ai/dream

una mia amica, che ? un'artista, ha "fatto" dei quadri fenomenali usando queste tecniche. Roba che pensavo li avesse pitturati lei

[Alkabar]

una mia amica, che ? un'artista, ha "fatto" dei quadri fenomenali usando queste tecniche. Roba che pensavo li avesse pitturati lei

Per fortuna al pitturarli davvero non ci siamo ancora, se no un sacco di artisti si troverebbero senza lavoro.

Ancora, se provate a fare giochi semantici un po' difficili, non gliela fa nemmeno clips a capire cosa generare.

Tipo ho provato "two samurais fighting with rubber ducks" e sono venute le peggio cose, ma non quello che ho chiesto.

[Alkabar]

Prompt: "an oil portrait of an old chinese man with a long white beard"

Non me la cavo male pero' dai. A un 100esimo del peso del loro algoritmo. Adesso bisogna togliere un po' di rumore.

Ce devo pensa su.

Comunque vi confermo che tutta l'info viene da clips, non dal bordello che fanno dopo.

[Dryden]

Unica prova fatta ieri con NightCafe

Evangelion Berserk



nzomma....

[Alkabar]

Unica prova fatta ieri con NightCafe

Evangelion Berserk



nzomma....

Si, ma per quello prima fanno il retrieval di immagini simili per mettere dei limiti sulla generazione (i.e. text prompt + image prompt), se no non ti viene con quelle feature li nemmeno a piangere in greco antico, che le immagini di evangelion non sono cosi' frequenti da consentire una generalizzazione di quel livello.

[Pic STK]

lonely cyber camp on pluto

con dreamstudio ? venuta sta roba


mentre con nightcaf? questa

[Alkabar]

Una marea di tentativi dopo...

[San Vegeta]

e se date degli input per dei nudi femminili, cosa esce fuori?
chiedo perch?, dato che si basa su immagini esistenti, sarei curioso di vedere se tende pi? al nudo artistico o al nudo per mostrare le tette

[Alkabar]

e se date degli input per dei nudi femminili, cosa esce fuori?
chiedo perch?, dato che si basa su immagini esistenti, sarei curioso di vedere se tende pi? al nudo artistico o al nudo per mostrare le tette

Qualunque applicazione benigna e maligna di computer vision e' replicabile tramite CLIP. Letteralmente nel bene e nel male.