2d3d.ai: ricostruzione 3D da un’immagine 2D usando una rete neurale

Mentre l’intelligenza artificiale inizia a prendere piede nel reparto tecnologico, siamo in grado di allentare un po ‘le redini come esseri umani e rilassarci mentre le innovazioni che abbiamo programmato avanzano e creano, trasformano e migliorano.

Questa è la situazione recente per Peter Naftaliev , un consulente di intelligenza artificiale su 2d3d.ai e lavora presso Abelians , una piccola azienda di ex dipendenti del Corpo dei servizi segreti israeliani, mentre ci offre un altro modo per migliorare passando dal 2D al 3D senza soluzione di continuità, grazie a tecnologia futuristica, insieme alla costruzione piuttosto riluttante di precedenti lavori in ” Ricostruzione di scene 3D da una singola immagine ” (notata ricostruzione di oggetti singoli leggermente inferiore, ma impressionante immagine di scene naturali) e un recente documento di Computer Vision e Pattern Recognition, ” Mesh R-CNN “.

Per quanto riguarda il progetto più recente di ricostruzione, Naftaliev afferma:

“Questa è la ricostruzione 3D di massima qualità di 1 ricerca di immagini che abbia mai visto. Un tipo di rete neurale di codifica-decodifica per codificare la struttura 3D di una forma da un’immagine 2D e quindi decodificare questa struttura e ricostruire la forma 3D. “

Con uno sfondo trasparente e un’immagine di input di 128 × 128 pixel, la risoluzione di base è di voxel 64x64x64 e “può produrre output con qualsiasi risoluzione richiesta (!) Senza riqualificare la rete neurale”. Naftaliev ci indica anche il documento corrispondente, ” Imparare i campi impliciti per la modellazione generativa delle forme “, di Zhiqin Chen e Hao Zhang, poiché “difendono” l’uso dei modelli generativi e intendono anche migliorare la qualità visiva delle forme risultanti.

“Sostituendo i decodificatori convenzionali con il nostro decodificatore implicito per l’apprendimento della rappresentazione (tramite IM-AE) e la generazione di forme (tramite IM-GAN), dimostriamo risultati superiori per attività come la modellazione generativa della forma, l’interpolazione e la ricostruzione 3D a vista singola, in particolare in termini di qualità visiva. Il codice e il materiale supplementare sono disponibili a questo URL https “, affermano gli autori.

“Il nostro decodificatore implicito porta a confini di superficie più puliti, consentendo sia il movimento della parte che i cambiamenti della topologia durante l’interpolazione. Tuttavia, non sappiamo ancora come regolare tali evoluzioni topologiche per garantire un significativo mutamento tra forme altamente diverse, ad esempio quelle di diverse categorie. Ribadiamo che attualmente la nostra rete è formata solo per categoria di forma; lasciamo la generalizzazione multicategoria per lavori futuri. Alla fine, mentre il nostro metodo è in grado di generare forme con una qualità visiva maggiore rispetto alle alternative esistenti, sembra introdurre più errori a bassa frequenza (ad es. Assottigliamento / ispessimento globale). “

La prima colonna è l’immagine di input.
La seconda colonna è la ricostruzione AI 3D.
L’ultima colonna è l’oggetto 3D originale dell’auto: “verità di base”.
Mentre la rete neurale qui era addestrata sulle auto, Chen e Zhang usano anche altri esempi come sedie e aeroplani. Naftaliev spiega che le immagini input-output e le risoluzioni voxel possono essere commutate “per qualsiasi implementazione richiesta”. E se ti stai chiedendo come sia stata ricostruita l’ultima macchina, benvenuta al potere dell’IA. Dopo essersi allenato su una moltitudine di esempi, il software sa come presentare l’immagine corretta. Se stai cercando strumenti per la ricostruzione 3D, prova a esplorare le classiche tecniche di fotogrammetria e due esempi: Agisoft e AutoDesk – Riepilogo .

“Questo tipo di software può beneficiare dell’attuale ricerca sull’IA. Ricostruzione di piani semplici anche se non sono completamente visibili nell’immagine, gestione di riflessi di luce o aberrazioni nell’immagine, stime di proporzioni migliori e altro ancora. Tutti questi possono essere migliorati utilizzando soluzioni di rete neurale simili “, afferma Naftaliev in conclusione.

Sembra che potremmo essere in procinto di poter estrarre facilmente file STL da immagini e disegni 2D. Se ripetibile e facile, ciò consentirebbe a chiunque di disegnare un oggetto che potrebbe essere trasformato in un file stampabile in 3D. Allo stesso tempo, molte immagini possono essere utilizzate per decodificare, remixare e migliorare oggetti che possono quindi essere stampati in 3D. Una delle cose principali che trattengono la stampa 3D è che pochi conoscono il CAD e questo approccio potrebbe dare a molte più persone la possibilità di creare forme 3D che potrebbero essere stampate. Ciò potrebbe avere effetti positivi gravi e di vasta portata sulla stampa 3D.

Concentrandosi sull’apprendimento, l’educazione e la condivisione, Naftaliev si impegna a comprendere la comunità open source e ciò che li rende fiorenti

Be the first to comment on "2d3d.ai: ricostruzione 3D da un’immagine 2D usando una rete neurale"

Leave a comment

Utilizzando il sito, accetti l'utilizzo dei cookie da parte nostra. maggiori informazioni

Questo sito utilizza i cookie per fornire la migliore esperienza di navigazione possibile. Continuando a utilizzare questo sito senza modificare le impostazioni dei cookie o cliccando su "Accetta" permetti il loro utilizzo.

Chiudi