L'IA générative pour la modélisation 3D (par Nicolas M.) - suite 6

-Test 2-

Et si nous poursuivions l'expérience avec un second test ?

Montons la barre en restant dans les usages de Milinfo.org… : ça fait longtemps (😉) qu’on n’a pas vu d’article sur un VLRA. Alors, on va voir ce que le moteur peut faire..

L’idée est ici de voir le moteur IA se dépatouiller d’une masse d’informations très ressemblantes mais sur des véhicules en fait très variés.

Va-t-il nous faire un VL-RAkenstein, composition de multiples versions où va-t-il être capable de détecter la version la plus proche ?

Suspens... Même processus que pour le 1er test, je demande une image à l'ami GG et je lance.

Visiblement, il a appris le contenu du plateau arrière d’un VLRA !

L’intérieur de la cabine, c’est moins net... il faudra que Jérôme envoie des photoscope en Californie...

Et toujours cette « option » de symétrie dans la version gratuite qui installe 2 kits de sapeur.

Pour le dessous, ça bricole vraiment...

Par contre, l’effet naturel de la bâche, c’est vraiment bien !

-Test 3-

On s’en fait un dernier , Car après, je n'ai plus de jetons...

On monte encore la barre : cette fois un véhicule original qui a peu de chance d’être connu lors de l’apprentissage ; donc, le moteur va devoir trouver des similitudes et combler les trous.

Je décide de profiter de Milinfo et de l'article d'Yves P. sur le BERM (voir ICI) car là, pour le coup,il y peu de chance qu’un moteur d’IA à Santa Clara l’ait digéré…

Verdict : sur la base d’une seule photo, il a du mal à voir que la cabine n’est pas au centre. Par contre, il a bien vu que l’échelle n’était que d’un côté.

Pour le dessus, il a surement un peu pioché dans le catalogue du Centre Pompidou pour la plomberie à l’avant.

Pour les équipements à l’arrière du toit, il a été plus inventif !

Yves pourra nous donner son avis, lui qui a vu le vrai de près...

Pour l’arrière et le dessous, il a clairement trouvé un lignage avec Griffon & VBCI... enfin, c’est l’impression que ça me donne.

Dans tous les cas, ce test donne envie d’essayer une génération avec plusieurs images…. Vu ce qu’il sort avec une seule image, y’a surement de quoi être bluffé !

A suivre donc…

Sur le fond, je ne sais pas trop quoi en penser… Mais c’est surement encore le début d’une autre histoire, pour les maquettes, mais pour l’ingénierie aussi. Certes, il faut avoir fait l’apprentissage du moteur IA, donc il ne fait « que » composer des choses existantes en essayant de les rendre plausibles. Mais de fait, ceci permet aussi de générer rapidement des alternatives de solutions qu’on n’aurait peut-être pas explorées.
 

Je comprends Patrick Comelli quand il dit ne pas aimer l’impression 3D. C’est vrai que ce n’est déjà plus tout à fait la même passion, le même artisanat, quand on compare un modèle 3D imprimable à l’infini avec une pièce d’orfèvrerie telle que celles dont lui et quelques autres sur ce Milinfo nous gratifient régulièrement. Pour la 3D on a juste besoin d’un logiciel...

Bon, en impression 3D, les compétences du dessinateur, le souci du détail et le découpage judicieux des pièces comptent quand même ! Mais la finesse de la réalisation repose beaucoup sur l’imprimante et ne nécessite pas de talent manuel. Ce n’est ni mieux, ni moins bien... ce ne sont pas les mêmes talents qui sont mis en jeu.

Mais là, la frontière est encore repoussée. Aujourd’hui, j’ai envie de dire « On a juste besoin de photos » (et encore pas sûr qu’on ait besoin d’un bon photographe !). Par contre, il faut un bon graphiste qui va être capable de rafistoler toutes les incohérences et défauts avant de passer à la découpe en pièces et à l’impression…

Très vite, [si ce n’est pas déjà le cas], il faudra regarder de près les modèle résine achetés en ligne, parce que les incohérences [comme les mains à 6 doigts au début de la génération des images] seront révélatrices du talent du dessinateur ou du moteur d’IA qu’il aura utilisé !

-D'autres moteurs IA-

Etape 1 : La génération à base d’une photo

Ce premier essai m’a donné envie de regarder encore un peu ce que l’on peut faire avec ces outils…

Je suis donc parti à la recherche d’autres services "gratuits" et il y en a partout  !Bon, quand c’est gratuit, c’est que le produit, c’est moi…

Alors j’en ai essayé 4 ou 5 qui présentent tous les mêmes fonctionnalités et fonctionnements... Vraiment, certains ne méritent pas encore qu’on écrive quelques lignes sur eux.

Je décide de partir sur les photos de Jérôme Hadacek reprises par Yves sur le Scania Proteus, parce qu’il est vrai que le look de ce camion n’est pas dans les canons.

Je me demande bien ce que l’IA va générer sur la base d’une seule photo, à la fois pour l’avant original et pour le contenu du plateau où il faut être imaginatif…

Sur les premiers sites, les résultats sont assez homogènes ; ils doivent avoir la même motorisation et ont du avaler les mêmes données !

Et selon qu’on lui donne la vue avant ou arrière, bien sur le résultat est sensiblement différent...

Sur la base de la vue arrière, l’arrière est "correct", l’avant "classique"  😉 mais loin du look Scania.

Quand on lui fait digérer la vue avant, c’est l’inverse : l’avant est assez conforme mais l’arrière est "imaginé".

Néanmoins, ce moteur a bien trouvé la filiation avec des camions, parce que le dessous est plutôt cohérent...

Jusque-là, rien de fou : c'est cohérent, mais pas de quoi générer directement un modèle imprimable. Cela donne une base mais il y a tant à retravailler, que je ne suis pas sur que ça fasse gagner du temps par rapport à une modélisation en partant de rien…

Et puis au fil de mes vadrouilles sur le web, je tombe sur un article qui parle d’un moteur IA chinois très prometteur, qui semble donner de bons résultats « presque directement » imprimable.

Essayons alors  : https://3d.hunyuan.tencent.com/      Oups…

 
Bon, comme bien évidemment mon ami GG parle mandarin couramment, ce n’est pas un problème. Et GG se charge d’expliquer à Chrome que je ne connais que les mandarines et pas le mandarin.

Là, tout de suite, c’est plus clair…

 
Alors on relance le test avec plein d’entrain, parce que ce moteur en plus de générer la 3D met de la texture !

Il a été fait par des entreprises qui visent le domaine du multimédia, des dessins-animés ou des films.

Les manques de précision des modèles sont compensés par des textures qui rendent le visuel plus crédible.

Je remets donc la vue avant du Scania. Suspens…

 
La texture trompe vraiment bien… mais bon, derrière c’est toujours le bazar (sur la vue avant) !

Et réciproquement sur le modèle construit depuis la vue arrière.

 
La génération à base de vues multiples...

Et si vous avez regardé attentivement, il y a une option qui n’est pas sur les autres sites : Bingo, « Image multiples » !

Je vais enfin pouvoir essayer d’orienter la génération avec plusieurs sources !

 
Aller, je tente avec les 2 vues du Scania combinées en lui disant que c’est avant et arrière (qu’elles ne ne sont pas).

Verdict : quand on lui raconte des bêtises, il les répète !

Le résultat nécessite vraiment un passage au marbre, parce que le Scania a vrillé très fort...

Tant pis, on se contentera de prendre les 2 premiers modèles, de les couper à l’arrière de la cabine et de re-assembler la partie avant générée avec la vue de devant et la partie arrière générée avec la vue de derrière.

Après 2 min de travail acharné :

Et sans les textures, le modèle 3D est vraiment « propre » et peut finir dans un imprimante 3D (pour un résultat très faible, mais qui a nécessité d’attendre 200s de calcul et 2 min de fusion de 2 fichiers !).

Bon, j’avoue que j’ai eu la flemme de l’imprimer en résine pour avoir des « détails » mais devoir passer les pièces à l’alcool et aux UVs… alors j’ai lancé une impression en filament moins nette mais qui ne nécessite pas autant de travail.

De toute manière, les détails ne sont pas là dans le modèle...

Je reste un peu sur ma faim donc je me décide quand même à regarder de plus près l’option multi-vues au cas où un jour Jérôme aurait des photos à proposer avec des vues bien orthogonales !

Pour le test, je suis allé piocher un véhicule Bushmaster sur un site de vente de modèles 3D pour animations (Turboskid).

J’ai donc mes 4 vues, bien « propres » issues d’un modèle 3D (elles sont donc cohérentes entre elles, même si elles sont possiblement erronées.

Après 190s de calcul, voici ce que sort l’IA... c’est bluffant. Faux, mais bluffant. C’est d’autant plus surprenant qu’il fait des erreurs sur des points visibles sur les images qu’on lui donne : les fenêtres ne sont pas aux bonnes positions et il y a trop de plots d’antennes...

Mais franchement, en ce moment, je suis en train de modéliser un Bushmaster à partir de photos, et en 3 min, il y a une base qui m’a pris 3h au moins ! Par contre, comme elle est fausse, je ne suis même pas sûr de pouvoir m’en servir de référence... je suis même certain du contraire !

Comme ce site d’IA est généreux (20 jetons par jour !), je continue à exciter les serveurs de Shangaï avec une Willys sur la base de la même photo que précédemment.

Vous remarquerez les plis des fauteuils... classe ! Mais aussi la créativité du moteur IA puisqu’il est capable d’avoir 2 roues de secours de diamètres différents !!!

Bref au final, sur la génération 3D à partir de photos, c’est « sympa » mais pas encore au niveau pour générer des maquettes (ouf !).

Il est quand même possible d’espérer récupérer des « bouts » de modèles pour leur réalisme. La bâche d’un camion plateau, par exemple, est rendue de manière très belle sans effort de modélisation des plis ou autres.

Par contre, ce moteur chinois avec les textures est quand même bien avancé et à mon avis va exploser pour tout ce qui est génération d’effets spéciaux.