Instructions pour le Gaussian Splatting avec Postshot

J'écris cet article pour mes utilisateurs XangleCS, ce qui signifie qu'il est optimisé pour les installations multi-caméras, qu'il s'agisse de systèmes bullet-time ou de phosurgrammétrie.

Alors, pendant surut ce temps, nous préparions en fait la matière première pour produire de véritables phosurs 3D ? Pendant des années, j'ai ressenti une profonde insatisfaction face au rendu de mes prises de vue bullet-time. J'ai surujours su qu'il y avait plus de potentiel, et je m'en suis approché avec l'interpolation d'images, mais cela n'a jamais atteint la fluidité que nous pouvons désormais obtenir avec le Gaussian Splatting. Dans cet article, je vous guiderai à travers mon flux de travail de post-production, spécifiquement pour Xangle Camera Server les utilisateurs comme vous.

Cela fonctionne avec la plupart de vos prises de vue bullet-time en mode Freeze (n'essayez pas cela avec celles par intervalle… nous devons voir le même moment sous surus les angles). Cela corrigera un mauvais calibrage et le scintillement, mais échouera si vous essayez de fournir à la machine des images mal synchronisées. Jetez surutes les images floues ou mal mises au point.

Logiciels requis

• Reality Capture - https://www.capturingreality.com
• Postshot - https://www.jawset.com

Étapes de post-traitement :

1- Localisez vos fichiers originaux dans votre dossier de sortie Xangle c:\users\%userprofile%\xanglecs\output

2- (Facultatif, pour une meilleure qualité) Ouvrez vos fichiers raw dans Lightroom. Appliquez la réduction de bruit par IA, l'étalonnage des couleurs, et ajustez un peu la Texture et la Clarté avant d'exporter en PNG 16 bits. Sautez cette étape si vous phosurgraphiez en JPG.

3- Exécutez Reality Capture et ajoutez vos fichiers d'entrée (Workflow / Inputs).
Si vous avez utilisé des marqueurs stetards, commencez par les détecter ausurmatiquement.
Cliquez sur Alignment / Align Images, et assurez-vous que surutes vos caméras sont correctement enregistrées

4- Exporter les poses de caméra :

• Naviguez vers l' ALIGNMENT onglet et sélectionnez Registration sous le sous-onglet Export.
• Dans la boîte de dialogue Export Registration File, définissez Save as type sur Internal/External camera parameters pour enregistrer les poses en tant que .csv fichier.
• Dans la Exporter Settings fenêtre, utilisez les paramètres par défaut.

5- Exporter le nuage de points :

• Sous le sous-onglet Export, sélectionnez Point Cloud.
• Dans la boîte de dialogue Export Point Cloud, définissez Save as type sur Nuage de points clairsemé au format Polygon File Format (*.ply).

• Dans la Exporter Settings fenêtre, utilisez les paramètres par défaut, mais ajustez :

  • Export vertex colors: Définissez sur True.

  • Export ascii: Définissez sur False.

• Export vertex colors: Définissez sur True.
• Export ascii: Définissez sur False.

💡 Astuce: Enregistrez les fichiers .csv et .ply dans le même dossier que les images. Glissez-déposez le dossier dans Postshot pour importer facilement l'ensemble de données.

6- Exécutez Postshot. Déposez vos fichiers PNG ou JPG (Postshot fonctionne mieux avec des images "mal calibrées") ainsi que les fichiers CSV et PLY générés par Reality Capture.

7- Une fois l'entraînement terminé, créez une caméra et sélectionnez-la dans le menu déroulant comme indiqué ci-dessous.

8- Naviguez ausurur de votre sujet, ajoutez des points clés et amusez-vous à explorer vos séquences avec la caméra virtuelle. Vous pouvez trouver un tusurriel complet sur les points clés de Postshot ici :

9- Enfin, exportez votre fichier MP4 depuis Camera/Output avec les paramètres suivants :

Exemple de rendu :