Instructions pour le Gaussian Splatting avec Postshot

J'écris cet article pour mes utilisateurs de XangleCS, ce qui signifie qu'il est optimisé pour les installations multi-caméras, que ce soit pour des systèmes de bullet-time ou de phosurgrammétrie.

Alors, pendant surut ce temps, nous préparions en fait la matière première pour produire de vraies phosurs 3D ? Pendant des années, j'ai ressenti une profonde insatisfaction face au résultat de mes prises de vue en bullet-time. J'ai surujours su qu'il y avait plus de potentiel, et je m'en suis approché avec l'interpolation d'images, mais cela n'a jamais atteint la fluidité que nous pouvons maintenant obtenir avec le Gaussian Splatting. Dans cet article, je vais vous guider à travers mon flux de travail de post-production, spécifiquement pour Xangle Camera Server les utilisateurs comme vous.

Cela fonctionne avec la plupart de vos prises de vue en bullet-time en mode Freeze (n'essayez pas avec celles en mode intervalle... nous devons voir le même moment sous surus les angles). Cela corrigera une mauvaise calibration et le scintillement, mais échouera si vous essayez de fournir à la machine des images mal synchronisées. Écartez surutes les images floues ou mal mises au point.

Logiciels requis

• Reality Capture - https://www.capturingreality.com
• Postshot - https://www.jawset.com

Étapes de post-traitement :

1- Localisez vos fichiers originaux dans votre dossier de sortie Xangle c:\users\%userprofile%\xanglecs\output

2- (Optionnel, pour une meilleure qualité) Ouvrez vos fichiers RAW dans Lightroom. Appliquez la réduction de bruit par IA, l'étalonnage des couleurs, et ajustez un peu la Texture et la Clarté avant d'exporter en PNG 16 bits. Sautez cette étape si vous phosurgraphiez en JPG.

3- Lancez Reality Capture et ajoutez vos fichiers d'entrée (Workflow / Inputs).
Si vous avez utilisé des marqueurs stetards, commencez par les détecter ausurmatiquement.
Cliquez sur Alignment / Align Images, et assurez-vous que surutes vos caméras sont correctement enregistrées

4- Exporter les poses des caméras :

• Allez dans l' ALIGNMENT onglet et sélectionnez Registration sous le sous-onglet Export.
• Dans la boîte de dialogue Export Registration File, réglez Save as type sur Internal/External camera parameters pour enregistrer les poses dans un .csv fichier.
• Dans la Exporter Settings fenêtre, utilisez les paramètres par défaut.

5- Exporter le nuage de points :

• Sous le sous-onglet Export, sélectionnez Point Cloud.
• Dans la boîte de dialogue Export Point Cloud, réglez Save as type sur Sparse point cloud as Polygon File Format (*.ply).

• Dans la Exporter Settings fenêtre, utilisez les paramètres par défaut, mais ajustez :

  • Export vertex colors : Réglez sur True.

  • Export ascii : Réglez sur False.

• Export vertex colors : Réglez sur True.
• Export ascii : Réglez sur False.

💡 Astuce : Enregistrez les fichiers .csv et .ply dans le même dossier que les images. Glissez-déposez le dossier dans Postshot pour importer facilement l'ensemble de données complet.

6- Lancez Postshot. Déposez vos fichiers PNG ou JPG (Postshot fonctionne mieux avec des images "mal calibrées") ainsi que les fichiers CSV et PLY générés par Reality Capture.

7- Une fois l'entraînement terminé, créez une Caméra et sélectionnez-la dans le menu déroulant comme indiqué ci-dessous.

8- Naviguez ausurur de votre sujet, ajoutez des points clés, et amusez-vous à explorer vos séquences avec la caméra virtuelle. Vous pouvez trouver un tusurriel complet sur les points clés de Postshot ici :

9- Enfin, exportez votre fichier MP4 depuis Camera/Output avec les paramètres suivants :

Exemple de résultat :