Mon flux de travail 3DGS mis à jour : de la capture multi-caméra à l'exportation finale 9:16 / 16:9

Au cours des dernières semaines, j'ai entièrement revu mon flux de travail pour le 3D Gaussian Splatting, en particulier l'étape de post-production. La plus grande amélioration a été d'abandonner le flux de travail PNG 2D de Postshot dans Premiere pour importer directement mes splats dans After Effects avec une véritable caméra 3D. Cela me donne beaucoup plus de contrôle sur le mouvement, la composition, la profondeur et le timing.

Comme ma composition principale dans After Effects est de 3840 × 3840 px, je peux facilement la lier à deux séquences Premiere pour des exportations nettes en 16:9 et 9:16 sans rien avoir à reconstruire.

Travailler directement dans AE me permet également de manipuler les splats en véritable 3D (via Irrealix), au lieu d'être limité aux exportations 2D dans Premiere.

Voici mon pipeline complet : capture, préparation, reconstruction, animation et exportation.

Mon flux de travail complet actuel

1. Capture

XangleCS – Trigger & Transfer

• Système de déclenchement USB multi-caméra (200 caméras sur celui-ci !)
• Téléchargement des fichiers RAW
• Examen des ensembles de données
• Démo sur https://www.instagram.com/p/DRs15MBDlM7/

2. Prétraitement

Lightroom – Color, Tone & Denoise

• Étalonnage colorimétrique de base
• Réduction du bruit par IA

Topaz Photo AI – Agrandissement / Amélioration

• Je fais parfois un agrandissement 1x avant la reconstruction
• Étape sautée pour cet ensemble de données

3. Camera Calibration & 3D Reconstruction

RealityScan (ou RealityCapture) - Calibration des caméras

• Solve camera positions & generate PLY ref for Postshot

Postshot – Entraînement 3DGS

• Entraîner les Gaussian Splats (modèle splat3)
• Exporter le fichier .ply

4. Animation & Rendering

After Effects - Importation 3D (plugin Irrealix)

• Importer les splats comme de véritables objets 3D
• Ajouter la caméra 3D native d'AE pour un mouvement précis
• Utiliser divers Boris FX
• Travailler dans une composition principale carrée de 3840×3840 pour une sortie universelle

5. Editing & Delivery

Premiere – Versions de formats d'image

• Importer la composition AE deux fois (Dynamic Link)
• Séquence #1 : exportation 16:9
• Séquence #2 : exportation 9:16
• Ajouter le design sonore (SFX), la musique
• Exporter en ProRes ou h.264 selon la plateforme

Versions verticale et horizontale, toutes deux en 4k

Avec Hugo Balek au Xangle Studio.