Skip to content

BenzinaN/360-head-removal

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

14 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

360 Head Removal v2 (Standalone)

Solution IA automatisée pour la suppression de trépied/cameraman dans les vidéos 360° (Insta360, GoPro, etc.).

Cette version v2 marque la transition vers une architecture unifiée basée exclusivement sur DiffuEraser (Moteur de Diffusion Stable), offrant une qualité de reconstruction supérieure pour les arrière-plans complexes.

🚀 Installation & Lancement

Tout est automatisé. Zéro configuration manuelle requise.

  1. Lancez 360_head_removal.bat (Double-cliquez dessus).
    • Premier lancement : Le script détectera l'absence de Miniconda, Python, ou des modèles IA, et installera tout automatiquement (~5-10 minutes selon votre connexion).
  2. Suivez les instructions à l'écran :
    • Sélectionnez votre fichier vidéo (Format .mp4).
    • Définissez la zone à effacer (Masquage interactif assisté par SAM).
    • Laissez l'IA travailler.

✨ Fonctionnalités v2

  • Moteur Unique Puissant : Utilise DiffuEraser (Stable Diffusion) pour inférer de manière réaliste les parties manquantes de l'image, là où les algos classiques (ProPainter) laissaient du flou.
  • Workflow Intelligent :
    • Reprise Automatique : En cas de crash ou de relance, le script se souvient de vos choix (Keyframes, Masques, Angle de vue) pour ne pas recommencer à zéro.
    • Auto-Cleaning : Gestion propre des fichiers temporaires (choix de suppression en fin de session).
  • Support 360° Natif :
    • Extraction automatique de la zone "Nadir" (le sol/trépied) en vue plane.
    • Traitement IA.
    • Ré-injection et Stitching automatique avec métadonnées 360 (VLC/YouTube compatible).
  • Performance :
    • Supporte les fichiers sources 360 jusqu'à 8K (nécessite 16 Go de VRAM minimum).
    • Résolution de travail interne optimisée (720p max) pour allier vitesse et netteté.

📁 Structure du Projet

  • 360_head_removal.bat : Le point d'entrée unique.
  • main.py : Cœur de l'application.
  • core/ : Modules système (Moteur DiffuEraser, Gestion Vidéo, Setup).
  • DiffuEraser/ : Librairies internes et modèles de diffusion.
  • weights/ : Modèles IA (téléchargés automatiquement si manquants : sam_vit_b, sd-vae, etc.).

⚠️ Pré-requis Matériels

  • OS : Windows 10 ou 11 (64 bits).
  • RAM : 16 Go minimum (32 Go recommandé pour le confort).
  • GPU NVIDIA : Indispensable (RTX 30xx/40xx avec 16Go+ VRAM requis).
  • Disque : ~6 Go (Environnement Conda) + <1 Go (Modèles IA).

Basé sur les travaux de recherche DiffuEraser (lixiaowen-xw) et ProPainter (sczhou). Adapté et optimisé par N. BENZINA.

⚖️ Licence

Ce projet est distribué sous licence CC BY-NC-ND 4.0 (Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de modification).

⚠️ USAGE STRICTEMENT PERSONNEL OU ACADÉMIQUE. Toute utilisation commerciale, vente, ou intégration dans un produit payant est interdite sans accord explicite.



🇬🇧 English Version

360 Head Removal v2 (Standalone)

Automated AI Solution for Tripod/Cameraman removal in 360° videos (Insta360, GoPro, etc.).

This v2 release marks the shift towards a unified architecture based exclusively on DiffuEraser (Stable Diffusion Engine), providing superior reconstruction quality for complex backgrounds.

🚀 Installation & Launch

Everything is automated. Zero manual configuration required.

  1. Run 360_head_removal.bat (Double-click it).
    • First run: The script will detect missing Miniconda, Python, or AI models, and automatically install everything (~5-10 minutes depending on your internet speed).
  2. Follow on-screen instructions:
    • Select your video file (.mp4 format).
    • Define the area to erase (Interactive masking assisted by SAM).
    • Let the AI do the work.

✨ v2 Features

  • Powerful Single Engine: Uses DiffuEraser (Stable Diffusion) to realistically infer missing image parts, where classic algorithms (ProPainter) would leave blur.
  • Smart Workflow:
    • Auto-Resume: In case of crash or restart, the script remembers your choices (Keyframes, Masks, View Angle) so you don't start from zero.
    • Auto-Cleaning: Clean management of temporary files (option to delete at session end).
  • Native 360° Support:
    • Automatic extraction of the "Nadir" zone (ground/tripod) into a flat view.
    • AI Processing.
    • Automatic re-injection and Stitching with 360 metadata (VLC/YouTube compatible).
  • Performance:
    • Supports 360 source files up to 8K (requires 16 GB VRAM minimum).
    • Optimized internal working resolution (720p max) to balance speed and sharpness.

📁 Project Structure

  • 360_head_removal.bat: The single entry point.
  • main.py: Core application.
  • core/: System modules (DiffuEraser Engine, Video Mgr, Setup).
  • DiffuEraser/: Internal libraries and diffusion models.
  • weights/: AI Models (downloaded automatically if missing: sam_vit_b, sd-vae, etc.).

⚠️ Hardware Requirements

  • OS: Windows 10 or 11 (64-bit).
  • RAM: 16 GB minimum (32 GB recommended for comfort).
  • NVIDIA GPU: Mandatory (RTX 30xx/40xx with 16GB+ VRAM required).
  • Storage: ~6 GB (Conda Environment) + <1 GB (AI Models).

Based on research by DiffuEraser (lixiaowen-xw) and ProPainter (sczhou). Adapted and optimized by N. BENZINA.

⚖️ License

This project is distributed under the CC BY-NC-ND 4.0 license (Creative Commons Attribution - NonCommercial - NoDerivatives).

⚠️ STRICTLY PERSONAL OR ACADEMIC USE. Any commercial use, sale, or integration into a paid product is forbidden without explicit agreement.

About

Automated AI solution to remove tripods/cameramen from 360° videos (Insta360/GoPro) using Stable Diffusion.

Topics

Resources

License

Stars

Watchers

Forks

Packages

 
 
 

Contributors

Languages