Réunion

Les commentaires sont clos.

Compression et évaluation de la qualité des nuages de points

Date : 2-12-2024
Lieu : Paris - Villejuif
Thèmes scientifiques :

    Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.


    S'inscrire à la réunion.

    Inscriptions

    19 personnes membres du GdR ISIS, et 20 personnes non membres du GdR, sont inscrits à cette réunion.

    Capacité de la salle : 100 personnes.

    Annonce

    Avec le développement rapide des technologies 3D et des applications immersives telles que la réalité augmentée, la réalité virtuelle et la modélisation 3D à grande échelle, les nuages de points sont devenus un format incontournable pour représenter des scènes et objets en trois dimensions. Cependant, leur utilisation soulève de nouveaux défis, notamment en ce qui concerne la compression et l'évaluation de leur qualité.

    La compression des nuages de points devient primordiale pour optimiser le stockage et la transmission de ces données volumineuses, en particulier dans des contextes où la bande passante est limitée, comme pour les véhicules autonomes, ou la surveillance par drones. L'objectif de la compression est de réduire la quantité de données nécessaire tout en maintenant un niveau de qualité suffisant pour les applications, qu'il s'agisse d'analyse automatique par des algorithmes de vision par ordinateur ou de visualisation humaine.

    L'évaluation de la qualité des nuages de points, quant à elle, est cruciale pour mesurer l'impact des algorithmes de compression sur la fidélité des données 3D. Il s'agit de garantir que la compression ou d'autres traitements ne dégradent pas les caractéristiques critiques du nuage, comme la géométrie des points ou les textures, qui sont essentielles pour des tâches telles que la reconstruction 3D ou la détection d'objets. Des métriques objectives sont nécessaires pour quantifier ces effets, prenant en compte à la fois les besoins des algorithmes de traitement automatique et les perceptions humaines.

    Cette journée scientifique, en collaboration entre le GdR-IASIS et le GdR IGRV, propose de rassembler des experts du domaine pour explorer les dernières avancées en matière de compression et d'évaluation de la qualité des nuages de points notamment à l'ère de l'apprentissage profond. Seront abordées des questions techniques telles que les nouvelles approches de compression (basées sur des réseaux neuronaux ou des approches géométriques), l'évaluation perceptuelle, les critères spécifiques aux applications immersives, etc. L'objectif est de partager des connaissances, de discuter des défis actuels, et de poser les bases de recherches futures dans ce domaine en pleine expansion.

    Appel à communications

    Le programme inclura des présentations, seniors et juniors, pour lesquelles un appel à contributions est lancé. Si vous souhaitez présenter vos travaux, merci d'envoyer vos propositions pour le 30 Octobre 2024 au plus tard (titre, auteurs, affiliation, un résumé de 5-10 lignes) aux organisateurs :

    • Chaker Larabi, XLIM, chaker.larabi@univ-poitiers.fr
    • Giuseppe Valenzise, L2S, giuseppe.valenzise@l2s.centralesupelec.fr
    • Guillaume Lavoué, LIRIS, guillaume.lavoue@enise.ec-lyon.fr
    • Aladine Chetouani, L2TI, aladine.chetouani@univ-paris13.fr

    Lieu de la réunion :

    CNRS Ile-de-France Villejuif

    • Adresse : 7 rue Guy Môquet 94800 Villejuif
    • Métro : ligne 7, station Villejuif Paul Vaillant-Couturier
    • Bus : 131, 162, 172, 180

    Pour les membres du GdR qui souhaitent une prise en charge de leur mission par le GdR IASIS, anticipez votre demande. Pour une prise en charge par le GdR, les demandes de missions doivent être formulées d'ici le 15 novembre.

    Programme

    9h45 - 10h00 Introduction par les organisateurs

    10h00 - 10h45 Nuno Rodrigues (Polytechnic University of Leiria, Portugal) : Deep Learning-based Point Cloud Coding and Compressed Domain Processing.
    10h45 - 11h15 Armand Zampieri (INRIA): Entropy-driven Progressive Compression of 3D Point Clouds.
    11h15 - 11h45 Rodrigo Borba Pinheiro (Interdigital/L2S) : Compression de Nuages de Points basée sur Normalizing Flow
    12h15 - 13h25 Repas
    13h25 - 14h10 Marius Preda (Institut Polytechnique de Paris) : Introduction to Recent MPEG Developments in Point Cloud Compression
    14h10 - 14h40 Luc Vedrenne (ICube) : Point Cloud Latent Registration
    15h25 - 15h35 Pause
    16h35 - 17h05 Marouane Tliba (PRISME) : Efficient Learnable Point-Based Function For PCQA
    17h05 - 17h15 Clôture de la journée.

    Résumés des contributions

    Deep Learning-based Point Cloud Coding and Compressed Domain Processing.

    • Nuno Rodrigues (Polytechnic University of Leiria, Portugal)
    • Résumé : The growing demand for immersive and interactive experiences has led to the adoption of advanced 3D multimedia formats. Among these, point clouds (PCs) have become increasingly significant due to their ability to capture 3D visual data of scenes using sets of points with associated attributes like color. To achieve high levels of realism and immersion, PCs often require millions?or even billions?of points, necessitating efficient methods for representation and encoding, which are essential for practical applications and services in this field. This presentation will cover the latest advancements in point cloud coding, focusing particularly on the potential of machine learning-based coding solutions and the new JPEG Pleno Point Cloud Coding (PCC) standard. It will examine and compare the compression techniques and performance of learning-based PCC approaches against conventional PCC methods. Additionally, the presentation will emphasize the advantages of learning-based methods in providing a unified and efficient representation suitable for both human viewing and machine processing. The presented compressed domain processing techniques use the features extracted by the deep learning-based PC encoder, enabling the machine vision algorithms to avoid the usual performance degradation and complexity associated with the use of a decoded version of the original PC.
    • Bio : Nuno Rodrigues is a Professor with the Department of Electrical Engineering, School of Technology and Management, Polytechnic University of Leiria, Portugal, and a Senior Researcher with Instituto de Telecomunicações, Portugal. He is a Senior member of IEEE and the Chair of the Signal Processing Chapter of IEEE Portugal. He serves or has served as an Associate Editor for IEEE Transactions on Multimedia, IEEE Open Journal on Signal Processing, EURASIP Journal on Image and Video Processing and Signal Processing: Image Communication. He has coordinated and participated as a Researcher in various national and international funded projects. He has supervised three concluded Ph.D. theses and several M.Sc. theses. He is the coauthor of one book and more than 100 publications, including book chapters and papers in national and international journals and conferences. His research interests include topics related with image and video coding and processing, for different signal modalities and applications. He has been part of the JPEG Pleno project and contributed to the development of the JPEG Pleno Point Cloud Coding standard, as well as to several other deep learning-based techniques for point cloud coding and compressed domain processing.
    Entropy-driven Progressive Compression of 3D Point Clouds.
    • Armand Zampieri (INRIA)
    • Résumé : We contribute a novel progressive compression approach that leverages a recursive binary space partition, where the partitioning planes are optimized via an entropy criterion. The planes are encoded via a novel adaptive quantization method combined with prediction. The input 3D point cloud is encoded as an interlaced stream of partitioning planes and number of points in the cells of the partition. Compared to previous work, the added value is an improved rate-distortion performance, especially for very low bitrates. The latter are critical for interactive navigation of large 3D point clouds on heterogeneous networked infrastructures.
    Compression de Nuages de Points basée sur Normalizing Flow
    • Rodrigo Borba Pinheiro (Interdigital/L2S)
    • Résumé : Les méthodes existantes basées sur l?apprentissage profond pour compresser les attributs des Nuages de Points (NdP) utilisent généralement des autoencodeurs variationnels (VAE). Toutefois, ces schémas souffrent d?une qualité de reconstruction limitée aux débits élevés. Nous proposons une architecture basée sur Normalizing Flow (NF), appelée NF-PCAC, comme alternative. Les NFs sont des réseaux inversibles qui permettent une reconstruction de haute qualité. Nous proposons aussi une amélioration de l?architecture avec une complexité réduite, appelée RNF-PCAC. Nos architectures surpassent les méthodes précédentes basées sur l?apprentissage pour la compression d?attributs et nous atteignons des performances comparables à celles de G-PCC (v.21)
    Méthode de crypto-compression sélective intégrée au format de compression 3D Draco après quantification.
    • Khelian Larvet (LIRMM)
    • Résumé : L'utilisation croissante des objets 3D dans divers domaines a introduit des défis majeurs en termes de taille, de transmission et de sécurité. Pour répondre à ces enjeux, des méthodes combinant chiffrement et compression ont été développées afin de sécuriser et compresser les données sensibles lors de leur transmission et de leur stockage. Dans ces travaux nous proposons une méthode de crypto-compression sélective intégrée au format de compression 3D Draco proposée par Google. Le chiffrement sélectif est appliqué après la quantification des sommets en utilisant l'algorithme AES en mode CFB, garantissant un accès aléatoire et une décorrélation entre les sommets. La méthode proposée offre un très bon compromis entre chiffrement et compression, tout en tenant compte des préoccupations liées à la sécurité visuelle des objets 3D. En outre, nous introduisons un paramètre de chiffrement ajustable pour différents niveaux de sécurité visuelle (transparent, suffisant, confidentiel). Les résultats expérimentaux obtenus montrent que notre méthode permet d'atteindre un bon équilibre entre sécurité et compression. Enfin, une approche est proposée pour évaluer à quel point un objet 3D est proche d?un chiffrement complet, en s'appuyant sur l'analyse des longueurs d'arêtes.
    Introduction to Recent MPEG Developments in Point Cloud Compression
    • Marius Preda (Institut Polytechnique de Paris)
    • Résumé : The MPEG (Moving Picture Experts Group) has continually advanced its technologies for compressing point clouds, responding to the growing need for efficient solutions in immersive media and 3D content delivery. The two primary standards developed under MPEG?Video-based Point Cloud Compression (V-PCC) and Geometry-based Point Cloud Compression (G-PCC)?serve as the foundations for this progress, each designed to address different aspects of point cloud representation and compression. Recent work on G-PCC has focused on enhancing the efficiency of compressing sequences of dynamic point clouds. By utilizing inter coding techniques that capture temporal correlations between frames, MPEG has optimized the process for environments where point clouds evolve over time. This innovation not only reduces redundancy but also preserves the geometric accuracy needed for high-fidelity applications. In addition, further refinements have been made specifically to compress dense point clouds more effectively with geometry-based analysis strategies. They integrate advanced quantization and prediction models, allowing for accurate handling of complex spatial information while minimizing distortions. Meanwhile, the potential of artificial intelligence (AI) in point cloud compression is being explored as a transformative approach. AI-driven methods, which utilize neural networks to encode point cloud data, show promise in learning and optimizing the representation of 3D structures dynamically. Though these techniques are still under development, they signal a shift towards more adaptive and efficient compression algorithms that could significantly improve the handling of dense and large-scale 3D datasets. While G-PCC continues to evolve with these advancements, V-PCC remains a critical part of MPEG?s compression portfolio. V-PCC employs a method of projecting 3D point clouds onto 2D planes, effectively leveraging established video coding infrastructure. This technique allows for the efficient compression of both geometric and texture information, offering high compression ratios suitable for real-time applications. Although V-PCC is not a new standard, it remains a state-of-the-art tool in dynamic point cloud processing, supporting applications in virtual and augmented reality where real-time performance and high visual fidelity are needed.
    Point Cloud Latent Registration
    • Luc Vedrenne (ICube)
    • Résumé : Point cloud rigid registration is a fundamental problem in 3D computer vision. In the multiview case, we aim to find a set of 6D poses to align a set of objects. Methods based on pairwise registration rely on a subsequent synchronization algorithm, which makes them poorly scalable with the number of views. Generative approaches overcome this limitation, but are based on Gaussian Mixture Models and use an Expectation-Maximization algorithm. Hence, they are not well suited to handle large transformations. Moreover, most existing methods cannot handle high levels of degradations. In this paper, we introduce POLAR (POint cloud LAtent Registration), a multiview registration method able to efficiently deal with numerous views, while being robust to a high level of degradations and large initial angles. To achieve this, we transpose the registration problem into the latent space of a pretrained autoencoder, design a loss taking degradations into account, and develop an efficient multistart optimization strategy. Our proposed method significantly outperforms state-of-the-art approaches on synthetic and real data. POLAR is available at github.com/pypolar/polar or as a standalone package which can be installed with pip install polaregistration.
    Point cloud denoising and processing from a Computer Graphics perspective
    • Nicolas Mellado (IRIT)
    • Résumé : Dans cette présentation, nous nous intéresserons aux méthodes développées en Informatique Graphique pour le traitement et l?analyse de nuage de point. Dans une première partie, nous passerons en revue les méthodes et formalismes développés depuis les années 80 pour visualiser et structurer les nuages de points. Dans une seconde partie, nous nous concentrerons sur l?analyse multi-échelle de nuage de points massifs, qui permet de détecter les échelles correspondant au bruit et aux structures d?intérêt, et d?en caractériser les propriétés.
    Compression et Rendu des normales de nuages de points: Une étude d'évaluation de qualité
    • Amar Tious (LS2N) :
    • Résumé : L'avènement de nouveaux cas d'usage intégrant des représentations 3D de contenus naturels a mené au développement de nouvelles méthodes pour la compression, le rendu et l'évaluation de qualité de nuage de points. Cependant, ces méthodes ne traitent que les coordonnées et la couleur des points, et ne prennent pas en compte d'autres attributs pouvant jouer un rôle dans l'optimisation du rendu de nuages de points. Cette présentation s'intéresse à nos travaux sur la qualité des normales des points qui permettent un rendu avec ombrage des point clouds. Nous ajoutons le traitement des normales au codec V-PCC en considérant 2 approches: encoder les normales comme attributs, ou bien les recalculer après décodage à partir du point cloud décompressé. Nous comparons ces 2 approches en terme de qualité visuelle avec des mesures objectives et dans une expérience d'évaluation subjective de point clouds avec ombrage. Nous démontrons alors les avantages que présente la compression des normales pour différents types de contenus et cas d'usages, et débattons les limites et enjeux qu'ils impliquent. Nous concluons en identifiant les prochaines étapes nécessaire vers un rendu physique réaliste des point clouds.
    From Local Graph Structure Analysis to Point Cloud Perceptual Quality Assessment
    • Abderrezzaq Sendjasni (XLIM)
    • Résumé : With the expansion of 3D applications in fields such as virtual reality, autonomous driving, and medical imaging, the need to evaluate the visual quality of point clouds has become essential. Traditional quality assessment methods often fail to capture the nuances of visual perception, leading to inconsistencies between objective measurements and perceived quality. In this work, we propose an approach based on analyzing local graphs constructed around stratigic key points to explore local structure and extract features that aligns with visual quality. By combining geometric and appearance analyses on these local graphs, our method enables a more accurate evaluation aligned with human visual perception. This model aims to bridge the gap between traditional measurements and the requirements of modern applications, offering a robust framework for assessing point cloud quality.
    Efficient Learnable Point-Based Function For PCQA
    • Marouane Tliba (PRISME)
    • Résumé : With the growing reliance on 3D point clouds in immersive applications, accurate perceptual quality assessment has become essential to ensure a seamless quality of experience. While deep learning has advanced fixed-screen quality of experience, its application to interactive content like point clouds and specifically still faces obstacles due to the complex nature of 3D data, and the specifications of perceptual quality assessment downstream-task. In response, we propose our first lightweight, NR perceptual quality assessment method that operates directly on native 3D PCs data. We establish a new pre-processing method that facilitates subsequent processing of the PCs and introduce an efficient shallow neural network design. This design allows for the processing of entire raw PCs without voxelization, rendering, or any transformation of their native structure. By focusing on the local feature with a shallow learnable network, the proposed method effectively learns high-density information relevant to the downstream task of quality assessment, while satisfying the necessary constraints of learning on the 3D PCs.