T.C. GALATASARAY ÜNİVERSİTESİ MÜHENDİSLİK VE TEKNOLOJİ FAKÜLTESİ SANAL TERZİ: 3D İNSAN VÜCUDU MODELLEME

Transkript

1 T.C. GALATASARAY ÜNİVERSİTESİ MÜHENDİSLİK VE TEKNOLOJİ FAKÜLTESİ SANAL TERZİ: 3D İNSAN VÜCUDU MODELLEME (Tailleur Virtuel: Modélisation 3D d'un corps humain) BİTİRME PROJESİ MAHMUT ÇAVDAR Anabilim Dalı: BİLGİSAYAR MÜHENDİSLİĞİ Danışmanı: Yard.Doç.Dr. Reis Burak Arslan MAYIS 2015

2 i

3 Préface Au terme de ce travail, je tiens à exprimer ma profonde gratitude et mes sincères remerciements à mon superviseur du projet de fin d étude Monsieur R. Burak ARSLAN de m avoir offert sa confiance tout au long de mon travail. Cette confiance a été pour moi un facteur de motivation important. Que soient également remerciés ma famille, mes professeurs, mes camarades de classe et tout les personnels de l université. Je remercie tout particulièrement Monsieur Tankut ACARMAN et Monsieur Christophe PAOLI pour leur soutien tout au long de mes études. Juin 2015, Istanbul Mahmut ÇAVDAR ii

4 Table des Matières Préface ii Table des Matières iii Liste des Notations v Liste des Figures vi Liste des Tableaux vii Résumé viii Özet ix 1 INTRODUCTION Problématique But du projet ETAT de L ART PRESENTATION du PROJET Méthode proposée Éléments principaux du projet Kinect PCL Format de fichier Modules de PCL OpenNI Kinect SDK Conceptions RÉALISATION

5 4.1 Introduction Environnement de travail Implémentation Fonctions essentiel du projet Résultats Acquisition Segmentation Filter-Cluster Iterative Closest Point Temps Cohérence CONCLUSION Références iv

6 Liste des Notations PCL - Point Cloud Library (en ang.) ICP - Iterative Closest Point (en ang.) 3D - 3 Dimensions OpenNI - Open Natural Interaction (en ang.) GPU - Graphics Processing Unit (en ang.) PCD - Point Cloud Data (en ang.) RGB - Red,Green,Blue (en ang.) BSD - Berkeley Software Distribution (en ang.) IDE - Integrated Development Environment (en ang.) SDK - Software Development Kit (en ang.) FLANN - Fast Library for Approximate Nearest Neighbors (en ang.) RANSAC - Random Sample Consensus (en ang.) v

7 Liste des Figures 1.1 Evolution des ventes sur Internet depuis Méthode de Hanavan Différentes vues du corps humain Exemple Kinect Fusion Kinect Fusion Pipeline Les bordures du nuage de points Les composants de Kinect Information de profondeur Exemple PCD fichier Structure des modules Vue en couches d OpenNI Kinect Developer Toolkit Flux de travail Guide d utilisation Un exemple nuage de point Nuage enregistré par le Kinect Différentes nuages enregistrés par l application Les bordures des nuages Les bordures des nuages Les bordures des nuages Alignement des nuages Enlever des points incohérent Mauvaise alignement des nuages La fusion de nuages de points Cluster, convex hull et prise de mesures

8 Liste des Tableaux 4.1 Temps d exécution des fonctions Résultats de la méthode

9 Résumé La réalité augmentée est l un des phénomènes émergent du XXIe siècle, notamment pour l industrie. De plus en plus d entreprises cherchent à créer des applications pour répondre aux besoins de leurs clients, comme par exemple, la cabine d essayage virtuelle. Avec la cabine d essayage virtuelle, les clients essayent des vêtements et des accessoires de leurs choix en réalité augmentée. Les cabines d essayage virtuelles qui existent actuellement sont basés sur diverses approches. Ce sont surtout des avatars virtuels ou des marqueurs fiduciaires. Ces dispositifs améliorent l expérience des boutiques en ligne. Mon application va permettre de modéliser un avatar 3D d une personne et des vêtements en taille réelle avec Kinect. D abord, elle va prendre des mesures adéquates du client en utilisant un capteur de profondeur. Ensuite, elle va recréer la morphologie du client(3d) en fonction des mesures. Enfin, l application donne l information sur la taille du corps. Le projet est mis en œuvre dans Point Cloud Library (PCL), une librairie open source développée en C++ pour traiter des nuages de points. OpenNI (Open Natural Interaction), framework open source distribué est utilisé pour diverses fonctions fondamentales et pour fournir des données. viii

10 Özet Teknoloji ile ihtiyaçlar arasında sürekli ve güçlü bir organik bağ olmuştur. İhtiyaçların karşılanması için geliştirilen teknolojiler, yeni ihtiyaçların önünü açmış ve bu devinim günümüze kadar durmaksızın devam etmiştir. Görüntü üzerine yapılan çalışmalar da aynı şekilde birbirinden etkilenilerek sürekli daha yeniye doğru gitmeye çalışmıştır. Gerçek yaşamdan alınıp dijital resim haline dönüştürülmüş olan görüntülerin işlenmesi ve sonucunda yeni bir resim ya da bilgi elde edilme işi uzun bir süredir birçok bilim dalı tarafından kullanılmaktadır. Kimi zaman uydudan çekilmiş fotoğraflar,kimi zaman mezuniyet fotoğrafları,kimi zamansa ultrason görüntüleri insanları heyecanlandırmıştır. Yaşadıkları güzel anları ölümsüzleştirmek isteyenler için geliştirilen teknolojiler gün geçtikçe küçülmüş ve yaygınlaşmıştır. Öyle ki haberleşme aracı olarak icat edilen telefonların cep telefonuna dönüşmesinden sonra bu telefonların içine bile sığmayı başarmıştır. Bunun sonucu olarak da görüntü ve görüntü işlemenin önemi fazlasıyla artmıştır. Günümüzün güncel gelişmelerinden biri de oyun konsollarında yaşanmaktadır. Geçmiş senelerde kullanılan basit görsel grafik ve etkileşim araçlarının(kumanda vs.) yerini özelleştirilmiş, giyilebilir araçlar ve yüksek çözünürlükteki görseller almıştır. Hatta bazı konsollar ekstra herhangi bir araç kullanmadan da etkileşime girilebilecek kadar özelleştirilmiştir. Yazının başında da değinildiği gibi gelişen teknoloji başka ihtiyaçlara çözüm olup sonrasında yeni ihtiyaçları doğurmuştur. Kinect teknolojisi de tam olarak budur. Oyun konsollarında kullanılmak üzere üretilen sensörler bu amacının dışında da birçok uygulamada başarıyla kullanılmıştır. Ses ve jestler kullanılarak bilgisayar yönetimi, sanal provalar, artırılmış gerçeklik uygulamaları bunlardan sadece birkaçı. Kinect sensörünün kullanıldığı ilgi çekici uygulamalardan biri de sanal prova uygulamalarıdır. Çünkü insanlar artık elektronik cihazlar karşısında daha fazla zaman geçiriyorlar ve alışveriş yapmak için ekstra zaman harcamak istemiyorlar. Bilgisayarı başındayken ix

11 sadece birkaç tık sayesinde internet üzerinden alışverişini yapıp günlük hayatına devam ediyorlar. Fakat bu işin en zor tarafı ise en iyi beden ve boyutun tam kestirilemediği durumlardır. Bu noktada Kinect, kullanıcıların imdadına yetişmektedir ve uygulamalar sayesinde ürünün müşteri üzerinde nasıl durduğunu olabildiğince simüle etmeye çalışmaktadır. Bu proje dahilinde Kinect ile insan vücudunun boyutları elde edilmeye çalışılmaktadır. Bu yapılırken elde bulunan donanımlara göre birçok yöntem kullanılabilmektedir. Son zamanlarda geliştirilen ve yüksek işlem gücü dolayısıyla iyi bir GPU donanımı gerektiren "Fusion" teknolojisi işi baya kolaylaştırabilir. Fakat her kullanıcı özellikleri yüksek bir grafik kartı sahibi olamayacağından daha az gereksinimi olan bir çözüm bulmak gerekmektedir. Bu bağlamda yapılan çalışmalar kesikli zamanda alınacak görüntülerin birleştirilmesi yönteminin problemin çözümünde önemli bir aşama olduğunu göstermiştir. Herhangi sıradan bir bilgisayara bağlanmış olan Kinect ile alınacak 4 görüntü sayesinde kullanıcının vücut ölçüleri elde edilebilmektedir. Kinect cihazında klasik RGB kamera yanında ayrıca 3 boyut çekim özelliği sağlayan derinlik sensörü bulundurur. Kinect donanımında derinlik ölçümü şu şekilde çalışır: Görünmez ışık saçan bir kaynaktan tüm ortama gönderilen ışıklar daha sonra derinlik sensörü tarafından incelenerek 3 boyutlu harita elde edilir. Bu haritada her bir pixelin Kinect e olan uzaklığı belirlen olur. Bu sensörlerin yanı sıra Kinect ses analizi yaptığından üzerinde 4 tane mikrofon bulunur. Sesin nerden ve ne şiddetle gelebildiğini analiz edebilmesi için sayıları fazladır. Sensörlere ek olarak Kinect görüş açısını düzenleyebilmesi için motora sahiptir. Bu motor Kinect in yukarı aşağı yönde görüş açısını değiştirebilir. Proje kapsamında PCL(Point Cloud Library) kütüphanesi kullanılmıştır. Bu kütüphane Kinect Grabber adaptörü sayesinde sensörden görüntü(bulut) kaydı yapabilmektedir. Oluşturduğu bulutların koordinat sistemi gerçek koordinat sistemidir. Yani buluttan alınacak her bir noktanın x,y,z değerleri, sensörü 0 noktası kabul ederek hesaplanan uzaklık değerleridir. Kullanıcının ön,sağ-sol yanlar ve arka cephelerinden olmak üzere, 4 bulut kayıt edildikten sonra bulutların gereksiz kısımlarının atılması gerekmektedir. Bu işlemi kolaylaştırabilmek için kullanıcının düz bir ekran önünde poz vermesi gerekmektedir. Bu x

12 sayede derinlik bazlı bir "segmentation" algoritmasının yardımıyla kullanıcının vücudu dışındaki gereksiz kısımlar atılmaktadır. Elde edilen bulutların birleştirilmesi ve yek bir vücut elde edilmesi gerekmektedir. Projenin en önemli kısmı budur. Bu adımda gerekli şey bulutlar arasında referans noktaların bulunmasıdır. Bu noktalar sayesinde bulutlar birbirine hizalanacaktır. Hizalama algoritmasını iki bulutun tüm noktaları ile çalıştırdığımızda hatalı ve yavaş bir sonuç almaktayız. Nokta sayısı çok olduğundan işlem uzun sürecektir ve birçok benzer kısım bulunduğu için yanlış bir eşleşme olması muhtemeldir. Bu sebeple ön bir işlem yapmamız gerekmektedir. Bu işlemle birlikte ilgili nokta sayısı azaltılmalı ve bulutlar doğru yerden hizalanmaya zorlanmalıdır. Hizalama sorununu çözmek için geliştirilen yöntem temelde çok basit bir mantıkla çalışır. 4 farklı çekimde de ortak olan noktaların ektremum noktası olduğu düşünülürse bu ekstremum noktaları bulunduğu takdirde bu noktalar üzerinden hizalama kolaylıkla yapılabilir. Ön cepheden alınmış bulutun en solunda bulunan noktalar ile kullanıcının sağ (kullanıcıya göre) yanından alınmış buluttaki, Kinect cihazına en yakın olan noktalar alındığında aslında bu iki kümede bulunan noktaların birbiriyle hemen hemen aynı olması beklenmektedir. Ve bu iki sınırda bulunan noktalarla hizalama algoritması çalıştırılmaktadır. Hizalama algoritmasının çalışma mantığı şu şekildedir: Elde bulunan iki buluttan birini model olarak seçer ve diğer bulutta ne gibi değişiklikler (her eksen için kaydırmadöndürme) yapılırsa seçilen modele en yakın sonucu elde ettiğini bulmaya çalışır. Yöntem dahilinde yapılan ilk hizalama işleminden çıkan sonuca göre gerekli bulut kaydırmadöndürme işlemlerine tabi tutulan bulutlara tekrar bir hizalama yapılacaktır. Bu sayede ilk adımda birbirine çok yaklaşan bulutlar ikinci adımla birlikte tamamen birbirine kaynayacaktır. Bir sonraki adımda aynı işlemler ön cepheden alınan bulutun sağ sınırı ile sol (kullanıcıya göre) cepheden alınan bulutun Kinect e en yakın sınırı arasında tekrarlanacaktır. Ve son adım olarak da ön ve iki yan bulutlara arka bulut eklenerek yek bir vücut elde edilecektir. Tüm vücut elde edildikten sonra yapılması gereken ise gerekli ölçümlerin alınmasıdır. Bu xi

13 aşamada mevzu insan vücudu olduğundan en mantıklısı kesit alarak dairesel bir ölçüm yapılması olacaktır. Alınan kesitteki nokta sayısı azaltılarak bu noktaları kapsayacak bir konkav çıkarılacaktır. Bu konkav üzerinde kalacak noktaların birbirine olan uzaklığı kümülatif bir biçimde toplandığında ise dairesel ölçü elde edilmiş olunur. Tüm vücudun ölçülerinden yola çıkarak sıçrama noktaları bulunur. Böylece vücut ölçüsü alınırken önemli bazı kısımların ölçüleri tespit edilmiş olur. Proje gerçeklenirken bir takım zorluklar yaşanmıştır. Bunlardan ilki alınan sıralı verinin bazı algoritmalar sonrasında sırasını kaybetmesidir. Normal şartlar altında Kinect tarafından yakalanan bulut PCD uzantılı bir dosyaya kaydedilmektedir ve bu dosya içindeki veriler matris düzeninde tutulmaktadır. Örneğin bulutun en ortadaki noktasına erişmek için satır ve sütun sayılarına göre tek işlem ile direkt erişim sağlanırken, proje için gerekli "segmentation" ve benzeri fonksiyonlar uygulandıktan sonra bu sıralı yapı bozulmuştur. Bu sebeple geleneksel nokta işlemleri(komşularla işlemler vs..) kolaylıkla yapılamaz hale gelmiştir. Diğer bir sıkıntı ise sınır noktalarını bulurken yaşanmıştır. Örneğin ön buluttaki en solda bulunan sınır hattı çıkarılma işleminde satır satır en soldaki elemanı bulma işine gidilmiştir fakat bazı satırlardaki ilk elemanların bu sınırın çok daha içerisinde olmasından dolayı tam bir düzenli çizgi elde edilememiştir. Fakat konveks hull yöntemiyle bu soruna çözüm bulunmuştur. Projenin geliştirilmesi gereken taraflarına bakıldığında ilk göze çarpan kullanıcı dostu olma yolundaki ihtiyaçlarıdır. Nitekim projenin çalışması için bir takım varsayımlar yapılmıştır: Kullanıcının doğru bir şekilde poz verdiği, vücudunu eğip bükmediği, Kinect e belirli bir uzaklıkta ve ortalı olacak şekilde poz verdiği gibi... Bu şartların sağlanıp sağlanmadığı kontrol edilmeli ve gerekli durumlarda kullanıcının uyarılması gerekmektedir. Projenin eksik yönlerinden bir diğeri de algoritmaların çalışma süresiyle alakalıdır. Bilhassa sınırların bulunması için kullanılan algoritma 3 boyut üzerinde çalıştığı için çıktı süresi uzamaktadır. Bunu kısaltmak için ilk etapta gereksiz bir boyutun projeksiyon yöntemiyle azaltılması yoluna gidildiyse de bu çözüm yeterli etkiyi gösterememiştir. Son xii

14 çare olarak sınır bulma algoritmasını tümden değiştirmek düşünülmektedir. Tüm eksiklerine rağmen bu projede, çıktılarını insanların birçok alanda kullanabileceği bir araç elde edilmiştir. Muadillerinin tersine gereksinimleri daha makul ve Kinect sahibi birçok kullanıcının ek bir donanım kullanmadan tamamen ücretsiz yazılımlarla evinde gerçekleyebileceği bir sistem olmuştur. İlk kısımda bahsedilen ihtiyaç-teknoloji ilişkisi düşünüldüğünde, geliştirilen bu projelerle daha yeni ihtiyaçların doğacağı ve gelişmelerin sürekli devam edeceği konusunda hiçbir şüphe yoktur. xiii

15 1 INTRODUCTION 1.1 Problématique Selon une étude de la Fédération du e-commerce et de la vente à distance (Fevad), les ventes sur Internet continuent de progresser à un rythme soutenu. En 2014, les ventes sur internet ont atteint 56,8 milliards d euros, en hausse de 11% sur un an. Figure 1.1: Evolution des ventes sur Internet depuis 2005 Mais la vente de vêtements en ligne n a pas autant décollé que les ventes d autres produits. Les e-boutiques qui marchent le mieux ont des taux de retour de marchandises incroyablement élevés. La raison est clair: problème de taille.

16 2 1.2 But du projet Initialement, l objectif principal de mon projet de fin d études était la modélisation 3D d un corps humain et l analyse de la mesure du corps. Pour réaliser cet objectif ambitieux, dans un premier temps nous nous sommes concentrés sur l acquisition d objets. Nous nous sommes rapidement rendu compte que cette première partie était déjà très importante et complexe. De plus, peu de travaux avaient été réalisés sur ce sujet. C est pourquoi l acquisition d un corps humain a été notre premier objectif. Concrètement, l objectif était de réaliser un système pour faire l acquisition d un corps humain à l aide de caméras Kinect pour ensuite modéliser ce corps humain en 3D. La modélisation 3D de corps humains existe depuis plusieurs années. Elle est réalisée à partir de scanners 3D très précis mais aussi très coûteux. Ainsi, la première motivation de notre projet est de réaliser une modélisation 3D à partir d outils très abordables en matière de coût. En effet, les scanners 3D coûtent aujourd hui au moins C quand la Kinect peut être achetée pour 100C. Ce faible coût permet ainsi à un utilisateur lambda de posséder une Kinect chez lui. Réaliser un tel système de modélisation 3D à partir de la Kinect permettrait donc d apporter la possibilité à un grand nombre de personnes de modéliser des objets 3D à leur domicile. Après avoir un modèle ce qui reste à faire est de prendre des mesures. Mais d abord il faut détecter des points d intérêts pour mesurer. Nous avons trois tours: Le tour de poitrine se mesure horizontalement, à l endroit le plus fort. Le tour de taille se trouve au creux de la taille. Le tour de hanches se trouve à l endroit le plus fort. Finalement système calcule la circonférence de chaque tour et essaye de trouver la taille(s,m,l,xl) associées à toutes les mensurations.

17 2 ETAT de L ART L anthropométrie est la technique de mensuration du corps humain et de ses diverses parties. Aujourd hui, l anthropométrie joue un rôle important dans le design industriel, le design des vêtements, de l ergonomie. Il existe des centaines d applications d anthropométrie dans de nombreux domaines comme le médical, la réalité virtuelle, la communication, etc. (Jones et al., 1997) La création d une surface 3D peut être effectuée selon deux méthodes, l une reposant sur une modélisation de la surface par des mesures sur le sujet (Hanavan et al., 1964; Jensen, 1978), l autre réalisant un scan 3D du sujet. Depuis longtemps, des chercheurs scientifiques ont tenté de créer la surface du corps humain. Certains se veulent être au plus proche de la réalité (Daanen, 1997) mais c est évidemment complexes, alors que d autres tentent de simplifier le travail. (Hanavan et al., 1964) Figure 2.1: Méthode de Hanavan La reconstruction 3D d une scène à l aide d outils d acquisition optique se développent de plus en plus depuis la dernière décennie. Kinect, une de ces solutions, est popularisée au sein du grand public par son usage dans le divertissement. La version pour PC l a rendue

18 4 également populaire dans la communauté scientifique ainsi que chez les développeurs indépendants. Dao, Deng et Cai (Dao et al., 2014) proposent de représenter un modèle 3D par 4 images de profondeur.(vue de face, gauche, droite, derrière : Fig. 2.2) A chaque image est associé trois frontières. Grace à ces frontières, fusion des deux nuages de points a été fait. Méthode n exige pas des calcules complexes. Figure 2.2: Différentes vues du corps humain Des chercheurs de Microsoft (Newcombe et al., 2011) proposent une autre approche pour la reconstruction des maillages 3D. Kinect Fusion permet de créer rapidement des reconstructions 3D détaillées d une scène d intérieur. La Kinect fournit à la cadence vidéo une carte de profondeur de l environnement par projection d un motif en lumière structurée infrarouge. Cette carte de profondeur permet quelques interactions en 3D mais n est pas assez précise pour donner un maillage 3D satisfaisant. Le principe de Kinect Fusion est d améliorer la qualité des maillages 3D en fusionnant l information de plusieurs cartes de profondeur par recalage automatique. Comme le montre la figure 2.4, l application traite des opérations lourdes. De nos jours, le calcul sur GPU s est récemment révélé efficace pour traiter des problèmes coûteux en temps de calcul. Donc, l application Kinect Fusion demande la compatibilité de la carte graphique avec DirectX 11. Elle a été testé sur NVidia GeForce GTX 560, et AMD Radeon 6950.(Microsoft,.) Il faut avoir une carte graphique dédiée. C est la raison pour laquelle il vaut mieux éviter d implémenter cette solution dans le cadre de ce projet.

19 5 Figure 2.3: Un exemple des résultats Kinect Fusion Figure 2.4: Vue d ensemble de suivi et de reconstruction pipeline

20 3 PRESENTATION du PROJET Notre projet se décompose en 4 parties: 1. Obtention du nuage points, 2. Segmentation de nuages de point et optimisation ce nuage, 3. Reconstruction des maillages 3D par 4 images de profondeur comme l approche de Dao, 4. Prendre des mesures standard. (poitrine, taille, hanche) 3.1 Méthode proposée Les quatre images et les trois bordures de chaque images sont convertis en nuage. Pour fusionner deux nuages de points, ils adaptent l algorithme ICP (Iterative Closest Point) courante. Ils proposent un processus d ICP en deux étapes: la première étape consiste à utiliser des points bordures (BG, BC, BD) et d aligner rapidement deux nuages de points. Ensuite la deuxième étape consiste à faire un peu de réglage local pour trouver le meilleur alignement.(fig. 3.1) Bordure Gauche(BG): Un ensemble de points non nuls dont l indice de la colonne est au minimum de la ligne correspondante. Bordure Centrale(BC): Un ensemble de points non nuls dont la profondeur est la valeur minimum de la ligne correspondante. Bordure Droite(BD): Un ensemble de points non nuls dont l indice de la colonne est au maximum de sa ligne.

21 7 Figure 3.1: (a) Bordure Gauche, vue de face (b) Bordure Centrale, vue de gauche (c) Résultat la première étape d ICP sur les frontières (d) Résultat la deuxième étape d ICP sur (c) 3.2 Éléments principaux du projet Kinect La Kinect est un appareil de capture de mouvement développé par Microsoft pour les jeux vidéo. La Kinect de chez Microsoft englobe en réalité trois capteurs : Une caméra couleur d une résolution de 640 x 480, un projecteur infrarouge ainsi qu une caméra infrarouge de la même résolution.(brunner, 2012) La kinect a été introduit sur le marché en Novembre millions d unités ont été vendues lors des deux premiers mois et 18 millions en janvier 2012, une année après le lancement.(cruz et al., 2012) La Kinect est un outil vers lequel plusieurs chercheurs se tournent de plus en plus. Une des raisons qui la rend attractive est son prix modique. Le flux de profondeur est le plus important car il fait l originalité de la Kinect en la différenciant des habituelles caméras vidéo. Ce flux fournit une carte de profondeur donnant pour chaque pixel la distance dans l espace 3D entre l objet représenté par ce

22 8 Figure 3.2: Les composants de Kinect pixel et la caméra. La carte de profondeur est calculée grâce au projecteur infrarouge et à la caméra infrarouge en utilisant le principe de la lumière structurée. Le principe de lumière structurée permet d obtenir l information de profondeur d objets présents dans une scène en projetant un motif lumineux sur les objets et en analysant la déformation de ce motif au contact des objets. Figure 3.3: Information de profondeur

23 9 Carcatéristiques de la Kinect: Capteurs: Caméra couleur et capteur de profondeur Micro à reconnaissance vocale Motorisation: Ensemble motorisé pour suivre les déplacements Inclinaison: ± 27 degrés Champ de vision: Champ de vision horizontal: 57 degrés Champ de vision vertical: 43 degrés Portée du capteur:0,8m 4,0m Flux de données: Infrarouge 640x480 à 30 images par seconde RVB 640x480 à 30 images par seconde Audio 16 bits à 16 khz Système de reconnaissance physique: Jusqu à 6 personnes et 2 joueurs actifs (4 joueurs actifs avec le SDK 1.0) 20 articulations par squelette PCL PCL est une bibliothèque accélérée pour le traitement d images et de nuages de points.(pcl,.) La bibliothèque contient des algorithmes de fonction d estimation, la reconstruction de surface, l enregistrement, l ajustement du modèle et la segmentation. Ces algorithmes

24 10 peuvent être utilisées pour différentes tâches, comme pour filtrer des valeurs aberrantes, assemblage de nuages de points, extraire les points-clés et trouver des descripteurs pour reconnaître des objets. Il est écrit en C++ et publié sous la licence BSD. PCL est multiplateforme. Il a été compilé et déployé avec succès sur Linux, MacOS, Windows et Android / ios Format de fichier Chaque fichier PCD contient un entête qui identifie et déclare certaines propriétés des données de nuages stockées dans le fichier. L en-tête d un PCD doit être codé en ASCII. Les entrées d en-tête doivent être spécifiées précisément dans l ordre ci-dessous.(figure 3.4) Figure 3.4: Exemple PCD fichier Modules de PCL PCL est constitué par les modules suivants: Filters: Module contient des valeurs aberrantes et de suppression de bruit mécanismes

25 11 pour les applications de filtrage des données 3D de nuages de points. Features: Module pcl_features contient des structures et des mécanismes données pour la 3D d estimation de caractéristique à partir de données de nuage. Les Caractéristiques 3D sont des représentations à un certain 3D point ou la position dans l espace, qui décrivent des motifs géométriques sur la base des informations disponibles autour du point. Keypoints: Module pcl_keypoints contient des implémentations d algorithme de détection point-clé des deux nuage. Registration: Module pcl_registration implémente un algorithmes de recalage du nuage. KdTree: Module pcl_kdtree fournit le kd-tree structure de données, en utilisant FLANN, qui permet de rapides recherches des plus proches voisins. Octree: Module pcl_octree propose des procédés efficaces pour la création d une structure d arborescente hiérarchique. Segmentation: Module pcl_segmentation contient des algorithmes pour segmenter un nuage en grappes. Sample Consensus: Module pcl_sample_consensus détient des méthodes échantillon Consensus (SAC) comme RANSAC et des modèles comme les plans et les cylindres. Ceux-ci peuvent être combinés librement dans le but de détecter des modèles spécifiques et leurs parameters dans les nuages. Surface:Module pcl_surface traite de la reconstruction des surfaces originales à partir de scans 3D. I/O: Module pcl_io contient des classes et des fonctions pour la lecture et l écriture de données de nuage fichiers(pcd), ainsi que la capture des nuages de points à partir d un capteur. Visualization: Module pcl_visualization a été construit dans le but d être en mesure de prototyper et de visualiser les résultats des algorithmes 3D fonctionnant sur des données de nuage rapidement. Common:Module pcl_common contient les structures de données et méthodes communes utilisées par la majorité des bibliothèques PCL. Search: Module pcl_search fournit des méthodes pour la recherche de proches voisins en utilisant différentes structures de données.

26 12 Figure 3.5: Structure des modules OpenNI L API OpenNI donne accès à un capteur compatible PrimeSense. Il permet d initialiser un capteur et un récepteur de flux vidéo (RGB et infrarouge pour la profondeur). OpenNI fournit une interface uniforme (middleware), les développeurs peuvent utiliser pour interagir avec capteurs de profondeur. OpenNI est un framework (multi-plateforme) open source avec une licence pour usage commercial, il implémente la reconnaissance de geste et le suivi (tracking) d une partie du corps uniquement, ce que ne propose pas l alternative SDK Kinect de Windows. (OpenNI User Guide, 2011) Kinect SDK L IDE de Microsoft qui fourni un environnement pour développer des applications Kinect en C++ ou C# et un développement plus facile qu avec un autre IDE. C est une alternative au PCL+OpenNI sur Windows. SDK requiert l installation de Visual Studio.

27 13 Figure 3.6: Vue en couches d OpenNI Figure 3.7: Kinect Developer Toolkit

28 Conceptions Dans cette partie nous expliquons la conception du project. La figure suivant contient représentation d une suite de tâches effectuées par méthode. Figure 3.8: Flux de travail

29 15 La figure 3.9 montre processus des différentes phases d acquisition de données de profondeur. Kinect est toujours à la même position. L utilisateur tourne autour de Kinect pour des images de profondeur. (Dans l ordre vue de droite, vue de gauche, vue de derrière, vue de face) Figure 3.9: Guide d utilisation

30 4 RÉALISATION 4.1 Introduction L implémentation est la phase la plus importante après celle de la conception. Le choix des outils de développement influence énormément sur le coût en temps de programmation ainsi que sur la flexibilité du produit à réaliser. Comme PCL, il fait gagner beaucoup de temps dans le projet grâce à ses modules. Dans ce chapitre, nous présentons la partie réalisation de l application et la mise en oeuvre des différents composants décrits au niveau du rapport précédent. Nous décrivons, dans une première partie, l environnement matériel et logiciel ainsi que les outils utilisés. Dans une seconde partie, nous exposons le travail que nous avons réalisé. 4.2 Environnement de travail L environnement de travail est constitué par deux parties nommées environnement matériel et environnement logiciel. Materiel: Le développement de l environnement matériel est caractérisé par : 1. CPU: Intel Core i5-3210m 2.50GHz 4 2. Mémoire: 8 Go 3. Capteur: Microsoft Kinect (V1) Logiciel: L environnement logiciel consiste les composants suivants : 1. Système d exploitation: Linux Ubuntu (14.04 LTS)

31 17 2. PCL(Point Cloud Library) 3. Paraview 4.3 Implémentation La première phase de l implémentation consiste à installer et configurer les modules de PCL. Il faudra ensuite développer les differents programmes qui traitent une tache d application: enregistrer les nuages de points, segmenter le corp humain, extraire la bordure du nuage, aligner des nuages et prendre des mesures. Dans ce cadre, nous avons mis en place une application pour vérifier les concepts et les théories développées Fonctions essentiel du projet Nous n aborderons pas ici tout ce qui concerne du projet, mais seulement les fonction essentielle. Le projet est constitué par les fonctions suivantes: segmentation: La fonction permet de séparer un nuage en deux régions: Le corp humain et le fond. Elle prend deux nuages en arguments. Elle trouve un corp humain dans le premiere nuage et assigne ce nuage au deuxieme nuage. rotate_cl: La fonction permet de faire tourner un nuage autour d un axe. Elle prend deux nuages,un entier et un flottant. Elle fait tourner un premier nuage autour de l axe et assigne ce nuage au deuxieme nuage. boundary_cl: La fonction permet de trouver la bordure gauche et la bordure droite des nuages vue de face et de dos. filter_cl: C est une fonction ne laissant passer que une zone d intérêt. section_cl: La fonction permet de trouver bordure centrale du nuage. Elle appelle simplement la fonction filter_cl avec parametre precises. cluster_cl: Resultat de boundary_cl, cette fonction peut contenir des parties hors de sujet. icp_cl: Iterative Closest Point(ICP) est un algorithme utilisé pour recaler deux vues partielles d un même objet. Icp_cl fonction permet de minimiser itérativement la distance

32 18 entre les deux nuages de points. convexcave: La fonction permet un regroupement d objets géométriques est l ensemble convexe le plus petit parmi ceux qui le contiennent. measure: Elle prend un nuage en argument et fait des mesures circulaire du corp humain Résultats L objectif de cette section est de montrer l utilisation et les résultats de notre application. Aussi vous pouvez avoir un regard critique sur les algorithmes utilisés et les problèmes auxquels nous faisons face. À la fin, le temps d execution des fonctions a été calculé et nous avons essayé de l optimisé Acquisition La première étape du projet est l acquisition du corps humain qui est effectuée grâce à la caméra 3D de Microsoft : la Kinect. La caméra est placée face au corps humain que l on souhaite modéliser. Kinect permet de trouver pour un environnement donné sa carte de profondeur, et ainsi de reconstruire en 3D cet environnement. Figure 4.1: Un exemple nuage de point

33 Segmentation Comme dans l exemple ci-dessous, l utilisateur doit être posé en face de l écran plat car la fonction segmentation utilise l information de profondeur. Figure 4.2: Nuage enregistré par le Kinect. Il faudra ensuite diviser en segments et prendre une zone d interet. La figure 4.3 montre les quatres nuages après l operation segmentation.(a:vue de face, b:vue de droite, c:vue de dos, d:vue de gauche) Filter-Cluster Dans cette partie, l extraction des bordures a été faite. (Fig 4.4(a)-Fig 4.5(a): Les bordures gauches de face et de dos, Fig 4.4(b)-Fig 4.5(b): Les bordures droites de face et de dos, Fig 4.6: Les bordures centrales des deux cotés. Il faudra ensuite mettre en oeuvre l algorithme d alignement itératif du point le plus près (ICP) pour les bordures.(premiere phase d ICP)

34 20 (a) (b) (c) (d) Figure 4.3: Différentes nuages enregistrés par l application

35 21 (a) (b) Figure 4.4: Les bordures des nuages-0 Lorsque l on utilise l algorithme ICP pour la bordure gauche du nuage avant et la bordure central du nuage des cotés, nous obtenons une erreur comme dans la figure 4.7.(a). La cause c est qu il y a des points incohérent dans le nuage. Pour résoudre celà, nous avons utilisé l algorithme de cluster et nous avons enlever les parties superflus du nuage.(voir Figure 4.8) Les nouveaux résultats d alignement sont sur la Figure 4.7.(b). (a) (b) Figure 4.5: Les bordures des nuages-1 Le nuage avant est choisi comme le nuage initial global pour enregistrer d autres nuages. Tout d abord, le nuage gauche et droite sont enregistrés et sont fusionnés dans le nuage

36 22 global. Enfin, le dernier nuage est fusionné. Les nuages gauche et droite sont considérés comme le pont entre les nuages avant et arrière.(figure 4.10) (a) (b) Figure 4.6: Les bordures des nuages-2 (a) Essai d alignement avec la bordure gauche de (b) Alignement avec la bordure gauche de l avant et la bordure centrale des cotés avant le l avant et la bordure centrale du coté après le cluster cluster Figure 4.7: Alignement des nuages Iterative Closest Point La méthode ICP (Iterative Closest Point) a été proposée par (Besl et Mc Kay, 1992) et est probablement la méthode la plus fréquemment employée dans les logiciels réalisant une consolidation automatique entre deux modèles géométriques. Elle cherche à minimiser la

37 23 (a) (b) (c) (d) Figure 4.8: Enlever des points incohérent distance entre deux nuages, par itérations successives. La consolidation par ICP exige de définir un nuage de référence (fixe) par rapport auquel se déplaceront les autres nuages à consolider. Si les points homologues dans les deux nuages n existent pas, l algorithme tente de remplacer le point homologue par le point le plus proche, d où le nom de la méthode. Donnée: Deux vues 3D contenant respectivement m et n points 3D Résultat: Le mouvement optimal entre les deux vues PROCEDURE 1. Initialisation, 2. Prétraitement : construire le kd-tree de la deuxième vue, 3. Itération: Trouver les plus proches points satisfaisant la contrainte de distance Mettre à jour les appariements Calculer le mouvement entre les deux vues à partir des appariements retenus Appliquer le mouvement à tous les points de la première vue 4. Critère de convergence

38 24 Figure 4.9: Mauvaise alignement des nuages FIN PROCEDURE La figure précédente represente réalisation de la méthode ICP direct (sans faire étape préliminaire). Cette méthode donne de mauvais résultats parce que les nuages ont beaucoup de points. Cette méthode trouve beaucoup plus des points homologues, mais ce n est pas des vrais points homologues. Figure 4.10 montre le processus fusion les nuages de points. (a) contient deux nuages: vue de gauche et vue de face. (b) contient a et vue de droite. (c) contient tout Temps Le tableau ci-dessous montre le temps d execution de fonctions. Nous voyons bien que c est boundary_cl qui a le temps d exécution le plus long. Nous essayons de le réduire.

39 25 (a) (b) (c) Figure 4.10: La fusion de nuages de points Table 4.1: Temps d exécution des fonctions segmentation boundary_cl section_cl icp_cl 79 ms 2446 ms 4 ms 80 ms rotate_cl filter_cl complexité constante Cohérence A cause des bras non fini dans le nuage d un corp humain, nous devons faire le cluster après avoir pris une section(a,b dans la figure 4.11) Puis, nous pouvons faire des mesures grâce à l algorithme convex hull.(4.11(d)). Par Contre, comme les nuages ne sont pas alignés, des erreurs surviennent. Nous travaillons sur l optimisation de celà.