M-body AI

Dans le cadre du projet de recherche appliquée M-body.ai, nous combinons plusieurs technologies de capture de mouvements pour constituer un jeu de données complet et robuste qui va au-delà des mouvements corporels, en intégrant également les performances vocales et les expressions faciales. Ces données sont ensuite synchronisées, ce qui élargit les applications potentielles et augmente sa facilité d'utilisation. Voici quelques unes des technologies utilisées : - Mouvement du corps en entier : un système de capture de mouvement optique Plusieurs caméras synchronisées sont placées stratégiquement autour de la zone de capture de la cible. Chaque caméra capture des images 2D à partir de sa propre perspective, en émettant et en capturant la lumière infrarouge qui se reflète sur les marqueurs réfléchissants de faible masse placés sur la personne ou l'objet suivi. Le système calcule les positions en 2D à partir de ces images et compare les données qui se chevauchent provenant des différentes caméras. En appliquant les principes de la triangulation, le système détermine avec précision les positions 3D des marqueurs dans le volume de capture. Cette approche (parfois appelée « outside-in ») garantit que toute la technologie est contenue dans les caméras et l'équipement de traitement sur le réseau, laissant les sujets libres de tout équipement encombrant. Cette approche (parfois appelée « outside-in ») garantit que toute la technologie est contenue dans les caméras et l’équipement de traitement sur le réseau, libérant ainsi les sujets de tout équipement encombrant. - Main et poignet : Capteurs d'orientation intégrés et de flexion Dernière innovation en matière de capteurs de mouvements des doigts, des gants utilisent des capteurs d'orientation et de flexion pour suivre les mouvements des doigts ainsi que leur position absolue sur trois axes de rotation. Les données sont transmises en temps réel et combinées mouvements corporelles enregistrées par le système de capture corporelle intégrale. - Capture de l’expression faciale : RGB avec profondeur (RGB-D) Pour la capture des expressions faciales, nous utilisons des téléphones cellulaires équipés de capteurs de caméra RGB-D intégrés. Ces caméras capturent les couleurs classiques Rouge, Vert et Bleu, mais également des données de profondeur. Une image RGB-D fournit des informations de profondeur par pixel, alignées avec les pixels correspondants de l’image. - Audio et Vidéo Plusieurs caméras témoins sont synchronisées et utilisées pour illustrer des actions ou des problèmes dans une scène qui pourraient ne pas être nécessairement visibles via la caméra principale. En offrant des perspectives alternatives, elles soutiennent la compréhension de situations techniques et sont particulièrement utiles pour la rotoscopie des acteurs. L'audio est capturé à l'aide d'un microphone directionnel ("shotgun mic") et d'un micro-cravate sur des canaux distincts, deux par sujet.   Photos : SIRT Centre

The M-body.ai team wishes you a happy Halloween! L'équipe de M-body.ai vous souhaite un très joyeux Hallowen !

Our website is being migrated to a new server, so it's inaccessible for a few hours. It happens to the best of us! In the meantime, if you need to reach us, feel free to use our e-mail address: mbody@sheridancollege.ca

In the M-body.ai applied research project, we combine multiple motion capture technologies to build a comprehensive and robust dataset that goes beyond body movements, encompassing vocal performance and facial expressions. This data is then synchronized, expanding potential applications, and increasing ease of use. Here are some the technologies being used for this: Full body Motion: An optical motion capture system - Multiple synchronized cameras are strategically placed around the target capture area. Each camera captures 2D images from its unique perspective, firing and capturing infra-red light which reflects off of the low-mass reflective markers which are placed on the person or object being tracked. The system calculates the 2D positions from these images and compares the overlapping data from different cameras. By applying the principles of triangulation, the system accurately determines the 3D positions of the markers within the capture volume. This approach (sometimes known as outside-in) ensures that all the technology is contained within the cameras, and processing equipment on the network, leaving the subjects free of any cumbersome equipment. Hand and Wrist: On-board orientation and bend sensors - The latest in fingertip tracking sensors, these wearable gloves track finger movement using orientation sensors and bend sensors and track a fingers' absolute position across 3 rotational axes. The data is then wirelessly streamed the system in real time and married to the full body skeletal data that’s being recorded by the full body capture system. Facial Capture : RGB plus depth (RGB-D) - For facial capture, we’re using cellphones with integrated RGB-D camera sensors. These cameras capture typical Red, Green, Blue, but additionally capture Depth data. An RGB-D image provides per-pixel depth information that is aligned with the corresponding image pixels. Audio and Video - Multiple synchronized witness cameras for illustrating actions or issues within a shot that might not be immediately visible through the main camera. By providing alternative perspectives, they help explain the behaviour of technical aspects and are especially beneficial for rotomating actors. Audio is captured with shotgun mic and a lavalier (lav) on discrete channels, 2 per each subject.   Full body Motion: Optical motion capture system Hand and Wrist: Onboard bend and orientation sensors Facial Capture : RGB plus depth (RGB-D) Camera Audio and Video: multi-stream, multi-track A/V recording Pictures from SIRT Centre

🚀 Des nouvelles excitantes ! 🚀 Nous sommes ravis d'annoncer la sortie prochaine des premières versions de nos outils logiciels et de notre jeu de données M-body.ai ! Vous êtes responsable de la mise en œuvre de nouveaux pipelines dans un studio d'animation ? Ou peut-être un chercheur qui explore des ensembles de données sur le mouvement humain ? Nous serions ravis d'entrer en contact avec vous ! Nous vous offrirons un accès anticipé aux premiers résultats de M-body.ai et nous sommes impatients de connaître votre avis. Vos idées nous aideront à façonner M-body en fonction des besoins de ses utilisateurs. 👉 Contactez-nous dès aujourd'hui ! https://lnkd.in/eekMnntm Qu'est-ce que M-body.ai ? M-body.ai est un projet de recherche appliquée issu de la collaboration de quatre centres de recherche le Screen Industries Research and Training Centre (SIRT) du Sheridan College, qui assure le leadership, le Mixed Reality Capture Studio (MRC) et l'AI Hub du Durham College, le Centre de développement et de recherche en intelligence numérique (CDRIN) du Cégep de Matane ainsi que le Laboratoire en innovation ouverte (LLio) du Cégep de Rivière-du-Loup. M-body.ai est financé par le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG). Notre objectif est de créer : Des ensembles de données open-source, multimodaux et multi-agents sur les mouvements lors des interactions Des outils d'animation générative pour des animations humanoïdes sous licence MIT Des systèmes logiciels pour l'intégration de modèles de performance de personnages génératifs sous licence MIT

🚀 Exciting News! 🚀 We're thrilled to announce the upcoming release of the first versions of our M-body software tools and dataset! Are you responsible for implementing new pipelines at an animation studio? Or perhaps a researcher exploring human motion datasets? We’d love to connect with you! We’re offering early access to preview the initial results of M-body, and we’re eager to hear your feedback. Your insights will help shape M-body around the needs of its users. 👉 Interested? Reach out to us today!  https://lnkd.in/efpib_aP What’s M-body? M-body is an applied research project powered by a collaboration of four research centers led by Sheridan College’s Screen Industries Research and Training Centre (SIRT), including Durham College’s Mixed Reality Capture Studio (MRC) and AI Hub, Centre de développement et de recherche en intelligence numérique (CDRIN) of Cégep de Matane, and Le Laboratoire en innovation ouverte (LLio) of Cégep de Rivière-du-Loup. M-body is funded by the National Sciences and Engineering Research Council of Canada (NSERC). Our aim is to create: Open-source, multi-modal, multi-agent interaction datasets Generative animation tools for humanoid animations Software systems for integrating generative character performance models

Vous avez manqué le webinaire introduisant le projet M-body.ai en juillet dernier ? Ne vous inquiétez pas ! Un enregistrement avec des sous-titres en français est maintenant disponible en ligne ! 🎥   Le 23 juillet, notre groupe d'experts a présenté M-body.ai et a approfondi certains aspects fascinants du projet, notamment : 🎯 Les objectifs du projet, les livrables et l'équipe 🏃♂️ Nos ensembles de données sur les mouvements humains : de l'animation du squelette à la capture faciale et au-delà 🛠️ Notre méthodologie de capture et les défis actuels de cette recherche en ML 🧠 Nos outils logiciels pour soutenir l'animation générative 📜 Les licences en libre qui seront utilisées et les façons de s’impliquer dans le projet Que vous soyez un professionnel des studios de production, un chercheur, un développeur ou un animateur, ce webinaire est rempli d'informations que vous ne voudrez pas manquer !   🎬 Regardez l'enregistrement maintenant : https://lnkd.in/ecnubCgu

🚀 Advancing Animation with M-body.ai's Dataset🚀 We are proud to announce the publication of our latest article on the M-body.ai website. It outlines the elements we've focused on to create the dataset. The preview dataset will go live in the coming weeks! Would you like to be among the first to have access to the preview dataset and give us your feedback? Fill in this form: https://lnkd.in/efpib_aP In the article, we explore key innovations, including: - Character Architecture - Motion Capture - Error Mitigation Here’s what it means for you: - An Open-Source Conversational Dataset: A commercially usable, multi-modal dataset with synchronized data for generative AI research. - Production Quality System: Retains detailed skeleton hierarchy and prioritizes consistency and precision in character architecture. - Character Architecture: Advanced capture and animation workflows, including an Inverse Kinematic retargeting system to reduce errors. - Realistic Proportions: Maintains accurate actor proportions to enhance the precision of human movement data. - Detailed Joint Distribution: Ensures subtle intricacies of joint and limb movements are accurately represented. - Error Mitigation: Automation and advanced filtering to reduce noise and inaccuracies, ensuring natural joint rotations and realistic animations. In particular, regarding motion capture: Multi-Modal Motion Capture: High-resolution capture of full-body movements, facial expressions, hand gestures, and high-fidelity audio. Why It Matters: Our tools and datasets enable animators, researchers, and enthusiasts to elevate animation quality. By integrating state-of-the-art technology with foundational principles, M-body.ai's dataset opens vast possibilities for future storytelling. Check out the full article on our website to learn more about these objectives and where they come from: https://lnkd.in/eNaMF6Bi 🔗 Let us know what you think! #GenerativeAnimation #OpenSource #AnimationTechnology #ResearchCollaboration #TechDevelopment

Missed our M-body.ai webinar? No worries! The recording is now available online! 🎥 On July 23, our expert panel introduced M-body.ai and delved into some fascinating aspects of the project, including: 🎯 Project goals, deliverables, and team 🏃♂️ Our human motion datasets: from skeletal body animation to facial capture and beyond 🛠️ Capture methodology and ML research challenges 🧠 Software tools to support generative animation 📜 Open-source licensing and how to get involved Whether you’re a production studio pro, researcher, developer, or animator, this webinar is packed with insights you won’t want to miss! 🎬 Watch the recording now: https://lnkd.in/eFC5aSuS

Open Source Data and Tools for Generative Animation - Introducing M-body.ai We are thrilled to announce that the recording and presentation from our recent webinar on generative animation is now available! 📽️✨ Event Highlights: During the webinar, our panel of experts covered: - Project goals, deliverables, and team - Human motion dataset: skeletal body animation, spoken audio, facial capture, and more - Capture methodology - ML research challenges and sample models - Software tools: development, integration, and user design - Licenses - How and why to engage with us M-body.ai What We’re Creating: - Open-source, multi-modal, multi-agent interaction datasets - Generative animation tools for humanoid animations - Software systems for integrating generative character performance models Why Watch the Recording? Whether you are in a production studio, a researcher, developer, animator, or enthusiast, this webinar offers valuable insights into integrating Generative AI into your workflows. Get Involved: Enhance your understanding of generative animation and M-body.ai by accessing the full recording and presentation: https://lnkd.in/eFC5aSuS We'd love to hear your feedback on the webinar! Fill out our follow-up form and let us know your thoughts: https://lnkd.in/eTFYzP_S We encourage you to provide feedback, be the first to test, or even co-develop with us. Fill out the form to get involved. A version with French subtitles will be available soon. Stay tuned! #Webinar #GenerativeAnimation #MbodyAI #OpenSource #TechInnovation #AnimationTools #Research #AI #Collaboration