من أجل التكيف مع البيئة الحضرية المفتوحة ، تحتاج الأجسام الذكية إلى التقاط حركات الجسم للأشخاص المحيطين بهيكل المشهد في الوقت الفعلي. يعني الإدراك التقليدي استنادًا إلى أجهزة الاستشعار والكاميرات بالقصور الذاتي ، والتي تعاني من مشاكل في انجراف البيانات الطويلة وحساسية التغيرات الديناميكية للضوء والبيئة ، على التوالي ، من تلبية الطلب على حركة جسم الإنسان والتقاط المشهد في بيئات معقدة في التطبيق مجالات القيادة الذكية ، والروبوتات الخدمات ، والتدريب الرياضي.
منذ عام 2022 ، كان فريق البروفيسور تشينغ وانغ والأستاذ تشنجلو ون أول من يقترح تقنية ليدار للتقاط الحركة البشرية في الساحة الدولية (Lidarcap ، CVPR 2022 ؛ HSC4D ، CVPR 2022 ؛ Sloper4D ، CVPR 2023). في هذا المنشور ، HISC4D ، يخترق الفريق طريقة لالتقاط حركات تفاعل متنوعة من شخصين ومشاهد ثلاثية الأبعاد في عرض الشخص الأول في مشاهد مفتوحة وخارجية على نطاق واسع. تقوم هذه الطريقة ببناء إطار تحسين المفصل متعدد المراحل عن طريق دمج التوجيهات بالقصور الذاتي وبيانات LIDAR ، والذي يحل بشكل فعال مشكلة الانجراف الناتجة عن التوجيه بالقصور الذاتي ويحسن بشكل كبير من دقة إعادة البناء في المشهد ويمتد نطاق الحركة المكانية والتقاط الإنسان. في الوقت نفسه ، يتم إصدار أول مجموعة بيانات تفاعل متعددة الوسائط من شخصين ، تغطي أنواعًا مختلفة من المشهد والحركات البشرية المتنوعة ، مما يوفر موارد بيانات التدريب لمجالات البحث ذات الصلة. في نفس الوقت ، الذي يفتح طريقة جديدة للتفكير للذكاء المتجسد للذهاب إلى الهواء الطلق الواسع والاندماج في الحشد.
