چکیده
این مقاله سیستم تشخیص فعالیت انسانی را مطرح می کند که به طور همزمان عمل نموده و ضمن آنکه از دوربین عمق و حس گر اینرسی بر اساس روش ترکیب حس گر توسعه یافته قبلی استفاده می کند. ویژگی های تصویر عمیق و موثر به لحاظ محاسباتی و ویژگی های سیگنال اینرسی در دو عامل نماینده طبقه بندی مشارکت آمیز و موثر به طور محاسباتی وارد می شود. سپس ترکیب سطح تصمیم گیری انجام می شود. سیستم همزمان مطرح شده با استفاده از داده های تشخیص فعالیت انسان چند حالتی موجود ارزیابی می شود که با در نظر گرفتن مجموعه جامعی از فعالیت های انسانی تنظیم می شود. میزان دسته بندی کلی سیستم همزمان مطرح شده نشان داده شده است که بالای 97% است که حداقل 9% بیشتر از زمانی است که هر وجه حسی به طور مجزا به کار می رود. نتایج آزمایشات همزمان و آفلاین نشان دهنده کارایی سیستم و میانبرهای همزمان آن می باشد.
1.مقدمه
تشخیص فعالیت انسان راه خود را به سوی محصولات تجاری یافته است و مزایای زیادی برای بسیاری از نرم افزارهای سطح مشترک رایانه-انسان دارد. نرم افزارهای نمونه شامل تثیر متقابل ژست دست، کمک زندگی هوشمند و بازی می باشد. حس گرهای مختلف برای انجام تشخیص فعالیت انسان به کار رفته اند. این حس گرها شامل دوربین های آر.جی.بی برای نمونه 3-1، دوربین های دقیق به طور ویژه کینکت از جمله 7-4 و حس گرهای اینرسی همانند 10-8 می باشد.
Abstract
This paper presents a human action recognition system that runs in real time and simultaneously uses a depth camera and an inertial sensor based on a previously developed sensor fusion method. Computationally efficient depth image features and inertial signals features are fed into two computationally efficient collaborative representative classifiers. A decision-level fusion is then performed. The developed real-time system is evaluated using a publicly available multimodal human action recognition data set by considering a comprehensive set of human actions. The overall classification rate of the developed real-time system is shown to be >97%, which is at least 9% higher than when each sensing modality is used individually. The results from both offline and real-time experimentations demonstrate the effectiveness of the system and its real-time throughputs.
I. INTRODUCTION
HUMAN action recognition is finding its way into commercial products and is of benefit to many humancomputer interface applications. Example applications include hand gesture interaction, smart assistive living, and gaming. Different sensors have been used to perform human action recognition. These sensors include conventional RGB cameras, e.g. [1]–[3], depth cameras, in particular Kinect, e.g. [4]–[7], and inertial sensors, e.g. [8]–[10].
چکیده
1. مقدمه
2. مرور کلی بر روش ترکیب حسگر
الف- حسگرها
ب- استخراج ویژگی
پ- عامل دسته بندی نمایش گروهی
3. تعدیل های انجام شده برای سیستم همزمان
الف- تعیین انتها و شروع فعالیت
ب- روش ترکیبی
4.نتایج تجربی و بحث
الف- تنظیمات پارامتر
ب- تحلیل آفلاین
پ- نتایج عملیات همزمان
5.نتیجه گیری
Abstract
I. INTRODUCTION
II. OVERVIEW OF SENSOR FUSION METHOD
A. Sensors
B. Feature Extraction
C. Collaborative Representation Classifier
III. MODIFICATIONS MADE FOR REAL-TIME SYSTEM
A. Detection of Action Start and End
B. Fusion Method
IV. EXPERIMENTAL RESULTS AND DISCUSSION
A. Parameter Setting
B. Offline Analysis
C. Real-Time Operation Results
V. CONCLUSION