شناسایی قوی احساسات از گفتار
چکیده
اکنون ، اهمیت رایانش احساسی برای تضمین تعامل بهتر و موثرتر انسان – ماشین بسیار افزایش یافته است. به دلیل این که سیگنال های وابسته به دهان و حنجره و سیگنال های گفتاری، نشان دهنده مشخصه های ماهیت احساسی گویشور به علاوه ی اطلاعات زبانی می باشد، احساسات گویشور نیز باید شناسایی شود تا پاسخ صحیحی توسط سیستم ارائه شود. این مقاله ، تاکیدش بر روی کارایی و تاثیر انتخاب ویژگی های انرژی با گذر دادن کلام از طریق فیلتر های نوای گاما می باشد که در پهنای باند مستطیلی معادل (ERB) ، MEL و مقیاس BARK قرار گرفته اند. تکنیک های مدل سازی مختلفی برای توسعه ی سیستم قوی شناسایی تنش/ احساسات گویشور مستقل از حضور چندین گویشور ارائه شده است. به دلیل این که مجموعه داده ی EMO-DB Berlin و مجموعه داده ی صوتی – تصویری احساسی SAVEE که در این کار مورد استفاده قرار گرفته اند تنها شامل مجموعه ای محدود از گفتمان های گفتاری هستند که توسط 10/4 عامل / گویشور در حالات احساسی مختلف ادا شده است، بهبود عملکرد سیستم های شناسایی تنش / احساسات کار دشواری می باشد. شناسایی احساسات گویشور به صورت مستقل با استخراج ویژگی های نوای گاما و ویژگی های کپسترال ، از طریق عبور دادن گفتار الحاق شده از فیلتر های نوای گاما در ERB ، MEL و مقیاس BARK که برای تمرین در نظر گرفته شده است ، انجام می شود. سپس، مدل های دسته بندی فازی / VQ و مدل های مارکوف پنهان با تراکم پیوسته برای تمام احساسات ایجاد می شود و ارزیابی آن نیز تنها با استفاده از گفتار گویشور مستقل از گویش های در نظر گرفته شده برای تمرین، انجام می شود. ویژگی های پیشنهاد شده برای گفتار تست ثبت شده و سپس بر روی مدل های VQ/Fuzzy/MHMM/SVM اعمال می شوند و سپس تست این روند با استفاده از معیار های احتمال لگاریتمی بیشینه / معیار حداقل فاصله ارزیابی می شود. ویژگی های کپسترال/ انرژی نوای گاما و تکنیک های مدل سازی ارائه شده، می توانند شواهد اضافی ارائه کنند تا عملکرد سیستم ارائه شده را ارزیابی کنیم. این الگوریتم 96% ، 79% و 95.3% را به عنوان بازیابی صحت وزن دار برای سیستم شناسایی تنش نسبت به طبقه بندی انجام شده در گروه های خاص احساسی با مدل های VQ/Fuzzy/MHMM/SVM برای ویژگی های انرژی GFT با فیلتر های گاما قرار گرفته به ترتیب بر روی مقیاس های ERB ، MEL و BARK ارائه می کند که برای سیستمی به دست آمده که با دیتابیس EMO-DB ارزیابی شده است. صحت بازیابی وزن دار نیز برای سیستم شناسایی تنش نسبت به طبقه بندی انجام شده در گروه های خاص احساسی با مدل های VQ/Fuzzy/MHMM/SVM برای ویژگی های انرژی GFT با فیلتر های گاما قرار گرفته به ترتیب بر روی مقیاس های ERB ، MEL و BARK د که برای سیستمی با دیتابیس SAVEE ارزیابی شده است ، به صورت 91% ، 93% و 94% می باشد. ویژگی های کپسترال نوای گاما ، صحت کلی 92% ، 90% و 92% را برای فیلتر های قرار گرفته در مقیاس ERB ، MEL و BARK را برای مجموعه داده ی Berlin EMO-BD ایجاد می کند. طبقه بندی ترکیب سطح تصمیم گیری مبتنی بر ویژگی های انرژی GTF و تکنیک های مدل سازی می تواند صحت کلی 99.8% را برای مجموعه داده های EO-DB و برای مجموعه داده ی SAVEE صحت 100% را ایجاد کند.
Abstract
Affective computing is gaining paramount importance in ensuring the better and effective human–machine interaction. As glottal and speech signals depict the characteristics of the emotional nature of the speaker in addition to the linguistic information, speaker’s emotions are needed to be recognised to give meaningful response by the system. This paper emphasises the effectiveness and efficiency in selecting the energy features by passing the speech through the Gamma tone filters spaced in Equivalent rectangular bandwidth (ERB), MEL and BARK scale. Various modelling techniques are used to develop the robust multi-speaker independent speaker’s emotion/stress recognition system. Since EMO-DB Berlin database and SAVEE emotional audio-visual database used in this work contain the only limited set of speech utterances uttered by 10/4 actors/ speakers in different emotions, it has become challenging to improve the performance of the stress/emotion recognition system. Speaker independent emotion recognition is done by extracting the Gamma tone energy features and cepstral features by passing the concatenated speech considered for training through the Gamma tone filters spaced in ERB, MEL and BARK scales. Subsequently, VQ/Fuzzy clustering models and continuous density hidden Markov models are created for all emotions and evaluation is done with the utterances of a speaker independent of speeches considered for training. The proposed features for test utterances are captured and applied to the VQ/Fuzzy/MHMM/SVM models and testing is performed by using minimum distance criterion/maximum log-likelihood criterion. The proposed Gamma tone energy/cepstral features and modelling techniques provide complementary evidence in assessing the performance of the system. This algorithm offers 96%, 79%, and 95.3% as weighted accuracy recall for the stress recognition system with respect to the classification done on emotion-specific group VQ/Fuzzy/MHMM/SVM models for GTF energy features with Gamma tone filters spaced in ERB, MEL and BARK scale respectively for the system evaluated for the EMO-DB database. Weighted accuracy recall is found to be 91%, 93% and 94% for the classification done on emotion-specific group models for GTF energy features with Gamma tone filters spaced in ERB, MEL and BARK scale respectively for the evaluation done on the utterances chosen from the SAVEE database. Gamma tone Cepstral features provide the overall accuracy of 92%, 90% and 92% for filters spaced in ERB, MEL and BARK scale for Berlin EMO-DB. Decision level fusion classification based on GTF energy features and modelling techniques provides the overall accuracy as 99.8% for EO-DB database and 100% for SAVEE database.
چکیده
1. مقدمه
2. استخراج ویژگی
2.1 بانک های فیلتر نوای گاما
3. شناسایی احساسات مبتنی بر ویژگی ها و تکنیک های مدل سازی
3.1 تحلیل آزمایشی مبتنی بر تکنیک های VQ/FCM/MHMM/SVM
3.2 ارزیابی آزمایشی : نتایج و مباحث
4. جمع بندی
Abstract
1 Introduction
2 Feature extraction
2.1 Gamma tone filter banks
3 Emotion recognition based on features and modeling techniques
3.1 Experimental analysis based on VQ/FCM/ MHMM/SVM technique VQ based clustering algorithm
3.2 Experimental evaluation: results and discussion
4 Conclusions
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه