کاربرد تکنیک SVM موازی مبتنی بر MapReduce در پالایش اسپم ها در مقیاس وسیع
چکیده
هرزنامه ها (اسپم ها) همچنان خسارت های زیادی را تحمیل می کنند. روش های مختلف از جمله تکنیک های مبتنی بر ماشین بردار پشتیبانی (SVM) برای طبقه بندی اسپم ها پیشنهاد داده شده است. با این حال، آموزش SVM یک فرآیند به شدت محاسباتی است. این مقاله یک الگوریتم SVM موازی را برای پالایش مقیاس پذیر اسپم ها ارائه می کند. از طریق توزیع، پردازش و بهبود زیرمجموعه های داده های آموزش در میان نودهای مختلف شرکت کنندع، روش SVM توزیع شده سبب کاهش قابل توجه زمان آموزش می شود. مفاهیم مبتنی بر هستی شناسی نیز برای به حداقل رساندن تاثیر افت دقت در هنگام توزیع داده های آموزش در بین طبقه بندی کننده های SVM به کار گرفته می شوند.
1. مقدمه
روش های مبتنی بر ماشین بردار پشتیبانی (SVM) براساس کاربردشان در طبقه بندی متن و یادگیری ماشین از محبوبیت مداومی برخوردار شده اند [1,2]. طبقه بندی در روش های مبتنی بر SVM بر اساس مفهوم ابر صفحه ها (ابر پهنه ها) کشف شده است [3]. ابر صفحه ها همانند تفکیک کننده های دسته در یک طبقه بندی متداول باینری مانند اسپم در زمینه پالایش اسپم عمل می کند. آموزش SVM یک فرآیند محاسباتی عظیم است. فرمول ها، حل کننده ها و معماری های مختلف SVM برای بهبود عملکرد SVM بررسی و پیشنهاد داده شده است [4,5] که شامل تکنیک های رایانش (محاسبات) موازی و توزیع شده است. تجزیه SVM تکنیک گسترده دیگر برای بهبود عملکرد آموزش SVM [6,7] است. روش ها تجزیه بر مبنای شناسایی تعداد کوچکی از متغیرهای بهینه سازی کار می کنند و مجموعه از مسائل با اندازه ثابت را برطرف می کنند. فعالیت گسترده و موثر دیگر تفکیک داده های آموزش به بخش های کوچک تر و استفاده از تعدادی از SVM ها برای پردازش بخش های منحصر به فرد داده است. این مساله به نوبه خود کل زمان آموزش را کاهش می دهد. سپس شکل های مختلف خلاصه کاری و جمع بندی برای پردازش مجموعه نهایی بردارهای پشتیبان عمومی انجام می شود [8]. شکل های مختلف توزیع که مبتنی بر روش استراتژی تفکیک داده است می تواند از مسائلی از جمله همگرایی و دقت رنج ببرد. چالش های مرتبط با نام گذاری بخش های تفکیک شده همانند تجمع خارج از مجموعه تمایل به تشدید مسائل موجود در یک زمینه SVM توزیع شده دارد. پذیرش یک محموعه داده آموزش که استراتژی را تفکیک می کند به طور متداول سبب تقویت داده های مربتط با عدم تعادل و ناپایداری توزیع داده می شود.
Abstract
Spam continues to inflict increased damage. Varying approaches including Support Vector Machine (SVM) based techniques have been proposed for spam classification. However, SVM training is a computationally intensive process. This paper presents a parallel SVM algorithm for scalable spam filtering. By distributing, processing and optimizing the subsets of the training data across multiple participating nodes, the distributed SVM reduces the training time significantly. Ontology based concepts are also employed to minimize the impact of accuracy degradation when distributing the training data amongst the SVM classifiers.
I. INTRODUCTION
Support Vector Machine (SVM) based approaches have persistently gained popularity in terms of their application for text classification and machine learning [1], [2]. Classification in SVM based approaches is founded on the notion of hyperplanes [3]. The hyperplanes act as class segregators in common binary classification, such as spam or ham in the context of spam filtering. SVM training is a computationally intensive process. Numerous SVM formulations, solvers and architectures for improving SVM performance have been explored and proposed [4], [5] including distributed and parallel computing techniques. SVM decomposition is another widespread technique for improving the performance in SVM training [6], [7]. Decomposition approaches work on the basis of identifying a small number of optimization variables and tackling a set of fixed size problems. Another widespread and effective practice is to split the training data into smaller fragments and use a number of SVM’s to process the individual data chunks. This in turn reduces overall training time. Various forms of summarizations and aggregations are then performed to process the final set of global support vectors [8]. Numerous forms of decomposition which are based on a data splitting strategy approach can suffer from issues including convergence and accuracy. Challenges related to chunk aliasing as well as outlier accumulation tend to intensify problems in a distributed SVM context. Adopting a training data set splitting strategy commonly amplifies issues related to data imbalance and data distribution instability.
چکیده
1. مقدمه
2. توزیع SVM با استفاده از MapReduce
3. هستی شناختی به منظور افزایش دقت
4. نتایج تجربی
5. نتیجه گیری ها و کار آتی
منابع
Abstract
I. INTRODUCTION
II. DISTRUBUTING SVM WITH MAPREDUCE
III. ONTOLOGY FOR ACCURACY AUGMENTATION
IV. EXPERIMENTAL RESULTS
V. CONCLUSIONS AND FUTURE WORK
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه