یک ساختمان جدید ذخیره سازی کلان داده ها با موتور جستجوی حقیقی
چکیده
سیستم ذخیره سازی داده ها نقش اصلی را در عملکرد و کاهش هزینه مربوط به داده کاوی یا ITS ایفا می کنند. با توجه به این که قدرت محاسبه سرورهای جدید افزایش یافته است پس رابط های ذخیره سازی که سرعت پایینی دارند و ورود داده ها و دسترسی به داده ها را از طریق سیستم های ذخیره سازی فیزیکی، به دلیل سرعت پایین خود محدود کرده اند، به نوعی مشکل ساز به نظر می رسند. این مقاله، یک ساختمان جدید ذخیره سازی کلان داده ها را برای بهینه سازی کارایی علم داده کاوی یا علم نظارت جمعی، به وسیله یکپارچه سازی موتور جستجوهای توزیع شده یا جاسازی شده در درون هریک از درایوهای ذخیره سازی معرفی می کند. با یکپارچه سازی این موتور جستجوی اصلی (iSearch) با تراشه اصلی سیستم، تعدادی از کارهای لازم برای جستجوی الگوها و کلیدواژه ها در درون درایو صورت گرفته و به این ترتیب منابع زیادی را برای استفاده کاربر آزاد می کند و درنهایت از سرور استفاده کمتری می شود. در این فرآیند، تنها آن دسته از درایوهایی که الگو یا کلیدواژه موردنظر در آن ها یافت شده است، به وسیله هاست (میزبان) های سطح بالاتری مورد تجزیه و تحلیل قرار می گیرند. نه تنها iSearch میزان استفاده از سرور را کم کرده تا سرور قدرت خود را صرف وظایف پیشرفته تری کند، بلکه به صرفه جویی در پهنای باند، در استفاده از سیستم ذخیره سازی کلان داده ها نیز کمک می کند.
1. مقدمه
یک آرایه دیسک برای به کار بردن در سرورهای کامپیوتر یا پایگاه داده ها مورد استفاده قرار می گیرد. روند روبه رشد کاربرد ابری و وب سایت ها، نیاز به استفاده از سیستم های ذخیره سازی کلان را حتی بیشتر از گذشته کرده است. سیستم هوشمند حمل و نقل (ITS) یکی از بهترین سیستم های کاربردی برای نظارت است و در این بازار داغ فناوری، به سرعت گسترش یافته است. پایگاه های داده امروزی با رشد نمایی و زیادی پیشروی می کنند و سیستم های ذخیره سازی آینده، باید بتوانند به صورت نمایی رشد کنند تا خود را با سیستم های قبلی وفق دهند. در همین حین، محاسبه های ابری به دنبال کسب قابلیت های پردازش بیشتر و پیشرفته تری است. اطلاعات باکیفیت معمولاً با ایجاد ابداع هایی در الگوها و روندهای موجود، به وسیله مواردی مانند یادگیری الگوهای آماری، به وقوع می پیوندد. ITS یا نظارت جمعی هردو سعی دارند به جای پردازش اطلاعات متنی، فایلی یا سند، پردازش فایل های حجیم و سنگین ویدئویی را انجام دهند. برای مثال، فناوری تشخیص چهره سعی دارد در بین هزاران نفر از شهروندانی که در یک ایستگاه قطار یا فرودگاه قدم می زنند، با داشتن مجوز از مقامات قضایی، چهره یک مجرم تحت تعقیب را از بین همه افراد شناسایی کند.
5. نتیجه گیری
یک تراشه واقعی SSD از جنس سیلیکون طراحی شد و در آن از موتورهای iSearch به صورت تعبیه شده استفاده شد و با استفاده از این تراشه، یک آرایه دیسک برای سیستم ذخیره سازی کلان داده ساخته شد. این موتورهای جستجو در هر یک از واحدهای SSD توزیع شده اند. یک سرور می تواند وظایف مربوط به جستجوی اولیه را به این موتورهای جستجو بسپارد و بدون انتقال این داده ها به یک سرور، این موتورها به جستجوی موازی در درون هریک از درایوها وادار کند. فعالیت مربوط به جستجوهای اولیه، توسط موتورها iSearch انجام می شود، و به سرور کمک می کند که جستجوی ثانویه را به صورت دقیق تری انجام دهد و سریعتر عمل کند. بنابراین، موتورهای iSearch که در درون هریک از درایوهای ذخیره سازی تعبیه شده اند می تواند داده کاوی یا تجزیه و تحلیل داده ها را بسیار سریعتر در روش سخت افزاری انجام دهند. این کار تحقیقاتی هنوز در مراحل ابتدایی خودش می باشد. گام بعدی ترکیب این روش با یک پایگاه داده و اندیس-های بهینه آن یا سیستم های فایل، که ثابت شده است در روش نرم افزاری به خوبی عمل می کند، می باشد. هدف نهایی این کار این است که ترکیب بهینه ای از روش های نرم افزاری و سخت افزاری برای داده کاوی روی کلان داده ها را پیدا کنیم.
Abstract
The data storage system is central in determining the performance and cost in data mining or ITS. As the computing power of servers has increased so have the problems caused by the bottlenecks from slower storage protocol interfaces, which restrict data throughput and the accessing raw data from the physical storage systems. This paper presented new big data storage architecture to optimize the efficiency of data mining or mass surveillance by integrating a distributed and embedded searching engine inside each storage drive. By integrating the intrinsic search engine (iSearch) into the core controller chip some of the work of searching for patterns and keywords takes place inside the drive freeing up resources of a higher level host and ultimately the server. Only those drives, in which the expected pattern or keywords were detected, are analyzed by the higher level host. Not only does iSearch free up the server for other high level computing tasks it also helps preserve as the bandwidth of the big data storage interface.
1. Introduction
A disk array is used for computer servers or data centers. Increasingly cloud based applications and websites are placing ever greater demands on big storage systems. Intelligent-Transportation System (ITS) is one of the best applications for surveillance and is widely deployed in this fast growing vertical market [1][2]. Today’s data bases are growing at exponential rates and tomorrows data storage systems will need to grow exponential to accommodate them. At the same time, cloud computing is seeking higher data processing abilities. High-quality information is typically derived through the devising of patterns and trends through means such as statistical pattern learning [3][4]. ITS or mass surveillance is trying to process huge files composed of video based information rather than that of text, file or document. For example, facer recognition technology is trying to detect and recognize a criminal wanted by the law enforcement among the thousands of people who are walking through a railway station or airport[5-9].
5. Conclusion
A real silicon SSD controller chip was designed with embedded iSearch engines and applied to build a disk array for big data storage system. The search engines were distributed in each SSD unit. A server could issue primary search tasks to these engines and put them into parallel searching inside each drive without transferring data to a server. The preliminary search actions, finished by iSearch engines, helped a server to do the secondary searching more accurately and much less data accessing to the database. Therefore, iSearch engines built in each storage drive can make the data mining or data analysis faster in hardware method. This research work is still in its early stages. The next step is to combine with a real database and its optimized indexes or file systems, which is proven to work well as a software method. The ultimate objective is to find the optimal combination of software and hardware searching methods for the mining of big data.
(جهت بزرگ نمایی روی عکس کلیک نمایید)
چکیده
1. مقدمه
2. سیستم ذخیره سازی با موتورهای جستجوی سخت افزاری
3. طراحی یک آرایه دیسک ارزیابی واقعی
4. نتایج
5. نتیجه گیری
Abstract
1. Introduction
2. STORAGE SYSTEM WITH HARDWARE SEARCH ENGINES
3. DESIGN A REAL EVALUATION DISK ARRAY
4. RESULT
5. Conclusion
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه