سیستم هوشمند بازیابی تصویر مبتنی بر محتوا بر اساس خصیصه رنگ و بافت

چکیده

در این مقاله، سه خصیصه تصویر برای بازیابی تصاویر پیشنهاد شد. به علاوه، یک تکنیک انتخاب خصیصه نه تنها برای انتخاب خصیصه های بهینه بلکه برای ماکزیمم کردن نرخ تشخیص و ساده سازی محاسبۀ بازیابی تصویر بکار گرفته شده است. خصیصه‌های اول و دوم تصویر بر اساس خصیصه رنگ و بافت هستند که به ترتیب ماتریس هم رخداد رنگ (CCM) و تفاوت بین پیکسل‌های الگوی اسکن (DBPSP) در این مقاله نامیده می-شوند. خصیصه سوم تصویر بر اساس توزیع رنگ است که هیستوگرام رنگ برای K-میانگین (CHKM)  نامیده می شود. CCM ماتریس الگوی هم رخداد سنتی است که احتمال وقوع یک رنگ پیکسل بین هر پیکسل و همسایۀ آن را در تصویر محاسبه می کند و این احتمال به عنوان خصوصیت تصویر در نظر گرفته می شود. بر اساس دنبالۀ موتیف‌ها از الگوهای اسکن، DBPSP اختلاف بین پیکسل‌ها را محاسبه و آن را به احتمال وقوع روی تمام تصویر تبدیل می کند. هر رنگ پیکسل در یک تصویر سپس با یک رنگ در سبد رنگ معمول که شبیه به رنگ آن است جایگزین می شود تا بتوان کل پیکسل‌های تصویر را در k-خوشه دسته بندی کرد که خصیصه CHKM نامیده می شود. تفاوت بین محتویات و خصوصیات تصویر نشان می دهد که خصیصه های متفاوتی در آن وجود دارد. بعضی از تصاویر خصیصه رنگ و بافتی قویتری دارند؛ درحالیکه دیگر تصاویر بیشتر به خصیصه های فاصله ای و رنگ حساس هستند. بنابراین این پژوهش CCM، DBPSP و CHKM را برای تسهیل بازیابی تصویر جمع می کند. برای افزایش نرخ تشخیص تصویر و ساده کردن محاسبۀ بازیابی تصویر، انتخاب پی در پی رو به جلو برای انتخاب خصیصه به کار رفت. علاوه بر آن بر اساس سیستم بازیابی تصویر، مجموعه ای از تحلیل ها و مقایسات در آزمایش ما انجام شد. سه پایگاه دادۀ تصویر با خصوصیات متفاوت برای انجام انتخاب خصیصه استفاده شد. خصیصه های بهینه از خصیصه های اولیه برای افزایش نرخ تشخیص استفاده شدند.

مقدمه

بسیاری از محققان معاصر وقت خود را صرف طراحی پایگاه دادۀ تصویر می کنند [1، 6]، چون بازیابی بر اساس شباهت در کاربردهایی مانند تصویربرداری پزشکی، اتوماسیون دفتری، کتابخانۀ دیجیتال، طراحی به کمک کامپیوتر ونشریات چند رسانه ای اهمیت دارد. سیستم‌های بازیابی تصویر قدیمی بر اساس خصیصه های دادۀ اولیه هستند. [1، 3] مانند اسم فایل، تیتر یادداشت، کلمۀ کلیدی و آیکون نمایه سازی. به هنگام به کارگیری در پایگاه دادۀ تصویر در مقیاس بزرگ، این خصیصه ها دردسرساز و زمانبر هستند و حتی به توصیف قابل قبول محتویات تصویر قادر نمی باشند. بنابر این، سیستمهای بازیابی تصویر بر اساس خصیصه در عرصۀ آکادمیک پیشنهاد شدند[6-18]. استفاده از یک ویژگی تنها برای توصیف خصیصه های تصویر کافی نیست. بر خلاف کاربردهای گستردۀ بافت [6، 8، 16]، رنگ [12-15]، روابط فاصله ای [13]و شکل[19]در بازیابی تصویر، نتایج اثر محدودی روی فرق گذاری دارند. به هنگام توصیف خصیصه های تصویر، روابط بین رنگ و بافت، ضروری هستند در این پژوهش رنگ و بافت به عنوان ویژگیهایی برای بازیابی تصویر بر اساس شباهت به کار رفته اند تا یک سیستم خلاقانه و موثر بازیابی تصویر به وجود آید (CTCHIRS). هوانگ و دای[6] یک سیستم بازیابی تصویر بر اساس بافت ارائه داده اند که تجزیه موجک [20] و بردار گرادیان [21] را ترکیب می کند. این سیستم یک توصیف کنندۀ خصیصه ناهنجار و یک توصیف کنندۀ خصیصه هنجار از خصیصه ضرایب موجک تصویر اولیه به هم مرتبط می کند. توصیف کنندۀ خصیصه ناهنجار به عنوان مرحلۀ اول جداسازی تصاویر نامناسب استفاده می شود، توصیف کنندۀ خصیصه هنجار بعد از آن برای یافتن تصاویر به درستی منطبق به کار می رود. سیستم بازیابی تصویر معرفی شده در جونوار و دیگران [18] بر اساس ماتریس هم رخداد موتیف ( MCM) است که تفاوت بین پیکسلها را به یک گرافیک اولیه تبدیل می کند و احتمال وقوع آن در ناحیۀ مجاور را به عنوان خصیصه تصویر محاسبه می نماید. برای به دست آوردن تفاوت رنگ بین پیکسلهای مجاور، ما یک روش بهتر مجتمع شده با ماتریس هم رخداد رنگ (CCM) و تفاوت بین پیکسلهای الگوهای اسکن (DBPSP) برای بهبود توصیف بافت پیشنهاد می کنیم. هیستوگرام رنگ [22] یکی از تکنیکهای معمول مورد استفاده در سیستم بازیابی تصویر است. ولی به هنگامی که مستقیماً برای توصیف خصیصه رنگ به کار می رود، خصیصه های بیشتری باید ضبط شوند. بنابراین، ما هیستوگرام رنگ را برای K-mean ( K- میانگین) (CHKM) پیشنهاد می کنیم تا به طور واضح خصیصه های رنگ را با تعداد کمتری خصیصه توصیف کنیم. انتظار می رود این روش به طور موثری زمان بازیابی را کاهش و کارایی بازیابی را افزایش دهد. CCM، DBPSP و CHKM می توانند به طور موثری خصوصیات مختلف یک تصویر را شرح دهند. برای افزایش کارایی بازیابی، CCM، DBPSP و CHKM با هم جمع شده اند تا سیستم بازیابی تصویر بر اساس توزیع بافت و خصیصه رنگ (سیستم CTCHIRS) ایجاد شود. جمع کردن چند خصیصه قطعاً کارایی بازیابی را کاهش می دهد. برای بیشترین نرخ تشخیص و فرایند ساده شدۀ بازیابی تصویر، ما تکنیک انتخاب خصیصه در سیستم بازیابی تصویر برای کاهش زمان محاسبه به کار می بریم. 

abstract

In this paper, three image features are proposed for image retrieval. In addition, a feature selection technique is also brought forward to select optimal features to not only maximize the detection rate but also simplify the computation of image retrieval. The first and second image features are based on color and texture features, respectively called color co-occurrence matrix (CCM) and difference between pixels of scan pattern (DBPSP) in this paper. The third image feature is based on color distribution, called color histogram for K-mean (CHKM). CCM is the conventional pattern co-occurrence matrix that calculates the probability of the occurrence of same pixel color between each pixel and its adjacent ones in each image, and this probability is considered as the attribute of the image. According to the sequence of motifs of scan patterns, DBPSP calculates the difference between pixels and converts it into the probability of occurrence on the entire image. Each pixel color in an image is then replaced by one color in the common color palette that is most similar to color so as to classify all pixels in image into k-cluster, called the CHKM feature. Difference in image properties and contents indicates that different features are contained. Some images have stronger color and texture features, while others are more sensitive to color and spatial features. Thus, this study integrates CCM, DBPSP, and CHKM to facilitate image retrieval. To enhance image detection rate and simplify computation of image retrieval, sequential forward selection is adopted for feature selection. Besides, based on the image retrieval system (CTCHIRS), a series of analyses and comparisons are performed in our experiment. Three image databases with different properties are used to carry out feature selection. Optimal features are selected from original features to enhance the detection rate.

1. Introduction

Many contemporary scholars have been very much devoted to the design of image databases [1–6], as similarity retrieval is important for applications such as medical imaging, office automation, digital library, computer aided design, and multimedia publications. Traditional image retrieval systems are based on the features of the original data [1,3], such as file name, note title, keyword, and indexing icon. When applied to large-scale image databases, these features become troublesome and time-consuming, and even unable to adequately describe image contents. Thus, many feature-based image retrieval systems have been proposed in the academic arena [6–18]. Using a single attribute to describe image features is not enough. Despite the extensive applications of textures [6,8,16], colors [12–15], spatial relations [13], and shapes [19] in image retrieval, the results have limited effects on discrimination. When describing image features, the relations between colors and textures are critical. Hence, in this study, colors and textures are employed as attributes in similarity retrieval to develop an innovative and effective image retrieval system (CTCHIRS). Huang and Dai [6] proposed a texture based image retrieval system which combines the wavelet decomposition [20] and gradient vector [21]. The system associates a coarse feature descriptor and a fine feature descriptor with each image. Both descriptors are derived from the wavelet coefficients of the original image. The coarse feature descriptor is used at the first stage to quickly screen out non-promising images; the fine feature descriptor is subsequently employed to find the truly matched images. The image retrieval system introduced in Jhanwar et al. [18] is based on motif co-occurrence matrix (MCM), which converts the difference between pixels into a basic graphic and computes the probability of its occurrence in the adjacent area as an image feature. To obtain color difference between adjacent pixels, we propose a better technique integrated with color co-occurrence matrix (CCM) and difference between the pixels of a scan pattern (DBPSP) to improve texture description. Color histogram [22] is one of the common techniques used in image retrieval systems. However, when directly used to describe color features, more features have to be recorded. Thus, we propose color histogram for K-mean (CHKM) to clearly describe color features with a smaller number of features. This method is expected to effectively shorten image retrieval time and enhance retrieval performance. CCM, DBPSP, and CHKM are able to effectively describe various properties of an image. To enhance retrieval performance, CCM, DBPSP, and CHKM are integrated to develop an image retrieval system based on texture distribution and color features (CTCHIRS system). The integration of multiple features may certainly reduce retrieval performance. For the highest detection rate and a simplified image retrieval process, we apply a feature selection technique (SFS) in the image retrieval system to shorten the computation time.

چکیده

1 مقدمه

2 خصیصه های پیشنهادی

2-1 ماتریس هم رخداد رنگ (CCM)

2-3 هیستوگرام رنگ برای k-mean (CHKM)

3 سیستم بازیابی تصویر

4 انتخاب خصیصه

5 آزمایشها

1-5 کارایی سیستم CTCHIRS روی مجموعه تصویر 1

2-5 کارایی سیستم CTCHIRS روی مجموعه تصویر 2

3-5 کارایی سیستم CTCHIRS روی مجموعه تصویر 3

4-5 کارایی انتخاب خصیصه

6 نتیجه گیری

abstract

1. Introduction

2. Proposed features

2.1. Color co-occurrence matrix (CCM)

2.2. Difference between pixels of scan pattern (DBPSP)

2.3. Color histogram for K-mean

3. Image retrieval system

4. Feature selection

5. Experiments

5.1. The performance of CTCHIRS system on image set 1

5.2. The performance of CTCHIRS system on image set 2

5.3. The performance of CTCHIRS system on image Set 3

5.4. The performance of feature selection

6. Conclusions