دانلود رایگان مقاله تقسیم بندی تصویر بر مبنای مدل های فضایی رنگی مختلف

     این مقاله یک مطالعه مقایسه ای با استفاده از فضاهای مختلف رنگی برای ارزیابی عملکرد تقسیم بندی تصاویر رنگی با استفاده از تکنیک GrabCut اتوماتیک ارائه می دهد. اتوماسیون روش GrabCut به عنوان یک اصلاح نیمه اتوماتیک اصلی برای از بین بردن تعامل کاربر پیشنهاد شده است. GrabCut خودکار به صورت غیر نظارت شده از تکنیک خوشه بندي درختی و بومان برای مرحله قالب بندی (فرمت). GrabCut خودکار که با فضای رنگی ???، ???، ???، ??? و  YUVاعمال می شود، استفاده می کند. مطالعه تطبیقی و نتایج تجربی با استفاده از تصاویر رنگی مختلف نشان می دهد که فضای رنگی ??? بهترین نمایش فضای رنگی است که برای مجموعه ای از تصاویر استفاده شده است.

1-معرفی

     فرآیند تقسیم یک تصویر دیجیتال به چندین بخش ها به عنوان تقسیم بندی تصویر تعریف می شود. تقسیم بندی هدف آن تقسیم تصویر به مناطقی است که می توانند بیشتر نمایانگر باشد و تجزیه و تحلیل آن آسان تر است. چنین مناطقی ممکن است با سطوح فردی، اشیاء، یا قسمت های طبیعی اشیاء مطابقت داشته باشد. به طور معمول تقسیم بندی تصویر فرایندی است که برای تعیین محل اشیاء و مرزها در تصاویر استفاده می شود (به عنوان مثال، خطوط یا منحنی ها). علاوه بر این، می توان آن را به عنوان فرآیند برچسب زدن هر پیکسل در یک تصویر تعریف کرد، که در آن تمام پیکسل هایی که دارای برچسب مشابه هستند برخی از ویژگی های بصری را به اشتراک می گذارند. معمولا تقسیم بندی برای محاسبه بهترین تقسیم بندی از اطلاعات محلی در تصویر دیجیتال استفاده می کند، مانند اطلاعات رنگ که برای ایجاد هیستوگرام یا اطلاعات نشان دهنده لبه ها، مرزها، یا اطلاعات بافت استفاده می شود.

     تقسیم تصویر رنگی که بر اساس ویژگی رنگ پیکسل های تصویر است فرض می کند که رنگ های همگن درتصویر مربوط به خوشه های جداگانه است و از این رو به معنی اشیاء در آن تصویر است به عبارت دیگر، هر خوشه ای یک کلاس از پیکسل ها را تعریف می کند که خصوصیات مشابه رنگ را به اشتراک می گذارند.همانطور که نتایج تقسیم بندی به فضای رنگ مورد استفاده بستگی دارد فضای رنگ تنهایی وجود ندارد که بتواند نتایج قابل قبول را برای انواع تصاویر فراهم کند. به همین دلیل، بسیاری از نویسندگان سعی کردند فضای رنگی را مشخص کنند که مشکل تقسیم تصویر رنگی خاص آنها را انطباق خواهد داد. در این کار، تقسیم بندی تصاویر رنگی با فضاهای رنگی کلاسیک مختلف، ???، ???، ???، ???، و ??? آزمایش شده است که انتخاب بهترین فضای رنگی برای انواع تصاویر در نظر گرفته شده است. 

     روند تقسیم بندی بر اساس GrabCut تکنیک تقسیم بندی است که با اندیشه صحیح به عنوان یکی از تکنیک های وضعیت هنری قدرتمند در مورد مشکل تقسیم بندی تصویر رنگی مطرح شده است. طرح به حداقل رساندن انرژی تکراری  GrabCut بر اساس بهینه سازی قدرتمند روش برش گراف است که اجازه می دهد تقسیم بهینه جهانی گسترش پیدا کند. علاوه بر این، نمودار برش می تواند به راحتی مشکل تصاویر N-D را توسعه دهد. علاوه بر این، کاهش هزینه عملکرد انرژی فرایند برش نموداراجازه می دهد تا آن را از نظر ویژگی های تصویری مختلف مانند رنگ، منطقه، مرز، یا هر گونه مخلوط از ویژگی های تصویری تعریف کند. این انعطاف پذیری پتانسیل وسیعی برای استفاده از GrabCut در برنامه های مختلف فراهم می کند. از سوی دیگر، GrabCut به عنوان یک تکنیک تقسیم بندی دولبه محسوب می شود، که در آن تصاویر به دو منطقه پس زمینه و پیش زمینه فقط می توانند تقسیم شوند. مداخله کاربر اولیه برای مشخص کردن یک شی مورد نظر برای جدا شدن از تصویر، با توجه به همه پیکسلهای تصویر باقی مانده به عنوان یک منطقه پس زمینه به درستی مورد نیاز است. اینGrabCut  را به عنوان روش تقسیم بندی نیمه اتوماتیک طبقه بندی می کند و کیفیت اولیه را تغییر می دهد و در نتیجه عملکرد تقسیم بندی، حساس به انتخاب کاربر می شود. به عبارت دیگر، مقداردهی اولیه GrabCut ضعیف ممکن است منجر به دقت تقسیم بندی نهایی بد شود که ممکن است به تعاملات کاربر اضافی با این نتایج تقسیم بندی برای تنظیم خوب نیاز داشته باشد. 

     در این کار GrabCut اصلاح شده به صورت تکنیک تقسیم بندی اتوماتیک ارائه می شود ، که می تواند تصویر را به اشیاء طبیعی بدون نیاز به مداخله کاربر اولیه جدا کند. اتوماسیون GrabCut با استفاده از خوشه بندی درختی و بومان به عنوان خوشه بندی غیر نظارت شده اعمال می شود. انتخاب خوشه بندی درختی و بومان بر اساس نتایج مقایسه تجربی در این کار انجام شد. این مقاله از استفاده برخی از معیارهای ارزیابی قدرت تفکیک کننده از GrabCut اتوماتیک با فضاهای رنگی مختلف بهره برداری شده است.ادامه مقاله به شرح زیر تدوین شده است. بخش 2 یک پس زمینه پایه ای روی تقسیم بندی بر پایه مدل های فضایی رنگی ، تقسیم بندی تصویر با استفاده از GrabCut و تکنیک های خوشه بندی بدون نظارت فراهم شده است. بخش 3 مدلهای  فضای رنگی مختلف را توضیح می دهد بخش 4 با مثال خوشه بندی درختی و بومان را نشان می دهد . تکنیک اصلی  GrabCutو جزئیات اصلاح آن در بخش 5 توضیح داده شده است. نتایج تجربی در بخش 6 ارائه شده است، در حالی که نتیجه گیری و کار آتی در بخش 7 ارائه شده است.

2- کار مرتبط

     همانطور که هیچ عقیده رایجی در مورد اینکه بهترین انتخاب برای فضای رنگی بر پایه تقسیم تصویر است بیان نشده است، برخی کارهای تحقیقاتی برای شناسایی بهترین فضای رنگی برای یک وظیفه خاص تلاش کردند چندین کار نشان می دهد که فضاهای رنگی مختلف برای مسئله تقسیم تصویر رنگی مفید است. یوریو و همکاران  یک مطالعه تطبیقی  بین فضاهای رنگی مختلف در تقسیم بندی تصویر بر اساس خوشه با استفاده از دو الگوریتم خوشه بندی مشابه انجام داده اند. مطالعه مورد بحث آنها تستی از چهار فضای رنگی، ???، ???، ??? ،و ???، به منظور شناسایی بهترین نمایش رنگ بود.آنها در بیشتر موارد با استفاده از فضای رنگی ??? بهترین نتایج خود را به دست آوردند، در حالی که ??? همچنین نتایج خوبی ارائه داد. بوشین و همکاران یک روش برای انتخاب اتوماتیک یک فضای رنگی خاص درمیان فضاهای رنگی کلاسیک پیشنهاد دادند. این انتخاب با توجه به معیار ارزیابی براساس یک آنالیز رنگ طیفی بود .این معیار کیفیت تقسیم بندی در هر فضا و انتخاب بهترین را ارزیابی می کند ، که خواص خاص خود را حفظ می کند. یک مطالعه روی بیش از ده نفر در فضای رنگ مشترک برای تشخیص رنگ پوست ارائه شده است. آنها نتیجه گرفتند که ??? بهترین فضای رنگ برای تشخیص پوست در یک تصویر است. مطالعه دیگری که برای طبقه بندی توپینگ پیتزا مورد استفاده قرار گرفت ثابت کرد که طبقه بندی چندجمله ای SVM همراه با فضای رنگی ??? بهترین روش در میان پنج فضای رنگ مختلف است. برپایه یک مطالعه تطبیقی بین مدل ??? و??? روییز وهمکاران اعلام کردند که بهترین دقت با نمایش HSV بدرستی برای رسیدن به پردازش زمانی واقعی در زمین های زراعی واقعی برای تقسیم بندی محصول بدست آمده بود. 

     GrabCut یکی از تکنیک های قدرتمند محسوب می شود که برای تقسیم تصویر رنگی استفاده می شود. این برای مشکلات تقسیم بندی مختلف مانند تقسیم بندی بدن انسان، تقسیم بندی ویدئو، تقسیم بندی معنایی و تقسیم بندی حجم مورد استفاده قرار میگیرد. در استخراج خودکار بدن انسان از تصاویر رنگی رشد یافته بود توسط hu .تکرار تکنیک GrabCut برای آپدیت پویا یک شکل trimap استفاده شده بود، که از نتایج یک آشکارساز اسکن شده برای تشخیص چهره از تصاویر مقداردهی اولیه شده استفاده شده بود. این تحقیقات یسری اشکالاتی دارد مانند فرآیندهای چند مرحله ای و تکراری، علاوه بر اینکه محدود به ژستهای انسان است با چهره های جانبی جلو است.متولوژی تقسیم بندی انسانی GrabCut فضایی کاملا اتوماتیک توسط هرناندز و همکاران پیشنهاد شد. آنها روشی را توسعه دادند که مزایای ترکیبی از پیگردی وتقسیم بندی را داشت. به جای مداخله کاربر اولیه در مقداردهی اولیه الگوریتم GrabCut، مجموعه ای از دانه های تعریف شده توسط تشخیص صورت و یک مدل رنگ پوست برای مقداردهی اولیه استفاده می شود. یک رویکرد دیگر برای تقسیم انسانها از تصاویر درهم و برهم توسط گلشن و همکاران پیشنهاد شد. آنها مدل رنگی محلی برمبنای GrabCut برای تقسیم بندی اتوماتیک به کار بردند.این مدل رنگی محلی  GrabCut برای اصلاح تقسیم بندی های انسانی خام که آنها بدست آوردند مورد استفاده قرار گرفت. در تقسیم ویدئوCorrigan و همکاران GrabCut را برای تقسیم بندی شیئی ویدیوهای قوی تر توسعه دادند. آنها مدل ترکیبی Gaussian (GMM) از الگوریتم GrabCut را گسترش دادند، به طوری که فضای رنگی با مشتق زمان از شدت پیکسل به منظور شامل شدن اطلاعات زمانی در روند بهینه سازی تقسیم بندی کامل شده بود. G¨oring و همکاران GrabCut را به یک چارچوب تقسیم بندی معنایی با برچسب گذاری اشیاء در یک تصویر داده شده متصل کردند. اخیرا، رامیرزو همکاران یک طرح کاملا موازی با استفاده از GrabCut پیشنهاد کرد برای تقسیم بندی سه بعدی که برای اجرا روی  GPU پذیرفته شده است .این طرح با هدف تولید نتایج تقسیم بندی برای مورد شبکه های حجمی، علاوه براین کاهش زمان محاسبات کارآمد می باشد. 

     خوشه بندی، طبقه بندی غیر نظارت شده الگوها به گروه ها، یکی از مهم ترین وظایف در تجزیه و تحلیل اطلاعات اکتشافی است. این یک تاریخ طولانی و غنی در بسیاری از رشته های علمی از جمله انسان شناسی،زیست شناسی، پزشکی، روانشناسی، آمار، ریاضیات، مهندسی،و علوم کامپیوتر است. خوشه بندی در تقسیم بندی های تصویر به عنوان فرآیند شناسایی گروه های اولیه تصاویر مشابه تعریف می شود. تکنیک های خوشه بندی غیر نظارت شده خوشه بندی مبتنی بر محتوا هستند، که در آن محتوا به اشکال، بافت ها و یا هر گونه اطلاعات دیگر که از تصویر خودش به ارث برده می تواند اشاره می کند .

     در این موارد از تقسیم بندی دو تکه، تفکیک خوب بین پیش زمینه و پس زمینه مورد نیاز است. و می تواند از طریق یافتن خوشه ها با واریانس کم انجام شود،از آنجا که خوشه آسان تر از بقیه جدا می شود.انتخاب روش خوشه بندي درختی و بومان توسط روسون و توماسی  و چاونگ و همکاران برای به دست آوردن خوشه های جداشده محکم و خوب هدایت می شود. آنها برای حل مشکل مات کردن(شطرنجی کردن) تصویر کار کرده اند که برای ترکیب تصویر مورد نیاز است. در رویکرد خود، الگوریتم تقسیم باینری درختی و بومان برای پارتیشن بندی رنگ های منطقه ناشناخته به چند دسته استفاده شده است و برای تولید یک توزیع رنگی برای منطقه ناشناخته تخمین زده می شود. بر اساس یک مطالعه مقایسه ای درخوشه بندی درختی و بومان از دیگر تکنیک های خوشه بندی بدون نظارت از جمله خود سازماندهی نقشه ها (SOFM) و فازی C-means (FCM) برای اتوماسیون از GrabCut با توجه به بهبود دقت تقسیم بندی برتر است.

     This paper presents a comparative study using different color spaces to evaluate the performance of color image segmentation using the automatic GrabCut technique. GrabCut is considered as one of the semiautomatic image segmentation techniques, since it requires user interaction for the initialization of the segmentation process. The automation of the GrabCut technique is proposed as a modification of the original semiautomatic one in order to eliminate the user interaction. The automatic GrabCut utilizes the unsupervised Orchard and Bouman clustering technique for the initialization phase. Comparisons with the original GrabCut show the efficiency of the proposed automatic technique in terms of segmentation, quality, and accuracy. As no explicit color space is recommended for every segmentation problem, automatic GrabCut is applied with ???, ???, ???, ???, and ??? color spaces. The comparative study and experimental results using different color images show that ??? color space is the best color space representation for the set of the images used.

1. Introduction

     The process of partitioning a digital image into multiple segments is defined as image segmentation. Segmentation aims to divide an image into regions that can be more representative and easier to analyze. Such regions may correspond to individual surfaces, objects, or natural parts of objects. Typically image segmentation is the process used to locate objects and boundaries (e.g., lines or curves) in images [1]. Furthermore, it can be defined as the process of labeling every pixel in an image, where all pixels having the same label share certain visual characteristics [2]. Usually segmentation uses local information in the digital image to compute the best segmentation, such as color information used to create histograms or information indicating edges, boundaries, or texture information [3].

     Color image segmentation that is based on the color feature of image pixels assumes that homogeneous colors in the image correspond to separate clusters and hence meaningful objects in the image. In other words, each cluster defines a class of pixels that share similar color properties.

     As the segmentation results depend on the used color space, there is no single color space that can provide acceptable results for all kinds of images. For this reason, many authors tried to determine the color space that will suit their specific color image segmentation problem [4]. In this work, a segmentation of color images is tested with different classical color spaces, ???, ???, ???, ???, and ???, to select the best color space for the considered kind of images.

     The segmentation process is based on the GrabCut segmentation technique [5], which is considered as one of the powerful state-of-the-art techniques for the problem of color image segmentation. The iterative energy minimization scheme of the GrabCut is based on the powerful optimization of the Graph Cut technique [6] which allows for the generation of the global optimal segmentation. In addition, Graph Cut can be easily well extended to the problem of N-D images. Furthermore, the cost energy function of the Graph Cut minimization process allows it to be defined in terms of different image features such as color, region, boundary, or any mixture of image features. This flexibility provides wide potential for the use of GrabCut in different applications.

     On the other hand, GrabCut is considered as a bilabel segmentation technique, where images can be segmented into two background and foreground regions only. Initial user intervention is required in order to specify an object of interest to be segmented out of the image, considering all the remaining image pixels as one background region. This classifies the GrabCut as a semiautomatic segmentation technique and turns the quality of the initialization and hence the segmentation performance, sensitive to the user selection. In other words, poor GrabCut initialization may lead to bad final segmentation accuracy which might require extra user interactions with the segmentation results for fine tuning [5].

     In this work, a modified GrabCut is proposed as an automatic segmentation technique, which can segment the image into its natural objects without any need for the initial user intervention. Automation of GrabCut is applied using Orchard and Bouman clustering [7] as an unsupervised clustering technique. The selection of the Orchard and Bouman clustering is based on the empirical comparison results carried out in the work of [8]. The paper exploits the use of some evaluation criteria to evaluate the discriminating power of the automatic GrabCut with the different color spaces. The remainder of the paper is organized as follows. Section 2 provides a basic background on segmentation based-color space models, image segmentation using GrabCut, and unsupervised clustering techniques. Section 3 explains the different color space models. Section 4 illustrates the Orchard and Bouman clustering. The original GrabCut technique and details of its modification are explained in Section 5. Experimental results are presented in Section 6, while the conclusion and future work are presented in Section 7.

2. Related Work

     As no common opinion has emerged about which is the best choice for color space based image segmentation, some research work tried to identify the best color space for a specific task. Several works [9, 10] show that different color spaces are useful for the problem of color image segmentation. Jurio et al. [11] have carried out a comparative study between different color spaces in cluster based image segmentation using two similar clustering algorithms. Their study involved the test of four color spaces, ???, ???, ???, and ???, in order to identify the best color representation. They obtained their best results in most cases using ??? color space, while ??? also provided good results. Busin et al. [4] proposed a method to automatically select a specific color space among classical color spaces. This selection was done according to an evaluation criterion based on a spectral color analysis. This criterion evaluates the quality of the segmentation in each space and selects the best one, which preserves its own specific properties. A study of the ten most common color spaces for skin color detection was presented in [12]. They concluded that ??? is the best color space to detect skin in an image. Another study that was applied for the classification of pizza toppings [13] proved that the polynomial SVM classifier combined with ??? color space is the best approach among five different color spaces. Based on a comparative study between the ??? and ??? models,Ruiz-Ruiz et al. [14] declared that the best accuracy was achieved with ??? representation in order to achieve real time processing in real farm fields for crop segmentation.

     GrabCut is considered one of the powerful techniques used for color image segmentation. It has been applied to different segmentation problems such as human body segmentation [15–17], video segmentation [18], semantic segmentation [19], and volume segmentation [20]. In [17], an automatic extraction of the human body from color images was developed by Hu.The iterated GrabCut technique was used to dynamically update a trimap contour, which was initialized from the results of a scanning detector used for detecting faces from images. The research has some drawbacks as the process goes through many steps and iterations, in addition to being constrained to human poses with frontal side faces. A fully automatic Spatio-Temporal GrabCut human segmentation methodology was proposed by Hernandez et al. [16]. They developed methodology that takes the benefits of the combination of tracking and segmentation. Instead of the initial user intervention to initialize the GrabCut algorithm, a set of seeds defined by face detection and a skin color model are used for initialization. Another approach to segment humans from cluttered images was proposed by Gulshan et al. in [15]. They utilized the local color model based GrabCut for automatic segmentation. This GrabCut local color model was used to refine the crude human segmentations they obtained. In video segmentation, Corrigan et al. [18] extended GrabCut for more robust video object segmentation. They extended the Gaussian mixture model (GMM) of the GrabCut algorithm, so that the color space was complemented with the derivative in time of the pixel’s intensities in order to include temporal information in the segmentation optimization process. Goring et al. [ ¨ 19] integrated GrabCut into a semantic segmentation framework by labeling objects in a given image. Most recently, Ram´ırez et al. [20] proposed a fully parallelized scheme using GrabCut for 3D segmentation that has been adopted to run on GPU. The scheme aims at producing efficient segmentation results for the case of volume meshes, in addition to reducing the computational time.

     Clustering [21], the unsupervised classification of patterns into groups, is one of the most important tasks in exploratory data analysis [22]. It has a long and rich history in a variety of scientific disciplines including anthropology, biology, medicine, psychology, statistics, mathematics, engineering, and computer science. Clustering in image segmentations [2, 23, 24] is defined as the process of identifying groups of similar image primitives. Unsupervised clustering techniques [25] are content based clustering, where content refers to shapes, textures, or any other information that can be inherited from the image itself.

     In the cases of bilabel segmentation, good separation between foreground and background is required. This can be implemented through finding clusters with a low variance, since this makes the cluster easier to separate from the others. The selection of the Orchard and Bouman clustering technique [7] is guided by Ruzon and Tomasi [26] and Chaung et al. [27] in order to get tight and well separated clusters. They have worked on solving the problem of image matting that is required for image compositing. In their approach, Orchard and Bouman binary split algorithm has been used for partitioning the unknown region colors into several clusters, in order to generate a color distribution for the unknown region to be estimated. According to a comparative study in [8], the Orchard and Bouman clustering outperformed other unsupervised clustering techniques including self-organizing maps (SOFM) and fuzzy C-means (FCM) for the automation of the GrabCut in terms of improving the segmentation accuracy.

1-معرفی

2- کار مرتبط

3-مدل های فضای رنگی

4- تکنیک خوشه بندي درختی و بومان

5-تقسیم بندی تصویر با استفاده از GrabCut 

5.1 GrabCut نیمه اتوماتیک اصلی.

5.2 پیشنهاد GrabCut خودکار.

6-نتایج و بحث ها

7-نتیجه گیری و کار آینده                                              

1.Introduction

2.Related Work

3. Color Space Models

4. Orchard and Bouman Clustering Technique

5. Image Segmentation Using GrabCut

5.1. Original Semiautomatic GrabCut.

5.2. Proposed Automatic GrabCut

6. Results and Discussions

7. Conclusions and Future Work

References