دانلود رایگان مقاله کاربرد بینایی استریو در واحد پردازش گرافیکی

1.مقدمه

     مبحث عمق استریو یکی از مرسوم ترین و مهمترین موضوع در بینایی کامپیوتر است. اخیرا در این منطقه توسعه به طور قابل ملاحظه ای پیشرفت چشمگیری داشته است. با این حال، از لحاظ سرعت، الگوریتم های استریو که معمولا چند ثانیه تا چند دقیقه به منظور تولید یک نقشه و محدود کردن برنامه های کاربردی پردازش می شوند بهترین هستند. برنامه های کاربردی بسیار جالبی مانند ناوبری ربات و واقعیت افزوده، که در آن عمق اطلاعات با کیفیت و سرعت ویدئو بالا بسیار مهم است وجود دارد.

     در این مقاله ما تعدادی از تکنیک هایی را که طی چند سال گذشته توسعه یافته اند، به منظور بهبود سرعت و کیفیت الگوریتم های استریو در زمان واقعی خلاصه می کنیم. یکی از رایج ترین تکنیک های محاسبات سخت افزاری گرافیکی کالاها (یعنی پردازنده های گرافیکی) بهره برداری از پهنای باند موازی است. ارزیابی با استفاده از پایگاه داده میدلبری نشان می دهد که رویکردهایی که ما تاکنون ارائه داده ایم یکی از بهترین و سریع ترین الگوریتم های استریو هستند.

2.روش

     با توجه به یک جفت تصویر، هدف الگوریتم استریو این است که پیوندهای پیکسلی بین دو تصویر ایجاد کند. به طور کلی مکاتبات می توانند به عنوان یک بردار ناسازگار بیان شوند، و با توجه به یک جفت تصاویر، هدف الگوریتم استریو ایجاد پیوندهای پیکسلی بین دو تصویر است. به طور کلی مکاتبات می توانند به عنوان یک بردار ناسازگار بیان شوند، اگر پیکسل های P L(x,y) و PR(x’,y’) مربوط به تصویر سمت چپ و راست باشند، سپس اختلاف PL(x,y) و PR(x’,y’) در تصاویر آنها به عنوان مختصات-[x-x’,y-y’] تعریف می شود. بنابراین، خروجی یک الگوریتم استریو در نقشه نامتوازن است، به عنوان مثال، نقشه ای که اختلاف هر بردار را برای هر پیکسل در یک تصویر ثبت می کند (تصویر مرجع) – تقشه نامتوازنی را برای تصویر دیگر به صورت خودکار با توجه به تقارن بردارهای تناوبی تعریف می کند.

     چارچوب استریو شامل چهار مرحله عمده است: اصلاح، هزینه تطبیق محاسبات، هزینه جمع آوری، و در نهایت گزینش اختلاف. اصلاح شامل تغییر شکل 2 بعدی در هر تصویر می باشد تا خطوط اپی پولار با خطوط اسکن هم-تراز شوند. در مرحله دوم، هزینه تطبیق محاسبات برای هر مقدار اختلاف به صورت اختیاری برای هر پیکسل محاسبه می شود. برای کاهش ابهام در تطبیق، هزینه یک پنجره کوچک همسایه (منطقه پشتیبانی) در مرحله سوم جمع آوری محاسبه می شود. آخرین گام گزینش اختلاف در هر مقدار مطلوب پیکسل برآورد می شود. در چند بخش بعدی، ما چند روش ارائه می دهیم تا سخت افزار گرافیکی حداکثر شتاب را دریافت کنند.

2.1 اصلاح

     رویکرد استاندارد برای عمل اصلاح جفت تصاویر شامل اعمال هموگرافی 3*3 تصاویر استریو می باشد که خطوط اپی پولار را با خطوط مربوطه مرتبط می کند. همچنین یک روش معمول برای اصلاح لنز غیرخطی در یک زمان می باشد. بهینه سازی رایج این است که یک جدول جستجو را ایجاد کنید که افست پیکسل را اعوجاج لنز و متوازنی را تصحیح کند. آخرین نسل از پشتیبانیِ سخت افزار گرافیکی به بافت وابسته می باشد و باعث می شود اصلاح دقیق در هر پیکسل ممکن باشد.

2.2 هزینه تطبیق محاسبات

     هزینه تطبیق به طور وسیع مورد استفاده قرار می گیرد و اختلافِ قدر مطلق بین شدت پیکسل چپ و راست به صورت زیر می باشد:

|PL(x,y) – PR(x+d,y)| .                      (1)

d مقدار تقارن فرض شده است. برای هر پیکسل PL(x,y) در تصویر مرجع، ما تمام فرضیه های عدم انطباق را برای هزینه های مربوطه با استفاده از معادله 2.2 محاسبه می کنیم. در نهایت، ما مقدار هزینه تطبیق C را به دست می-آوریم- و آرایه سه بعدی x, y, d مشخص می شود. محاسبات را می توان در GPU با استفاده از برنامه های قطعه-بندی و نقشه برداری بافت انجام داد. علاوه بر این، پیکسل ها می توانند برای استفاده از قابلیت پردازش بردار GPU طبقه بندی شوند. جزئیات را می توان در [5] یافت.

2.3 هزینه جمع آوری

     وظیفه هزینه جمع آوری بیش از هزینه تطبیق در پیکسل در یک پنجره کوچک است بدین منظور که ابهام در هزینه تطبیق کاهش یابد. در آنسوی هدف، ما سه روش مختلف را توسعه داده ایم که عبارتند از: MIPMAP، پنجره تطبیق، و وزن رنگ.

      GPUهای MIPMAP مدرن دارای جعبه های ساخته شده در فیلتر هستند تا به طور موثر تمام سطوح MIPMAP مورد نیاز برای ساخت بافت را تولید کنند. از یک تصویر پایه P0 فیلتر زیر شروع می کند و به صورت بازگشتی اعمال می شود:که (u,v) و (p,q) مختصات پیکسل هستند. بنابراین، 2n * 2n به طور موثر جمع مقادیر کارآمد در پنجره است. هزینه تطبیق نهایی برابر اختلاف پنجره ها می باشد. این رویکرد ویژگی های سراسری پنجره های بزرگ را با حداقل ضلع محلی پنجره های کوچک ترکیب می کند. جزئیات را می توان در [4] یافت.

      پنجره تطبیقی (AW) یکی دیگر از طرح های جمع آوری هزینه است که از یک پنجره سازگار که می تواند در هر مکان پیکسل دقیقی را ارزیابی کند استفاده می کند. طرح ما دارای شش پنجره پشتبانی متفاوت می باشد که هر کدام به پیکربندی شکل گوشه، لبه و غیره مربوط می شوند. یکی با حداقل امتیاز به عنوان هزینه تطبیق جمع آوری مورد استفاده قرار می گیرد. برای کارآمد بودن این هزینه در GPU، ما از پشتیبانی سخت افزاری برای درون یابی بافت دارای دو خط استفاده می کنیم. با نمونه برداری در وسط 4 پیکسل، به صورت احتمالی میانگین پیکسلها محاسبه می شوند. برای جمع کردن مقادیر پنجره بزرگ، ما الگوریتم 2 مرحله ای را پیاده سازی کردیم. اطلاعات بیشتر را می توان در [5] یافت.

1. INTRODUCTION

     Depth from stereo has traditionally been, and continues to be one of the most actively researched topics in computer vision. Recent development in this area has significantly advanced the state of the art in terms of quality. However, in terms of speed, these best stereo algorithms typically take from several seconds to several minutes to generate a single disparity map, limiting their applications to off-line processing. There are many interesting applications, such as robot navigation and augmented reality, in which high-quality depth information at video rate is crucial.

     In this short paper we summarize a number of techniques we have developed over the past few years to improve both the speed and quality of real-time stereo algorithms. Common to these techniques is to map the computation to commodity graphics hardware (i.e., GPUs) to exploit its parallelism and massive bandwidth there. Evaluation using the benchmark Middlebury database shows that our approaches are among the best and fastest stereo algorithms so far.

2. METHOD

     Given a pair of images, the goal of a stereo algorithm is to establish pixel correspondences between the two images. The correspondence can be expressed in general as a disparity vector, i.e.. if PL(x, y) and PR(x , y ) are corresponding pixels in the left and right image respectively, then the disparity ofP (x, y) andP (x′ ,y ′ ).is defined asthe difference of their image coordinates–[x −x ′ , y −y ′ ]. Therefore, the output of a stereo algorithm is a disparity map, i.e., a map that records the disparity vector for every pixel in one image (the reference image) – the disparity map for the other image is automatically defined because of the symmetry in disparity vectors.

     Ourstereo framework containsfour majorsteps: rectification, matching cost computation, cost aggregation, and finally disparity selection. Rectification involves a 2D projective transformation for each image so that the epipolar lines are aligned with scan lines. In the second step, a matching cost for every possible disparity value for each pixel is computed. To reduce the ambiguity in matching, the cost is summed over a small neighboring window (support region) in the third aggregation step. The last disparity selection step picks an “optimal” disparity value for each pixel. In the next few sections, we present several techniques that fit well on the graphics hardware to receive maximum acceleration.

2.1 Rectification

     The standard approach to perform image-pairrectification consist of applying 3×3 homographiesto the stereo imagesthat will align epipolar lines with corresponding scanlines. It is also a common practice to correct non-linear lens distortions at the same time. A common optimization isto create a look-up table that encodesthe per-pixel offset resulting from lens distortion correction and the rectifying homography. The latest generation of graphics hardware supports dependent-texture look-up that makes precise perpixel correction possible.

2.2 Matching cost computation

     A widely used matching cost is the the absolute difference between the left and right pixel intensities: |PL(x, y) − PR(x + d, y)| . (1) wheredisthehypothesizeddisparityvalue. For everypixelPL(x,y) in the reference image, we loop through all disparity hypotheses to calculate their matching costs using equation 2.2. In the end, we obtain a matching cost volume C – a three-dimensional array indexed by x, y, and d. The computation can be implemented on GPU using fragment program and texture mappings. Furthermore pixels can be packed to use the vector processing capability of GPU. Details can be found in [5].

2.3 Cost Aggregation

     The task of cost aggregation is sum over the per-pixel matching cost over a small window to reduce the ambiguity in matching cost. Toward this end, we have developed three different approaches: MIPMAP, adaptive window, and color-weighted.

     MIPMAP Modern GPUs have built-in box-filters to efficiently generate all the mipmap levels needed for texturing. Starting from a base image P 0 the following filter is recursively applied: P i+1 u,v = 1 4 2Xv+1 q=2v 2Xu+1 p=2u P i p,q, where (u, v) and (p, q) are pixel coordinates. Therefore, it is very efficient to sum values over 2 n×2 n windows. The final aggregated matching cost is the sum over differently-sized windows. This approach combines the global characteristics of the large windows with the well-localized minima of the small windows. Details can be found in [4].

     Adaptive Window (AW) Another cost aggregation scheme is to use an adaptive window that can be accurately evaluated at every pixel location. Our scheme has six different support windows, each corresponding to a different shape configuration–corner, edge, etc. The one with the minimum score is used as the aggregated matching cost. To efficiently implement this on GPU, we use the hardware support for bilinear texture interpolation. By sampling in the middle of 4 pixels, it is possible to average those pixels. To sum over a large window, we implement a two-pass algorithm. More details can be found in [5].

1.مقدمه

2.روش

2.1 اصلاح

2.2 هزینه تطبیق محاسبات

2.3 هزینه جمع آوری

2.4 گزینش نابرابری

3. نتایج و نتیجه گیری

1. INTRODUCTION

2. METHOD

2.1 Rectification

2.2 Matching cost computation

2.3 Cost Aggregation

2.4 Disparity Selection

3. RESULTS AND CONCLUSION

4. REFERENCES