رنگی کردن فضایی و زمانی ویدئو، با استفاده از اهرام هدایت شونده سه بعدی
چکیده
ما برای رنگی کردن ویدئو، تکنیکی جدید را طرح کرده ایم که مبتنی بر تکثیر رنگ وابسته به فضا و زمان، در حجم ویدئویی سه بعدی است، که از پاسخ جهت گیری غالب حاصل از تجزیه ی هرم هدایت شونده ی ویدئو به دست می آید. انتشار رنگ حجمی و توپر از منابعی که با خطوط رنگی وارد شده توسط کاربر علامت گذاری شده اند، در طول نواحی صاف و هموار فضایی-زمانی رخ می دهد، و عمل پیشگیری از نشت رنگ، به وسیله ی ناپیوستگی های فضایی و زمانی موجود در خروجی فیلترهای هدایت شونده، تسهیل می شود، که مرزهای آن شیء و مرزهای حرکتی را نشان می دهد. بر خلاف بیشتر روش های موجود، در رویکرد ما، نیازی به بردارهای حرکت، برای انتقال رنگ فریم داخلی نیست، و چارچوبی کلی را برای رنگی کردن ویدئوها و تصاویر فراهم می کند. نتایج تجربی، اثربخشی این روش پیشنهادی را در رنگی کردن ویدوئوهایی که دارای انواع مختلف حرکت و محتوای بصری هستند، حتی در مواقع انسداد، ثابت می کنند.
1- معرفی
رنگی کردن ، به فرآیند اختصاص دادن رنگ های معنا دار به تصویر یا توالی ویدئوی تک رنگ ( خاکستری)، به منظور تولید یک تصویر یا ویدئوی کاملا رنگی، به عنوان خروجی، اشاره دارد. این فرآیند از اهمیت زیادی در ویرایش رسانه های دیجیتال تجاری برخوردار است، چرا که اضافه کردن رنگ ها به یک تصویر تک رنگ یا ویدئو، کیفیت ادراکی آن را به شدت افزایش می دهد. واژه ی " رنگی کردن"، توسط « ویلسون مارکل »، در سال 1970، به منظور اشاره به روند کامپیوتری شده ی اضافه کردن رنگ به فیلم های سیاه و سفید، ابداع شد. از آن موقع تا کنون، رنگی کردن تصویر، یکی از گسترده ترین حوزه های پژوهشی در زمینه ی پردازش تصویر است. به هر حال، شاید به دلیل پیچیدگی و هزینه های پردازشی بیشتر آن، فرآیند رنگی کردن ویدئو، تا کنون،به شدت مورد بی توجهی پژوهشگران قرار گرفته است و بیشتر روش های کنترل رنگی کردن ویدئو، تکیه بر تکنیک های پیشین رنگی کردن تصویر دارند، به عبارت دیگر به وسیله ی رنگی کردن هر فریم کلیدی به صورت مجزا است، که این فرآیند با استفاده از بردارهای حرکتی، و از راه انتقال رنگ به فریم دیگر ادامه می یابد.
VI. نتیجه گیری
در این مقاله، ما یک الگوریتم رنگی کردن ویدئو را ارائه دادیم ، که قادر به رنگی کردن تمام حجم ویدئویی، به صورت یکجا، بدون نیاز به استفاده از بردارهای حرکتی میان فریم ها است. نبود محاسبه ی بردار حرکت و هم چنین نبود تکثیر رنگ فضایی و زمانی در فضای سه بعدی، الگوریتم ما را، در مقایسه با تکنیک هایی که برای انتقال رنگ از بردارهای حرکت استفاده می کنند، سریع تر میکند. علاوه بر این، ماهیت تعمیم یافته ی الگوریتم ما، رنگی کردن تصاویر را با استفاده از همان چارچوب، امکان پذیر می سازد.
Abstract
We propose a new technique for video colorization based on spatiotemporal color propagation in the 3D video volume, utilizing the dominant orientation response obtained from the steerable pyramid decomposition of the video. The volumetric color diffusion from the sources that are marked by scribbles occurs across spatiotemporally smooth regions, and the prevention of leakage is facilitated by the spatiotemporal discontinuities in the output of steerable filters, representing the object boundaries and motion boundaries. Unlike most existing methods, our approach dispenses with the need of motion vectors for interframe color transfer and provides a general framework for image and video colorization. The experimental results establish the effectiveness of the proposed approach in colorizing videos having different types of motion and visual content even in the presence of occlusion, in terms of accuracy and computational requirements.
I. INTRODUCTION
COLORIZATION refers to the process of assigning meaningful colors to the input monochrome image or video sequence to produce a fully colored image or video as the output. This process is of utmost importance in commercial digital media editing since the addition of colors to a monochrome image or video greatly improves its perceptual quality. The term colorization was coined by Wilson Markle in 1970 to refer to the computerized process of adding colors to black and white movies. Since then, image colorization has become one of the most widely explored areas of research in the field of image processing. However, perhaps due to its complexity and greater processing costs, video colorization has received considerably less research attention so far and most approaches handle video colorization by falling back on image colorization techniques, i.e., by colorizing each keyframe individually, followed by color transfer to other frames, using motion vectors.
VI. CONCLUSION
In this paper, we have developed a video colorization algorithm that is capable of colorizing the entire video volume together, without requiring the use of motion vectors between frames. The absence of motion vector computation as well as the spatiotemporal color propagation in 3D space makes our algorithm faster compared with the techniques that employ motion vectors for temporal color transfer. Further, the generalized nature of our algorithm makes it possible to colorize images using the same framework.
(جهت بزرگ نمایی روی عکس کلیک نمایید)
1- معرفی
II. مروری کلی بر روش شناسی
III. الگوریتم پیشنهاد شده
A. ساخت فیلترهای هدایت شونده
B. پاسخ جهت گیری غالب با استفاده از هرم هدایت شونده
C. اولویت بندی
D. تکثیر رنگ فضایی و زمانی
E. رنگی کردن تصویر
IV. نتایج تجربی
A. رنگی کردن ویدئو
B. رنگی کردن تصویر
C. تجزیه و تحلیل ها
D. عملکرد
V. تقسیم بندی و رنگی کردن مجدد
VI. نتیجه گیری
Abstract
I. INTRODUCTION
II. OVERVIEW OF METHODOLOGY
III. PROPOSED ALGORITHM
A. Construction of Steerable Filters
B. Dominant Orientation Response Using Steerable Pyramid
C. Prioritization
D. Spatiotemporal Color Propagation
E. Image Colorization
IV. EXPERIMENTAL RESULTS
A. Video Colorization
B. Image Colorization
C. Analysis
D. Performance
V. SEGMENTATION AND RECOLORIZATION
VI. CONCLUSION
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه