دانلود رایگان مقاله اکتشاف داده های صوتی شده در وسایل موبایل لمسی
چکیده
این مقاله استفاده از وسایل موبایل لمسی برای ارزیابی دانش‌آموزان فاقد بینایی برای کار با داده‌ها را پیشنهادمی‌کند. این مقاله یک رویکرد یکپارچه است که روش‌های صوتیسازی کنونی را با اکتشافات مبتنی‌بر حرکت چندلمسی تعاملی داده ترکیب‌می‌کند، و برای کمک به دانش‌آموزان در بصری‌سازی ذهنی و درک‌داده‌ها و تصویرسازی طرح‌ها طراحی‌شده‌است. این رویکرد به‌منظور کمک به مطالعه دانش‌آموزان کم‌بینا یا نابینا مستقل از مراکز پشتیبانی، همکاری با همسالان خود، و تمرین در مطالعات گروهی است. کاربران مطالعه اولیه این رویکرد را ارزیابی‌کردند و نشان‌دادند که امکان‌سنجی آن ارائه‌شده‌است، پژوهش‌های بیشتر نیز بررسی‌شده‌اند.
1. مقدمه
ازدست‌دادن بینایی یک مانع قابل‌توجه برای یادگیری است. برطبق CNIB ، تنها 45درصد کانادایی‌های فاقدبینایی از دبیرستان فارغ‌التحصیل شده‌اند. بخشی از موانع، موانع آموزشی، اجتماعی، و فیزیکی هستند که این دانش‌آموزان با آن‌ها مواجهه می‌شوند. یکی از این مسائل آموزشی وجود مشکل در نمایش اطلاعات بصری به یادگیرنده‌های نابینا است، چرا که اطلاعات بصری نقش مهمی در آموزش علوم و ریاضی بازی می‌کند. درحال حاضر، یکسری گزینه برای دانش‌آموزان فاقد بینایی که موضوعات حاوی اطلاعات بصری را مطالعه می‌کنند، دردسترس است. دانش‌اموزان می‌توانند از موسسه آموزشی خود کمک بگیرند و با افرادی کار کنند که به آن‌ها توجه دارد. بااین حال، باتکیه بر یادداشت‌بردای، دانش‌آموزان با توانایی محدود، برای مطالعات مستقل و یکپارچگی اجتماعی، موانع اجتماعی بین آن‌ها و دیگر همکلاسی‌های آن‌ها را شکل‌می‌دهد. همچنین ابزارهای لمسی برای دانش‌آموزان بااختلالات بینایی وجود دارد، مانند چاپگر بریل. بااین حال، این ابزارها غیرتعاملی هستند. برای مثال، کاربر نمی‌تواند برروی پاراگرافی برای امتحان یک ناحیه خاص بزرگنمایی کند. علاوه براین، همچین ابزارهایی به‌نوعی تنها در مرکز پشتیبانی‌شده توسط موسسه آموزشی در دسترس است. دانش‌آموزان نمی‌توانند در خانه یا درگروه مطالعاتی خود به آن دسترسی داشته‌باشند.
این مقاله استفاده از وسایل موبایل لمسی برای نمایش داده‌ها به‌عنوان صدا و پشتیبانی دانش‌آموزان و افراد حرفه‌ای فاقد بینایی به عنوان یک ابزارجایگزین برای تصویرسازی ذهنی و درک‌داده را بررسی می‌کند. این وسیله بر توسعه مفاهیم در زمینه صوتیسازی تکیه‌می‌کند، و به‌طور گسترده از صدا برای اطلاعات ارتباطی استفاده‌می‌کند.
سیستم شنوایی انسان از جهات متعددی، مانند بلندی صدا- تغییرات در شدت صدا، فرکانس صوتی، و دامنه، سطح نسبی، و ترتیب مولفه‌های طیفی در صدا حساس‌است. همچنین می‌تواند در مبدا صدا در فضای سه بعدی حول شنونده قرارگیرد. مطالعات بیشماری این خصیصه که می‌تواند برای انتقال اطلاعات عددی استفاده‌شود را بیان‌کرده‌است.
شنوایی انسان به زیر وبم صدا با محل عمودی درک‌شده از منبع صدا وابستگی‌دارد. این به‌طور طبیعی یک رویکرد را که زیر وبم صدا را به داده‌های باارزش عددی نگاشت می‌کند بیان‌می‌کند. استفاده از صوتیسازی برای جایگزینی با گراف‌ها اغلب گراف‌صوتی گفته می‌شود. استفاده از گراف صوتی برای کمک به افراد نابینا توسط Mamsurو همکاران پیشنهادشده‌است، که برروی صوتیسازی نقاط خطی توابع تک‌متغییره توسط تغییرات مداوم زیروبم برای نمایش حرکت در طول محور x تمرکز می‌کند. این رویکرد توسط مطالعات بیشتر؛ که ترکیب صداهای صحبت‌کردن و غیرصحبت‌کردن را برای یادگیری انواع مفاهیم ریاضی، مانند قطعه توابع بیان‌کرده، گسترش‌یافته‌است. بیشتر رویکردهای اخیر ترکیب تعاملی متدلوژی‌ها را به‌درون نمایش نمودار شنوایی و اجازه‌دادن به کاربران برای اکتشاف داده پیشنهاد داده‌اند.
روش‌های متعدد برای تطابق نمایش شنوایی به فناوری‌های‌کمکی پیشنهادشده‌اند. یک گروه عمده شامل استفاده از گراف شنوایی برای نمایش توابع ریاضی و شامل متدهایی برای خصیصه‌های مهم توابع، مانند گسترش مشتق و سری آن است. دیگر رویکردهای نمودار پراکندگی را با استفاده از صدا یا ترکیبات شنوایی و روش لمسی را نشان‌می‌دهند.
پژوهش کنونی روش درگیر در ترکیبی از پخش‌صدا و تعامل کاربر، که دارای مزایایی صرفآ با تکیه بر صدا است، پیشنهادکرده‌اند. همچین متدها به‌نوعی شامل استفاده از نیروی دستگاه‌های بازخورد یا دستگاهیهای بی‌سیم تجربی تخصصی، مانند اشیای ملموس فعال استفاده شده توسط Riedenklau است. مزایای همچین وسیله‌ای عدم هزینه حمل وطور بالقوه بدون استقرار خود در محدوده مکان‌های خاص، مانند مراکز حمایت از دانشجویان و یا خانه‌های دانشجویان است.
این پروژه، منظور گسترش متدلوژی‌های قابل حمل بیشتر، و نیز بسط راه‌هایی که کاربر بتواند با حرکات و اشاره از اطلاعات استفاده‌کند است. هدف آن اجازه به دانش‌آموزان نابینا برای تمرین در کلاس‌درسی و فعالیت‌های گروه‌های مطالعه مرکز‌دهی‌شده حول نمایش داده بصری است، و برای تسهیل دستیابی گسترده‌تر به وسایل نمایش‌دهنده صوتی‌شده‌است. این نمایشات شنوایی، حرکات فیزیکی قابل تشخیص توسط دستگاه‌های تلفن‌همراه تجاری در دسترس را باهم ترکیب‌کرده است.
وسایل لمسی بسیار متداول شده‌اند و منجر به رشد پژوهش‌ها در استفاده از حرکات چندلمسی در همچین وسایلی توسط کاربرانی که در دید مشکل دارند و کاربران نابینا شده‌است. وسایل لمسی به‌طور گسترده تجاری در دسترس هستند، قابل حمل هستند، و به سخت‌افزار اضافی احتیاج ندارند، و می‌توانند به سادگی توسط دانش‌آموزان با بینایی کم در هر شرایطی، مانند کلاس درس بکارگرفته‌شوند. آن‌ها می‌توانند به عنوان یک نمایش شنیداری توسط ترکیب نمایش صدا با اکتشافات چندلمسی نمایش داده و توابع ریاضی استفاده‌شوند.
Abstract
This paper suggests using mobile touchscreen devices to assist students with vision loss in working with data. It presents an integrated approach that combines current sonification methods with interactive multi-touch gesture-based exploration of data, designed to aid students in mental visualization and comprehension of data and function plots. This approach aims to help students with vision loss study independently of support centres, collaborate with their peers, and participate in group studies. Initial user study evaluating this approach and demonstrating its feasibility is presented; further research pathways are also discussed.
1. Introduction
Vision loss poses significant barriers to education. According to CNIB1, only 45 percent of Canadians with vision loss graduate high school. This is in part due to learning, social, and physical barriers that these students face. One of these educational problems is the difficulty of presenting visual information to blind learners, since visual information representation plays an important role in mathematics and science education.
Currently, there are few options available for students with vision loss who study subjects that involve information visualization. Students can get help through their educational institutions and work with note takers. Relying on a note taker, however, limits students’ ability for independent study and social integration, which forms a social barrier between them and their sighted classmates. There are also tactile tools available for students with visual impairments, such as braille printers. However, these tools are non-interactive. The user cannot, for example, zoom in on a graph to examine a specific region. In addition, such tools are typically only available at support centres provided by educational institutions. They are not accessible to students working from home or in a group study setting.
This paper investigates the use of mobile touchscreen devices for presenting data plots as sound and providing students and professionals with vision loss an alternative tool for mental visualization and comprehension of data. It relies on concepts developed in the field of sonification, broadly defined as the use of sound to communicate information2.
The human auditory system is sensitive to multiple aspects of sound, such as loudness - variations in the intensity of the sound, pitch - the frequency of the sound, and timbre - number, relative level, and arrangement of spectral components in a sound. It can also locate of the sound source in three-dimensional space around the listener. Numerous studies have suggested that these characteristics can be used to transmit numerical information.
Humans associate pitch of a sound with the perceived vertical location of the sound source 3. This naturally suggests an approach that maps pitch to numerical data values. This use of sonification to replace graphs is often called an audio graph. Use of audio graphs to help people with vision loss was suggested by Mansur et al. 3, who focused on sonifying linear plots of univariate functions by continuously varying pitch to represent motion along the x axis. This approach has been expanded by further studies, which suggested combining speech and non-speech sounds for teaching various mathematical concepts, including function plots 4. More recent approaches 6,8 suggested incorporating interactive methodologies into auditory graph displays and allowing users to explore the data.
Multiple methods have been proposed for adapting auditory displays to assistive technology. One broad category includes the use of auditory graphs to represent mathematical functions and includes methods for important characteristics of a function, such as its derivative and series expansion4,6. Other approaches suggest representing scatterplots using sound9 or a combination of audio and haptic methods 7.
Current research suggests that methods involving a combination of audio playback and user interaction have an advantage over those relying solely on audio. Such methods typically involve the use of force feedback devices 10 or specialized experimental wireless devices, such as the Tangible Active Objects used by Riedenklau et al. 7. The disadvantage of such devices is that their lack of portability and potentially high cost restricts their deployment to specific locations, such as student support centres or students’ homes.
This project, therefore, aims to develop a more portable methodology, as well as expand the ways in which users can interact with data using gestures. Its goal is to allow students with vision loss to participate in classroom and group study activities centred around visual data displays, and to facilitate wider access to sonification display devices. It combines audification displays with physical gestures detectable by commercially available mobile devices.
Touch screen devices have become common and there is a growing body of research on use of multi-touch gestures on such devices by visually impaired and blind users 11,12. Touch screen devices are widely commercially available, portable, require no additional hardware, and could easily be deployed by students with vision loss in any setting, including the classroom. They can be used as audification displays by combining sound displays with multi-touch exploration of the displayed data and mathematical functions.
چکیده
1. مقدمه
2. رویکرد پیشنهادشده
2.1 صوتیسازی توابع تک متغییره و قطعه نوارها
2.2 صوتیسازی نمودار پراکندگی
2.3 اکتشافات تعاملی اطلاعات صوتی‌شده
3. ارزیابی
3.1 رویکرد ارزیابی
3.2 تست داده
3.3 نتایج
4. بحث و نتیجه‌گیری
منابع
Abstract
1. Introduction
2. Proposed approach
2.1. Sonification of univariate functions and bar plots
2.2. Sonification of scatterplots
2.3. Interactive exploration of sonified data
3. Evaluation
3.1. Evaluation approach
3.2. Test data
3.3. Results
4. Discussion and conclusion
References