چکیده
اینترنت اشیاء (IoT) قرار است به یکی از پیشرفت های کلیدی فناوری زمان ما تبدیل شود؛ به شرطی که بتوانیم از پتانسیل کامل آن استفاده کنیم. انتظار می رود که تعداد اشیاء متصل به IoT تا سال 2020 به 50 میلیارد برسد زیرا هجوم گسترده ای از اشیاء متنوع به تدریج در حال ظهور است. از این رو، انتظار می رود که IoT یک تولید کننده اصلی داده (big data) باشد. به اشتراک گذاری و تعامل داده ها و سایر منابع می تواند کلیدی برای ایجاد محیط های پایدار فراگیر، مانند شهرهای هوشمند و جوامع باشد. تلفیق و تجزیه و تحلیل به موقع داده های بزرگ که از IoT و سایر منابع به دست می آید، برای ایجاد تصمیم گیری دقیق و با قابلیت اطمینان و مدیریت بسیار کارآمد محیط های فراگیر می تواند یک چالش بزرگ آینده باشد. هوش کامپیوتری در این چالش نقش کلیدی ایفا می کند. تعدادی از مطالعات بر روی تلفیق داده ها وجود دارد. با این حال، اینها عمدتا بر روی حوزه های کاربردی خاص یا دسته بندی های خاص تمرکز می کنند. هدف از این مقاله بررسی ادبیات تلفیق داده ها برای IoT با یک توجه خاص به روش های ریاضی (از جمله روش های احتمالاتی، هوش مصنوعی و نظریه اعتقاد) و محیط های خاص IoT (محیط های توزیع شده، ناهمگن، غیر خطی و ردیابی شیء) می باشد. فرصت ها و چالش هایی برای هر یک از روش ها و محیط های ریاضی ارائه شده است. تحولات آینده، از جمله حوزه های نوظهور که ذاتا از تلفیق داده ها و IoT، وسایل نقلیه مستقل(خود مختار)، یادگیری عمیق برای تلفیق داده ها و شهرهای هوشمند بهره می برند، مورد بحث قرار می گیرد.
1. مقدمه
اینترنت اشیا (IoT) [1] قرار است به یکی از پیشرفت های مهم فناوری زمان ما تبدیل شود به شرطی که بتوانیم از پتانسیل کامل آن استفاده کنیم [2]. IoT "یک زیرساخت جهانی برای جامعه اطلاعاتی است و خدمات پیشرفته را بوسیله اتصالات (فیزیکی و مجازی) اشیاء بر اساس تعامل فناوری اطلاعات و ارتباطات در حال توسعه موجود را به وجود اورد." [3] در گزارش سال 2008 [4] شورای ملی اطلاعات ایالات متحده (NIC) از میان شش کلید فن آوری های مدنی که می تواند به طور بالقوه بر قدرت ایالات متحده تأثیر بگذارد، به نام IoT نامگذاری شد. IoT یک ابزار محاسباتی فراگیر است که توسط Mark Weiser طراحی شده است. شکل 1 حوزه کاربردی IoT را نشان می دهد: خانه های هوشمند، سیستم های هشدار دهنده، خرید هوشمندانه، ابزارهای هوشمند، شهرهای هوشمند، جاده های هوشمند، مراقبت های بهداشتی، سیستم های آتش نشانی، سیستم های شناسایی تهدیدها، ردیابی و نظارت.
انتظار می رود که تعداد اشیاء متصل به IoT تا سال 2020 به 50 میلیارد برسد زیرا هجوم وسیعی از اشیای متنوع به تدریج در حال ظهور است [5]. هدف اصلی این افزایش تعداد و انواع اشیاء IoT، تولید اطلاعات مفید درباره محیط اطراف است تا آنها را هوشمندانه تر کند. این امر با فراهم آوردن دسترسی محیط ها به اطلاعات مورد نیاز خود از طریق جمع آوری و تجزیه و تحلیل داده های گذشته، حال و آینده انجام می شود. داده ها اجازه می دهند تصمیم بهینه در مورد ما و محیط های ما در زمان واقعی انجام شود.
انتظار میرود IoT یک تولید کننده اصلی داده (big data) باشد. این داده ها توسط فروشندگان مختلف تولید می شود که داده ها را بعنوان سرویس ارائه می دهند. به اشتراک گذاری و تعامل داده ها و سایر منابع می تواند کلیدی برای ایجاد محیط های پایدار فراگیر مانند شهرهای هوشمند و جوامع باشد [6]. تلفیقی از انواع و فرمهای مختلف داده، به عنوان مثال، تلفیق داده ها، برای افزایش کیفیت داده ها و تصمیم گیری، اهمیت ویژه ای در محیط های فراگیر دارد. تلفیق داده ها به عنوان «نظریه، تکنیک ها و ابزارهایی است که برای تلفیق داده های حسگر یا داده های مشتق شده از داده های حس شده به یک فرمت نمایشی رایج استفاده می شود» [7] تعریف می شود. تلفیق و تجزیه و تحلیل big data (حجم، سرعت، تنوع و صحت) که از IoT و سایر منابع به دست می اید، برای تصمیم گیری و مدیریت بسیار کارآمد، قابل اعتماد و دقیق محیط های فراگیر یک چالش بزرگ آینده می باشد. هوش محاسباتی در این چالش یک نقش کلیدی را ایفا می کند.
A. مشارکت این کار
اصطلاح "اینترنت اشیاء" در ابتدا توسط کوین اشتون در سال 1999 معرفی شد [8]. با این حال، پژوهش و توسعه کلیدی کارها در IoT در سال 2010 آغاز شده است. یکی از اولین و مشهور ترین مطالعات توسط Atzori و همکارانش بود. [1]، در سال 2010، جایی که آنها بلوک های بنیادی IoT و برنامه های کاربردی آن را توصیف کردند. این بررسی در [9] گسترش یافت. Al-Fuqaha و همکاران در سال 2015، یک مطالعه از فناوری ها، پروتکل ها و برنامه های کاربردی فعال سازی IoT ارائه شد [10]. در [11]، تصویر ماهواره ای روش های تلفیق چند حسگر بررسی شده است. این بررسی [12] ادبیات ادغام داده ها را به سه دسته تقسیم می کند: ارتباط داده ها، تلفیق تصمیم گیری و تخمین وضعیت. در همان سال 2013، یک مقاله دیگر [13] ادبیات تلفیق داده ها را براساس خواص داده های دریافت شده مانند نقص ها، همبستگی و ناسازگاری داده دسته بندی کرد. در [14]، پیشرفت و چالش های مختلف برای تلفیق داده ها در سیستم های حمل و نقل هوشمند مورد بحث قرار گرفته است. یک مطالعه اخیر [15] بررسی انتقادی تحولات تلفیق داده ها براساس سنسورهای تعبیه شده در دستگاه های تلفن همراه با تمرکز ویژه بر شناسایی فعالیت های انسانی ارائه کرده است. جدول 1 مطالعات مربوط به مقاله ما را بیشتر توضیح می دهد. خلاصه ای از تمرکز اصلی هر مقاله مربوطه مورد بررسی قرار گرفته است.
واضح است که هرچند تعدادی از مطالعه ها بر روی تلفیق داده ها وجود دارد، این ها عمدتا بر روی برنامه های خاص (مانند ITS، سنسورهای تعبیه شده در دستگاه های تلفن همراه)، حوزه یا دسته بندی هایی (به عنوان مثال، خواص داده ها، میان افزار) تمرکز می کنند. هدف این مقاله این است که:
بررسی ادبیات مربوط به تلفیق داده ها برای IoT با تمرکز خاص بر روی
روش های ریاضی (از جمله روش های احتمالاتی، هوش مصنوعی، و نظریه اعتقاد)، و
محیط های ویژه ) IoT محیط های توزیع شده، ناهمگن، غیر خطی و ردیابی شیء).
برای کشف فرصت ها و چالش ها برای هر یک از روش های ریاضی بازبینی شده و محیط های IoT
برای بررسی حوزه در حال ظهور که به طور ذاتی از تلفیق داده ها و ) IoTاز جمله شهرهای هوشمند و وسایل نقلیه مستقل) بهره مند می شوند
B. ساختار مقاله
مقاله به شش بخش تقسیم شده است. بخش دوم در مورد فرصت ها و چالش های تلفیق داده ها و همچنین مشخصه های IoT بحث می کند. بخش سوم ادبیات تلفیقی داده ها را براساس روش های ریاضی مورد استفاده برای تلفیق داده ها بررسی می کند. اینها شامل روش های احتمالی، هوش مصنوعی و نظریه اعتقاد است. بخش چهارم ادبیات را بر اساس محیط های خاص IoT، از جمله توزیعی، ناهمگن و غیر خطی و ردیابی شئ مورد بحث قرار می دهد. هر روش ریاضی و محیط تلفیق داده ها برای IoT که در بخش های سوم و چهارم مورد بحث قرار گرفته است، با فرصت ها و چالش های مربوطه تعریف شده است. بخش پنجم درمورد حوزه نو ظهور که به طور ذاتی از تلفیق داده ها و IoT سود می برد بحث می کند؛ این شامل وسایل نقلیه مستقل، یادگیری عمیق برای تلفیق داده ها و شهرهای هوشمند است. در نهایت نتیجه در بخش ششم بیان می شود.
2 .فرصت ها و چالش ها تلفیق داده ها
مقدار بسیار زیادی داده در طول زمان به طور سریع در محیط IoT تولید می شود. چگونه می توان این حجم زیاد از داده، کامل و بسیار دقیق ساخته شوند، یک مشکل باز است که باید حل شود، زیرا کیفیت اطلاعات نقش مهمی در تصمیم گیری دارد. اطلاعات قابل اعتماد و دقیق بسیار مهم است. این می تواند با تلفیق داده یا تلفیق اطلاعات (اصطلاحاتی که می توانند جایگزین استفاده شوند) حاصل شود. تلفیق داده یک راه موثر برای استفاده بهینه از حجم زیادی از داده ها از منابع مختلف است [11]. تلفیق داده های چند حسگر به دنبال تلفیق اطلاعات از چندین حسگر و منابع برای دستیابی به نتیجه هایی است که از یک تک سنسور یا منبع ممکن نیست [19]. تلفیق اطلاعات از سنسورهایی با ویژگی های فیزیکی مختلف، درک محیط اطراف ما را افزایش می دهد و پایه ای برای برنامه ریزی، تصمیم گیری و کنترل ماشین های مستقل و هوشمند را فراهم می کند.
A. فرصت های تلفیق داده
تلفیق داده در نمونه اینترنت اشیاء (IoT)می تواند در موفقیت خود به خاطر دلایل زیر نقش مهمی داشته باشد: [7]، [17]:
• تلفیق داده باعث می شود اطلاعات هوشمندتر، قطعی، منطقی و دقیق تر باشد که از چندین سنسور و منابع بدست می اید. اطلاعات از هر سنسور در خود ممکن است خیلی حساس نباشد.
• یک آماری موفق از تلفیق با محاسبه N مشاهدات مستقل حاصل می شود؛ می توان پیش بینی کرد که داده ها به طور بهینه ادغام می شوند.
• در IoT، یک چالش بزرگ این است که سنسورهای بسیار کم قدرت را در نظر بگیریم که جایگزینی باتری را در طول عمر خود ندارند. این نیاز برای تأمین انرژی سنسورها را محبوب می کند. این حقیقت ثابت شده است که سنسورهای با دقت بالا می توانند به مصرف مقدار زیادی از انرژی منجر شوند. برای رسیدن به این موضوع، یک مجموعه از سنسورهای با مصرف انرژی بسیار کم می تواند با دقت کم مورد استفاده قرار گیرد. با استفاده از تلفیق داده، اطلاعات بسیار دقیق ایجاد خواهد شد [20].
• تلفیق داده می تواند در رسیدگی به مسائل مربوط به داده های بزرگ IoT مفید باشد، زیرا ما داده بسیاری از سنسورها را به اطلاعات کاملتر تر و دقیق تر تلفیق می کنیم.
• یکی دیگر از مزیت های مهم تلفیق داده این است که به پنهان کردن اطلاعات مهم یا معنایی که عهده دار نتایج تلفیق شده است، کمک می کند. نمونه هایی از این موارد در کاربرد های نظامی، برخی از بخش های مهم پزشکی و در ساختمان های هوشمند هستند.
ABSTRACT
The Internet of Things (IoT) is set to become one of the key technological developments of our times provided we are able to realize its full potential. The number of objects connected to IoT is expected to reach 50 billion by 2020 due to the massive influx of diverse objects emerging progressively. IoT, hence, is expected to be a major producer of big data. Sharing and collaboration of data and other resources would be the key for enabling sustainable ubiquitous environments, such as smart cities and societies. A timely fusion and analysis of big data, acquired from IoT and other sources, to enable highly efficient, reliable, and accurate decision making and management of ubiquitous environments would be a grand future challenge. Computational intelligence would play a key role in this challenge. A number of surveys exist on data fusion. However, these are mainly focused on specific application areas or classifications. The aim of this paper is to review literature on data fusion for IoT with a particular focus on mathematical methods (including probabilistic methods, artificial intelligence, and theory of belief) and specific IoT environments (distributed, heterogeneous, nonlinear, and object tracking environments). The opportunities and challenges for each of the mathematical methods and environments are given. Future developments, including emerging areas that would intrinsically benefit from data fusion and IoT, autonomous vehicles, deep learning for data fusion, and smart cities, are discussed.
I. INTRODUCTION
The Internet of Things (IoT) [1] is set to become one of the key technological developments of our times provided we are able to realize its full potential [2]. IoT is ‘‘a global infrastructure for the information society, enabling advanced services by interconnecting (physical and virtual) things based on existing and evolving interoperable information and communication technologies’’ [3]. IoT was named by the US National Intelligence Council (NIC) in a 2008 report [4] among the six key civil technologies that could potentially affect US power. IoT is an enabler of ubiquitous computing envisioned by Mark Weiser. Fig. 1 depicts application areas of IoT: smart homes, warning systems, intelligent shopping, smart gadgets, smart cities, smart roads, healthcare, fire systems, threat identification systems, tracking and surveillance.
The number of objects connected to IoT is expected to reach 50 billion by 2020 due to the massive influx of diverse objects emerging progressively [5]. The main purpose of these increasing number and types of IoT objects is to produce useful data about our surroundings to make them smarter. This is realized by providing the environments access to the information it needs through the collection and analysis of past, present and future data. The data allows optimal decision to be made about us and our environments possibly in real-time.
IoT is expected to be a major producer of big data. This data would be produced by various vendors giving rise to data as a service. Sharing and collaboration of data and other resources would be the key for enabling sustainable ubiquitous environments such as smart cities and societies [6]. The fusion of various types and forms of data, i.e. data fusion, to enhance data quality and decision making therefore would be of prime importance in ubiquitous environments. Data fusion is defined as ‘‘the theory, techniques and tools which are used for combining sensor data, or data derived from sensory data, into a common representational format’’ [7]. A timely fusion and analysis of big data (volume, velocity, variety, and veracity), acquired from IoT and other sources, to enable highly efficient, reliable and accurate decision making and management of ubiquitous environments would be a grand future challenge. Computational intelligence would play a key role in this challenge.
A. CONTRIBUTION OF THIS WORK
The term ‘‘Internet of Things’’ was introduced firstly by Kevin Ashton in 1999 [8]. However, the key research and development works in IoT has started around 2010. One of the earliest and popular surveys were contributed by Atzori et al. [1], in 2010, where they described the fundamental building blocks of IoT and its applications. This survey was extended in [9]. Al-Fuqaha et al. in 2015 presented a survey of IoT enabling technologies, protocols and applications [10]. In [11], multi-sensor satellite image fusion methods are reviewed. The survey [12] has classified data fusion literature into three categories: data association, decision fusion and state estimation. In same year, 2013, another survey paper [13] classified the data fusion literature based on sensed data properties such as data imperfections, correlation and inconsistencies. In [14], progress and various challenges for data fusion in intelligent transportation systems are discussed. A recent survey [15] has presented a critical review of data fusion developments based on embedded sensors in mobile devices with particular focus on human activity recognition. Table 1 elaborates further the surveys relevant to our paper. A summary of the main focus of each relevant survey paper is given.
It is clear that, though a number of surveys exist on data fusion, these are mainly focused on specific applications (e.g., ITS, embedded sensors in mobile devices) areas or classifications (e.g., data properties, middleware). The aim of this paper is to:
X review literature on data fusion for IoT with a particular focus on
X mathematical methods (including probabilistic methods, artificial intelligence, and theory of belief), and
X specific IoT environments (distributed, heterogeneous, nonlinear and object tracking environments).
X to explore the opportunities and challenges for each of the reviewed mathematical methods and IoT environments
X to review the emerging areas that would intrinsically benefit from data fusion and IoT (including smart cities and autonomous vehicles).
B. PAPER STRUCTURE
The paper is divided into six sections. Section II discusses the opportunities and challenges of data fusion in general as well as specific to IoT. Section III reviews the data fusion literature based on the mathematical methods used for data fusion. These include probabilistic, artificial intelligence and theory of belief methods. Section IV discusses the literature based on the specific IoT environments including distributed, heterogeneous, and nonlinear and object tracking. Each mathematical method and environment of data fusion for IoT discussed in Sections III and IV have been elaborated with the relevant opportunities and challenges. Section V discusses the emerging areas that would intrinsically benefit from data fusion and IoT; these include autonomous vehicles, deep learning for data fusion and smart cities. Finally conclusions are drawn in Section VI.
II. DATA FUSION OPPORTUNITIES AND CHALLENGES
An enormous amount of data is produced in a quick span of time in the IoT environment. How to make this large volume of data precise and highly accurate is an open problem which needs to be solved because the quality of information plays an important role in decision making. Reliable and accurate information is critical. This can be achieved by data fusion or information fusion (terms which can be used interchangeably). Data fusion is an effective way for the optimum utilization of large volumes of data from multiple sources [11]. Multi-sensor data fusion seeks to combine information from multiple sensors and sources to achieve inferences that are not feasible from a single sensor or source [19]. The fusion of information from sensors with different physical characteristics enhances the understanding of our surroundings and provides the basis for planning, decision-making, and the control of autonomous and intelligent machines.
A. DATA FUSION OPPORTUNITIES
Data Fusion in the Internet of Things (IoT) paradigm can play a major role in its success due to the following reasons [7], [17]:
• Data Fusion makes information more intelligent, decisive, sensible and precise which is coming from multiple sensors and sources. The information from each sensor per se may not make much sense.
• A statistical benefit of fusion is obtained by computing the N independent observations; one can anticipate that the data are amalgamated in an optimal manner.
• In IoT, a big challenge is making very low power sensors which do not need battery replacements over their lifetimes; this popularizes the demand for energy efficient sensors. It has been an established fact that the sensors with high accuracy can result in the consumption of a high amount of power. To handle this issue, a set of very low power consumption sensors can be used with low accuracy. By using data fusion, highly accurate information will be created [20].
• Data Fusion can be helpful in handling the big data issues of IoT because we are fusing data from many sensors into more precise and accurate information.
• Another critical advantage of Data Fusion is that it helps to hide the critical information or the semantics which are responsible for the fused results. Examples of this are in military applications, some critical medical areas and in intelligence buildings.
چکیده
1. مقدمه
A. مشارکت این کار
B. ساختار مقاله
2. فرصت ها و چالش ها تلفیق داده ها
A. فرصت های تلفیق داده
B. چالش های تلفیق داده
3. روش های ریاضی برای تلفیق داده ها
A. الگوریتم های تلفیق داده احتمالاتی
1) فرصت ها و چالش ها
B. الگوریتم های تلفیق داده مبتنی بر هوش مصنوعی
1) یادگیری ماشین تحت نظارت
2) شبکه های عصبی مصنوعی
3) منطق فازی
4) فرصت ها و چالش ها
C. الگوریتم های تلفیق داده مبتنی بر نظریه شواهد
1) فرصت ها و چالش ها
4. روش های تلفیق داده برای محیط های خاص IoT
A. محيط توزيع شده
1) فیلتر کانال
2) تلفیق Naïve
3) تلفیق Chernoff
4) فرصت ها و چالش ها
B. محیط ناهمگن
1) فرصت ها و چالش ها
C. محیط غیرخطی
1) فرصت ها و چالش ها
D. ردیابی هدف
a. معادله ضرب کوواریانس
b. معادله اشتراک کوواریانس
c. معادله اجتماع کوواریانس
1) فرصت ها و چالش ها
5.تحولات تلفیق داده در حال ظهور
A. وسایل نقلیه مستقل و متصل
B. یادگیری عمیق برای تلفیق داده
C. دستگاه های موبایل، شهرها و جوامع هوشمند
6. نتیجه
منابع
ABSTRACT
1. INTRODUCTION
A. CONTRIBUTION OF THIS WORK
B. PAPER STRUCTURE
2. DATA FUSION OPPORTUNITIES AND CHALLENGES
A. DATA FUSION OPPORTUNITIES
B. DATA FUSION CHALLENGES
3. MATHEMATICAL METHODS FOR DATA FUSION
A. PROBABILISTIC DATA FUSION ALGORITHMS
1) OPPORTUNITIES AND CHALLENGES
B. ARTIFICIAL INTELLIGENCE BASED DATA FUSION ALGORITHMS
1) SUPERVISED MACHINE LEARNING
2) ARTIFICIAL NEURAL NETWORKS
3) FUZZY LOGIC
4) OPPORTUNITIES AND CHALLENGES
C. THEORY OF EVIDENCE BASED DATA FUSION ALGORITHMS
1) OPPORTUNITIES AND CHALLENGES
4. DATA FUSION METHODS FOR IoT-SPECIFIC ENVIRONMENTS
A. DISTRIBUTED ENVIRONMENT
1) CHANNEL FILTER
2) Naïve FUSION
3) Chernoff FUSION
4) OPPORTUNITIES AND CHALLENGES
B. HETEROGENEOUS ENVIRONMENT
1) OPPORTUNITIES AND CHALLENGES
C. NONLINEAR ENVIRONMENT
1) OPPORTUNITIES AND CHALLENGES
D. OBJECT TRACKING
a: CROSS-COVARIANCE EQUATION
b: COVARIANCE INTERSECTION EQUATION
c: COVARIANCE UNION EQUATION
1) OPPORTUNITIES AND CHALLEN
5. EMERGING DATA FUSION TRE
A. AUTONOMOUS AND CONNECTED VEHIC
B. DEEP LEARNING FOR DATA FUSION
C. MOBILE DEVICES, SMART CITIES AND SOCIETIES
6. CONCLUSION
REFERENCES