دانلود رایگان مقاله تجزیه و تحلیل داده های بزرگ

چکیده

         در دوران انقلاب صنعتی چهارم (صنعت 4.0)، داده‌های بزرگ تأثیر زیادی بر کسب‌وکارها دارند؛ چراکه انقلاب شبکه‌ها، سیستم‌عامل‌ها، مردم و فناوری‌های دیجیتال، عوامل تعیین‌کننده نوآوری و رقابت شرکت‌ها را تغییر داده است. تحریم‌های شدید برای داده‌های بزرگ از دانشگاهیان و متخصصان به‌دست‌آمده است، زیرا تجزیه‌وتحلیل داده‌های بزرگ به دانش ارزشمند و پیشبرد فعالیت‌های نوآورانه شرکت‌ها و سازمان‌ها، تغییر اقتصاد در سطح محلی، ملی و بین‌المللی منجر می‌شود. در این زمینه، علم داده‌ها به‌عنوان مجموعه‌ای از اصول اساسی تعریف‌شده است که اطلاعات و دانش را از داده‌ها به دست می‌آورند. تکنیک‌ها و برنامه‌های کاربردی که مورداستفاده قرار می‌گیرند، به تجزیه‌وتحلیل داده‌های حیاتی برای پشتیبانی از سازمان‌ها در فهم محیط و در تصمیم‌گیری‌های بهتر در طی زمان کمک می‌کنند. امروزه افزایش چشمگیر داده‌ها از طریق اینترنت اشیا (افزایش مداوم دستگاه‌های متصل، سنسورها و گوشی‌های هوشمند) موجب افزایش دوران "داده‌ها" شده است که تجزیه‌وتحلیل داده‌ها در هر بخش (کشاورزی، سلامت ، انرژی و زیرساخت‌ها، اقتصاد و بیمه، ورزش، غذا و حمل‌ونقل) و هر اقتصاد جهانی. گسترش روزافزون داده‌های موجود یک روند شناخته‌شده در سراسر جهان است، درحالی‌که دانش ارزشمند برخاسته از اطلاعات حاصل فرایندهای تجزیه‌وتحلیل داده‌ها است. در این زمینه، بخش عمده سازمان‌ها به جمع‌آوری، ذخیره و تجزیه‌وتحلیل داده‌ها برای تصمیم‌گیری‌های کسب‌وکار استراتژیک می‌پردازند که به دانش ارزشمند می‌انجامد. توانایی مدیریت، تجزیه‌وتحلیل و عمل بر روی داده‌ها ("سیستم‌های تصمیم‌گیری مبتنی بر داده‌ها") برای سازمان‌ها بسیار مهم است و به‌ عنوان یک دارایی مهم شناخته می‌شود. چشم‌انداز تجزیه‌وتحلیل داده‌های بزرگ اهمیت دارد و منافع سازمان‌های هدایت داده تعیین‌کننده‌های مهمی برای رقابت و عملکرد نوآوری هستند. بااین‌وجود موانع قابل‌توجهی برای اتخاذ رویکرد مبتنی بر داده‌ها وجود دارد و از طریق داده‌های بزرگ دانش ارزشمندی دریافت می‌کنند.

1. مقدمه

          داده‌ها به‌عنوان منبع حیاتی تصمیم‌گیری و مواد خام برای پاسخگویی مشخص می‌شود. بدون داده‌های با کیفیت بالا فراهم کردن اطلاعات مناسب در مورد موارد مناسب در زمان مناسب ، طراحی، نظارت و ارزیابی سیاست‌های مؤثر تقریباً غیرممکن است [1]. در این زمینه، توجه دائمی دانشگاهیان و متخصصان به رویکرد داده‌ها و داده‌ها وجود دارد، زیرا دانش ناشی از فرایندهای تجزیه‌وتحلیل داده‌ها منجر به ترویج فعالیت‌های نوآورانه، تغییر سازمان‌ها، بنگاه‌ها و اقتصادهای ملی می‌شود.

           امروزه، در چهارمین دوره انقلاب صنعتی، سازمان‌ها و دولت‌ها بر توسعه توانایی‌هایی تمرکز می‌کنند که دانش را از مجموعه داده‌های بزرگ و پیچیده‌ای که معمولاً "داده‌های بزرگ" نامیده می‌شوند،. فراهم می‌کند.  داده‌های بزرگی در سال‌های اخیر درزمینه های تجارت و اقتصاد یک کلمه کلیدی است، زیرا نقش مهمی در فعالیت اقتصادی ایفا می‌کند و نقش آن در ایجاد ارزش اقتصادی با ایجاد راه‌های جدید برای تحریک نوآوری و رشد بهره‌وری را تقویت می‌کند. ازاین‌رو، توانایی مدیریت، تجزیه‌وتحلیل و عمل در چارچوب سرمایه مبتنی بر دانش (KBC) مهم است که با اطلاعات دیجیتالی، ظرفیت نوآوری و جنبه‌های اقتصادی ارتباط دارد [2].

          در آن دوران، بسیاری از بنگاه‌های مستقل از ابتدا تا سازمان‌های بزرگ تلاش می‌کردند فرهنگ رقابتی با محوریت داده‌ها را برای مزیت رقابتی در برابر رقبا به دست بیاورد. شرکت‌ها بهره‌گیری از داده‌های تولیدشده در سازمان‌ها از طریق عملیات خود برای به دست آوردن بینش ارزشمند برای تصمیم‌گیری بهتر، سریع‌تر و دقیق در مسائل مهم کسب‌وکار را هدف خود قراردادند.

        ظهور وب 2.0 به کاربران اجازه می‌دهد در سیستم‌عامل‌های اجتماعی با یکدیگر در ارتباط باشند، شرکت‌ها را قادر ساخت به مقدار زیادی اطلاعات به صورتی آسان‌تر و ارزان‌تر دسترسی داشته باشند. علاوه بر این، ظاهر وب 3.0 فرصت‌های قابل‌توجهی برای جمع‌آوری اطلاعات خارجی فراهم می‌کند. دستگاه‌های همراه (تلفن‌های هوشمند و تبلت ها) شرکت‌ها را برای سنجش دقیق‌تر ترغیب می‌کند، زیرا این دستگاه‌ها، هر دو از طریق اینترنت و موبایل فعال هستند، توانایی ارتقای پردازش‌ها و معاملات بسیار متحرک، محل آگاه و متمرکز را دارند. این قابلیت در طول سالها به ارائه چالش‌ها و فرصت‌های تحقیق منحصربه‌فرد ادامه می‌دهد [3].

        شرکت‌های دیجیتال مانند گوگل، آمازون و فیس‌بوک اهمیت داده‌های بزرگ را برجسته می‌کنند و راه‌های مختلفی را نشان می‌دهد که می‌توانند از زنجیره عرضه تا رضایت مشتری استفاده شوند و مزایای شرکت‌ها را برجسته می‌کند. بسیاری از شرکت‌ها از فرصت‌های ناشی از توسعه گسترده‌ی فناوری‌های داده بزرگ بهره‌مند شدند. امروز، شرکت‌ها در هر بخش صنعت و نه محدود به بخش فناوری اطلاعات و ارتباطات بر روی بهره‌برداری از داده‌ها برای به دست آوردن مزیت رقابتی متمرکز شده است، درحالی‌که تصمیمات مدیریتی به تحلیل‌های مبتنی بر داده‌ها و کمترین استفاده از تجربه‌ی رهبر بستگی دارد [4]. بااین‌وجود، بهره‌برداری از داده‌های بزرگ نیاز به افراد بامهارت و تخصص دارد که قادر باشند  از داده‌ها ارزش را به دست آورد و دانش قابل‌توجهی را برای مدیران و تصمیم گیران فراهم کند.

1.1 تعریف داده‌های بزرگ

           انتظار می‌رود که در سال 2025 نسل فوق‌العاده‌ای از داده‌ها به 180 ZB از راه برسد و نقش مهمی در تغییر و رشد شکل‌گیری «جهان دیجیتالی جدید» قرن بیست و یکم، از طریق دگرگون کردن بازارها و کسب‌وکارها داشته باشد. اطلاعات دیجیتالی  از داده‌های پیچیده و ناهمگن از هرکجا و هر زمان به دست می‌آیند، معرف عصر جدیدی، به نام عصر «بزرگ داده‌ها» [6] هستند.

          داده‌های بزرگ به مجموعه داده‌های بزرگی اشاره دارد که قادر به ضبط، ذخیره، مدیریت و تجزیه‌وتحلیل با استفاده از ابزارهای نرم‌افزاری معمول نیست [7]. مجموعه داده‌هایی که نه‌تنها در ابعاد بلکه در ناهمگونی و پیچیدگی (داده‌های ساختاری، نیمه ساختاریافته و غیر ساختاری) ازجمله عملیات، مبادلات، معاملات، بازاریابی و سایر اطلاعات، بزرگ هستند. علاوه بر این، داده‌های بزرگ شامل داده‌هایی می‌شوند که در فرمت‌های مختلف مانند متن، صدا، ویدئو، تصویر و موارد دیگر می‌آید. این داده‌های بدون ساختار رشد سریع‌تری نسبت به داده‌های ساختاریافته دارند و 90٪ از تمام داده‌ها را ذر برگرفته‌اند [8]. بنابراین، برای بیرون کشیدن بینش و محتوای درونی داده‌ها، جهت تصمیم‌گیری بهتر، اشکال جدیدی از قابلیت پردازش موردنیاز است.

         در چرخه زندگی داده، چالش‌ها را می‌توان به سه دسته تقسیم کرد: داده‌ها، فرایندها و چالش‌های مدیریت (شکل 1) [6]. چالش‌های داده به ویژگی‌های داده‌های بزرگ شامل حجم، سرعت، تنوع و درستی و صحت آن اشاره دارند. چالش‌های فرایند با تکنیک‌های موردنیاز برای کسب اطلاعات بزرگ، انعطاف‌پذیری، تحول و تجزیه‌وتحلیل به‌منظور به دست آوردن بینش از داده‌های بزرگ مرتبط است. چالش‌های مدیریت اطلاعات عبارت‌اند از چالش‌های مربوط به امنیت داده‌ها، حفظ حریم خصوصی، نظارت و هزینه‌ها / هزینه‌های عملیاتی.

Abstract

          In the era of the fourth industrial revolution (Industry 4.0), big data has major impact on businesses, since the revolution of networks, platforms, people and digital technology have changed the determinants of firms’ innovation and competitiveness. An ongoing huge hype for big data has been gained from academics and professionals, since big data analytics leads to valuable knowledge and promotion of innovative activity of enterprises and organizations, transforming economies in local, national and international level. In that context, data science is defined as the collection of fundamental principles that promote information and knowledge gaining from data. The techniques and applications that are used help to analyze critical data to support organizations in understanding their environment and in taking better decisions on time. Nowadays, the tremendous increase of data through the Internet of Things (continuous increase of connected devices, sensors and smartphones) has contributed to the rise of a “data-driven” era, where big data analytics are used in every sector (agriculture, health, energy and infrastructure, economics and insurance, sports, food and transportation) and every world economy. The growing expansion of available data is a recognized trend worldwide, while valuable knowledge arising from the information come from data analysis processes. In that context, the bulk of organizations are collecting, storing and analyzing data for strategic business decisions leading to valuable knowledge. The ability to manage, analyze and act on data (“data-driven decision systems”) is very important to organizations and is characterized as a significant asset. The prospects of big data analytics are important and the benefits for data-driven organizations are significant determinants for competitiveness and innovation performance. However, there are considerable obstacles to adopt data-driven approach and get valuable knowledge through big data.

1 Introduction

        Data is characterized as the lifeblood of decision-making and the raw material for accountability. Without high-quality data providing the right information on the right things at the right time, designing, monitoring and evaluating effective policies becomes almost impossible [1]. In that context, an ongoing attention to data and data-driven approaches from academics and professionals exists, since the knowledge arising from data analysis processes leads to the promotion of innovative activity, transforming organizations, enterprises and national economies.

          Nowadays, in the 4th Industrial revolution era, organizations and governments focus on the development of capabilities that provide knowledge extracted from large and complex data sets, commonly known as “big data”. Big data is a buzzword in the last years in the business and economics fields, since it plays an essential role in economic activity and has strengthened its role in creating economic value by enabling new ways to spur innovation and productivity growth. Hence, the ability of management, analysis and acting is significant under the context of knowledge-based capital (KBC) that is associated with digital information, innovative capacity and economic aspects [2].

           In that era, many enterprises independent size, from start-ups to large organizations, attempt to obtain data-driven culture struggling for competitive advantage against rivals. Enterprises aim to leverage data generated within organizations through their operations to gain valuable insights for better, faster and more accurate decisions in crucial business issues.

          The advent of the Web 2.0 allows users interacting with each other on social media platforms, enabled companies getting access to big amounts of data easier and cheaper. In addition, the appearance of Web 3.0 provides considerably increased opportunities for external data collection. Mobile devices (smart phones and tablets) that facilitate companies to measure even more precisely, since those devices, both Internet and mobile-enabled, have the capability to promote e.g. highly mobile, location-aware and person-centered processes and transactions. This capability will continue offering unique research challenges and opportunities through the years [3].

          Digital enterprises like Google, Amazon and Facebook highlight the significance of big data, indicating the various ways that can be used from supply chain to customer satisfaction highlighting the benefits of enterprises. Many enterprises started to benefit from those opportunities offered by the immense development of big data technologies. Today, enterprises in every industry sector and not limited to ICT sector, are focused on data exploitation to gain a competitive advantage, while managerial decisions rely on data-based analytics and less on the leader’s experience [4]. Nonetheless, exploitation of big data needs people with skills and expertise who will able to capture value from data insights providing significant knowledge to managers and decision-makers.

1.1 Defining Big Data

         The tremendous generation of data, expected to reach 180 ZB in 2025, give data a leading role in change and growth of the 21st-century shaping a new “digital universe” with the transformation of markets and businesses [5]. Digital information from complex and heterogeneous data coming from anywhere and at any time introducing a new era, the era of “Big Data” [6].

        Big data refers to large datasets that are not able to be captured, stored, managed and analyzed by typical software tools [7]. These data sets that are huge -not only in size- but also in heterogeneity and complexity (structured, semi-structured and unstructured data) including operational, transactional, sales, marketing and other data. In addition, big data includes data that comes in several formats including text, sound, video, image and more. This unstructured data is growing faster than structured and have captured the 90% of all the data [8]. Therefore, new forms of processing capabilities are required for getting data insights that lead to better decision making.

         On the data life cycle the challenges can be divided into three categories: data, process and management challenges (Fig. 1) [6]. Data challenges refer to characteristics of big data including volume, velocity, variety and veracity. Process challenges are related with the techniques needed for big data acquisition, integration, transformation and analysis in order to gain insights from the big data. The data management challenges include challenges regarding data security, privacy, governance and cost/operational expenditures.

چکیده

1. مقدمه

1.1 تعریف داده‌های بزرگ

1.2 تجزیه ‌و تحلیل داده بزرگ

1.2.1 کاربردهای تجزیه‌ و تحلیل داده بزرگ

1.2.2 بزرگ داده‌ها تجزیه‌و تحلیل چشم‌انداز

1.2.3 چالش‌ها و موانع تجزیه‌ و تحلیل داده‌های بزرگ

2. نتیجه گیری

منابع

Abstract

1 Introduction

1.1 Defining Big Data

1.2 Big Data Analytics

1.2.1 Big Data Analytics Applications

1.2.2 Big Data Analytics Prospects

1.2.3 Big Data Analytics Challenges and Barriers

2 Conclusions

References