ارائه ساختار محلی در شبکه های بیزی توسط توابع بولی
چکیده
یک شبکه بیزی (BN) توزیع های احتمال شرطی را در میان یک مجموعه از متغیرهای تصادفی توسط گراف جهت دار غیر مدور (DAG) ، مدلسازی می کند. در این مقاله، ما فقط موردی را در نظر می گیریم که متغیرهایش گسسته هستند. یک CPT، توزیع مشروط یک گره ، با هر ترکیب معین از مقادیر والد آن را لیست می کند. مشکل عمده CPT ها این است که تعداد چنین ترکیب هایی،که ما آنها را ترتیبهای والد می نامیم، به طور نمایی با تعداد والدها رشد می کنند، و منجر به افزایش شدید در پیچیدگی محاسباتی و کاهش در دقت آماری می گردند.
1. مقدمه
از سوی دیگر، مواردی وجود دارد که توزیعهای شرطی را به صورت منظم نمایش می دهند، و قادر به نمایش فشردگی آنها و یادگیری کارآمد هستند. برای دستیابی به نمایش کارآمدتر ساختار محلی در شبکه های بیزی، تعدادی از فرمول های مختلف پیشنهاد شده است. در سال 1991، Geiger و همکاران، چندین شبکه بیزی را برای رمزگذاری مستقل نامتقارن در شبکه های بیزی ارائه داده اند [7]. با توجه به معرفی مفهوم استقلال زمینه- خاص (CSI) توسط [1]، مجموعه ای از الگوریتم های جستجوی حریصانه بر اساس این نمایش توسعه یافته اند،[3، 6، 4] را ببینید. کار اخیر Pensar و همکاران، استقلال شرطی جزئی (PCI) را معرفی می کند که اجازه می دهد لبه های درخت های زمینه ای(context trees)، چندین مقدار بگیرند [9]. تمام روش های فوق، نمایش خاصی از ساختار های محلی را در نظر می گیرند، بدون توجه به اینکه چگونه می توانند با موقعیتهایی که در آن ساختارهای محلی به شکل دیگر ارائه شده اند، مقابله کنند. هدف ما، ایجاد یک نمایش کلی تر است که اجازه می دهد، نمایش های ساختارهای محلی مختلف، از جمله درخت های زمینه ای فشرده شوند. در نهایت ما یک رویکرد برای طبقه بندی شبکه های گاوسی با تاخیر زمانی با استفاده از یادگیری انتقالی ارائه شده در [2] ، را ذکر می کنیم: انتقال یادگیری، همچنین می توانست جهت نفوذ قوانین در یادگیری CPT ها در شبکه های بیزی استفاده شود. در این مقاله، ما یک رویکرد برای مدل سازی ساختارهای محلی با استفاده از ترکیب خطی توابع بولی، یک الگوریتم یادگیری مبتنی بر Lasso( اپراتور کمترین مطلق انقباض و انتخاب) [14] و یک الگوریتم ابتکاری مبتنی بر ترتیب را ارائه می دهیم.
ABSTRACT
A number of studies on learning Bayesian networks have emphasized the importance of exploiting regularities in conditional probability distributions, i.e., local structure. In this paper, we encode local structures as linear combinations of Boolean functions. By using Lasso, we can simultaneously estimate the structure and parameters of the networks from limited data. We demonstrate that the method leads to improved performance in terms of structural correctness as well as prediction score even when the local structure in the underlying model is only implicit.
1. Introduction
A Bayesian network (BN) models conditional probability distributions among a set of random variables by a directed acyclic graph (DAG). In this paper, we only consider the case where the variables are discrete. A straightforward way of encoding the conditional probability distribution is by means of conditional probability tables (CPTs). A CPT lists the conditional distribution of a node given each combination of its parents’ values. A major problem with CPTs is that the number of such combinations, which we call parent configurations, grows exponentially with the number of parents, which leads to a sharp increase in computational complexity and decrease in statistical precision. On the other hand, there are cases where the conditional distributions exhibit regularities that enable their compact representation and efficient learning. To achieve more efficient representations of local structure in Bayesian networks, a number of different formulations have been proposed. In 1991, Geiger et al. introduced Bayesian multinets for encoding asymmetric independence in Bayesian networks [7]. Since the introduction of the concept of context-specific independence (CSI) by [1], a set of greedy search algorithms have been developed based on this representation, see [3, 6, 4]. Recent work by Pensar et al. introduces partial conditional independence (PCI) to allow the edges of context trees to take multiple values [9]. All of the above methods assume a specific representation of local structures without considering how well it can deal with situations where the local structures are expressed in another form. Our aim is to construct a more generic representation that allows compact representations of many different types of local structures, including, for example, context trees. Finally we mention that an approach to classification of time-delayed Gaussian networks by means of transfer learning is presented in [2]: transfer learning could also be used to leverage regularities in learning CPTs in Bayesian networks. In this paper, we propose an approach to modeling local structures by using linear combinations of Boolean functions and propose a learning algorithm based on the Lasso (the least absolute shrinkage and selection operator) [14] and an ordering-based heuristic.
چکیده
1. مقدمه
2. یادگیری ساختار محلی توسط Lasso
2-1 فرمول بندی مدل
2-2 الگوریتم
3-آزمایشات
3-1 شبکه های بیزی ترکیبی
3-2 شبکه های بیزی ترکیبی2
3-3. شبکه های معیار
4-نتیجه گیری
ABSTRACT
1. Introduction
2. Learning local structure by Lasso
2.1. Model formulation
2.2. Algorithm
3. Experiments
3.1. Synthetic Bayesian networks I
3.2. Synthetic Bayesian networks II
3.3. Benchmark networks
4. Conclusions
- ترجمه فارسی مقاله با فرمت ورد (word) با قابلیت ویرایش، بدون آرم سایت ای ترجمه
- ترجمه فارسی مقاله با فرمت pdf، بدون آرم سایت ای ترجمه