دانلود مقاله محاسبات مربوط به انتخاب مدار نورونی

مقدمه 
     آزمایش های رفتاری با استفاده از انواع مختلف پارادایم های وظیفه ای به شکل گیری دو دسته گسترده از مدل های ریاضی برای تصمیم گیری منجر شده است. از یک سو ، مدلهای نمونه گیری متوالی، تجمعات اطلاعاتی را که در گذر زمان به نمایش درمی آیند توصیف میکند و دقت عملکرد را تعیین نموده و زمان واکنش دهی را در وظایف ادراکی و حافظه ای نشان میدهد. سوی دیگر، مدل های نظریه بازی و مدل های یادگیری تقویتی ، مربوط به رفتار انتخابی پویا هستند که بر اساس حداکثر سازی سود و ارتباط متقابل با محیط های دیگر و عوامل تصمیم گیری می باشند. ین مدل ها بدلیل توصیف کمی داده های رفتاری و ارزیابی اندیشه های نظری در فرآیندهای شناختی تصمیم گیری مهم هستند. با این حال، برای درک صحیح اساس بیولوژیکی رفتار تصمیم گیری، ساخت مدل های واقعی مدار عصبی بسیار مهم است زیرا به ما این امکان را می دهد که ماشین های عصبی و انبوهی از شبکه های عصبی جمعی پویا را در زیر لایه های تصمیم گیرنده ی مغز کشف کنیم. این امکان به تازگی و به لطف پیشرفت های صورت گرفته در نوروفیزیولوژی حیوانات ، تصویربرداری انسانی و تئوری های جدید به وجود آمده است. در این فصل به خلاصه پیشرفت های اخیر در این زمینه پرداخته شده است. مکانیسم های بیولوژیکی و مدل های مدار عصبی در رفتار های انتخابی مورد بحث قرار گرفته اند و یک چارچوب منسجم برای تصمیم گیری ادراکی ارائه شده است ( به فصل 9 مراجعه شود) و رفتار های انتخابی مبتنی بر ارزش (به فصل مراجعه کنید 20) به شکل یک مدل مدار عصبی بازگشتی که دارای انعطاف پذیری سیناپسی وابسته به پاداش است، ارائه گردیده است. 

مدل سازی Spiking شبکه چیست؟
     آزمایشات فیزیولوژیکی در رفتار حیوانات برای کشف سیگنال های عصبی با جنبه های خاص تصمیم گیری حیاتی مرتبط هستند. مدل سازی عصبی مبتنی بر بیوفیزیک می تواند مکانیزم های مدار را که موجب بروز سیگنال های مشاهده شده عصبی می شوند ترسیم نموده و اصول محاسباتی کلیدی را در سطح مفهومی شناسایی کند. در خصوص سوالات خاصی در مورد تصمیم گیری مانند آنچه در ادامه بحث شده است، مهم است که بتوانیم شلیک عصبی پتانسیل های عمل و یا خوشه های عصبی (سیگنال های الکتریکی اغلب از نظر ریاضی به عنوان نقاط فرایند توصیف می شود ؛ به فصل 5 مراجعه کنید) را شناسایی کنیم که از طریق آن نورون ها اطلاعات را انتقال می دهند و با یکدیگر ارتباط برقرار می کنند. به این منظور، سلولهای تکی را می توان با استفاده از یک مدل عصبی اسپیکینگ توصیف کرد و نه با یک مدل سرعت شلیک . انتخاب مناسب برای انجام این نوع از مدل های جایگزین ،بکارگیری مدل نشتی ادغام و شلیک و یا مدل Hodgkin-Huxley است. چنین مدلی با اندازه گیری های فیزیولوژیکی، مانند ثابت الکتریکی زمان غشاء سلول عصبی و عملکرد خروجی ورودی (سرعت شلیک به عنوان عملکرد ا جریان ورودی سیناپسی)، که می تواند برای انواع مختلف سلول ها مانند سلول های هرمی بازتابی و مهاری درون سلولی کالیبره گردد.
     لازم به ذکر است که در یک مدل مبتنی بر بیوفیزیک، سیناپس ها نیز باید با دقت مدلسازی شوند. بر خلاف مدل های ارتباطی که در آن جفت شدن بین نورون ها معمولا یک عمل لحظه ای تاشی از از فعالیت شلیک است، سیناپس ها ثابت زمانی لازم برای برانگیخته شدن و افت مورد نیاز خود را دارند و این خواص را بطور مجموع نشان میدهند. این یک ویژگی مهم در این کلاس از مدل است زیرا پویایی های سیناپتیک یک عامل حیاتی در تعیین زمان ادغام یک مدار عصبی اختصاص داده شده به تصمیم گیری بوده و همچنین در کنترل ثبات یک شبکه قوی تکراری نیز اهمیت دارند. هنگامی که این "بلوک های ساختمانی" (سلول های تکی و سیناپس ها) برای یک مدل خاص بوجود آمده است، از آنها برای ساختن یک شبکه با یک ساختار قابل اعتماد بیولوژیکی استفاده میشود. یک تشکیلات مدار معمولی فرض ب معمول، در واقع یک تحریک محلی بین نورونهای انتخابی مشابه است که با یک مهار سراسری در کل شبکه ادغام شده است. تعادل پویا بین تحریک سیناپسی و مهار یکی دیگر از ویژگی های میکرو شبکه غشایی است که به طور فزاینده ای از نظر تجربی به رسمیت شناخته شده و در مدل های شبکه ی غشایی بکار گرفته میشود. 

نتیجه گیری
     بخش عمده ای از تحقیقات در اقتصاد رفتاری بر نحوه انتخاب تصمیم گیرندگان از میان گزینه های مختلف تمرکز دارد. آن هم در شرایطی که اطلاعات در مورد چشم انداز آینده نامعلوم به صراحت ارائه می شود. به عنوان مثال، در مطالعات در مورد تصمیم گیری در شرایط خطر و ریسکی ، به تصمیم گیرندگان اطلاعات خاصی در مورد بزرگی و احتمالات نتایج حاصل ار هر انتخاب داده میشود. با توجه به این شناخت ، بایستی به طراحی استراتژی رفتاری پرداخته و برای بهینه سازی جهانی تلاش نمود. در زندگی واقعی، اطلاعات درباره بزرگی، احتمال و تاخیر زمانی پاداش و مجازات ناشی از یک انتخاب خاص اغلب بایستی از طریق تجربه و توسط آزمون و خطا تخمین زده شود. علاوه بر این، احتمال وقوع چنین پاداش هایی اغلب در طول زمان تغییر می کند زیرا عوامل مختلفی در آن تاثیر گذار می باشند. یافته های اخیر در اینجا خلاصه شده و در فصل های دیگر نشان می دهد که رفتار انتخابی سازگارانه، از طریق انتخاب دو گانه بیشتر است و حافظه رویدادهای پاداش گذشته هر دو در سطوح رفتاری و عصبی بروز میکند. با این وجود، مغز مخازن ثابت متفاوتی برای حافظه پاداش دارد و از این رو یادگیری بالقوه را تقویت می کند که به طور کاربردی برای بهره برداری پویا و کشف تجارت مطلوب است. آزمایش های نوروفیزیولوژیک با رفتار حیوانات و کار محاسباتی بمنظور ایجاد یک مدل مدار هسته عصبی به خوبی ترسیم شده اند که با پویایی شدید مکرر یا اترکتور مشخص می شود و دارای انعطاف پذیری سیناپسی Hebbian وابسته به پاداش است.
     این مدل با موفقیت به تصمیم گیری ادراکی، تغذیه ای ، نقشه برداری سنسور حرکتی انعطاف پذیر، بازی رقابتی، و یادگیری علیت احتمالی قابل تعمیم است. این مطالعات اطلاعاتی در مورد چگونگی تصميم گيري تصادفی سازگارا ، مانند رفتار انطباقی در يک وظيفه تغذيه، تعادل تقريبي نش در يک بازي رقابتي و يا نتيجه احتمالاتي يک درگيري پويا بين يک شبکه تصميم گيري و محيط اطراف آن را ارائه میدهد. این مدل باید گسترش یابد تا بررسی شود که چگونه یک شبکه عصبی یا یک سیستم شبکه ای می تواند به طور مناسب اطلاعات مربوط به جنبه های مختلف پاداش و مجازات از جمل بزرگی، عدم قطعیت و تاخیر زمانی را ترکیب نماید.

     همچنین پایه بیوفیزیکی پلاستیستی وابسته به پاداش در مغز به طور کامل روشن می شود. مطالعات اخیر نشان داده است که چگونه انحراف از بهینه سازی به طور طبیعی توسط مکانیزم های شناخته شده و یا ناشناخته توضیح داده می شود، تحقیقات آینده در این مسیر بیشتر به اختلاف بین رفتارهای انسان و حیوانات و نظریه انتخاب منطقی معطوف خواهند بود.

INTRODUCTION

     Behavioral experiments using different types of task paradigms have led to two broad classes of mathematical models for decision making. On the one hand, sequential-sampling models describe information accumulation that unfolds in time and determine performance accuracy and reaction times in perceptual and memory tasks. On the other hand, game-theoretical models and reinforcement learning models account for dynamic choice behavior which is based on utility maximization and interplay with the environment or other decision agents. These models are important for quantitatively describing behavioral data and assessing theoretical ideas about the cognitive processes of decision making. To truly understand the biological basis of decision behavior, however, it is critical to construct realistic neural circuit models that allow us to uncover neural machineries and collective dynamics of neural networks in the brain underlying decision making. This has recently become possible thanks to advances in animal neurophysiology, human imaging and theory. This chapter summarizes recent progress in this direction. It discusses biological mechanisms and neural circuit models of choice behavior, and offers a unifying framework for both perceptual decision making (see also Chapter 19) and value-based choice behavior (see also Chapter 20) in terms of a recurrent neural circuit model endowed with reward-dependent synaptic plasticity.

What is Spiking Network Modeling?

     Physiological experiments in behaving animals are critical for uncovering neural signals correlated with specific aspects of decision making. Biophysically based neural modeling can delineate circuit mechanisms that give rise to the observed neural signals, and identify key computational principles at the conceptual level. For certain questions about decision making such as those discussed below, it is important to capture neural firing of action potentials or spikes (electrical signals often described mathematically as point processes; see Chapter 5) through which neurons transmit information and communicate with each other.

     To this end, single cells can be described by a spiking neuron model, rather than a firing-rate model of the kind that have so far been presented in this volume. A popular choice for accomplishing this alternative kind of representational model is to employ either the leaky integrate-and-fire model or the Hodgkin
Huxley model. Such a model is calibrated by physiological measurements, such as the electrical time constant of the nerve cell membrane and the input
output function (the spike firing rate as a function of the synaptic input current), which can be different for different classes of cells like excitatory pyramidal cells and inhibitory interneurons.

CONCLUSION

     Much of the research in behavioral economics focuses on how the decision makers choose among various options when the information about the uncertain future prospects are provided explicitly. For example, in studies on decision making under risk, the decision makers are given specific information about the magnitudes and probabilities of possible payoffs from each choice. Given the knowledge, one should devise a behavioral strategy to strive for global optimality. In real life, however, information about the magnitude, likelihood, and temporal delay of reward and punishment resulting from a particular choice often has to be estimated through experience by trial and error. Furthermore, such reward contingencies often change over time, and this happens frequently when multiple agents interact. Recent findings summarized here and in other chapters suggest that adaptive choice behavior is more dynamical, through choice-bychoice melioration; and that memory of past reward events is leaky both at the behavioral and neuronal levels. Nevertheless, the brain is endowed with a reservoir of disparate time constants for reward memory hence potentially reinforcement learning, which is functionally desirable for dynamical exploitation
exploration trade-off.

     Neurophysiological experiments with behaving animals and computational work have begun to establish an empirically well tested core neural circuit model, that is characterized by strongly recurrent or attractor dynamics and endowed with reward-dependent Hebbian synaptic plasticity. This model has been successfully applied to perceptual decision making, foraging, flexible sensori-motor mapping, competitive game, and probabilistic causal learning. These studies provide important clues as to how adaptive stochastic decision making, such as matching behavior in a foraging task, approximate Nash equilibrium in a competitive game or probabilistic inference, result from a dynamic interplay between a decision-making network and its environment. The model will need to be extended to investigate how a neural network or a system of networks can suitably combine the information about various aspects of reward and punishment, such as their magnitude, uncertainty, and temporal delay.

     Also, the biophysical basis of reward-dependent plasticity in the brain remains to be fully elucidated. Recent work illustrated how deviations from optimality might be naturally explained by known neural mechanisms, future research along these lines will shed fundamental insights into the discrepancy between the behaviors of humans and animals and the theory of rational choice.

(جهت بزرگ نمایی روی عکس کلیک نمایید)

مقدمه 
مدل سازی Spiking شبکه چیست؟
مکانیسم مدار بازگشتی برای تصمیم گیری 
بستر عصبی یک آستانه تصمیم گیری
تبادل سرعت- دقت 
مقایسه بین مدل دریفت- دیفیوژن و مدل مدار عصبی 
انتخاب مبتنی بر ارزش متعادل
مدار تصمیم گیری با یادگیری وابسته به پاداش
دوپامین و پلاستیسیته سیناپتیک
محاسبه بازگشت از طریق سیناپس ها( Computation of Returns by Synapses) : قانون تطبیق از طریق بهسازی
رفتار انتخاب تصادفی در بازی سکه های مطابق 
پاداش حافظه و تقویت یادگیری در مقیاس های زمانی چندگانه 
استنتاج احتمالاتی 
بررسی انحراف از رفتار منطقی با ارائه یک مثال
نتیجه گیری
منابع

INTRODUCTION
What is Spiking Network Modeling?
A Recurrent Circuit Mechanism for Decision Making
A Recurrent Circuit Mechanism for Decision Making
SpeedAccuracy Trade-Off
Comparison Between the Drift Diffusion Model and Neural Circuit Model
ADAPTIVE VALUE-BASED CHOICE
A Decision-Making Circuit Endowed with Reward-Dependent Learning
Computation of Returns by Synapses: Matching Law Through Melioration
Random Choice Behavior in Matching Pennies Game
Reward Memory and Reinforcement Learning on Multiple Time Scales
Probabilistic Inference
Deviation from Rational Behavior: An Example
CONCLUSION
References