بهینه سازی مبتنی بر جغرافیای زیستی یا BBO

بهینه سازی مبتنی بر جغرافیای زیستی یا Biogeography-Based Optimization (به اختصار BBO) یکی از الگوریتم های نسبتا جدید در حوزه بهینه سازی هوشمند است که در سال ۲۰۰۸ توسط Dan Simon معرفی شد. در این الگوریتم، از چگونگی انتشار گونه های جانداران در زیستگاه های متعدد الهام گرفته شده است. با ارائه مدلی احتمالی برای چگونگی مهاجرت گونه در زیستگاه ها، مدل ریاضی استخراج شده است که نهایتا منجر به ایجاد مدل بهینه سازی جدیدی شده است که در BBO استفاده شده است.

GMDH

توضیحات کلی از GMDH :

مخفف GROUP MODEL OF DATA HANDLING و از خانواده الگوریتم های استتناجی (Algorithms Inductive )برای مدل سازی ریاضی از مجموعه داده های چند پارامتری که ویژگی های تمام اتوماتیک بهینه سازی ساختاری و پارامتریک از مدل را دارا هستند، می باشد. GMDH در زمینه هایی مانند داده کاوی ( DATA MINING )کشف دانش (KNOLEDGE DISCOVERY)پیش بینی(Prediction)مدل سازی سیستم های پیچیده ( COMPLEX SYSTEM MODELING )بهینه سازی (Optimization)و شناسایی الگو ( PATTERN RECOGNITION )به کار می رود. الگوریتم GMDH بر اساس روش استنتاج است که انجام مرتب سازی از مدل به تدریج پیچیده چند جمله ای و انتخاب بهترین راه حل با استفاده از معیارهای خارجی، مشخص می شود. مدل GMDH با چندین ورودی و یک خروجی، یک زیر مجموعه از اجزای تابع پایه است:

که در آن f تابع ابتدایی وابسته به مجموعه های مختلف از ورودی ها، a ها ضرایب هستند و m تعداد اجزای عملکرد پایه است. در جهت پیدا کردن بهترین راه حل، الگوریتم GMDH چند راه حل دارد که به آنها مدل های جزئی  مشتقات جزئی می گویند. ضرایب این مدل توسط روش کمترین مربعاتPARTIAL MODEL  t برآورده می  می شود. الگوریتم GMDH به تدریج تعدادی از مدل های جزئی را افزایش می دهد و یک مدل ساختاری با پیچیدگی مطلوب که با ارزش حداقل یک معیار خارجی نشان داده می شود .

محبوبترین تابع پایه که در GMDH استفاده می شود، چند جمله ای کولموگروف – گابور Gabor – Kolmogorov است:

GMDH را با نام شبکه های عصبی چند جمله ای و شبکه های آموزشی آماری به لطف پیاده سازی الگوریتم های مربوط در چندین نرم افزار تجاری نیز می شناسند.

الگوریتم های مورد استفاده در GMDH :

( Combinatorial (COMBI

( Multilayered Iterative (MIA

 GN 

( Objective System Analysis (OSA 

 Harmonical 

( Two-level (ARIMAD 

( Multiplicative-Additive (MAA

( Objective Computer Clusterization (OCC

 Pointing Finger (PF) clusterization algorithm

( Analogues Complexing (A 

 Harmonical Rediscretization 

( Algorithm on the base of Multilayered Theory of Statistical Decisions (MTSD 

( Group of Adaptive Models Evolution (GAME

  Least Square

شبکه عصبی پرسپترون

شبکه عصبی پرسپترون

تاریخچه :

الگوریتم پرسپترون در سال ۱۹۵۷ در لابراتوار کرنل آرونوتیکال توسط فرانک روزنبلت با سرمایه‌گذاری دفتر تحقیقات دریانوردی ایالات متحده ابداع شد. پرسپترون بیشتر به عنوان یک دستگاه مد نظر بوده است تا یک برنامه؛ و با این‌که اولین پیاده‌سازی آن به صورت یک نرم‌افزار برای آی بی ام ۷۰۴ بود؛ پس از آن به صورت سخت‌افزار اختصاصی "پرسپترون مارک ۱" پیاده‌سازی شد. این دستگاه برای تشخیص تصویر طراحی شده بود: مجموعه‌ای از ۴۰۰ حسگر نور، که به صورت تصادفی به "نورون"‌ها متصل شده‌اند. وزن‌ها در پتانسیومترها کدگذاری شده بودند، و بروزرسانی وزن‌ها در طول یادگیری با موتورهای الکتریکی صورت می‌گرفت.

تعریف :

پرسپترون یک نوع دسته‌بند دودودیی است که ورودی خود x (یک بردار متشکل اعداد حقیقی) را به مقدار خروجی f x (یک اسکالر با مقادیر باینری) که به صورت زیر حساب می‌شود، متناظر می‌کند

w یک بردار از وزن‌هایی با مقادیر حقیقی است و  ضرب داخلی بردار وزن و بردار ورودی است، که در آن m تعداد ورودی‌های پرسپترون است. در رابطه بالا b نشان‌دهنده بایاس است که وظیفه آن جابجا کردن مرز تصمیم‌گیری از مبدأ است و مقدار آن به ورودی‌ها بستگی ندارد.

در مسئله دسته‌بندی دودودیی مقدار f x برای دسته‌بندی x بین دو کلاس + و _ استفاده می‌شود. اگر b عددی منفی باشد، جمع وزن‌دار ورودی‌ها باید عدد مثبتی بزرگتر از |b| باشد تا خروجی پرسپترون 1 شود. به عبارت دیگر دسته‌بند پرسپترون مانند یک ابرصفحه است که فضای m بعدی را به دو قسمت تقسیم می‌کتد، در این صورت w نشان‌دهنده بردار عمود برصفحه و b نشان‌دهنده عرض از مبدأ صفحه جداکننده است. به ازای نقاط داده شده به همراه برچسب آن‌ها  الگوریتم پرسپترون مقادیر w و b را به گونه‌ای می‌یابد که تمام نمونه‌ها توسط تابع f به‌درستی برچسب گذاری شوند یعنی 

اگر داده‌های مثبت و منفی قابلیت جداشدن توسط یک ابرصفحه را نداشته باشند الگوریتم پرسپترون متوقف نمی‌شود اما اگر داده‌ها خطی تفکیک‌پذیر باشند الگوریتم پرسپترون در تعداد متناهی مرحله پایان می‌یابد. معروف‌ترین تابعی که الگوریتم پرسپترون قادر به یادگیری آن نیست؛ تابع یا مانع الجمع است.

در زمینه شبکهٔ‌های عصبی مصنوعی پرسپترون یک نوع نورون مصنوعی است که تابع فعالیت آن تابع پله‌ای هویساید می‌باشد.

توپولوژی شبکه های عصبی

شبکه های عصبی پس انتشار ) پرسپترون چند لایه با آموزش

الگوریتم Back-Propagation: BP )

•  تابع فعال سازی
•  الگوریتم آموزش
•  انتشار خطا به عقب

 حل تابع XOR با استفاده از شبکه عصبی چند لایه

وضعیت نسبی سلولها در شبکه )تعداد و گروه بندی و نوعاتصالات آنها( را توپولوژی شبکه گویند. توپولوژی در واقعسیستم اتصال نرونها به یکدیگر است که توام با روشریاضی جریان اطلاعات و محاسبه ی وزنها، نوع عملکردشبکه عصبی را تعیین می کند.

FeedForwardTopology

Recurrent Topology