شبکه عصبی پرسپترون

شبکه عصبی پرسپترون

تاریخچه :

الگوریتم پرسپترون در سال ۱۹۵۷ در لابراتوار کرنل آرونوتیکال توسط فرانک روزنبلت با سرمایه‌گذاری دفتر تحقیقات دریانوردی ایالات متحده ابداع شد. پرسپترون بیشتر به عنوان یک دستگاه مد نظر بوده است تا یک برنامه؛ و با این‌که اولین پیاده‌سازی آن به صورت یک نرم‌افزار برای آی بی ام ۷۰۴ بود؛ پس از آن به صورت سخت‌افزار اختصاصی "پرسپترون مارک ۱" پیاده‌سازی شد. این دستگاه برای تشخیص تصویر طراحی شده بود: مجموعه‌ای از ۴۰۰ حسگر نور، که به صورت تصادفی به "نورون"‌ها متصل شده‌اند. وزن‌ها در پتانسیومترها کدگذاری شده بودند، و بروزرسانی وزن‌ها در طول یادگیری با موتورهای الکتریکی صورت می‌گرفت.

تعریف :

پرسپترون یک نوع دسته‌بند دودودیی است که ورودی خود x (یک بردار متشکل اعداد حقیقی) را به مقدار خروجی f x (یک اسکالر با مقادیر باینری) که به صورت زیر حساب می‌شود، متناظر می‌کند

w یک بردار از وزن‌هایی با مقادیر حقیقی است و  ضرب داخلی بردار وزن و بردار ورودی است، که در آن m تعداد ورودی‌های پرسپترون است. در رابطه بالا b نشان‌دهنده بایاس است که وظیفه آن جابجا کردن مرز تصمیم‌گیری از مبدأ است و مقدار آن به ورودی‌ها بستگی ندارد.

در مسئله دسته‌بندی دودودیی مقدار f x برای دسته‌بندی x بین دو کلاس + و _ استفاده می‌شود. اگر b عددی منفی باشد، جمع وزن‌دار ورودی‌ها باید عدد مثبتی بزرگتر از |b| باشد تا خروجی پرسپترون 1 شود. به عبارت دیگر دسته‌بند پرسپترون مانند یک ابرصفحه است که فضای m بعدی را به دو قسمت تقسیم می‌کتد، در این صورت w نشان‌دهنده بردار عمود برصفحه و b نشان‌دهنده عرض از مبدأ صفحه جداکننده است. به ازای نقاط داده شده به همراه برچسب آن‌ها  الگوریتم پرسپترون مقادیر w و b را به گونه‌ای می‌یابد که تمام نمونه‌ها توسط تابع f به‌درستی برچسب گذاری شوند یعنی 

اگر داده‌های مثبت و منفی قابلیت جداشدن توسط یک ابرصفحه را نداشته باشند الگوریتم پرسپترون متوقف نمی‌شود اما اگر داده‌ها خطی تفکیک‌پذیر باشند الگوریتم پرسپترون در تعداد متناهی مرحله پایان می‌یابد. معروف‌ترین تابعی که الگوریتم پرسپترون قادر به یادگیری آن نیست؛ تابع یا مانع الجمع است.

در زمینه شبکهٔ‌های عصبی مصنوعی پرسپترون یک نوع نورون مصنوعی است که تابع فعالیت آن تابع پله‌ای هویساید می‌باشد.

توپولوژی شبکه های عصبی

شبکه های عصبی پس انتشار ) پرسپترون چند لایه با آموزش

الگوریتم Back-Propagation: BP )

•  تابع فعال سازی
•  الگوریتم آموزش
•  انتشار خطا به عقب

 حل تابع XOR با استفاده از شبکه عصبی چند لایه

وضعیت نسبی سلولها در شبکه )تعداد و گروه بندی و نوعاتصالات آنها( را توپولوژی شبکه گویند. توپولوژی در واقعسیستم اتصال نرونها به یکدیگر است که توام با روشریاضی جریان اطلاعات و محاسبه ی وزنها، نوع عملکردشبکه عصبی را تعیین می کند.

FeedForwardTopology

Recurrent Topology

شبکه عصبی بازگشتی  :

این شبکه ها، شبکه های عصبی با یک حلقه برگشتی )پس خور( یا بیشتر هستند . برگشت ها می توانند محلی  یا کلی باشند . خاصیت اصلی آنها این است که رفتار آن ها هم به وسیله خودشان و هم به وسیله ورودی های خارجی به شبکه تعیین می گردد .

Recurrent Network with hidden neuron: unit delay operator z-1is used to model a dynamic system

 الگوریتم یادگیری پس انتشار خطا :

این الگوریتم جزو الگوریت مهای یادگیری با ناظر است که اساساً از دو مسیر اصلی تشکیل شدهاست:

1-مسیر رفت که در آن بردار ورودی به شبکه عصبی اعمال شده  و تاثیر آن از طریق لای ههای میانی به لایه خروجی انتشار می یابد. در این مسیر برای هر ورودی، مقداری تحت عنوان خروجی توسط شبکه محاسبه می شود. در این مسیر، پارامترهای شبکه ثابت می مانند.

2- پس از تولید خروجی در مرحله رفت، اختلاف مسیر برگشت خروجی مطلوب )مشاهده شده و خروجی محاسبه شده توسط شبکه تعیین می شود. سیگنا لهای خطا در مسیر برگشت از لایه خروجی مجدداً در کل شبکه توزیع می شود و پارامترهای شبکه مجدداً تنظیم می شوند.

تذکر: 

فرآیند دوگانه فوق به دفعات تکرار شده تا خروجی شبکه به خروجی مطلوب نزدیک شود. هنگامی که خطای بدست آمده از آستانه مجاز کمتر شود فرآیند آموزش متوقف می شود.

آموزش با پس انتشار خطا :

هدف آموزش شبکه با پس انتشار خطا رسیدن به تعادل در قابلیت یادگیری و تعمیم است .

• قابلیت یادگیری = پاسخ صحیح به الگوی ورودی به کار رفته برای آموزش 
• تعمیم = پاسخ دهی منطقی به ورودی های شبیه اما نه دقیق یکسان با ورودی آموزش

آموزش شامل سه مرحله است :

1. پس خور کردن الگوی آموزش ورودی 
2. محاسبه و پس انتشار کردن خطا
3. تنظیم وزن ها

شبکه سه لایه :

• یک لایه ورودی x
• یک لایه واحد های مخفی z
• یک لایه خروجی y