فصل ۱ : مقدمه
۱-۱ انسان و كامپيوتر
انسان ها از كامپيوترها باهوش ترند. چرا چنين گفته مي‌شود؟

درست است كه بعضي از اعمالي را كه ما به سختي انجام مي دهيم يك كامپيوتر به سرعت و به راحتي انجام مي دهد ،مانند جمع چندصد عدد ، اما اين مطلب باعث نمي شود كه ما يك كامپيوتر را باهوشتر از انسان بدانيم چون اين سيستم هرگز قادر نمي باشد كه اعمالي را كه نياز يه استدلال دارد و يا حل آنها از طريق شهودي و حدس و گمان مي باشد را به طور مطلوب انجام دهد. شايد بهتر است بگوييم آن‌هاموجودات منطقي اي هستند و تنها اعمال منطقي را به خوبي انجام مي دهند.

مسئله ديگر شايد اين باشد كه يك كامپيوتر مي تواند بعضي كارها را كه ما در مدت زمان قابل ملاحظه اي انجام مي دهيم را در زمان بسيار كوتاه تري انجام مي دهد.ويا بعضي از اطلاعات را پس از گذشت ماه ها ويا سالها به خاطر مي آورد .
به همين دليل از كامپيوتر ها انتظار داريم در زمينه هاي ديگر نيز چنين رفتاري را از خود نشان دهند و چون نمي توانند تمام انتظارات ما را بر آورده كنند ما مايوس مي شويم.در واقع اين هدفي است كه دست اندركاران هوش مصنوعي دنبال مي كنند اما هنوز پس از گذشت ۳۰ سال تحقيقات گسترده نمي توانند اين ادعا را داشته باشند كه به چنين كامپيوتري دست پيدا كرده اند.

هدف هوش مصنوعي را مي توان در اين جمله خلاصه كرد كه مي خواهد در نهايت به كامپيوترهايي دست يابد كه اغلب در فيلم هاي سينمايي مشاهده مي شود، ماشين‌هاي بسيار توانمند تر از انسان – هدفي كه بسيار از دنياي واقعي به دوراست . دنيايي كه اغلب به خاطراشتباهات فاحش كامپيوترها هزينه‌هاي بسيار زيادي را متحمل مي شود .

اگر به داخل يك كامپيوتر نگاه كنيم چيزي جز تعدادي تراشه هاي الكترونيكي ، مدارها ،مقاومتها و ساير قطعات الكترونيكي نخواهيم ديد. اما اگر به درون مغز نگاه كنيم ، به هيچ صورت چنين ساختاري را مشاهده نخواهيم كرد. بررسي اوليه ما چيزي جزمجموعه اي گره خورده از ماده‌اي خاكستري رنگ نشان نمي دهد. بررسي بيش‌تر و روشن‌ مي كند كه مغز از اجزايي ريز تشكيل شده است . ليكن اين اجزاء به شيوه‌اي بي نهايت پيچيده‌، مرتب شده‌اند و هز جزء به هزاران جزء ديگر متصل است. شايد اين تفاوت در شيوه ساختار ، علت اصلي اختلاف بين مغز و كامپيوتر است.

كامپيوترها طوري طراحي شده‌ اند كه يك عمل را بعد از عمل ديگر باسرعت بسيار زياد انجام دهند . ليكن مغز ما با تعداد اجزاي بيش‌تر اما با سرعتي بسيار كم‌تر كار مي‌كند . در حالي كه سرعت عمليات در كامپيوتر‌ها به ميليون‌ها محاسبه در ثانيه بالغ مي شود، سرعت عمليات در مغز تقريباً بيش‌تر از ده بار در ثانيه نمي‌باشد. ليكن مغز در يك لحظه با تعداد زيادي اجزاء به طور هم زمان كار مي كند، كاري كه از عهده كامپيوتر بر نمي‌آيد . كامپيوتر ماشيني سريع اما پياپي كار است در حالي كه مغز شديداً ساختاري موازي دارد. كامپيوترها مي توانند عملياتي را كه با ساختار آن‌ها سازگاري دارند به خوبي انجام دهند. براي مثال شمارش و جمع‌كردن اعمالي پياپي است كه يكي بعد از ديگري انجام مي شود .

ليكن ديدن و شنيدن، اعمالي شديداً موازي‌اند كه در آن‌ها داده‌هاي متضاد و متفاوت هر كدام باعث اثرات و ظهور خاطرات متفاوتي در مغز مي شوند وتنها از طريق تركيب مجموعه اين عوامل متعدد است كه مغز مي‌تواند چنين اعمال شگفتي را انجام دهد .
نتيجه‌اي كه مي توان گرفت اين است كه مسائل مورد نظر ما شديداً خاصيت موازي دارند. اين مسائل نيازمند پردازش حجم زيادي از اطلاعات متفاوت هستند كه بايد در تقابل با يكديگر به حل مسأله بيانجامد.
نتيجه مهم آن كه سرعت عامل مهمي نيست . آنچه مهم است موازي بودن است و مغز به خوبي براي اين كار مهيا شده است . شيوه برخورد روش محاسباتي شبكه‌هاي عصبي، تسخير اصول راهبردي است كه زير بناي فرآيند مغز براي پاسخ‌گويي به اين سؤالات و به كارگيري آن‌ها در سيستم‌هاي كامپيوتري است .

در مدل‌سازي سيستم‌هاي اصلي مغز، بايد راه كاري را بيابيم كه بيش‌تر با ساختار موازي مغز سازگاري داشته باشد نه با ساختار پي‌درپي آن .
به هر صورت ساختار طبيعتاً موازي سيستم هاي شبكه هاي عصبي آن ها را مناسب به كارگيري در ماشين هاي موازي مي كند. كه مي تواند مزاياي بيش تري از نظر سرعت و قابليت اطمينان داشته باشد.

يكي از بارزترين ويژگي‌هاي مغز توان فراگيري آن مي باشد. مغز مي‌تواند به خود آموزش دهد . يادگيري از طريق مثال همان شيوه‌اي است كه توسط آن اطفال زبان را فرا مي‌گيرند . نوشتن، خوردن و آشاميدن را مي آموزند و مجموعه معيارها و نكات اخلاقي را كسب مي كنند . چنين تحولي درسيستم‌هاي كامپيوتري متعارف مشاهده نمي شود . كامپيوترها معمولاً از برنامه‌هاي از پيش نوشته شده‌اي پيروي مي كنند كه قدم به قدم دستورات مشخصي را در كليه مراحل عملياتي به آن ها مي دهند هر مرحله از كار بايدبه وضوح شرح داده شود. روشن است كه انسان اين گونه عمل نمي كند.

زيرا براي نوشتن چنين برنامه اي بايد ساعت ها وقت صرف كنيم و با دقت موضوع خود را به صورت بر نامه قابل فهم كامپيوتر بنويسيم .كه اين كار مشكلات خود را دارا مي باشد.حال آيا بهتر نيست كه به جاي برنامه هاي كامپيوتري ،كامپيوتر را رها كنيم كه خود از طريق مشاهده مثال ها آن كار را فرا گيرد؟ البته امكان دارد كه اين كامپيوتر نيز در ابتدا داراي BUG باشد وگاه اشتباه كند ،ليكن به تدريج به اشتباه خود پي خواهد برد و آنها را تكرار نخواهد كرد.
۱ـ۲ـ ساختار مغز
مغز انسان از واحدهاي كو چكي به نام نرون تشكيل شده است.مي‌دانيم كه مغز تقريباً داراي ۱۰۱۰ واحد پايه به نام نرون است و هر نرون تقريباً به ۱۰۴ نرون ديگر اتصال دارد.

نرون عنصر اصلي مغز است و به تنهايي مانند يك واحد پردازش منطقي عمل مي كند . نرون‌ها دو نوع هستند . نرون‌هاي داخلي مغز كه در فاصله‌هاي حدود ۱۰۰ ميكرون به يكديگر متصل اند و نرون‌هاي خارجي كه قسمت‌هاي مختلف مغز را به يكديگر و مغز را به ماهيچه‌ها و اعضاي حسي را به مغز متصل مي‌كنند . نحوه عمليات نرون بسيار پيچيده است و هنوز در سطح ميكروسكوپي چندان شناخته شده نيست، هر نرون بسيار پيچيده است و هنوز در سطح ميكروسكوپي چندان شناخته شده نيست ، هر چند قوانين پايه آن نسبتاً روشن است

.هر نرون ورودي‌هاي متعددي را پذيراست كه با يكديگر به طريقي جمع مي‌شوند . اگر در يك لحظه ورودي‌هاي فعال نرون به حد كفايت برسد نرون نيز فعال شده و آتش مي‌كند . در غير اين صورت نرون به صورت غير فعال وآرام باقي مي ماند. نمايشي از ويژگي هاي عمده نرون در شكل ۱-۱ آمده است. بدنه نرون سوما ناميده مي شود . به سوما رشته‌هاي نامنظم طولاني متصل است كه به آنها دندريت مي‌‌گويند . قطر اين رشته‌ها اغلب از يك ميكرون نازك‌تر است و اشكال شاخه‌اي پيچيده‌اي دارند.
دندريت‌ها نقش اتصالاتي را دارند كه ورودي ها را به نرون ها مي رساند . اين سلول ها مي توانند

شكل ۱-۱ مشخصات اصلي يك نرون بيولوژيك.
عملياتي پيچيده‌تر از عمليات جمع ساده را بر ورودي هاي خود انجام دهند، ليكن عمل جمع ساده را مي‌توان به عنوان تقريب قابل قبولي از عمليات واقعي نرون به حساب آورد.
يكي از عناصر عصبي متصل به هسته نرون آكسون ناميده مي شود. اين عنصر بر خلاف دندريت از نظر الكتريكي فعال است و به عنوان خروجي نرون عمل مي‌كند.‌اكسون‌ها هميشه‌ در روي خروجي سلول‌ها مشاهده مي شوند . ليكن اغلب در ارتباط‌هاي بين نروني غايب‌اند. اكسون وسيله‌اي غير خطي است كه در هنگام تجاوز پتانسيل ساكن داخل هسته از حد معيني پالس ولتاژي را به ميزان يك هزارم ثانيه، به نام پتانسيل فعاليت، توليد مي كند . اين پتانسيل فعاليت در واقع يك سري از پرش هاي سريع ولتاژ است. شكل ۱-۲ اين حالت « همه يا هيچ » را نشان مي هد.

شكل ۱-۲ ورودي هاي نرون بايد از آستانه معيني تجاوز كندتا نرون بتواند كنش كند.

رشته اكسون در نقطه تماس معيني به نام سينا پس قطع مي شود و در اين مكان به دندريت سلول ديگر وصل مي گردد. در واقع اين تماس به صورت اتصال مستقيم نيست بلكه از طريق ماده شيميايي موقتي صورت مي‌گيرد . سيناپس پس از آن كه پتانسيل آن از طريق پتانسيل هاي فعاليت دريافتي از طريق آكسون به اندازه كافي افزايش يافته از خود ماده شيميايي به نام منتقل كننده عصبي ترشح مي‌كنند.

منتقل كننده عصبي ترشح شده درشكاف بين اكسون و دندريت پخش مي شود و باعث مي گردد كه دروازه‌هاي موجود در دندريت‌ها فعال شده و باز شود و بدين صورت شارژ شده وارد دندريت شوند . اين جريان يون است كه باعث مي‌شود پتانسيل دندريت افزايش يافته و باعث يك پالس ولتاژ در دندريت شود كه پس از آن منتقل شده و وارد بدن نرون ديگر مي شود .
يك نرون خود به تنهايي مي‌تواند داراي ورودي هاي سيناپسي متعددي در روي دندريت‌هاي خود باشد و ممكن است باخروجي هاي سيناپسي متعددي به دندريت‌هاي نرون‌هاي ديگر وصل شود.

۱-۲-۱ يادگيري در سيستم‌هاي بيولوژيك
تصور مي شود يادگيري هنگامي صورت مي‌گيرد كه شدت اتصال يك سلول و سلول ديگر در محل سيناپس‌ها اصلاح مي گردد. شكل ۱-۳ ويژگي‌هاي مهم سيناپس را با جزئيات بيش تر نشان مي دهد. به نظر مي‌رسد كه اين مقصود از طريق ايجاد سهولت بيش‌تر در ميزان آزاد شدن ناقل شيميايي حاصل مي گردد. اين حالت باعث مي شود كه دروازه‌هاي بيش‌تري روي دندريت‌هاي سمت مقابل باز شود و به اين صورت باعث افزايش ميزان اتصال دو سلول شود . تغيير ميزان اتصال نرون‌ها به صورتي كه باعث تقويت تماس‌هاي مطلوب شود از مشخصه‌هاي مهم در مدل‌هاي شبكه‌هاي عصبي است .

شكل ۱-۳ اجزائ مختلف يك سيناپس

۱-۳ تفاوت ها
همچنين ديدم كه ساختار مغز به گونه‌اي است انجام اين فعاليت‌ها را به آساني امكان‌پذير مي سازد و در عوض در زمينه‌هاي ديگر كارآيي مغز را محدود مي كند. روند تكامل مغز متأثر از فعاليت هايي بوده كه اهميت بيش تري داشته است، از آن‌جايي كه توانايي دين و شنيدن صدا در انسان از توانايي جمع كردن دقيق اعداد اهميت بيش‌تري داشته و اين امر باعث تكامل اين جنبه مغز شده است.

مغز داراي ساختاري شديداً موازي كه در آن تعداد زيادي واحدهاي محاسباتي ساده به صورت مشترك انجام فعاليت را به عهده دارند، به جاي اين كه تمام بار فعاليت را بر دوش يك واحد سريع قرار دهند، اين تقسيم كار پيامدهاي مثبت ديگري نيز دارد، چون تعداد زيادي نرون در يك زمان درگير فعاليت هستند سهم هر يك از نرون‌ها چندان حائز اهميت نيست .

بنابراين اگر يكي راه خطا رود نتيجه آن تأثير چنداني بر ديگران نخواهد داشت . اين نحوه توزيع كار كه اصطلاحاً پردازش توزيع شده ناميده مي شود، داراي اين خاصيت است كه لغزش هاي احتمالي در جاي جاي سيستم پردازي تا اندازه‌اي قابل چشم‌پوشي مي باشد. در واقع مغز با توجه به توانايي يادگيري مي تواند نقصان هميشگي يكي از نرون‌هاي خود را با وارد كردن نرون‌هاي ديگر جبران كند. توان انجام فعاليت در حالي كه فقط تعدادي از نرون‌ها به درستي كار مي كنند را در محافل محاسباتي تحمل خطا مي‌گويند، زيرا كه سيستم، مثلاً مغز ، مي‌تواند بدون ايجاد خروجي هاي بي معني خطاها را تحمل كند . اين يكي از ويژگي‌هاي بارز مغز است ، كامپيوترها در ساختار بسيار متفاوت اند .

كامپيوترها در ساختار بسيار متفاوت‌اند. به جاي استفاده از ميليون‌ها واحد پردازش اطلاعات نسبتاً كند و بسيار متصل به يكديگر مانند مغز، از يك يا چند واحد پردازش بسيار سريع استفاده مي‌كنند كه مي توانند ميليون‌ها محاسبه را در هر ثاينه انجام دهند. اين توانايي و سرعت كامپيوترها را در انجام عمليات ساده و تكراري مانند جمع اعداد بسيار كارآمد مي‌كند ولي آن‌ها را در انجام عملياتي چون بينايي كه نياز به پردازش انواع مختلف داده به صورت موازي دارد ناتوان مي‌سازد . آن ها همچنين به علت عدم توانايي در توزيع فعاليت نسبت به خطا توانايي چشم‌پوشي و اغماض ندارند. چنانچه واحد پردازش كامپيوتر از كار بيفتد داستان خاتمه يافته است .

اين مسائل نهايتاً موجب تمايلات جاري به ايجاد كامپيوترهاي متفاوت شده است . اين كامپيوترها از اصولي پيروي مي كنند كه پديده تكامل درطول ميليون‌ها سال شكل داده است، و آن چنين است ، استفاده از عناصر ساده و اتصال تنگاتنگ عناصر و انجام كار مشترك توسط انبوهي از عناصرمي باشد.

نتيجه گيري
همان گونه كه در اين فصل گفته شد سيستم مغز يك سيستم موازي مي باشد .در حل يك مسئله سرعت حل ملاك نيست بلكه آن چيزي كه مهم مي باشد پردازش به صورت موازي است.مغز از سلولهاي كوچك به نام نرون تشكيل شده است كه هر گاه ميزان ورودي آنها از طريق دندريت ها به حد كافي برسد نرون آتش كرده از اكسون پالسي ارسال مي شود. ارتباط از طريق نقاط اتصال شيميايي به نام سيناپس صورت مي گيرد.

فصل ۲ : نگرش كلي به شبكه هاي عصبي مصنوعي
۲-۱ تعريف شبكه هاي عصبي
آنچه در ادامه عنوان مي گردد، تعريف عملي و تاحدي عمومي از ابزاري است كه بعداً آن را مطالعه خواهيم كرد. در قسمت هاي باقيماندة كتاب، اين تعريف تصحيح و تخصصي خواهد گرديد.

شبكه هاي عصبي مصنوعي، ساختاري(شبكه اي) است متشكل ازتعدادي واحد(نرون هاي مصنوعي) كه در داخل شبكه به هم وصل شده اند. هر واحد داراي يك مشخصه ورودي/خروجي(I /o) مي باشد و محاسبه يا عملي جزئي را اجرا مي كند. خروجي هر واحد، با توجه به مشخصة (I /o) آن ، اتصالات درونيش به ساير واحدها و(احتمالاً) ورودي هاي خارجي تعيين مي گردد. از آنجا كه آموزش دستي شبكه امكان پذير است، از اين رو شبكه معمولاً كاركردي كلي از يك حالت يا حالت هاي بيشتري از آموزش را به دست مي آورد.

ANNمتشكل از يك شبكه نيست ، بلكه خانواده اي متشكل از شبكه هاي گوناگون مي باشد. عمل يا عملكرد كلي شبكه هاي عصبي مصنوعي ، توسط توپولوژي شبكه، خصوصيات نرون منفرد و تاكتيك يادگيري و داده هاي آموزش معين مي شود.
به منظور كاربردي شدن ، يك ANN مي بايستي ابزارهايي براي ارتباط با دنياي خارج داشته باشد. با اين وجود نيازي به تعريف فوق نيست؛ به طور نمونه، خصوصيات واحد ورودي / خروجي (I/o) ، بسيار ساده است (و بين همه واحدها مشترك است) و تعداد واحدها كاملاً زياد است. توجه نماييد كه تعريف، ما را وادار مي سازد كه ميان يك واحد تنها و يك شبكه تمايز قايل شويم

. در نهايت، ساختارهاي محاسباتي كه در اين تحقيق شرح مي دهيم، ممكن است با شماري از راه هاي غير بيولوژيكي هم قابل انجام باشند كه بيشترين اين نمونه ها در ميان عناصر الكترونيكي است؛ بنابراين ، اغلب عنوان‌«مصنوعي» قابل قبول است
۲-۲ مفاهيم اساسي شبكه هاي عصبي

موارد زير ، جنبه هاي كليدي محاسبات عصبي مي باشند:
 همان گونه كه تعريف بخش ۲-۱ نشان مي دهد، مدل كلي محاسباتي ، شامل اتصالات دروني قابل تغيير مجدد از عناصر ساده يا واحدهاست. شكل ۱٫۲ دو شبكه فرضي با مقياس كوچك را نشان مي دهد كه در آن واحدها به صورت دايره هاي و اتصالات دروني به وسيلة كمان هايي نشان داده شده اند. شكل ۱٫۲ (الف) يك تاكتيك اتصال دروني غير بازگشتي را نشان ميدهد كه شامل هيچ مسير اتصال دروني بسته اي نيست. به نمايش گروهي واحدهايي كه در لايه ها قرار گرفته اند، توجه نماييد.

در مقابل، شكل ۱٫۲ (ب) شبكه اي با تاكتيك اتصال دروني بازگشتي را نمايان مي سازد كه در آن انعطاف پذيري اتصالات دروني اختياري اين امكان را ميسر مي سازد كه مسيرهاي حلقة بسته (پس خورد) وجود داشته باشد. اين تاكتيك اجازه مي دهد كه شبكه در مقايسه با تاكتيك (حلقه ـ باز) شكل ۱٫۲ (الف) ديناميك زماني بسيار پيچيده تري را نشان دهد. همچنين ، توجه نماييد كه توپولوژي هاي شبكه ، ممكن است ديناميك يا استاتيك باشد. در نهايت ، توجه كنيد كه در شكل ۱٫۲ بعضي واحدها به صورت مستقيم با دنياي بيرون در ارتباط اند، در حالي كه سايرين «مخفي» يا دروني هستند.

شكل ۲-۱ توپولوژي هاي شبكه هاي عصبي مصنوعي

توجه كنيد كه نمايش ترسيمي ، به ه۹مراه واحدهيي كه به صورت گره نمايش داده شده اند و اتصالات دروني محسوس جهت دار كه به صورت كمان هايي نشان داده شده اند، عملكرد مفيدي به منظور درك توپولوژي است.
 واحدهاي منفرد، هر يك ايفا كننده عملكردي موضعي مي باشند و شبكه كلي با تصالات دروني واحدها،, عملي مطابق آن شبكه را نمايش مي دهد. تحليل اين عمليات مگر به واسطة آموزش يا آزمايش هاي نمونه، اغلب دشوار است.

علاوه براين، كاربردها معمولاً ، از طريق مشخصات ، عملكرد مورد نياز را مشخص مي كنند. اين وظيفه طراح ANN است كه پارامترهاي شبكه را كه اين مشخصات را برآورده مي سازد، معين كند.
 يك معيار كليدي يادگيري اطلاح الگوهاي ارتباط عناصر دروني براساس تابعي از داده هاي آموزش است. به عبارت ديگر، دانش سيستم ، تجربه يا آموزش به شكل اتصالات داخلي شبكه، ذخيره مي گردند.

 به منظور قابل استفاده بودن ، سيستم هاي عصبي بايد توانايي ذخيرة اطلاعات را داشته باشند(به عبارت ديگر،آنها بايد«آموزش پذير» باشند.) سيستم هاي عصبي به شكل مورد انتظار آموزش مي يابند تا بعداً در زماني كه الگوي جديدي به منظور تشخيص يا طبقه بندي به آنها عرضه شود، همواره رفتاري صحيح ارائه دهند.
بنابراين، هدف در مرحلة آموزش شبكه ، گسترش يك ساختار دروني است كه شبكه را قادر سازد تا الگوهاي جديد و مشابه را به طرز صحيحي مشخص يا طبقه بندي كند. هر دو روش آموزش ، با نظارت و بدون نظارت را مورد توجه قرار مي دهيم.
 شبكه عصبي، يك سيستم ديناميكي است؛ حالات آن (مثلاً ، خروجي هاي هر واحد و شدت اتصالات دروني ) در پاسخ به ورودي هاي خارجي يا يك حالت اوليه (گذرا) با زمان تغيير مي يابد.