مقاله ترجمه شده ساختارشناسی اعمال انسان: یافتن محرک های ضروی، الگوهای حرکت، و هماهنگی آنها

گوتمبرگ گوئرا-فیلهو

در این مقاله ما مراحل مورد نیاز برای ساخت پاراکسیکون (فهرست ساختاربندی شده ای از اعمال انسان) را از طریق یادگیری سیستم های گرامر برای اعمال انسان معرفی میکنیم. کشف زبان فعالیت انسان نیازمند یادگیری دستور اعمال انسان است که نیاز به ساختار ایت پاراکسیکون دارد. در فرآیند درک ساختارشناسی فرض می شود که یک نمایش نمادین غیر قراردادی از حرکت انسان موجود است. بنابراین برای تحلیل ساختارشناسی یک عمل خاص، نمایش نمادینی برای حرکت هر محرک همراه با چندین عملکرد تکرار شونده از این عمل به ما داده می شود. ما بعنوان یک مدل رسمی، سیستم گرامر همزمان موازی را پیشنهاد می کنیم که هر مؤلفه گرامر با یک محرک مطابقت دارد. ما الگوریتم یادگیری موازی را برای تحریک این سیستم گرامر معرفی میکنیم. معرفی ما شامل یک سری اتصالات است که در واقع مسئول اجرای هدفی برای فعالیت، حرکت انجام شده توسط هر محرک شرکت کننده، و قوانین همزمان سازی برای مدلسازی هماهنگی بین این محرک ها است. ما راهکار استنباط خود را با داده های ترکیبی و داده های واقعی حرکت انسان ارزیابی کردیم. این الگوریتم موفق می شود که سیستم گرامر صحیح را تحریک کند، حتی زمانیکه ورودی شامل نویز است. بنابراین راهکار ما از هر دو جنبه نمایشی و یادگیری موفق بود، و ممکن است بعنوان ابزاری برای تجزیه حرکت، الگوهای یادگیری و برای ایجاد اعمال عمل کند.
کلمات کلیدی: نمایش حرکت شبه انسان، چارچوب زبانشناسی، یادگیری از طریق تقلید.

۱- مقدمه
حرکت انسان یک پدیده طبیعی است وقتی که انسان از تعدادی از محرک های مستقل برای حرکت دادن بدن خود استفاده میکند. این محرک ها با قسمت های مختلف بند مرتبط هستند که توسط مفصل ها به یک ساختار واحد متصل هستند: اسکلت. هر مفصل گردان مطابق با زوایای مفصل، درجه آزادی خاصی دارد. محرک هایی که بدن انسان را کنترل می کنند به این شکل معمولاً بصورت زوایای مفصلی نشان داده میشوند.
محرک ها اگرچه مستقل هستند اما در اعمال خود با هم همکاری میکنند تا بتوانند هدف مشترک خاصی را با هم انجام دهند. دست، ساعد و بازو با هم همکاری میکنند تا بتوانند به یک محل معین برسند. برای هر عمل مختلف (بعنوان مثال پیاده روی، دویدن، پرت کردن، لگد زدن، گرفتن) یک سری محرک های خاصی وجود دار که برای انجام این عمل خاص تعیین شده اند. این سری از محرک های تعیین کننده در اینجا محرک های ضروری نامگذاری می گردند.

در حال حاضر در مقالات مدلسازی حرکت انسان، یک سری محرک های ضروری مورد نیاز در یک عمل خاص معمولاً از یک سری ثابت تشکیل شده است. بعبارت دیگر، سری محرک های ضروری مورد استفاده برای انجام هر عملی، برای همه اعمال در فهرست واژگان حرکتی یکسان است. بطور کلی، سری محرک های ضروری یا کل بدن را نشان میدهند و یا یک زاویه مفصلی واحد را نشان میدهند. یک راهکار برای کل بدن همیشه کل بدن را بعنوان یک سری از محرک های ضروری برای هر عملی در نظر می گیرد. این فرضیه رفتار مستقل محرک ها را در فعالیت های مختلف نادیده می گیرد. از طرف دیگر، راهکاری که هر زاویه مفصلی را بصورت جداگانه در نظر می گیرد، به هماهنگی بین آنها برای رسیدن به یک هدف مشترک توجه نمی کند.

در این مقاله ما راهکاری را پیشنهاد میکنیم که هر عمل مختلف با سری محرک های ضروری خاص خود همراه است. این راهکار بطور واضح تغییرپذیری سری محرک ها را مطابق با یک عمل مدلسازی میکند. این مسئله با توجه به انسداد و میدان دید برای محدودیت ها در فرآیند مشاهده، قوی تر است. اگر یک فاعل عملی را انجام دهد که بعضی از محرک های ضروری آن هنوز قابل رویت هستند، پس یک سیستم نظارت قادر خواهد بود که این عمل را فقط با تصویر قسمت های غیر انسدادی بدن تشخیص دهد که نمایش عمل بر مبنای محرک های ضروری است نه بر مبنای کل بدن.
استراتژی های مختلف از واکنش های موازی و همزمان در بین محرک ها نقش مهمی را در حرکت انسان بازی میکند. بنابراین نمایش یک حرکت برای یک فعالیت خاص انسان باید شامل این موارد باشد: سری محرک های ضروری مورد نیاز در یک فعالیت، الگوهای حرکتی همراه با هر محرک مشارکت کننده، و هماهنگی آنها بر حسب قوانین همزمان سازی در بین این محرک ها. این نمایش یک واژک حرکتی همراه با یک عمل واحد است. در محتوای اعمال انسان، ساختارشناسی به معنای مطالعه و نمایش واژک های حرکتی است. یک ساختارمهم، سری واژک های موجود برای یک فهرست واژگان کامل از اعمال است. این ساختار برای یادگیری یک الفبای حرکتی برای فهرست واژگان ضروری است، تا الگوهای مشترکی در اعمال

مختلف یافته شود و راه هایی برای ترکیب واژک های واحد در یک عمل پیچیده تر، کشف گردد. در اینجا ما مراحل مورد نیاز برای ساخت یک پراکیسکون را معرفی میکنیم، که ساختاری از لغت نامه اعمال انسان از طریق یادگیری سیستم های گرامری برای اعمال انسان است. بنابراین پراکیسکون یک لغت نامه حرکت است که از تعدادی از اعمال مانند پیاده روی، رسین و گرفتن تشکیل شده است. این پراکیسکون برای یادگیری دستور و نحو حرکت ضروری است، که قوانینی است که برای ترکیب واژک های حرکتی در یک جمله حرکتی وجود دارد. برای مثال، دستور یا نحو مربوط به الحاق اعمالی مانند یک انتقال توالی از پیاده رفتن به دویدن است. البته در ساخت یک پراکیسکون فرض می شود که یک سیستم حرکتی برای کشف موارد اولیه حرکت و مرتبط ساختن آنها با نمادها وجود دارد.

ما فرض میکنیم که یک نمایش نمادین غیر قراردادی از حرکت انسان برای فرآیند استنباط ساختارشناسی موجود است. بنابراین برای تحلیل ساختارشناسی یک عمل خاص، ما نمایش نمادین را برای حرکت هر محرک همراه با چندین عملکرد تکرار شونده از این عمل داریم. این نمایش نمادین از فرآیند حرکت شناسی ناشی می گردد. سیگنال های حرکتی بدست آمده از یک سیستم حرکت، مطابق با سرعت و شتاب زوایای مفصل به بخش های متوالی تقسیم بندی می شود. این بخش ها به رشته ای از نمادها منتقل می گردند که در اینجا آنها را kineteme می نامیم. در حقیقت، همزمان سازی با طبقه بندی بخش های حرکت برابر است بطوریکه هر طبقه شامل گونه هایی از یک حرکت اولیه یکسان باشد.
نمایش نمادین برای سیگنال حرکتی از یک عمل واحد یک عمل نگار نام دارد. یک عمل نگار از یک سری از n توالی از نماد برای هر محرک i در سری n محرک تشکیل شده است. نمادها در رشته های یک عمل نگار با حرکت های اولیه معرفی شده در حرکت همراه هستند زمانیکه یک عمل خاص انجام داده میشود. اگرچه ورودی مربوط به یک عمل خاص است که چندین بار انجام شده است، ما هرگونه عمل کلی را مدلسازی میکنیم که فقط محدود به یک حرکت تکرارشونده یا دوره ای نیستند. کارایی تکرار شونده یک عمل یکسان فقط برای اهداف یادگیری مورد نیاز است. وقتی که نمایش ها بیان می گردند، ممکن است از آنها برای ایجاد و تحلیل هرگونه عمل استفاده شود. بنابراین همه نتایج در این مقاله، اعمال کلی را مد نظر قرار می دهند که محدود به هیچ گونه دامنه عمل، عمل تکرار شونده یا عمل دوره ای نیستند.

با داشتن یک عمل نگار، مسئله بررسی شده در این مقاله اینست که سری I از محرک های ضروری مسئول برای هدف خاص انجام شونده با این فعالیت برای یادگیری الگوهای حرکتی برای همه محرک ها در I و همزمان سازی در بین این محرک ها را شناسایی کنیم. یک پراکیسکون توسط حل این مسئله برای همه اعمال در لغت نامه بزرگی از افعال همراه با حرکت انسانی معنادار و قابل مشاهده ساخته شده است. ما این مسئله را بصورت یک استنباط گرامری از یک سیستم گرامری مطرح میکنیم که فعالیت انسان را مدلسازی میکند. ما یک سیستم گرامر همزمان موازی را بعنوان یک مدل رسمی پیشنهاد میکنیم که هر مؤلفه گرامری با یک محرک مطابقت دارد. یک الگوریتم یادگیری موازی جدید را برای تحریک این سیستم گرامر معرفی میکنیم. الگوریتم ما دانش در مورد تعداد مؤلفه ها یا مؤلفه های زبان از سیستم گرامر ایجاد شده را تصور نمی کند. ورودی یک جریان نمادین واخد در هر محرک بدون هیچ علامت یا توضیح است. ما راهکار استنباط خود را با داده های ساختگی و داده های عمل واقعی انسان ارزیابی کردیم. ما عمل نگارهای ساختگی را با زمینه حقیقت ایجاد کردیم و روش خود را با سطوح افزایشی از نویز آزمایش کردیم. این الگوریتم با سطح نویز تا ۷ درصد، ۱۰۰ درصد موفقیت داشت.

این مقاله به نمایش اعمال انسان بعنوان واژک هایی می پردازد که بخشی از یک ساختار قدرتمند هستند: زبانی برای عمل انسان. وابستگی این مقاله در جدید بودن مسئله، در ابتکار راهکار ما و تأثیر بر روی زمینه هایی باقی می ماند که ترکیب و تحلیل حرکت انسان را بررسی میکند. برای مثال در رباتیک شبه انسان مدل های حرکتی مناسبی، دانش با دامنه کاملی از راه حل ها را برای مسائل دینامیک غیرخطی پیچیده مربوط به هماهنگی حرکت نشان میدهد. نمایش حرکت ها این مسئله را بخوبی ساختاربندی میکند که البته برای برنامه ریزی مسیر کنترل حرکت در ربات های شبه انسان مناسب است. زبان فعالیت انسان نمایشی است که شامل ساختارشناسی برای یک پراکیسکون کلی است. این نمایش به تعمیم دهی برنامه ریزی و کنترل فعالیت های حرکتی در هنگام استفاده از یک لغت نامه کلی از اعمال انسان کمک خواهد کرد.

ادامه این مقاله بدیت شرح است: در بخش ۲ در مورد مطالعات مربوط به نمایش عمل انسان، استنباط گرامری، و سیستم های گرامری بحث میکنیم. در بخش ۳ ساختارشناسی را بعنوان یک فرآیند استنباط گرامری معرفی میکنیم. در بخش ۴ ساختارهای متداول تسهیم شده توسط اعمال مختلف را شناسایی میکنیم. در بخش ۵ نیز نتیجه گیری ها را معرفی میکنیم.
۲- مطالعات مربوطه
مطالعه بحث شده در این مقاله بر مبنای تحقیق انجام شده در سه زمینه اصلی است: نمایش عمل انسان، استنباط گرامری، و سیستم های گرامری. ما از رسمی سازی سیستم های گرامر استفاده میکنیم و یک الگوریتم یادگیری موازی را برای استقراء فعالیت انسان معرفی میکنیم. ما به این شیوه در این بخش خلاصه ای از سیستم های گرامر را با بررسی بعضی از مطالعات مربوطه معرفی میکنیم. این بررسی برای تعیین مدل سیستم گرامر جدید ما در این زمینه مهم است.
۲٫۱ نمایش فعالیت انسان

استوارت و برادلی توالی های درون یابی را بین جفت هایی از حالت بدن با استفاده از تحقیق A در یک سری از نمودارهای انتقال ساخته شده از حرکت انسان پیدا کردیم. این نمودارها پیشرفت های یم مفصل واحد را در جسم نشان میدهند.
مدلهای مارکو هیدن (HMM) بطور گسترده برای توصیف توالی حرکات استفاده می شوند. آلون و همکارانش ترکیبی متناهی از HMM ها را با استفاده از یک فرمول به حداکثر رسانی پیش بینی برآورد کردند. در این روش، هر HMM با دسته ای بخش های حرکتی مطابقت دارد. بخش های حرکت مطابق با همان حرکت باید برای دسته یکسانی تعیین گردند. البته روش ترکیب متناهی تا اندازه ای هر بخش حرکت را برای همه دسته ها تعیین میکند. براند و هرزمان HMM را با سبک چند بعدی مورد استفاده برای تغییر پارامترهای آن گسترش دادند. آنها الگوهای حرکتی را از یک سری از توالی های حرکتی یاد گرفتند. HMM ها ضرورتاً اتوماسیون حالت متناهی احتمالی هستند. از این لحاظ، گرامر تصادفی با محتوای آزاد (SCFG) یک مدل تعیمیم یافته است که بعضی از محدودیت های ساختاری را کاهش میدهد. ایوانو و بابیک از SCFG منفردی برای تجزیه فعالیت ها و روابط متقابل بین عاملان مختلف استفاده کردند.

سیدن بلاد و همکارانش یک مدل خطی بعدی پایین را از حرکت انسان ساختند. آنها از تحلیل مؤلفه های اصلی (PCA) برای کاهش بعدیت سری زمان های زوایای مفصل استفاده کردند. داده های حرکت در یک درخت باینری با استفاده از ضرایب دارای واریانس بزرگتر در سطوح بالاتری از درخت ساختاربندی شد. جنکیزن و ماتاریک از کاهش بعدیت برای استخراج موارد اولیه با توسعه الگوریتم ایزومپ استفاده کردند. آنها تجزیه مقدار مشخصه را بر روی یک ماتریس شباهت بعنوان فاصله ژئودسیک بین هر جفت از داده ها انجام دادند.
وانگ و همکارانش تقسیم بندی را معرفی کردند که از حداقل محلی سرعت و حداکثر محلی تغییر در مسیر استفاده می کرد. یک لغتنامه کوچک از توالی نمادین از طریق راهکار اکتساب زبان استنباط شد. این لغتنامه برای جریان/رشته یک حرکت منفرد و در نتیجه برای تحریک مورد نیاز برای یادگیری متوالی ایجاد شد.
مورشن و همکارانش چارچوبی برای کشف الگوهای حکرتی از EMG و سنجش های حرکتی معرفی شده بعنوان سری زمان های چند متغیری معرفی کردند. سری زمان جنبشی

الگوهای اولیه را با دسته بندی دستی با نقشه های خود-سازماندهی برآینده و بدون هیچ اطلاعات زمانی کاهش داد. همان موارد اولیه متوالی در فواصل مطابق با حالت های نمادین ظاهر شدند. آنها فرض کردند که همه محرک ها بطور برابر در حرکت شرکت دارند. با اینکه آنها همه جنبه های حرکت را بطور همزمان مد نظر قرار دادند تا فواصل انطباق را پیدا کنند، با اینحال راهکار ما بصورت اتوماتیک محرک های مربوطه در حرکت را شناسایی می کند و محرک ها را بصورت مستقل در نظر می گیرد. بعلاوه، آنها در راهکار خود رخدادهای الگوی کشف شده پراکنده بودند و آنها نمی توانستند از آنها برای بازسازی حرکت استفاده کنند.
در دانش کنونی ما، هیچ راهکاری برای مدلسازی حرکات انسان سری محرک های موجود در یک عمل را یاد نمی گیرد. معمولاً آنها سری ثابتی از محرک ها را در نظر می گیرند درحالیکه روش ما سریمحرک مناسبی را برای هر عمل ایجاد میکند.

۲٫۲ استنباط گرامری
استنباط گرامری مربوط به تحریک نحو یک زبان از یک سری جملات نامگذاری شده می باشد. استنباط گرامری یک سری قوانین برای ایجاد و تشخیص رشته های معتبر را در یادگیری تشکیل میدهد، که به آن زبان تعلق دارند. گرامر هدف معمولاً بصورت گرامری مدلسازی می گردد که به مرتبه بندی چامسکی از گرامرهای رسمی تعلق دارد. مقالات زیادی در مورد روشهای یادگیری گرامرهای منظم، گرامرهایی با محتوای آزاد، و گونه های تصادفی وجود دارد.
گرامرهای منظم و گرامرهای دارای محتوای آزاد را نمی توان فقط از مثالهای مثبت ایجاد کرد. البته چندین تکنیک اکتشافی تقریب زنی گرامر هدف را یاد گرفتند. الگوریتم SNPR عناصر همنشینی و عناصر نمونه ای را از عناصر حداقل یاد گرفت که موارد اولیه ادراکی هستند. هر عنصر با قانونی در گرامر یادگرفته شده مطابقت دارد. یادگیری نیازمند الحاق متداول ترین جفت از عناصر مجاور بود.
استنباط به شکل الگوریتمی بود که یک ساختار مرتبه ای را از توالی از نمادهای مجزا استنباط می کرد. استنباط یک گرامر را نشان میداد که هر توالی تکرار شونده یک قانون را افزایش میداد و توسط یک نماد غیر پایانی جایگزین می شد. این الگوریتم گرامر را با دو خصوصیت محدود می کرد: یکتا بودن و خاص بودن نمودار و مطلوبیت قانون.

۲٫۳ سیستم های گرامری
گونه هایی از مدلهای کلاسیک در تئوری زبان رسمی برای تعیین غیر جبرگرایی در دستگاه های محاسباتی با ایده هایی مانند توزیع، موازی سازی، همزمانی و ارتباط مورد استفاده قرار گرفت. یک سیستم گرامر از چندین گرامر تشکیل شده است که با هم کار میکنند تا یک حالت نمادین مشترک را ایجاد کنند که توسط یک سری متناهی از رشته ها نشان داده می شود. مؤلفه های سیستم، حالت را از طریق بازنویسی و ارتباط تغییر می دهد.

ما از سیستم های گرامری بعنوان یک مدل رسمی برای یادگیری ساختار مورفولوژی اعمال انسان استفاده می کنیم. مهمترین مدلهای سیستم های گرامر با هم همکاری می کردند و گرامرهای موازی با هم بودند. سیستم های گرامر توزیعی هماهنگ (CDGS) مؤلفه هایی داشت که بصورت متوالی کار می کردند .فقط یک مؤلفه در هر زمان فعال بود. بنابراین در بازنویسی یک شکل توالی معمول مطابق با یک پروتکل همکاری معین، هر بار یک مؤلفه فعال بود. کولونی ها شکل ساده شده ای از CDGS بودند که مؤلفه های آن گرامرهای منظمی بودند که زبان های متناهی را ایجاد می کردند. ساشیک و اشیبنار یک اتوماسیون جبری خاموش شدن عصبی را با دستیابی متوالی به یک سری از توالی های مثبت و منفی در بعضی از زبان ها آموزش دادند. مدل NPDA نیازمند اطلاعات اولیه در مورد اندازه پیش بینی شده گرامر استنباط شده بود، چون توپولوژی NPDA در حین آموزش تغییر پیدا نمی کرد. آنها یک کولونی را از NPDA آموزش دیده با الگوریتم اکتشافی پس از دسته بندی مرتبه ای در فضای حالت های عصبی استخراج کردند.
یک سیستم گرامر ارتباط موازی (PCGS) از چندین مؤلفه گرامر تشکیل شده بود که بصورت همزمان به شیوه همزمان کار میکردند. گرامرهای مؤلفه ای شکل های متوالی خود را بصورت موازی بازنویسی می کردند. آنها توسط تبادل شکل های متوالی جاری خود در بین همدیگر ارتباط ایجاد می کردند. در یک حالت بازگشتی، مؤلفه ها پس از فرستادن راه حل های جزئی خود به بقیه، به اصلی بدیهی خود ریست می شدند و محاسبات جدیدی را آغاز می کردند. زبان ایجاد شده توسط سیستم زبان ایجاد شده توسط یک مؤلفه متمایز شده از سیستم با هدف کمک به دیگران بود.

این فرضیه که ارتباط یک مرحله منفرد دارد و مؤلفه ها محاسبات را ادامه دادند بدون اینکه منتظر پایان ارتباط باشند، و فرضیه منطقی نیست. فرناو در مورد گونه ای از PCGS با انتقال پایانی و مؤلفه های خطی راست بحث کرد. در این مدل، چون ارتباط تنها محدود به انتقال رشته های ورودی بود. بنابراین از لحاظ تعریفی مؤلفه های جستجو شده فقط رشته های پایانی را بعنوان شکل های متوالی داشت. یک الگوریتم استنباط برای این مدل پیشنهاد شد که از اطلاعات ساختاری اضافی در مورد ارتباط استفاده می کرد و زبان های مؤلفه ای بصورت جداگانه با توجه مخصوص به مؤلفه اصلی یاد گرفته شدند.
۳- مورفو-کینتولوژی
ساختارشناسی در مورد ساختار کلمات و اجزای تشکیل دهنده است و اینکه این قسمت ها چطور با هم ترکیب می گردند. در محتوای زبان فعالیت انسان، ساختارشناسی نیازمند ساختار هر عمل و سازمان یک پراکیسکون بر حسب بخش های فرعی معمول است. ساختارشناسی ما از تعیین ساختارشناسی هر عمل در یک پراکیسکون، و سپس سافتن سازمان پراکیسکون تشکیل شده است.
ما عمل انسانی واژک را بعنوان یک سری از محرک های ضروری مستلزم در عمل، الگوهای حرکتی مطابق بر حسب جنبش شناسی، و همزمان سازی در بین این محرک ها تعریف می کنیم. واژک ها قسمت های ضروری از اعمال انسان هستند. چون الگوهای حرکتی مشتق گرفته توالی های جنبش شناسی هستند، استنابط واژک ها مورفو-کینتولوژی نام دارد. هدف این بخش از ساختارشناسی انتخاب زیرمجموعه ای از اعمال است که کل عمل را فقط در محرک های ضروری وارد می سازد.
محرک های ضروری محرک هایی هستند که واقعاً مسئول اجرای نتیجه مورد نظر در عمل هستند. آنها با قدرت محدود می گردند و در نتیجه، فقط این محرک های معنادار دارای الگوهای حرکتی سازگاری در عملکردهای مختلف یک عمل یکسان هستند. برای یادگیری ساختارشناسی یک عمل انسانی، یک عمل نگار همراه با چندین عملکرد تکرار شونده از این عمل بعنوان ورودی بیان می گردد.

با داشتن عمل نگاری مانند A بعنوان ورودی، ما می خواهیم که بصورت اتوماتیک واژک یک عمل مطابق را یاد بگیریم. اصولاً واژک از یک سری I تشکیل شده است که نشاندهنده محرک های ضروری برای عمل بود؛ برای هر ، رشته فرعی مطابق با الگوی حرکتی که محرک i در حین عمل انجام میدهد؛ و یک سری از چندتایی های مطابق با قوانین همگام شده بین kineteme ها در رشته های مختلف. چون ورودی ما یک سری از رشته های همزمان است، ما این مسئله را بعنوان یک استنباط گرامری از سیستم گرامر معرفی میکنیم که فعالیت انسان را مدلسازی می کند بطوریکه هر گرامر مؤلفه ای از سیستم گرامر با یک محرک مطابقت داشته باشد.
۳٫۱ سیستم گرامر همزمان موازی

در حرکت انسان، ما فقط به کار همزمان گرامرهای مؤلفه ای توجه داریم. ویژگی ارتباط غیرضروری است چون در هماهنگی حرکت بصورت ضمنی است. ما یک سیستم گرامر جدید را پیشنهاد میکنیم که رشته های ایجاد شده توسط مؤلفه ها از طریق مراحل ارتباط با هم تسهیم نمی گردند. مدل رسمی پینشهاد شده در اینجا بر مبنای یک PCGS با قانون همزمان سازی و بدون نمادهای جستجو است. همزمان سازی در بین قوانین در مؤلفه های مختلف در یک چندتایی بصورت همزمان انجام می شود. ما تعاریف مربوط به مدل PCGS اتخاذی خود را در زیر تعیین میکنیم. ما فرض میکنیم که خواننده با اساس تئوری زبان رسمی آشنا است. برای اطلاعات بیشتر در مورد تئوری زبان رسمی، به کتاب Hopcroft and Ullman مراجعه کنید.
پیکربندی n-چندتایی از مستقیماً بدست می آید ، که ، اگر ما اشتقاق مستقیمی از در هر گرامر داشته باشیم که پایانی نباشد یا وقتی که . هر مؤلفه از یکی از قوانین بازنویسی خود بجز انتقال n-چندتایی از M استفاده میکند، یعنی اینکه توسط قانون اگر و . زبان ایجاد شده توسط بصورت زیر خواهد بود

یک PCGS با مؤلفه است، که N یک سری از غیرپایانی ها و T الفبای پایانی است؛ گرامرهای چامسکی با سری متناهی از قوانین تولید در و نماد آغاز هستند؛ و M زیرمجموعه ای از است، که یک نماد اضافی است.

شکل ۱ یک واژک عمل انسان

مثال ساده ای PCGS با چهار مؤلفه بصورت زیر می باشد

یک مثال اشتقاق در به این صورت است

درخت های پراکنده مطابق نشاندهنده ساختار این سری از رشته ها در شکل ۲ نشان داده شده است.

شکل ۲ درخت های پراکنده برای یک سیستم گرامر همزمان موازی

یک PCGS از یک سری CFG های مرتبط با قوانین همزمان سازی تشکیل شده است. این گرامر یک سیستم با سری A از رشته های همزمان متفاوت را مدلسازی میکند: عمل نگار. هر رشته در عمل نگار با زبانی مطابقت دارد که برای گرامر مؤلفه ای استنباط خواهد شد که محرک را مدلسازی می کند. هر نماد در یک رشته با یک جفت همراه است، که تعداد نمادهای بخش در رشته ، زمان آغاز ، و طول زمان بخش مطابق با است. توجه داشته باشید که
۳٫۲ یادگیری موازی
اجرای یک عمل انسانی مستلزم انجام بعضی از هدف ها است و بنابراین نیازمند پایداری در یک رشته منفرد و هماهنگی بین رشته ها مختلف می باشد. یادگیری گرامر متوالی و یادگیری گرامر موازی در اینجا با هم ترکیب می گردند تا ساختارشناسی یک عمل انسانی را استنباط کنند.

ما یادگیری مواری را برای استنباط همزمان یک سیستم گرامری بعنوان ساختاری از همه رشته های در عمل نگار A پیشنهاد کردیم. الگوریتم یادگیری موازی ما در شکل ۳ نشان داده شده است. فرکانس نمودار در رشته مطابق با هر زاویه مفصل بصورت مستقل محاسبه می گردد. تابع ماتریس را پیدا میکند، که هر عنصر تعداد رخدادهای نمودار در رشته است. یک قانون جدید برای نمودار مطابق با عنصر با حداکثر فرکانس جاری در ماتریس df ایجاد شده است. غیرپایانی مطابق با قانون جدید در سری قوانین وارد می گردد. راهکار هر رخداد از نمودار در رشته را با غیرپایانی جایگزین می سازد. یک غیرپایانی جدید با فاصله مطابق با اتحاد فواصل زمانی هر دو نماد و در نمودار همراه است. در یادگیری موازی، نمادهای متعلق به یک نمودار با یک غیرپایانی جدید جایگزین می گردد، فقط در صورتی که قانون جدید با قوانین دیگر در مؤلفه های CFG مختلف از سیستم گرامر همزمان سازی گردد.

شکل ۳ الگوریتم یادگیری موازی

هر غیرپایانی جدید برای قوانین همزمان جدید با غیرپایانی های موجود در CFG های رشته های دیگر بررسی می گردد، همانطور که در شکل ۴ نشان داده شده است. همزمان سازی بین غیرپایانی ها در CFG های مختلف نیازمند هر رخداد از این غیرپایانی ها است تا فواصل زمانی متقاطعی در رشته های مختلف ایجاد شده توسط دیدگاه CFG آنها داشته باشد. همزمان سازی مربوط به دو غیرپایانی در CFG های مختلف ایجاد می گردد اگر یک نقشه برداری یک به یک از رخدادها در رشته های همراه با آنها وجود داشته باشد. بعلاوه، هر دو رخداد نشان داده شده مطابق با دوره های زمانی متقاطع نشان داده می شود. تابع این جستجو را برای همزمان سازی انجام میدهد و رابطه R را ایجاد میکند، که هر جفت در این رابطه نشاندهنده دو قانون همزمان در گرامرهای مؤلفه ای مختلف است. چندتایی های همزمان در زیرمجموعه M از سیستم گرامر از R بازیابی می گردند.

شکل ۴ دو CFG مرتبط شده با قوانین همزمان سازی PCGS

شکل ۵ محدودیت های موجود برای قوانین همزمان سازی را نشان میدهد. ما دو غیرپایانی را در CFG های مختلف بعنوان مستطیل هایی با دو رنگ مختلف نشان دادیم. این غیرپایانی ها در ردیف های مختلف نشان داده می شوند به طوری که هر مستطیل با یک رخداد از غیرپایانی ها مطابقت داشته باشد. موقعیت افقی و طول هر رخداد فاصله زمانی ترتیبی را نشان میدهد.
ما استثنائی از الگوریتم موازی خود را در زیر نشان میدهیم. برای دو تکرار، ما سری رشته های ، سری قوانین تولید و رابطه R با قوانین همزمان سازی را نشان میدهیم. رشته ها در سری ورودی A از مثال قبلی از PCGS با یک رشته ساختگی اضافی گرفته می شود: . رشته های اولیه در سری ورودی به شرح زیر هستند:

شکل ۵ محدودیت های قوانین همزمان سازی

خط های تیره فقط برای نمایش بصری دوره زمانی همراه با هر نماد در A استفاده شده اند. غیرپایانی ها فقط با تعداد شاخص های خود نشان داده می شوند. در این مثال، نمودار کلی در بصورت ۴۴ است و در نتیجه قانون جدید در معرفی می گردد.

در عمل، همزمان سازی برای شناسایی برای غیرپایانی های سطح پایین مشکل است. این غیرپایانی ها فرکانس بالایی دارند و دارای رخدادهای اتمی ساختگی هستند. البته غیرپایانی های سطح بالا قوی تر هستند و همزمان سازی برای آنها شناسایی می گردد. برای غلبه بر این مشکل، الگوریتم باید با بررسی مجدد برای همزمان سازی اتخاذ گردد. وقتی که همزمان سازی برای غلبه بر این مشکل، الگوریتم باید با بررسی مجدد برای همزمان سازی اتخاذ گردد. وقتی که همزمان سازی برای یک جفت از غیرپایانی های A و B انجام شد، نسل های آنها در درخت های گرامر ترتیبی و بررسی مجدد برای قوانین همزمان سازی می باشد. این بار ما فقط نمونه های غیرپایانی های نسل آنها را در نظر می گیریم که با A و B همزمان هستند.
علاوه بر تعیین روابط بین CFG ها، قوانین همزمان سازی در شناسایی حداکثر سطح تعمیم یک عمل استفاده می گردند. همچنین، سری رشته های مرتبط شده با قوانین همزمان سازی با مؤلفه های گرامر واقعی مطابقت دارد. ایده مبنا اینست که غیرپایانی ها بدون همزمان سازی های همراه را حذف کنیم و گرامرهای منتج مؤلفه های واقعی PCGS یاد گرفته شده هستند. گرامر همراه با رشته در بالا با سه قانون غیر همزمان به پایان می رسد، که بدرستی آنرا بعنوان رشته ساختگی شناسایی می کند که به سیستم گرامر استنباط شده تعلق ندارد.
برای شناسایی محرک های ضروری و الگوهای حرکتی مطابق، غیرپایانی هایی که با هیچ قانون همزمان سازی همراه نیست، از مؤلفه های CFG حذف می گردند. سری I از محرک های ضروری مطابق با سری CFG ها با مقدار قابل توجه از قوانین همزمان سازی شده شناسایی می گردد. برای هر محرک ، الگوی حرکتی همراه توسط غیرپایانی ها در ایجاد می گردد که رخدادهای آن بیشتر زمان طول دوره حرکت را پوشش می دهد.
با استفاده از قوانین همزمان شده، ما قوانین تولید ساختگی کوتاه را در گرامرهای مؤلفه ای بیان میکنیم. در نتیجه، قوانین باقیمانده، زیرمجموعه مؤلفه های واقعی مربوط به عمل را شناسایی می کنند. گرامرهای مؤلفه ای منتج مطابق با محرک ها برای اجرای اهداف مشترک ترکیب شده در عمل هماهنگ می گردد. بالاترین سطح در هر مؤلفه گرامری، حدود الگوی حرکتی همراه با عمل را تعیین می کند.

شکل ۶ ارزیابی با داده های ساختگی

۳٫۳ ارزیابی
ما الگوریتم موازی خود را با داده های ساختگی و داده های حرکت واقعی انسان ارزیابی کردیم. عمل نگارهای ساختگی با ۲۰ رشته همزمان ایجاد شدند که هر کدام از آنها شامل ۱۰۰ بخش با طول زمان یکنواخت بود. هر بخش با نمادی همراه است که از الفبایی از ۲۰ کاراکتر استخراج می گردد. هر بخش در شکل ۶ بصورت یک مستطیل رنگی نشان داده شده است که هماره با یک کاراکتر در الفبا است. چهار رشته همزمان در عمل نگار مطابق با الگوی انتخاب شده از بین یکی از هشت قالب متفاوت ایجاد می گردند، همانطور که در شکل ۶a نشان داده شده است. این قالب ها ۱۰ بار در امتداد رشته الگوبندی شده تکرار می گردند تا یک حرکت سازگار را نشان دهند که چندین بار اجرا می گردد. قالب های

مختلف بر روی رشته های الگوبندی شده بصورت همزمان اعمال می گردد. رشته های باقیمانده با نمادهای تصادفی از الفبا ایجاد کی گردد تا حرکت ساختگی را شبیه سازی کند.
حقیقت زمینه ای برای مسئله ما برای یک عمل نگار ساختگی موجود است. ما خروجی الگوریتم خود را با این حقیقت زمینه ای مقایسه میکنیم تا معیار ارزیابی زیر را تعریف کنیم: اگر خروجی با حقیقت زمینه ای مطابقت داشته باشد، ما می توانیم بگوییم که الگوریتم موفق بوده است.
برای ارزیابی واقعی تر، ما نویز را در داده های ساختگی وارد کردیم. چهار رشته الگوبندی شده دارای تعدادی از نمادهای جایگزین شده توسط کاراکترهای الفبایی تصادفی نویز هستند. ما الگوریتم خود را ۱۰۰ بار برای سطح افزایشی از نویز تست کردیم و میزان موفقیت کلی را برای هر سطح نویز محاسبه کردیم. این الگوریتم ۱۰۰ موفقیت و تا ۷ درصد نویز وارد شده در رشته های الگوبندی شده دارد. این الگوریتم حتی در سطح نویز ۱۰ درصدی قوی است وقتی که میزان موفقیت ۹۶ درصد بود.

شکل ۷ ارزیابی با سطوح نویز افزایشی

۳٫۴ استنباط ساختارشناسی اعمال واقعی انسان
با داشتن یک عمل نگار از فعالیت واقعی انسان، یادگیری موازی زیرمجموعه ای از عمل نگار را انتخاب می کند که عمل کلی را فقط در زوایای نفصلی داخلی و الگوهای حرکتی عمل نشان میدهد. فرآیند استنباط گرامری توسط داده ها انجام می شود. ما راهکار خود را با پایگاه داده حرکتی بزرگ مقیاسی تأیید کردیم. این فرآیند یادگیری واژک در هر عمل از پایگاه داده حرکتی ما انجام شد.

شکل ۸ کلمات حرکتی همراه با گریپ و چاپ اعمال

پایگاه داده ها از حدود ۲۰۰ عمل همراه با افعالی انگلیسی مربوط به حرکت معنادار اختیاری و قابل مشاهده تشکیل شده است. پایگاه داده ما از اعمالی در هیچ دامنه خاصی تشکیل نشده است؛ در عوض، شامل فعالیت های کلی در مورد حرکت، عدم حرکت، انجام دادن و اعمال تعاملی است. زیرمجموعه مؤلفه های گرامری با زوایای مفصلی مربوط به عمل همراه هستند. گرامرهای منتج ساختار مورفولوژیکی عمل تحریک شده را نشان میدهد. ما بصورت اتوماتیک واژک ها را در پایگاه داده خود شناسایی کردیم.

شکل ۹ کلمات حرکت همراه با اعمال لگد زدن و بالا رفتن

در شکل های ۸ و ۹، ما واژگ های همراه با چهار عمل انسانی را استنباط کردیم: گرفتن، خرد کردن، لگد زدن و بالا رفتن. هر واژک بصورت یک چند ضلعی نشان داده می شود که هر ضلع این چند ضلعی با یک محرک ضروری مطابق دارد. از تعداد درجات آزادی، فقط محرک های ضروری استنباط شده ترسیم می گردند. برای هر محرک ضروری، ما الگوی حرکت و ساختار آنرا نشان میدهیم. الگوی حرکت دارای توالی kineteme است و ساختار آن بصورت درخت باینری است که گره برگ های آن نشاندهنده متداول ترین نمودارها در عمل نگار است.
همانطور که از روی مثالهای نشان داده شده در شکل های ۸ و ۹ میتوانیم ببینیم، روش گرامری ما برای استنباط محرک های ضروری در داده های واقعی بخوبی عمل میکند. عمل گرفتن یک فعالیت است که نیازمند محرک های دست راست بری گرفتن چیزی با قدرت است. روش ما ۱۲ محرک ضروری را برای این عمل استنباط میکند. این محرک ها از چرخش محور x برای انگشت شست تشکیل شده اند. عمل خرد کردن از یک حرکت تکرارشونده تشکیل شده است که از چاقو برای بریدن سبزی با بازو و دست راست استفاده می شود. روش ما بصورت اتوماتیک ۷ محرک ضروری را برای این فعالیت غیرحرکتی استنباط میکند. در این مورد، محرک ها با همه زوایای مفصلی برای شانه و آرنج و چرخش محور y برای کف دست همراه هستند.