کلید واژه ها:
داده های متنی مکانی-زمانی ؛ شبکه های اجتماعی مبتنی بر مکان ؛ مدل های زبان
۱٫ مقدمه
- ۱٫
-
یک معماری مدل زبان عصبی شرطی فضایی-زمانی پیشنهاد کنید که زمان و مکان را در دانه بندی های مختلف نشان می دهد و ساختار متوالی متون را به تصویر می کشد. با مدلسازی زمان و مکان در دانهبندیهای مختلف، معماری پیشنهادی با ویژگیهای خاص هر منبع داده سازگار است. با توجه به آزمایشهای ما بر روی دو مجموعه داده LBSN، ثابت شده است که این مهم است.
- ۲٫
-
یک تجزیه و تحلیل کیفی انجام دهید که در آن تجسمهایی را نشان میدهیم که میتواند به دستیابی به بینشهایی در مورد الگوهایی که تولید زبان را تحت شرایط مکانی-زمانی هدایت میکنند کمک کند. با مدلسازی زمان و مکان در دانهبندیهای مختلف، میتوانیم چگونگی وزن هر سطح دانهبندی را در مدل نمایشی تحلیل کنیم. برای این تجزیه و تحلیل، ما آزمایش هایی را با یک شبکه عصبی مبتنی بر ترانسفورماتور انجام دادیم. شبکههای عصبی مبتنی بر توجه مانند معماری ترانسفورماتور این مزیت را دارند که با تجسم وزنهای توجه، بینشی در مورد اهمیت اجزای بافت مکانی-زمانی ارائه میکنند.
نقشه راه
۲٫ کارهای مرتبط
۲٫۱٫ برنامه های کاربردی برای داده های متنی فضایی-زمانی
۲٫۱٫۱٫ مدل سازی فعالیت
۲٫۱٫۲٫ مدل سازی تحرک
۲٫۱٫۳٫ تشخیص رویداد
۲٫۱٫۴٫ پیش بینی رویداد
۲٫۲٫ مدلهایی برای دادههای متنی مکانی-زمانی
۲٫۲٫۱٫ مدلسازی موضوع فضایی-زمانی
۲٫۲٫۲٫ روش های جاسازی
۲٫۲٫۳٫ تجزیه و تحلیل مدل هایی که از داده های متنی مکانی-زمانی استفاده می کنند
- ۱٫
-
ساختار ترتیبی زبان
- ۲٫
-
مدلی یکپارچه برای نمایش زمان و مکان که از زمان و مکان در دانه بندی های مختلف به عنوان زمینه برای تولید زبان استفاده می کند.
۳٫ راه حل پیشنهادی
۳٫۱٫ مدل سازی زبان
۳٫۲٫ فرمول مسأله
۳٫۳٫ شبکه های عصبی برای مدل سازی زبان
۳٫۴٫ توضیحات مدل
ویژگی برجسته معماری ما این است که امکان نمایش زمان و مکان در سطوح مختلف دانه بندی را فراهم می کند. این با مدلسازی بافت مکانی-زمانی به عنوان دنبالهای از نشانههای گسسته که معانی خاص هر نوع زمینه را نشان میدهد، به دست میآید. برای مثال، میتوانیم بافت زمانی را با ساعت روز (۰-۲۳)، روز هفته (یکشنبه تا دوشنبه)، هفته از ماه، و ماه سال (ژانویه تا دسامبر) و بافت مکانی نمایش دهیم. بر اساس بلوک، محله، منطقه و غیره
۳٫۵٫ گسسته سازی مهرهای زمانی و مختصات جغرافیایی
۳٫۶٫ مولفه های
۴٫ آزمایشات
۴٫۱٫ مجموعه داده ها
-
لس آنجلس (‘LA-TW’): این مجموعه داده [ ۱۰ ] مجموعه ای از توییت های دارای برچسب جغرافیایی از لس آنجلس، ایالات متحده است. این تعداد ۱,۵۸۴,۳۰۷ توئیت با برچسب جغرافیایی از ۰۱/۰۸/۲۰۱۴ تا ۳۰/۱۱/۲۰۱۴ است ( جدول ۲ را ببینید ).
-
(‘NY-FS’): این مجموعه داده نیز برای اولین بار در [ ۱۰ ] گزارش شد. این شامل بررسی های چهار ضلعی است که توسط کاربران در شهر نیویورک، ایالات متحده در توییتر گزارش شده است. این داده ها شامل ۴۷۹۲۹۷ ثبت ورود از تاریخ ۲۵/۰۲/۲۰۱۰ تا ۱۶/۰۸/۲۰۱۲ است ( جدول ۲ را ببینید ).
۴٫۲٫ روش ارزیابی
ارزیابی مدلسازی زبان معمولاً با استفاده از Perplexity [ ۵۱ ] انجام میشود. گیجی اندازه گیری می کند که چگونه یک مدل زبان یک نمونه آزمایشی را به خوبی پیش بینی می کند و به طور متوسط چند بیت برای نمایش نمونه آزمایشی در هر کلمه مورد نیاز است. توجه به این نکته ضروری است که در Perplexity هر چه امتیاز کمتر باشد، مدل بهتر است. گیجی، برای مجموعه آزمایشی که در آن همه جملات یکی پس از دیگری در یک دنباله از کلمات مرتب شده اند w1, … ,wتیطول T به صورت زیر تعریف می شود:
۴٫۳٫ کاوش گسسته
۴٫۴٫ تجزیه و تحلیل رمزگذار – رمزگشا
۴٫۵٫ تجزیه و تحلیل دانه بندی فضایی-زمانی
۴٫۶٫ تحلیل کیفی
۵٫ نتیجه گیری ها
منابع
- ژانگ، سی. ژانگ، ک. یوان، Q. ژانگ، ال. هانرتی، تی. Han, J. Gmove: مدلسازی تحرک در سطح گروه با استفاده از رسانههای اجتماعی برچسبگذاری شده جغرافیایی. در مجموعه مقالات KDD: مجموعه مقالات. کنفرانس بین المللی کشف دانش و داده کاوی، سانفرانسیسکو، کالیفرنیا، ایالات متحده آمریکا، ۱۳ تا ۱۷ اوت ۲۰۱۶٫ پ. ۱۳۰۵٫ [ Google Scholar ]
- نولاس، ا. اسکلاتو، اس. لاتیا، ن. Mascolo، C. ویژگیهای تحرک کاربر استخراج برای پیشبینی مکان بعدی در خدمات مبتنی بر مکان. در مجموعه مقالات دوازدهمین کنفرانس بین المللی داده کاوی (ICDM) IEEE 2012، بروکسل، بلژیک، ۱۰-۱۳ دسامبر ۲۰۱۲٫ ص ۱۰۳۸-۱۰۴۳٫ [ Google Scholar ]
- وو، اف. لی، ز. لی، WC; وانگ، اچ. Huang, Z. حاشیه نویسی معنایی داده های تحرک با استفاده از رسانه های اجتماعی. در مجموعه مقالات بیست و چهارمین کنفرانس بین المللی وب جهانی. کمیته راهبری کنفرانس های بین المللی وب جهانی، فلورانس، ایتالیا، ۱۸ تا ۲۲ مه ۲۰۱۵٫ ص ۱۲۵۳-۱۲۶۳٫ [ Google Scholar ]
- یین، ز. کائو، ال. هان، جی. ژای، سی. Huang, T. کشف و مقایسه موضوع جغرافیایی. در مجموعه مقالات بیستمین کنفرانس بین المللی وب جهانی، حیدرآباد، هند، ۲۸ مارس تا ۱ آوریل ۲۰۱۱; ص ۲۴۷-۲۵۶٫ [ Google Scholar ]
- ژانگ، سی. ژانگ، ک. یوان، Q. تائو، اف. ژانگ، ال. هانرتی، تی. Han, J. ReAct: تعبیه چندوجهی آنلاین برای مدلسازی فعالیت فضایی-زمانی تازهآگاه. در مجموعه مقالات چهلمین کنفرانس بین المللی ACM SIGIR در مورد تحقیق و توسعه در بازیابی اطلاعات، شینجوکو، توکیو، ژاپن، ۷ تا ۱۱ اوت ۲۰۱۷٫ صص ۲۴۵-۲۵۴٫ [ Google Scholar ]
- ساکاکی، ت. اوکازاکی، م. Matsuo, Y. زلزله کاربران توییتر را می لرزاند: تشخیص رویداد در زمان واقعی توسط حسگرهای اجتماعی. در مجموعه مقالات نوزدهمین کنفرانس بین المللی وب جهانی، رالی، NC، ایالات متحده، ۲۶-۳۰ آوریل ۲۰۱۰; صص ۸۵۱-۸۶۰٫ [ Google Scholar ]
- ساکاکی، ت. اوکازاکی، م. Matsuo, Y. تجزیه و تحلیل توییت برای تشخیص رویدادهای بلادرنگ و توسعه سیستم گزارش زلزله. IEEE Trans. بدانید. مهندسی داده ۲۰۱۳ ، ۲۵ ، ۹۱۹-۹۳۱٫ [ Google Scholar ] [ CrossRef ]
- ژائو، ال. چن، اف. لو، CT; راماکریشنان، N. پیش بینی رویداد مکانی-زمانی در رسانه های اجتماعی. در مجموعه مقالات کنفرانس بین المللی SIAM 2015 در مورد داده کاوی، ونکوور، BC، کانادا، ۳۰ آوریل تا ۲ می ۲۰۱۵٫ ص ۹۶۳-۹۷۱٫ [ Google Scholar ]
- بله، م. شو، دی. لی، WC; یین، پی. Janowicz، K. در حاشیه نویسی معنایی مکان ها در شبکه های اجتماعی مبتنی بر مکان. در مجموعه مقالات هفدهمین کنفرانس بین المللی ACM SIGKDD در مورد کشف دانش و داده کاوی، سن دیگو، کالیفرنیا، ایالات متحده آمریکا، ۲۱ تا ۲۴ اوت ۲۰۱۱٫ صص ۵۲۰-۵۲۸٫ [ Google Scholar ]
- ژانگ، سی. ژانگ، ک. یوان، Q. پنگ، اچ. ژنگ، ی. هانرتی، تی. وانگ، اس. هان، جی. مناطق، دوره ها، فعالیت ها: کشف پویایی شهری از طریق یادگیری بازنمایی متقابل. در مجموعه مقالات بیست و ششمین کنفرانس بین المللی وب جهانی، پرت، استرالیا، ۳ تا ۷ آوریل ۲۰۱۷؛ صص ۳۶۱-۳۷۰٫ [ Google Scholar ]
- باراگلیا، آر. Muntean، CI; ناردینی، اف.ام. Silvestri, F. LearNext: یادگیری پیش بینی حرکت گردشگران. در مجموعه مقالات بیست و دومین کنفرانس بین المللی ACM در مدیریت اطلاعات و دانش، سانفرانسیسکو، کالیفرنیا، ایالات متحده آمریکا، ۲۷ اکتبر تا ۱ نوامبر ۲۰۱۳٫ صص ۷۵۱-۷۵۶٫ [ Google Scholar ]
- یوان، Q. ژانگ، دبلیو. ژانگ، سی. گنگ، ایکس. کنگ، جی. Han، J. Pred: تشخیص منطقه دوره ای برای مدل سازی تحرک کاربران رسانه های اجتماعی. در مجموعه مقالات دهمین کنفرانس بین المللی ACM در جستجوی وب و داده کاوی، کمبریج، بریتانیا، ۶ تا ۱۰ فوریه ۲۰۱۷٫ صص ۲۶۳-۲۷۲٫ [ Google Scholar ]
- آلن، جی. Carbonell, JG; دادینگتون، جی. یامرون، جی. یانگ، ی. گزارش نهایی مطالعه آزمایشی تشخیص و پیگیری موضوع. ۱۹۹۸٫ در دسترس آنلاین: http://ciir.cs.umass.edu/pubfiles/ir-137.pdf (در ۳۰ اکتبر ۲۰۲۱ قابل دسترسی است).
- اوزدیکیس، او. اوغوزتوزون، ح. Karagoz, P. برآورد مکان شواهد برای رویدادهای شناسایی شده در توییتر. در مجموعه مقالات هفتمین کارگاه آموزشی بازیابی اطلاعات جغرافیایی، اورلاندو، فلوریدا، ایالات متحده آمریکا، ۵ نوامبر ۲۰۱۳; صص ۹-۱۶٫ [ Google Scholar ]
- پان، بی. ژنگ، ی. ویلکی، دی. شهابی، ج. سنجش جمعیت از ناهنجاری های ترافیکی بر اساس تحرک انسان و رسانه های اجتماعی. در مجموعه مقالات بیست و یکمین کنفرانس بین المللی ACM SIGSPATIAL در مورد پیشرفت در سیستم های اطلاعات جغرافیایی، اورلاندو، فلوریدا، ایالات متحده آمریکا، ۵ تا ۸ نوامبر ۲۰۱۳٫ صص ۳۴۴-۳۵۳٫ [ Google Scholar ]
- وانگ، اس. او، ال. استنت، ال. یو، PS; Li، Z. برآورد تراکم ترافیک در سطح شهر با رسانه های اجتماعی. در مجموعه مقالات بیست و سومین کنفرانس بین المللی SIGSPATIAL در مورد پیشرفت در سیستم های اطلاعات جغرافیایی، Bellevue، WA، ایالات متحده، ۳-۶ نوامبر ۲۰۱۵٫ پ. ۳۴٫ [ Google Scholar ]
- وانگ، ایکس. براون، DE; Gerber، MS مدل سازی فضایی-زمانی حوادث جنایی با استفاده از اطلاعات جغرافیایی، جمعیتی و مشتق شده از توییتر. در مجموعه مقالات کنفرانس بین المللی IEEE در سال ۲۰۱۲ در زمینه اطلاعات و انفورماتیک امنیتی (ISI)، واشنگتن، دی سی، ایالات متحده آمریکا، ۱۱ تا ۱۴ ژوئن ۲۰۱۲٫ صص ۳۶-۴۱٫ [ Google Scholar ]
- گربر، ام اس پیش بینی جرم با استفاده از توییتر و تخمین تراکم هسته. تصمیم می گیرد. سیستم پشتیبانی ۲۰۱۴ ، ۶۱ ، ۱۱۵-۱۲۵٫ [ Google Scholar ] [ CrossRef ]
- چن، ایکس. چو، ی. جانگ، SY پیشبینی جرم با استفاده از احساسات و آب و هوای توییتر. در مجموعه مقالات سمپوزیوم طراحی مهندسی سیستم ها و اطلاعات (SIEDS)، شارلوتزویل، ویرجینیا، ایالات متحده آمریکا، ۲۵ آوریل ۲۰۱۵; صص ۶۳-۶۸٫ [ Google Scholar ]
- می، س. لیو، سی. سو، اچ. ژای، سی. یک رویکرد احتمالی برای الگوبرداری از تم فضایی-زمانی در وبلاگ ها. در مجموعه مقالات پانزدهمین کنفرانس بین المللی وب جهانی، ادینبورگ، اسکاتلند، ۲۳-۲۶ مه ۲۰۰۶; صص ۵۳۳-۵۴۲٫ [ Google Scholar ]
- آیزنشتاین، جی. اوکانر، بی. اسمیت، NA; Xing، EP یک مدل متغیر پنهان برای تنوع واژگانی جغرافیایی. در مجموعه مقالات کنفرانس ۲۰۱۰ در مورد روشهای تجربی در پردازش زبان طبیعی، کمبریج، MA، ایالات متحده، ۹-۱۱ اکتبر ۲۰۱۰٫ ص ۱۲۷۷–۱۲۸۷٫ [ Google Scholar ]
- وانگ، سی. وانگ، جی. Xie، X. Ma, WY Mining دانش جغرافیایی با استفاده از مدل موضوعی آگاه از مکان. در مجموعه مقالات چهارمین کارگاه ACM در مورد بازیابی اطلاعات جغرافیایی، لیسبون، پرتغال، ۹ نوامبر ۲۰۰۷٫ صص ۶۵-۷۰٫ [ Google Scholar ]
- Sizov, S. Geofolk: معنای شناسی فضایی پنهان در رسانه های اجتماعی وب ۲٫۰٫ در مجموعه مقالات سومین کنفرانس بین المللی ACM در جستجوی وب و داده کاوی، نیویورک، نیویورک، ایالات متحده آمریکا، ۳ تا ۶ فوریه ۲۰۱۰٫ ص ۲۸۱-۲۹۰٫ [ Google Scholar ]
- هونگ، ال. احمد، ع. گورمورتی، اس. اسمولا، ای جی; Tsioutsiouliklis، K. کشف موضوعات جغرافیایی در جریان توییتر. در مجموعه مقالات بیست و یکمین کنفرانس بین المللی وب جهانی، لیون، فرانسه، ۱۶-۲۰ آوریل ۲۰۱۲; صص ۷۶۹-۷۷۸٫ [ Google Scholar ]
- احمد، ع. هونگ، ال. Smola، AJ مدلسازی جغرافیایی سلسله مراتبی مکانهای کاربر از پستهای رسانههای اجتماعی. در مجموعه مقالات بیست و دومین کنفرانس بین المللی وب جهانی، ریودوژانیرو، برزیل، ۱۳ تا ۱۷ مه ۲۰۱۳; صص ۲۵-۳۶٫ [ Google Scholar ]
- Kling، CC; کونگیس، جی. سیزوف، اس. Staab, S. تشخیص موضوعات جغرافیایی غیر گاوسی در مجموعههای عکس برچسبگذاری شده. در مجموعه مقالات هفتمین کنفرانس بین المللی ACM در جستجوی وب و داده کاوی، نیویورک، نیویورک، ایالات متحده آمریکا، ۲۴ تا ۲۸ فوریه ۲۰۱۴٫ ص ۶۰۳-۶۱۲٫ [ Google Scholar ]
- هافمن، تی. نمایه سازی معنایی نهفته احتمالی. انجمن ACM SIGIR. ۲۰۱۷ ، ۵۱ ، ۲۱۱-۲۱۸٫ [ Google Scholar ] [ CrossRef ]
- Blei، DM; Ng، AY؛ جردن، MI تخصیص دیریکله نهفته. جی. ماخ. فرا گرفتن. Res. ۲۰۰۳ ، ۳ ، ۹۹۳-۱۰۲۲٫ [ Google Scholar ]
- میکولوف، تی. سوتسکور، آی. چن، ک. کورادو، جی اس. Dean, J. توزیع کلمات و عبارات و ترکیب آنها. در مجموعه مقالات پیشرفتها در سیستمهای پردازش اطلاعات عصبی، دریاچه تاهو، NV، ایالات متحده آمریکا، ۵-۱۰ دسامبر ۲۰۱۳٫ صص ۳۱۱۱–۳۱۱۹٫ [ Google Scholar ]
- پنینگتون، جی. سوچر، آر. منینگ، دستکش سی دی: بردارهای جهانی برای نمایش کلمه. EMNLP ۲۰۱۴ ، ۱۴ ، ۱۵۳۲-۱۵۴۳٫ [ Google Scholar ]
- هوانگ، ایکس. لی، جی. Hu، X. Label از تعبیه شبکه نسبت داده شده خبر داد. در مجموعه مقالات دهمین کنفرانس بین المللی ACM در جستجوی وب و داده کاوی، کمبریج، بریتانیا، ۶ تا ۱۰ فوریه ۲۰۱۷٫ صص ۷۳۱-۷۳۹٫ [ Google Scholar ]
- ژانگ، سی. لیو، ام. لیو، ز. یانگ، سی. ژانگ، ال. هان، جی. مدلسازی فعالیت فضایی-زمانی تحت کمبود داده: یک رویکرد تعبیهسازی متقابل مدال منظم شده با نمودار. در مجموعه مقالات کنفرانس AAAI در زمینه هوش مصنوعی، نیواورلئان، لس آنجلس، ایالات متحده آمریکا، ۲ تا ۷ فوریه ۲۰۱۸٫ [ Google Scholar ]
- Blei، DM مدل های موضوع احتمالی. اشتراک. ACM ۲۰۱۲ ، ۵۵ ، ۷۷-۸۴٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
- آیزنشتاین، جی. مقدمه ای بر پردازش زبان طبیعی . مطبوعات MIT: کمبریج، MA، ایالات متحده آمریکا، ۲۰۱۹٫ [ Google Scholar ]
- Graves، A. برچسب زدن توالی تحت نظارت. در برچسب زدن توالی نظارت شده با شبکه های عصبی مکرر . Springer: برلین/هایدلبرگ، آلمان، ۲۰۱۲; صص ۵-۱۳٫ [ Google Scholar ]
- گریوز، ا. Jaitly، N. به سمت تشخیص گفتار سرتاسر با شبکههای عصبی مکرر. در مجموعه مقالات کنفرانس بین المللی یادگیری ماشین، پکن، چین، ۲۱ تا ۲۶ ژوئن ۲۰۱۴٫ صفحات ۱۷۶۴-۱۷۷۲٫ [ Google Scholar ]
- سوتسکور، آی. وینیالز، او. Le، QV توالی برای یادگیری توالی با شبکه های عصبی. در مجموعه مقالات پیشرفتها در سیستمهای پردازش اطلاعات عصبی، مونترال، QC، کانادا، ۸ تا ۱۳ دسامبر ۲۰۱۴٫ جلد ۲۷، ص ۳۱۰۴–۳۱۱۲٫ [ Google Scholar ]
- چو، ک. ون مرینبور، بی. گلچهره، سی. بهداناو، د. بوگارس، اف. شونک، اچ. Bengio، Y. آموزش نمایش عبارات با استفاده از رمزگذار-رمزگشا RNN برای ترجمه ماشینی آماری. arXiv ۲۰۱۴ ، arXiv:1406.1078. [ Google Scholar ]
- لیو، اس. یانگ، ن. لی، ام. Zhou، M. یک شبکه عصبی بازگشتی بازگشتی برای ترجمه ماشینی آماری. در مجموعه مقالات پنجاه و دومین نشست سالانه انجمن زبانشناسی محاسباتی (جلد ۱: مقالات طولانی)، بالتیمور، MD، ایالات متحده آمریکا، ۲۲-۲۷ ژوئن ۲۰۱۴; جلد ۱، ص ۱۴۹۱–۱۵۰۰٫ [ Google Scholar ]
- لیو، کیو. وو، اس. وانگ، ال. Tan, T. پیشبینی مکان بعدی: مدلی تکرارشونده با زمینههای مکانی و زمانی. در مجموعه مقالات سی امین کنفرانس AAAI در مورد هوش مصنوعی، فینیکس، AZ، ایالات متحده آمریکا، ۱۲ تا ۱۷ فوریه ۲۰۱۶; صص ۱۹۴–۲۰۰٫ [ Google Scholar ]
- یانگ، سی. سان، م. ژائو، WX؛ لیو، ز. Chang، EY یک رویکرد شبکه عصبی برای مدل سازی مشترک شبکه های اجتماعی و مسیرهای تلفن همراه. ACM Trans. Inf. سیستم (TOIS) ۲۰۱۷ ، ۳۵ ، ۳۶٫ [ Google Scholar ] [ CrossRef ]
- یائو، دی. ژانگ، سی. هوانگ، جی. Bi, J. SERM: یک مدل تکراری برای پیشبینی مکان بعدی در مسیرهای معنایی. در مجموعه مقالات ACM 2017 در کنفرانس مدیریت اطلاعات و دانش، سنگاپور، ۶ تا ۱۰ نوامبر ۲۰۱۷؛ ص ۲۴۱۱-۲۴۱۴٫ [ Google Scholar ]
- فنگ، جی. لی، ی. ژانگ، سی. سان، اف. منگ، اف. گوا، ا. Jin, D. DeepMove: پیش بینی تحرک انسان با شبکه های تکراری توجه. در مجموعه مقالات کنفرانس وب جهانی ۲۰۱۸ در وب جهانی. کمیته راهبری کنفرانس های بین المللی وب جهانی، لیون، فرانسه، ۲۳ تا ۲۷ آوریل ۲۰۱۸؛ ص ۱۴۵۹–۱۴۶۸٫ [ Google Scholar ]
- هوکرایتر، اس. Schmidhuber, J. حافظه کوتاه مدت طولانی. محاسبات عصبی ۱۹۹۷ ، ۹ ، ۱۷۳۵-۱۷۸۰٫ [ Google Scholar ] [ CrossRef ]
- چانگ، جی. گلچهره، سی. چو، ک. Bengio، Y. ارزیابی تجربی شبکههای عصبی بازگشتی دروازهای در مدلسازی توالی. arXiv ۲۰۱۴ ، arXiv:1412.3555. [ Google Scholar ]
- واسوانی، ع. Shazeer, N. پارمار، ن. Uszkoreit، J. جونز، ال. گومز، AN; قیصر، یو. Polosukhin، I. توجه تمام چیزی است که شما نیاز دارید. در مجموعه مقالات سی و یکمین کنفرانس بین المللی سیستم های پردازش اطلاعات عصبی (NIPS’17)، لانگ بیچ، کالیفرنیا، ایالات متحده آمریکا، ۴ تا ۹ دسامبر ۲۰۱۷؛ صفحات ۶۰۰۰–۶۰۱۰٫ [ Google Scholar ]
- دولین، جی. چانگ، مگاوات؛ تره فرنگی.؛ Toutanova، K. Bert: پیش آموزش ترانسفورماتورهای عمیق دو جهته برای درک زبان. arXiv ۲۰۱۸ , arXiv:1810.04805. [ Google Scholar ]
- یانگ، ز. دای، ز. یانگ، ی. کاربونل، جی. سالاخوتدینوف، ر. Le، QV XLNet: پیشآموزش خود رگرسیون تعمیم یافته برای درک زبان. arXiv ۲۰۱۹ ، arXiv:1906.08237. [ Google Scholar ]
- رادفورد، ای. وو، جی. کودک، ر. لوان، دی. عمودی، د. Sutskever، I. مدلهای زبان یادگیرندگان چند وظیفهای بدون نظارت هستند . وبلاگ OpenAI: سانفرانسیسکو، کالیفرنیا، ایالات متحده آمریکا، ۲۰۱۹؛ پ. ۱٫ [ Google Scholar ]
- کینگا، دی. Adam, JB روشی برای بهینه سازی تصادفی. در مجموعه مقالات کنفرانس بین المللی در مورد بازنمایی های یادگیری (ICLR)، سن دیگو، کالیفرنیا، ایالات متحده آمریکا، ۷ تا ۹ مه ۲۰۱۵٫ جلد ۵٫ [ Google Scholar ]
- براون، PF; دلا پیترا، SA; دلا پیترا، وی جی; لای، جی سی. Mercer, RL برآورد حد بالایی برای آنتروپی زبان انگلیسی. محاسبه کنید. زبانشناس. ۱۹۹۲ ، ۱۸ ، ۳۱-۴۰٫ [ Google Scholar ]
بدون دیدگاه