کلید واژه ها:
سایت باستان شناسی ; متن باستان شناسی چینی ; استخراج اطلاعات ؛ یادگیری عمیق
۱٫ مقدمه
۲٫ کارهای مرتبط
۳٫ مواد و روشها
۳٫۱٫ داده ها
۳٫۲٫ روش شناسی
۳٫۲٫۱٫ مدل شناسایی موجودیت با نام BiLSTM-CRF
لایه چهارم لایه CRF است که رابطه بین کلمات جلو و عقب را برای کنترل ترتیب خروجی حاشیه نویسی در نظر می گیرد. با فرض اینکه جمله ورودی W یک دنباله تگ پیش بینی به دست می آورد ، امتیاز پیش بینی به صورت زیر تعریف می شود:
جایی که احتمال این است که خروجی BiLSTM موقعیت i -ام باشد ، و احتمال انتقال از است به . امتیاز کل دنباله مجموع امتیازات هر موقعیت است. امتیاز هر موقعیت به طور مشترک توسط و ماتریس انتقال A از CRF. نمره از تمام توالی های حاشیه نویسی ممکن y از W توسط الگوریتم Viterbi به دست می آید و پس از آن، تمام امتیازات توسط تابع softmax نرمال می شوند. در نهایت احتمال دنباله y به صورت زیر بدست می آید:
در حین آموزش مدل، برای دنباله ورودی جمله X ، تابع ضرر تنظیم شده است تا لگاریتم احتمال دنباله نشانه گذاری واقعی هدف Y را بگیرد. برای به حداکثر رساندن احتمال مربوط به دنباله نشانگر واقعی، استراتژی گرفتن یک مقدار منفی و سپس به حداقل رساندن آن اتخاذ میشود و الگوریتم نزول گرادیان برای حل پارامترها معرفی میشود. تابع حداکثر کردن log درستنمایی به شرح زیر است:
در فرآیند پیشبینی، امتیازهای S مربوط به تمام توالیهای y ممکن توسط پارامترهای آموزشدیده شده محاسبه میشوند و از الگوریتم Viterbi برای حل مسیر بهینه استفاده میشود. نتیجه پیش بینی شده به صورت ثبت می شود :
۳٫۲٫۲٫ مدل استخراج رابطه توجه دوگانه BiGRU
برای شروع، نمونه آموزش ورودی به دنباله برداری کلمه تبدیل می شود از طریق لایه جاسازی سپس، GRU برای ادغام اطلاعات زمینه استفاده می شود. در مقایسه با شبکه یک طرفه GRU، BiGRU یک لایه مخفی دیگر اضافه می کند که دنباله متن را در جهت جلو و عقب به مدل وارد می کند و حالت های لایه پنهان را در هر دو جهت به لایه خروجی متصل می کند. در این زمان، خروجی شبکه مربوط به نویسه چینی i- امین است:
جایی که خروجی لایه فوروارد شبکه GRU با کلمه برداری است به عنوان ورودی، خروجی لایه معکوس است و ⊕ نشان دهنده اضافه شدن عنصر به عنصر است. برای کلمه ماتریس برداری خروجی توسط شبکه BiGRU، که در آن T تعداد کاراکترهای چینی موجود در نمونه رابطه است.
وکتور هر کلمه با معرفی وزن توجه در سطح کلمه وزن می شود :
که در آن V بردار نتیجه محاسبه شده است و می توان با تابع softmax محاسبه کرد:
جایی که پارامتر مورد استفاده برای آموزش در مدل است که در فرآیند آموزش به دست می آید.
مکانیسم توجه در سطح جمله خروجی لایه مکانیسم توجه کلمه را به عنوان ورودی می گیرد. با محاسبه درجه تطابق بین هر جمله حاوی جفت موجودیت و رابطه پیش بینی شده، ماتریس وزن سطح جمله ساخته می شود و در نهایت بردار بیانگر جمله به دست می آید. جریان الگوریتم خاص به شرح زیر است:
که در آن S بردار خروجی لایه مکانیسم توجه در سطح جمله است و وزن هر بردار جمله است . کارکرد نشان دهنده درجه تطابق بین هر جمله است و رابطه پیش بینی r ، و A ماتریس قطری وزن است.
سپس، احتمال شرطی رابطه پیش بینی از طریق تابع softmax محاسبه می شود:
که در آن R ماتریسی است که از همه بردارهای رابطه تشکیل شده است و b بردار افست است. در نهایت، از تابع argmax برای به دست آوردن رابطه پیش بینی نهایی استفاده می شود:
بر اساس تنسورفلو، این مقاله مدل استخراج رابطه را در پرتو مکانیسم توجه دوگانه درک میکند، از آنتروپی متقاطع به عنوان تابع از دست دادن در طول تمرین استفاده میکند و منظمسازی L2 را برای محدود کردن اندازه پارامترها برای کاهش مشکل اضافه برازش در فرآیند تمرین ترکیب میکند. محاسبه تابع ضرر به صورت زیر است:
جایی که تمام پارامترهای مدل را نشان می دهد، m تعداد مجموعه های نمونه را نشان می دهد. برچسب رابطه واقعی است و ضریب تنظیم L2 است. سپس تابع ضرر توسط الگوریتم آدام به حداقل می رسد تا آموزش و به روز رسانی پایدار پارامترها در مدل محقق شود. علاوه بر این، برای جلوگیری از برازش بیش از حد، حذف به لایه BiGRU اضافه می شود.
۴٫ نتایج تجربی
۴٫۱٫ راه اندازی آزمایشی
ارزیابی یک کار ضروری در زمینههای یادگیری ماشین، پردازش زبان طبیعی، بازیابی اطلاعات و غیره است و معیارهای ارزیابی معمولاً به شرح زیر است: دقت، یادآوری و مقدار F1. بنابراین، مدل استخراج اطلاعات برای متون محوطه باستانشناسی در این مطالعه از مقادیر دقیق P، Recall R و F1 به عنوان شاخص ارزیابی استفاده میکند. می توان آن را به صورت زیر محاسبه کرد:
در جایی که مثبت های واقعی نشان دهنده داده هایی هستند که واقعاً پیش بینی شده اند، مثبت های کاذب نشان دهنده داده هایی هستند که به اشتباه پیش بینی شده اند و منفی های کاذب نشان دهنده داده هایی هستند که باید به درستی پیش بینی شوند اما پیش بینی نشده اند.
۴٫۲٫ نتایج شناسایی موجودیت
۴٫۳٫ نتایج استخراج رابطه
۴٫۴٫ مثال کاربردی
۵٫ بحث و نتیجه گیری
منابع
- Spaulding, ACJS Anthropological Papers ; اعداد ۵۷-۶۲٫ بولتن ۱۷۳; دفتر قوم شناسی آمریکایی، موسسه اسمیتسونیان: واشنگتن، دی سی، ایالات متحده آمریکا، ۱۹۶۰; جلد ۱۳۲، ص. ۸۸۸٫ [ Google Scholar ]
- Zhang, G. Kaoguxue Zhuanti Liujiang [شش سخنرانی تخصصی باستان شناسی] ; Wenwu Chubanshe: پکن، چین، ۱۹۸۶٫ [ Google Scholar ]
- کاوی، جی. Lehnert, W. استخراج اطلاعات. اشتراک. ACM ۱۹۹۶ ، ۳۹ ، ۸۰-۹۱٫ [ Google Scholar ] [ CrossRef ]
- هوانگ، ز. خو، دبلیو. Yu, K. مدل های دو جهته LSTM-CRF برای برچسب گذاری توالی. arXiv preprint ۲۰۱۵ , arXiv:1508.01991. [ Google Scholar ]
- ژو، پی. شی، دبلیو. تیان، جی. چی، ز. لی، بی. هائو، اچ. Xu، B. شبکه های حافظه کوتاه مدت دو جهته مبتنی بر توجه برای طبقه بندی رابطه. در مجموعه مقالات پنجاه و چهارمین نشست سالانه انجمن زبانشناسی محاسباتی، برلین، آلمان، ۷ تا ۱۲ اوت ۲۰۱۶؛ ص ۲۰۷-۲۱۲٫ [ Google Scholar ]
- لین، ی. شن، اس. لیو، ز. لوان، اچ. Sun، M. استخراج رابطه عصبی با توجه انتخابی بر روی نمونه ها. در مجموعه مقالات پنجاه و چهارمین نشست سالانه انجمن زبانشناسی محاسباتی (مقالات طولانی)، برلین، آلمان، ۷ تا ۱۲ اوت ۲۰۱۶؛ جلد ۱، ص ۲۱۲۴–۲۱۳۳٫ [ Google Scholar ]
- گوا، ایکس. او، تی. نظرسنجی در مورد تحقیق در مورد استخراج اطلاعات. محاسبه کنید. علمی ۲۰۱۵ ، ۴۲ ، ۱۴-۱۷٫ [ Google Scholar ]
- هامفریس، ک. گایزاوسکاس، آر. عزام، س. هایک، سی. میچل، بی. کانینگهام، اچ. Wilks, Y. شرح سیستم LaSIE-II همانطور که برای MUC-7 استفاده می شود. در مجموعه مقالات هفتمین کنفرانس درک پیام (MUC-7)، فیرفکس، ویرجینیا، ۲۹ آوریل تا ۱ مه ۱۹۹۸٫ [ Google Scholar ]
- چمبرز، ن. Jurafsky, D. استخراج اطلاعات مبتنی بر الگو بدون الگوها. در مجموعه مقالات چهل و نهمین نشست سالانه انجمن زبانشناسی محاسباتی: فناوریهای زبان انسانی، پورتلند، OR، ایالات متحده آمریکا، ۱۹ تا ۲۴ ژوئن ۲۰۱۱٫ ص ۹۷۶-۹۸۶٫ [ Google Scholar ]
- کیو، کیو. زی، ز. وو، ال. تائو، ال. Li، W. BiLSTM-CRF برای شناسایی موجودیت با نام زمین شناسی از ادبیات علم زمین. علوم زمین به اطلاع رساندن. ۲۰۱۹ ، ۱۲ ، ۵۶۵-۵۷۹٫ [ Google Scholar ] [ CrossRef ]
- ژانگ، ایکس. بله، پی. وانگ، اس. Du, M. روش شناسایی موجودیت های زمین شناسی بر اساس شبکه های اعتقاد عمیق. اکتا بنزین. گناه ۲۰۱۸ ، ۳۴ ، ۳۴۳-۳۵۱٫ [ Google Scholar ]
- Zhao, J. تحقیق در مورد کاربرد روش استخراج رابطه واژگانی موجودیت تقاضا بر اساس Bi-GRU. J. Phys. Conf. سر. ۲۰۲۱ , ۱۷۴۸ , ۰۳۲۰۳۲٫ [ Google Scholar ] [ CrossRef ]
- ژائو، جی. وانگ، ایکس. Guan، Y. مقایسه ترکیب ویژگی با ترکیب ویژگی ها در تشخیص موجودیت با نام چینی. جی. کامپیوتر. Appl. ۲۰۰۵ ، ۲۵ ، ۲۶۴۷-۲۶۴۹٫ [ Google Scholar ]
- لینگ، ی. یانگ، جی. او، L. تشخیص نام سازمان چینی بر اساس ویژگی های متعدد. در مجموعه مقالات کارگاه آموزشی اقیانوس آرام-آسیا در زمینه اطلاعات و اطلاعات امنیتی، کوالالامپور، مالزی، ۲۹ مه ۲۰۱۲; صص ۱۳۶-۱۴۴٫ [ Google Scholar ]
- یانگ، ز. هوانگ، ی. جیانگ، ی. سان، ی. ژانگ، YJ; Luo, P. تشخیص دستیار بالینی برای پرونده الکترونیکی پزشکی بر اساس شبکه عصبی کانولوشن. علمی Rep. ۲۰۱۸ , ۸ , ۶۳۲۹٫ [ Google Scholar ] [ CrossRef ] [ PubMed ] [ نسخه سبز ]
- زینگ، ام. یانگ، سی.-اچ. جین، L.-Y. بی، J.-Q. تحقیق در مورد ساخت و کاربرد نمودار دانش در حوزه نظامی. در مجموعه مقالات مجموعه کنفرانس IOP: علم و مهندسی مواد، گوانگژو، چین، ۲۰ تا ۲۱ سپتامبر ۲۰۲۰؛ پ. ۰۱۲۰۵۳٫ [ Google Scholar ]
- چن، ی. کوانگ، جی. چنگ، دی. ژنگ، جی. گائو، ام. Zhou، A. AgriKG: نمودار دانش کشاورزی و کاربردهای آن. در مجموعه مقالات کنفرانس بین المللی سیستم های پایگاه داده برای کاربردهای پیشرفته، چیانگ مای، تایلند، ۲۲ تا ۲۵ آوریل ۲۰۱۹؛ صص ۵۳۳-۵۳۷٫ [ Google Scholar ]
- لنگ، جی. جیانگ، پی. رویکرد یادگیری عمیق برای استخراج رابطه از زمینه تعامل در پارادایم ساخت اجتماعی. سیستم مبتنی بر دانش ۲۰۱۶ ، ۱۰۰ ، ۱۸۸-۱۹۹٫ [ Google Scholar ] [ CrossRef ]
- ریتر، آ. اتزیونی، او. کلارک، اس. استخراج رویداد دامنه را از توییتر باز کنید. در مجموعه مقالات هجدهمین کنفرانس بین المللی ACM SIGKDD در مورد کشف دانش و داده کاوی، پکن، چین، ۱۲ تا ۱۶ اوت ۲۰۱۲٫ صص ۱۱۰۴–۱۱۱۲٫ [ Google Scholar ]
- Sprugnoli، R. Arretium یا Arezzo؟ رویکرد عصبی به شناسایی نام مکان ها در متون تاریخی. در مجموعه مقالات پنجمین کنفرانس ایتالیایی زبانشناسی محاسباتی CLiC-It 2018، تورینو، ایتالیا، ۱۰ تا ۱۲ دسامبر ۲۰۱۸؛ صص ۳۶۰-۳۶۵٫ [ Google Scholar ]
- پترسون، ای. لیندستروم، جی. جاکوبسون، بی. Fiebranz, R. HistSearch – پیاده سازی و ارزیابی ابزار مبتنی بر وب برای استخراج خودکار اطلاعات از متن تاریخی. در مجموعه مقالات HistoInformatics@ DH، کراکوف، لهستان، ۱۱ ژوئیه ۲۰۱۶٫ صص ۲۵-۳۶٫ [ Google Scholar ]
- Vlachidis، A. تودهوپ، دی. Wansleeben، M. شناخت نهاد نامگذاری شده مبتنی بر دانش مفاهیم باستان شناسی در هلندی. در مجموعه مقالات کنفرانس تحقیقاتی در مورد تحقیقات فراداده و معناشناسی، مادرید، اسپانیا، ۲ تا ۴ دسامبر ۲۰۲۰؛ صص ۵۳-۶۴٫ [ Google Scholar ]
- ژانگ، سی. تحقیقی در مورد روشهای کسب دانش از متون خاص دامنه و کاربرد آنها در کسب دانش از متون باستان شناسی. پایان نامه کارشناسی ارشد، موسسه فناوری محاسبات، آکادمی علوم چین، پکن، چین، ۲۰۰۵٫ [ Google Scholar ]
- Lu, W. کاربرد یادگیری عمیق در بازآفرینی خلاقانه آثار فرهنگی کوره چانگشا. در مجموعه مقالات کنفرانس بین المللی تعامل انسان و رایانه، کپنهاگ، دانمارک، ۱۹ تا ۲۴ ژوئیه ۲۰۲۰؛ صص ۵۵۸-۵۶۸٫ [ Google Scholar ]
- Zhang, Y. تحقیق و کاربرد استخراج اطلاعات و تجزیه و تحلیل کاوش های باستان شناسی. پایان نامه کارشناسی ارشد، دانشگاه ژجیانگ، هانگژو، چین، ۲۰۱۸٫ [ Google Scholar ]
- لیو، آر. نمودار ساخت و بازیابی دانش برای کتاب های تاریخ بیوگرافی. پایان نامه کارشناسی ارشد، دانشگاه شمالی چین، تایوان، چین، ۲۰۲۰٫ [ Google Scholar ]
- بایدو بایک. در دسترس آنلاین: https://baike.baidu.com (در ۳۰ نوامبر ۲۰۲۱ قابل دسترسی است).
- CNKI. در دسترس آنلاین: https://www.cnki.net (در ۳۰ نوامبر ۲۰۲۱ قابل دسترسی است).
- وانگ، دبلیو دیکشنری باستان شناسی چینی . Shanghai Ci Shu Chu Ban She: شانگهای، چین، ۲۰۱۴٫ [ Google Scholar ]
- یانگ، جی. ژانگ، ی. لی، ال. Li, X. YEDDA: یک ابزار حاشیه نویسی در طول متن مشترک. arXiv ۲۰۱۷ , arXiv:1711.03759. [ Google Scholar ]
بدون دیدگاه