VINS-Dimc: یک سیستم ناوبری بصری-اینرسی برای محیط پویا که چندین محدودیت را یکپارچه می کند

بیشتر سیستم‌های ناوبری بصری-اینرسی (VINS) از اجسام متحرک رنج می‌برند و در محیط‌های پویا به دقت موقعیت‌یابی ضعیفی می‌رسند. بنابراین، برای بهبود دقت موقعیت‌یابی VINS در محیط‌های پویا، یک سیستم ناوبری بصری-اینرسی تک‌چشمی، VINS-dimc، پیشنهاد شده‌است. این سیستم محدودیت های مختلفی را در حذف نقاط ویژگی پویا یکپارچه می کند که به بهبود دقت موقعیت یابی VINS ها در محیط های پویا کمک می کند. ابتدا، مدل حرکت، محاسبه‌شده از داده‌های واحد اندازه‌گیری اینرسی (IMU)، در معرض محدودیت اپی‌قطبی و محدودیت بردار جریان (FVB) قرار می‌گیرد تا تطابق ویژگی‌هایی را که به‌طور قابل‌توجهی از مدل حرکت منحرف می‌شود، حذف کند. سپس این الگوریتم چندین محدودیت تطبیق نقطه ویژگی را ترکیب می کند که از فقدان محدودیت های منفرد جلوگیری می کند و سیستم را قوی تر و جهانی تر می کند. در نهایت، VINS-dimc پیشنهاد شد که می تواند با یک محیط پویا سازگار شود. آزمایش‌ها نشان می‌دهد که الگوریتم پیشنهادی می‌تواند با حفظ نقاط مشخصه استاتیک، نقاط مشخصه پویا را بر روی اجسام متحرک با دقت حذف کند. این کمک بزرگی برای دقت و استحکام موقعیت یابی VINS ها است، خواه از داده های خود جمع آوری شده باشند یا مجموعه داده های عمومی.

کلید واژه ها:

محیط پویا ؛ تطبیق نقطه ویژگی ; کران بردار جریان ; سیستم های ناوبری بصری-اینرسی

۱٫ مقدمه

مکان‌یابی و نقشه‌برداری همزمان بصری (SLAM) که از داده‌های تصویر دوربین‌ها استفاده می‌کند، یکی از مهم‌ترین موضوعات در بینایی کامپیوتر است [ ۱ ، ۲ ]. این فناوری کاربردهای مهمی در رباتیک [ ۳ ، ۴ ]، خلبانی خودکار [ ۵ ، ۶ ] و واقعیت افزوده [ ۷ ، ۸ ] دارد.

هنگامی که فناوری SLAM یک واحد اندازه گیری اینرسی (IMU) و دوربین ها را ادغام می کند، سیستم ناوبری بصری-اینرسی (VINS) نامیده می شود. شناخته شده ترین VINS VINS-mono [ ۹ ] است که توسط Qin و همکاران ارائه شده است. این سیستم با مشاهده نقاط ویژگی بصری و اندازه‌گیری‌های IMU از پیش یکپارچه به موقعیت‌یابی دقیق دستگاه دست می‌یابد. همچنین می‌تواند به صورت آنلاین انحرافات بیرونی و زمانی بین دوربین و IMU را محاسبه و کالیبره کند. OKVIS [ ۱۰ ] از مفهوم «فریم‌های کلیدی» استفاده می‌کند که تا حدی حالت‌های قدیمی را به حاشیه رانده می‌کند تا هزینه‌های محاسباتی را پایین نگه دارد و از عملکرد بلادرنگ اطمینان حاصل کند. ROVIO [ ۱۱] مستقیماً از خطاهای شدت پیکسل تصاویر استفاده می کند و می تواند عملکرد ردیابی دقیق را با استحکام زیاد به دست آورد. یک VINS جدید بر اساس فیلتر کالمن توسعه یافته پیشنهاد شد، به نام MSCKF [ ۱۲ ]. مدل اندازه گیری می تواند محدودیت های هندسی را بیان کند که برای محلی سازی سیستم مفید است. یک پلتفرم باز به نام OpenVINS توسط ژنو و همکاران پیشنهاد شد. [ ۱۳ ]. از برخی فناوری‌ها، مانند فیلتر کالمن پنجره کشویی، درمان‌های ژاکوبین First-Estimates و نشانه‌های SLAM استفاده می‌کند.

با این حال، اکثر VINS ها محیط های ثابت متمرکز هستند [ ۱۴ ]. در یک ماژول کیلومتر شمار بصری جلویی، سیستم نقاط ویژگی را روی تصاویر بصری استخراج می کند. سپس، سیستم نقاط ویژگی دو فریم مجاور را مطابقت می دهد. سپس، موقعیت و نگرش دوربین و موقعیت نقاط ویژگی در دنیای واقعی با تنظیم بسته محلی داده های بصری و IMU در پنجره کشویی تعیین می شود. باقیمانده بهینه سازی تنظیم بسته که باید به حداقل برسد را می توان به صورت زیر فرموله کرد [ ۱۵ ]:

(۱)

که در آن R مجموع باقیمانده ها، m تعداد تصاویر و n تعداد نقاط مشخصه است. اگر نقطه کلید سه بعدی را می توان در تصویر k مشاهده کرد، مقدار روی ۱ تنظیم شده است؛ در غیر این صورت، روی ۰ تنظیم شده است. مختصات دو بعدی (۲D) را در تصویر k از نقطه سه بعدی نشان می دهد . علاوه بر این، π نمایش یک نقطه کلیدی سه بعدی را بر روی یک تصویر بر اساس موقعیت، وضعیت و پارامترهای ذاتی دوربین ها نشان می دهد. علاوه بر این، موقعیت و موقعیت دستگاه مربوط به k امین قاب تصویر است، مختصات سه بعدی نقطه مشخصه i است و باقیمانده داده های IMU در این بازه زمانی کوتاه است.

این طرح فرض می‌کند که VINS در محیطی قرار دارد که همه اشیا ثابت هستند. با این حال، در یک محیط واقعی، اغلب اشیاء پویا زیادی وجود دارد، بنابراین این فرض اغلب غیرقابل دفاع است. شکل ۱ a وضعیتی را نشان می دهد که نقطه مشخصه ثابت است. در این مرحله، حرکت دوربین با حل معادله (۱) تعیین می شود. شکل ۱b وضعیتی را نشان می دهد که در آن نقطه ویژگی است ثابت است، در حالی که نقطه ویژگی در یک محیط پویا حرکت می کند. در نتیجه حرکت نقطه ، مختصات آن روی تصویر نیز از تغییر می کند به . اجازه دهید بردار جابجایی نقطه مشخصه پویا باشد روی یک تصویر دو بعدی k + ۱٫ اطلاعات پویا در محیط باعث می شود پیکسل های مربوطه جابجا شوند، به طوری که مقدار صفر نیست، که بر استحکام و دقت VINS تأثیر می گذارد.

به طور خلاصه، برای بهبود استحکام و دقت VINS ها در محیط های پویا، لازم است تطبیق نقاط ویژگی فیلتر شود. باید نقاط مشخصه در حرکت را حذف کند و از نقاط مشخصه ثابت برای محاسبه موقعیت و وضعیت دستگاه استفاده کند. برای حل مشکل دینامیک در VINS ها، محققان روش های مختلفی را برای بهبود سیستم پیشنهاد کرده اند.

برخی از روش های مرسوم در زیر توضیح داده شده است. شیمامورا و همکاران [ ۱۶ ] یک روش vSLAM را پیشنهاد کرد که شامل یک روش اولیه سازی، وضعیت دوربین و یک روش رد خارج از اجسام متحرک است. علاوه بر این، آنها یک هیستوگرام زاویه‌ای را بر اساس جریان‌های بیرونی ساختند، هیستوگرام زاویه‌ای به‌دست‌آمده را تقریب زدند و از طریق تخمین پارامترهای مخلوط‌های گاوسی. برای مدل‌سازی سازگارانه محیط‌های پویا، Tan et al. [ ۱۷] یک روش به روز رسانی و یک نمایش فریم کلیدی آنلاین را پیشنهاد کرد. آنها نقاط مشخصه را از تصاویر فریم کلیدی به تصویر فریم فعلی نمایش دادند. سپس، آنها می توانند ویژگی های پویا را با مقایسه ظاهر و ساختار تشخیص دهند. علاوه بر این، یک الگوریتم اجماع نمونه تصادفی تطبیقی (RANSAC) برای حذف موثر نقاط ویژگی نامتناسب پیشنهاد شده‌است. رونز و همکاران [ ۱۸ ] از یک رویکرد برازش مدل چندگانه استفاده کرد، که در آن هر شی پویا می تواند به طور مستقل حرکت کند، و شی همچنان می تواند به طور موثر ردیابی شود. آنها یک ربات را قادر ساختند تا مدل های سه بعدی هر شی را حفظ کند و آنها را در طول زمان از طریق همجوشی بهبود بخشد. در [ ۱۹]، سان و همکاران. یک رویکرد حذف ویژگی های متحرک جدید با استفاده از یک دوربین RGBD پیشنهاد کرد. آنها آن را در سیستم SLAM ادغام کردند. رویکرد حذف ویژگی های متحرک به عنوان یک مرحله پیش پردازش برای فیلتر کردن نقاط مشخصه ای که با اشیاء پویا مطابقت دارند عمل می کند. علاوه بر این، Alcantarilla و همکاران. [ ۲۰ ] مفهوم جریان صحنه متراکم را برای SLAM معرفی کرد، به طوری که اجسام متحرک را می توان تشخیص داد. لی و همکاران [ ۲۱ ] راه حلی برای مسئله دینامیکی با استفاده از نمودار پوس پیشنهاد کرد. طبق قوانین گروه بندی، گره های نمودار بر اساس کوواریانس نویز گروه بندی می شوند و محدودیت ها کوتاه می شوند. لی و همکاران [ ۲۲] یک SLAM بصری پراکنده بر اساس یک مدل انتشار احتمال حرکت برای حذف نقطه کلید پویا پیشنهاد کرد. رویکرد آنها اطلاعات هندسی و اطلاعات تقسیم بندی معنایی را برای ردیابی نقاط کلیدی ترکیب می کند. در [ ۲۳]، نام و همکاران. یک VINS محکم جفت شده را پیشنهاد کنید که از روش حذف چند مرحله ای پرت استفاده می کند. این روش از روش حذف چند مرحله ای برای مقابله با تأثیر اجسام متحرک بر اساس اطلاعات بازخورد وضعیت های تخمین زده شده استفاده می کند. با این حال، اکثر این روش‌ها فرض کرده‌اند که اطلاعات ثابت بیشتری نسبت به اطلاعات پویا در یک صحنه وجود دارد، بنابراین مدل تولید شده توسط تطبیق ویژگی استاتیک می‌تواند برای حذف تطابق نقطه ویژگی پویا استفاده شود. با این حال، در عمل، مقدار قابل توجهی از اطلاعات پویا وجود دارد، بنابراین این فرض صادق نیست. علاوه بر این، اکثر روش‌ها برای حذف تطابق نقطه ویژگی در اجسام متحرک تنها از یک محدودیت برای اجسام متحرک استفاده می‌کنند. یک محدودیت منفرد اغلب با شکست مواجه می شود و مدیریت صحیح همه انواع تطابق نقاط ویژگی را دشوار می کند.

محققان راه حل های متعددی را بر اساس روش های یادگیری عمیق ارائه کرده اند. روشی برای تقسیم بندی متراکم جسم متحرک تحت سناریوهای دینامیکی توسط وانگ و همکاران ارائه شد. [ ۲۴ ]. آنها تقسیم بندی شی پویا متراکم را با SLAM بصری متراکم ترکیب کردند و اقدامات موثری را پیشنهاد کردند. به این ترتیب SLAM می تواند نگرش دوربین ها را تخمین بزند. یک روش جدید برای تشخیص اشیاء و اشیاء چند نمای SLAM توسط یانگ و همکاران ارائه شد. [ ۲۵ ]. روش آنها در هر دو محیط پویا و استاتیک موثر است. آنها همچنین پیشنهادهای مکعبی با کیفیت بالا تولید کردند. این روش از تنظیم بسته چند نمایش استفاده می کرد، به طوری که سیستم SLAM می تواند به طور مشترک نگرش دوربین ها، اشیا و نقاط ویژگی را بهینه کند. بسکوس و همکاران [ ۲۶] روش تشخیص شی متحرک و قابلیت های نقاشی پس زمینه را در SLAM ادغام کرد. سیستم SLAM می تواند در چند حالت در سناریوهای پویا عمل کند. این سیستم همچنین می تواند اجسام متحرک را با محدودیت هندسی در نماهای متعدد، یادگیری عمیق یا هر دو تشخیص دهد. یو و همکاران [ ۲۷ ] یک SLAM بصری بر اساس اطلاعات تقسیم بندی معنایی، مناسب برای محیط های پویا پیشنهاد کرد. این روش اطلاعات تقسیم‌بندی معنایی را ترکیب می‌کند و از روش بررسی ثبات حرکت برای کاهش تأثیر اجسام متحرک استفاده می‌کند. این باعث بهبود دقت SLAM در یک محیط پویا می شود. یک چارچوب SLAM معنایی توسط Brasch و همکاران ارائه شد. [ ۲۸]. این رویکردهای مبتنی بر ویژگی و مستقیم را برای بهبود استحکام و دقت SLAM در بسیاری از محیط‌های چالش برانگیز، مانند یک محیط پویا، ترکیب می‌کند. روش پیشنهادی از اطلاعات معنایی استخراج شده از تصاویر استفاده می کند. علاوه بر این، جیائو و همکاران. [ ۲۹ ] یک چارچوب SLAM پیشنهاد کرد که از یک روش یادگیری عمیق برای تشخیص اشیا استفاده می‌کند و نتایج شناسایی هدف را با اطلاعات هندسی نقاط مشخصه در سیستم بصری SLAM پیوند نزدیک می‌دهد. بنابراین، نقاط ویژگی بصری استخراج شده با احتمال پویا مرتبط هستند. یک SLAM پویا جدید، همراه با یک روش یادگیری عمیق برای انجام بخش‌بندی معنایی، توسط ژانگ و همکاران ارائه شد. [ ۳۰]. دو استراتژی بررسی سازگاری برای فیلتر کردن نقاط ویژگی واقع در اجسام متحرک استفاده شد. بنابراین، ویژگی های نقطه و خط با هم برای محاسبه ژست دوربین ها استفاده شد. با این حال، تعمیم یادگیری عمیق، به خصوص برای مشکل SLAM خوب نیست. اگرچه با مجموعه داده آموزشی عملکرد خوبی دارد، اما با مجموعه داده آزمایشی عملکرد خوبی ندارد و در نتیجه استحکام سیستم را پایین می‌آورد. علاوه بر این، یک روش یادگیری عمیق نیاز به دقت بسیار بالایی از مجموعه داده های آموزشی دارد، به ویژه برای تشخیص شی و تقسیم بندی معنایی. با این حال، تعیین دقیق وضعیت حرکت جسم بر اساس دسته بندی شی بسیار دشوار است.

برای بهبود سیستم ناوبری بصری-اینرسی، این مطالعه کار قبلی ما را بهبود بخشید [ ۳۱] با استفاده از انواع ترکیبات محدودیت برای بهبود دقت تطبیق ویژگی. در مطالعه قبلی خود، اعتبار داده‌های IMU را تعیین کردیم و از محدودیت‌های هندسی اپی قطبی برای حذف تطابق نقطه ویژگی غیرعادی که از خط اپی قطبی منحرف می‌شود، استفاده کردیم. بر این اساس، ماتریس اساسی، محاسبه‌شده از داده‌های IMU و محدودیت‌های بردار جریان (FVB)، برای حذف افست نقطه ویژگی پویا در امتداد جهت اپی قطبی استفاده شد. مدل پنجره کشویی برای فیلتر کردن تطابق نقطه ویژگی بین تصویر قاب فعلی و تصویر قبل از چندین فریم استفاده شد تا تداخل نقاط ویژگی پویا کاهش یابد. علاوه بر این، یک محدودیت آمار حرکت مبتنی بر شبکه (GMS) استفاده شد، و سازگاری فضایی بین نقاط ویژگی برای اصلاح تطبیق نقاط ویژگی استفاده شد. سرانجام، این الگوریتم با VINS-mono و VINS-dimc ادغام شد تا به استحکام و دقت بهتر در محیط‌های پویا دست یابد. به طور خلاصه، مشارکت های این مطالعه را می توان به شرح زیر توصیف کرد.

محدودیت های FVB با داده های IMU ترکیب شدند. مدل حرکت و اپی‌قطبی با استفاده از داده‌های IMU محاسبه شد و نقطه پویایی ویژگی پویا در امتداد اپی قطبی با استفاده از محدودیت‌های FVB حذف شد.
این روش چندین محدودیت را ترکیب کرد و از محدودیت‌های epipolar، FVB، GMS و پنجره کشویی استفاده کرد تا کاستی‌های یک محدودیت را جبران کند و به VINS کمک کند تا تطبیق ویژگی‌های دقیق‌تری داشته باشد.
الگوریتم پیشنهادی با VINS-mono یکپارچه شد و VINS-dimc پیشنهاد شده است. ما آزمایش هایی را با VINS-dimc انجام داده ایم.

بقیه مقاله به شرح زیر سازماندهی شده است. ابتدا، در بخش ۲ ، اصل اساسی VINS و الگوریتم حذف نقطه ویژگی اطلاعات پویا بر اساس محدودیت های متعدد ارائه شده است. سپس، بخش ۳ طرح آزمایشی مورد استفاده در این مطالعه، روش آزمایشی و نتایج را ارائه می‌کند. در نهایت، بخش ۴ برخی بحث ها و نکات پایانی را ارائه می کند.

۲٫ مواد و روشها

۲٫۱٫ بررسی اجمالی

برای بهبود دقت موقعیت یابی VINS در یک محیط پویا، ما یک الگوریتم حذف نقطه ویژگی پویا پیشنهاد می کنیم. در VINS-mono یکپارچه شده است و یک VINS-dimc با عملکرد عالی در یک محیط پویا پیشنهاد شده است. نمودار جریان VINS-dimc در شکل ۲ نشان داده شده است .

در طول مرحله اولیه سازی، سیستم یک نقشه محلی از طریق ساختار از حرکت ایجاد می کند. پارامترهای اولیه سازی سیستم را می توان با تراز کردن داده های IMU با داده های بصری تعیین کرد. روش بهینه سازی نمودار، بر اساس تنظیم بسته نرم افزاری، یک الگوریتم برآورد وضعیت مهم برای همجوشی فشرده داده های IMU دوربین است. راه حل بهینه با بهینه سازی سراسری تمام اندازه گیری ها به دست می آید [ ۳۲ ، ۳۳ ]. بهبود در این مطالعه در مرحله تطبیق نقطه ویژگی بود. با ترکیب با داده‌های IMU، از یک الگوریتم حذف نقطه ویژگی پویا چند محدودیتی برای اصلاح تطابق نقطه ویژگی استفاده کردیم. دقت موقعیت یابی سیستم با بهبود دقت تطبیق نقاط ویژگی بهبود یافته است.

۲٫۲٫ تمایز اعتبار داده IMU و محدودیت اپی قطبی

محتوای این قسمت مشابه مطالب مطالعه قبلی ما است، بنابراین در اینجا فقط به معرفی مختصر آن می پردازیم. برای جزئیات بیشتر، لطفاً به کار قبلی ما مراجعه کنید.

بر اساس تغییرات موقعیت و نگرش اندازه گیری شده توسط IMU، ماتریس اساسی حرکت دوربین را می توان با استفاده از فرمول های زیر بدست آورد:

(۲)

(۳)

که در آن E ماتریس اساسی است، ماتریس ضد متقارن ترجمه t است، F ماتریس اساسی و K پارامتر ذاتی دوربین است.

نقطه مشخصه در تصویر قاب قبلی خط اپی قطبی را تعیین می کند: . فاصله بین تطبیق نقطه ویژگی و ماتریس اساسی محاسبه می شود [ ۳۴ ].

(۴)

جایی که

(۵)

اگر فاصله کمتر از آستانه a باشد ، تطبیق ویژگی با ماتریس اساسی سازگار خواهد بود. در غیر این صورت، ناسازگار خواهد بود. ارزش زمانی که نقطه ویژگی i قاب تصویر سازگار باشد، روی ۰ تنظیم می شود. در غیر این صورت، روی ۱ تنظیم می شود، یعنی

(۶)

اگر ویژگی موثر کمتر از آستانه b نباشد ، داده های IMU معتبر در نظر گرفته می شوند. در غیر این صورت باطل است. ارزش زمانی که داده های IMU نامعتبر باشد روی ۰ تنظیم می شود. در غیر این صورت، روی ۱ تنظیم می شود، یعنی

(۷)

اگر ، ماتریس بنیادی دقیق است. اعتبار تطابق نقطه ویژگی با فاصله بین تطبیق و ماتریس اساسی تعیین می شود. اگر بزرگتر از آستانه c باشد ، به این معنی است که تطبیق ویژگی با مدل حرکت محاسبه شده با استفاده از داده های IMU متفاوت است. این تطبیق نقطه ویژگی احتمالا اشتباه است یا روی یک شی پویا است. بنابراین، از مجموعه تطبیق نقطه ویژگی حذف می شود.

۲٫۳٫ استراتژی فیوژن چند محدودیتی

۲٫۳٫۱٫ محدودیت FVB

محدودیت های اپی قطبی هنگامی که نقاط ویژگی پویا در امتداد خط اپی قطبی حرکت می کنند، همانطور که در شکل ۳ نشان داده شده است، کاستی هایی دارند . هر چند نقطه به نقطه حرکت می کند ، نقطه هنوز در خط اپی قطبی است زیرا نقطه و اشاره کنید در همان صفحه ای هستند که مراکز دوربین قرار دارند و . در این حالت فاصله بین نقاط و خط اپی قطبی تغییر نمی کند. بنابراین، محدودیت های اپی قطبی معتبر نیستند.

برای جبران این وضعیت، محدودیت FVB را معرفی کردیم. فرض کنیم ترجمه دوربین است . اجازه دهید و پیکسل های مربوط به نقطه باشد و به ترتیب در تصاویر جلو و عقب. عمق نقطه مشخصه در صحنه است. سپس مختصات سه بعدی نقطه است و مختصات آن در تصویر تصویر دوم را می توان با استفاده از فرمول های زیر بدست آورد:

(۸)

از آنجایی که نقطه P در حال حرکت است، بنابراین،

(۹)

هنگامی که دوربین حرکت می کند، پیکسل های مربوط به نقاط سه بعدی در تصویر در امتداد خط تعیین شده توسط نقطه حرکت می کنند. و ، و دامنه حرکت بستگی به مقدار ترجمه دارد و عمق [ ۳۵ ].

ما می توانیم یک فاصله عمقی ممکن را برای نقاط سه بعدی مشخص کنیم و سپس حداکثر و حداقل جابجایی نقاط مربوطه را در خط اپی قطبی تعیین کنیم. اگر دامنه جابجایی یک نقطه بین حداقل و حداکثر نباشد، احتمالاً یک نقطه ویژگی پویا است.

اگر داده های IMU نامعتبر باشد (یعنی ) صحت ترجمه را در نظر گرفتیم از داده های IMU ضعیف محاسبه می شود. بنابراین، محدودیت FVB در چنین موردی استفاده نشد.

۲٫۳٫۲٫ محدودیت GMS

مجموعه داده های IMU همیشه دقیق نیستند و اگر داده ها انحراف زیادی داشته باشند، محدودیت های اپی قطبی و FVB نامعتبر هستند. محدودیت های GMS برای جلوگیری از تطبیق ویژگی در یک شی متحرک مورد نیاز است.

ما استفاده از سازگاری فضایی بین تطبیق نقاط ویژگی را برای محدود کردن نقاط ویژگی در نظر گرفتیم. این محدودیت از روش آمار حرکت مبتنی بر شبکه، یعنی GMS [ ۳۶ ] استفاده می کند.

در این روش، احتمال آماری برخی مسابقات در یک منطقه به عنوان همواری حرکت در نظر گرفته می شود. بنابراین، تمام تطابق نقاط ویژگی توسط مدل بررسی می شود تا نقاط مشخصه روی اشیاء متحرک حذف شود و تطابق ویژگی صحیح به دست آید. هنگامی که نقاط ویژگی با هم مطابقت دارند، GMS تطابق ویژگی‌های با کیفیت بالا را استخراج می‌کند تا موارد منطبق با کیفیت پایین را حذف کند. این یک روش تطبیق بسیار قوی است. با استفاده از تأیید ویدیویی، حتی در یک محیط بافت ضعیف که حاوی تصاویر تار و داده های پایه گسترده است، GMS به طور مداوم از سایر الگوریتم های تطبیق ویژگی که می توانند در زمان واقعی اجرا شوند بهتر عمل می کند. GMS می تواند به همان دقت الگوریتم های پیچیده تر و کندتر دست یابد. از آنجایی که GMS دارای دقت بالا و سرعت اجرای بالایی است، برای استفاده در VINS ها مناسب تر است.

ما محدودیت‌های GMS را در یک سیستم VINS گنجانده‌ایم و از سازگاری فضایی برای حذف تطابق نقطه ویژگی در اشیاء پویا استفاده کردیم.

۲٫۳٫۳٫ محدودیت پنجره کشویی

در VINS که مبتنی بر روش نقطه مشخصه است، معمولاً از دو تصویر مجاور برای تطبیق نقاط مشخصه برای محاسبه حرکت نسبی دوربین در طول این فرآیند استفاده می شود. با این حال، در یک محیط پویا، ما باید نقاط ویژگی پویا را فیلتر کنیم و تطابق ثابت را حفظ کنیم، که برای VINS ها مفید است. اما به دلیل فرکانس بالای دوربین که معمولاً بیش از ۱۰ هرتز است، پیکسل های مربوط به جسم متحرک در دو تصویر مجاور حرکت قابل توجهی ندارند. بنابراین، VINS نمی تواند تأثیر جسم متحرک را کاهش دهد.

برای حل این مشکل، محدودیت پنجره کشویی برای دستیابی به تطبیق ویژگی بین تصویر قاب فعلی و تصویر چندین فریم قبل پیشنهاد شد. نمایش شماتیک محدودیت پنجره کشویی مانند شکل ۴ است.

در مقایسه با فریم های تصویر مجاور، تفاوت زمانی به طور قابل توجهی افزایش می یابد. بنابراین، جابجایی پیکسل های متناظر با جسم متحرک در دو فریم تصویر مجاور آشکارتر می شود. با این حال، نقاط ویژگی استاتیک تغییر نمی کند. بنابراین، تأثیر شی پویا کاهش می یابد و ویژگی ها با شی ایستا مطابقت دارند.

۲٫۳٫۴٫ الگوریتم فیوژن چند محدودیتی

محدودیت های هندسی اپی قطبی فقط برای نقاط مشخصه متحرکی اعمال می شود که از خط اپی قطبی منحرف می شوند، در حالی که محدودیت های FVB فقط برای نقاط مشخصه ای اعمال می شود که در امتداد خط اپی قطبی حرکت می کنند. این دو محدودیت تنها زمانی اهمیت دارند که دقت داده های IMU بالا باشد. محدودیت GMS تطبیق نقطه ویژگی را با سازگاری فضایی محدود می کند، و محدودیت پنجره کشویی دقت تطبیق ویژگی را با روابط زمانی و مکانی داده های بصری بهبود می بخشد. این دو محدودیت مستقل از داده های IMU هستند. بنابراین، چهار الگوریتم محدودیت تطبیق ویژگی می توانند یکدیگر را جبران کنند. بنابراین، الگوریتم پیشنهادی چهار محدودیت فوق را یکپارچه می کند و از شکست یک محدودیت جلوگیری می کند.

۳٫ آزمایش کنید

ما الگوریتم ترکیب چند محدودیتی پیشنهاد شده در این مقاله را در VINS-mono یکپارچه کردیم و VINS-dimc را پیشنهاد کردیم. یک CPU Intel(R) Core(TM) i7-7700hq @ 2.80 گیگاهرتز به عنوان پلتفرم آزمایشی استفاده شد. ما آزمایش‌ها را روی یک سیستم Ubuntu 16.04 LTS انجام دادیم.

ابتدا، ما الگوریتم پیشنهادی را با آزمایش اینکه آیا می‌تواند تطابق ویژگی پویا را با اجرای آزمایش تطبیق نقطه ویژگی به طور دقیق حذف کند، تأیید کردیم. سپس، داده‌های خود جمع‌آوری‌شده را در VINS اجرا کردیم تا با بررسی خطای حلقه بسته بررسی کنیم که آیا برای دقت موقعیت‌یابی مفید است یا خیر. در نهایت، مجموعه داده عمومی را در VINS-dimc اجرا کردیم. نتایج موقعیت‌یابی با حقیقت زمین برای محاسبه خطای موقعیت‌یابی مطلق مقایسه شد. سپس، ریشه میانگین مربعات خطا (RMSE) خطا را می توان به دست آورد. ما VINS-mono، OKVIS-mono، و ROVIO را به عنوان مرجع انتخاب کردیم که از معرف ترین سیستم های ناوبری بصری-اینرسی هستند. ما همچنین از کارهای قبلی خود به عنوان مرجع برای اثبات مؤثر بودن این بهبود استفاده کردیم.

۳٫۱٫ آزمایش تطبیق نقطه ویژگی

۳٫۱٫۱٫ مواد و راه اندازی آزمایشی

تجهیزاتی که ما برای جمع آوری داده ها استفاده کردیم دوربین Intel RealSense d435i [ ۳۷ ] بود. این یک دوربین تک چشمی با IMU و دوربین عمق است. در این آزمایش فقط از تصاویر RGB و داده های IMU استفاده شد. رزولوشن داده های تصویر را روی ۶۴۰ × ۴۸۰ و فرکانس را روی ۱۵ هرتز قرار می دهیم. فرکانس شتاب سنج روی ۶۰ هرتز و فرکانس ژیروسکوپ روی ۲۰۰ هرتز تنظیم شد.

در حین جمع‌آوری داده‌ها، آزمایش‌کننده کیسه فایل را در جلوی لنز تکان داد. در صحنه، کیسه فایل یک شی متحرک است در حالی که سایر اشیاء بی حرکت هستند. برای انجام آزمایش‌ها از روش سنتی و الگوریتم پیشنهادی استفاده کردیم. نمونه تصویر جمع آوری شده در شکل ۵ نشان داده شده است . شکل ۵ الف تصویر قاب قبلی و شکل ۵ ب تصویر قاب فعلی است.

۳٫۱٫۲٫ نتایج

از آنجایی که فقط کیسه فایل در صحنه حرکت می کند، نتیجه ایده آل این است که هیچ نقطه متحرکی روی کیسه فایل وجود نداشته باشد. نتایج تطبیق نقاط ویژگی در شکل ۶ نشان داده شده است. شکل ۶ a,b نتایج تطبیق ویژگی با استفاده از روش سنتی را نشان می دهد و شکل ۶ c,d نتایج الگوریتم پیشنهادی را نشان می دهد. در شکل ۶ a,b، نقاط مشخصه زیادی در پورتفولیوی متحرک وجود دارد. با این حال، در روش پیشنهادی، هیچ نقطه ویژگی در کیسه فایل متحرک وجود ندارد. نقاط مشخصه روی شی ایستا همان نقاطی است که در روش سنتی وجود دارد. بنابراین، الگوریتم پیشنهادی می تواند به طور موثر نقاط ویژگی پویا را حذف کند.

۳٫۲٫ آزمایش موقعیت یابی VINS

۳٫۲٫۱٫ مواد و راه اندازی آزمایشی

ما یک راستی‌آزمایی آزمایشی را با استفاده از صحنه‌های واقعی انجام دادیم. سناریوی تجربی در شکل ۷ نشان داده شده است . در طول آزمایش، فردی در اطراف صحنه قدم زد. بنابراین مقدار مشخصی از اطلاعات پویا در صحنه وجود دارد که برای سیستم VINS یک چالش است. از آنجایی که هیچ حقیقت زمینی دقیقی وجود ندارد، شروع و پایان آزمایش را در یک نقطه قرار دادیم تا بتوانیم با مقایسه انحراف بین شروع و پایان، دقت موقعیت یابی را ارزیابی کنیم. در طول آزمایش، آزمایش‌کنندگان دوربین را برای جمع‌آوری داده‌ها در مسیر حلقه بسته در صحنه نگه داشتند.

در این آزمایش از همان دوربینی برای جمع آوری داده ها مانند آزمایش قبلی استفاده شد. پارامترهای اکتساب داده نیز مانند آزمایش قبلی بود. نمونه ای از داده های بصری برای دو فریم مجاور که ما گرفته ایم در شکل ۸ نشان داده شده است .

۳٫۲٫۲٫ نتایج

ما از الگوریتم پیشنهادی برای حذف نقاط مشخصه روی اجسام متحرک استفاده کردیم و نتایج تطبیق ویژگی در شکل ۹ نشان داده شده است. شکل ۹ a,b توزیع نقاط مشخصه را نشان می دهد. آزمایش نشان می دهد که الگوریتم پیشنهادی هنوز در VINS ها موثر است. این الگوریتم توانست نقاط مشخصه ای را که روی عابران پیاده هستند حذف کند و نقاط مشخصه صحنه ایستا را حفظ کند.

نقطه شروع و پایان آزمایش موقعیت یابی را روی یک موقعیت قرار می دهیم و تفاوت بین نتیجه موقعیت یابی در آخرین لحظه و مقدار اولیه را می توان به عنوان شاخص دقت در نظر گرفت.

شکل ۱۰ نتایج آزمایش را نشان می دهد. شکل ۱۰ a مسیر سیستم را در فضای سه بعدی نشان می دهد. شکل ۱۰ ب تغییرات مختصات سه محوری XYZ را در طول آزمایش نشان می دهد. نتایج موقعیت یابی سه سیستم فقط کمی در جهت XY متفاوت بود. با این حال، خطای حلقه VINS-dimc در جهت Z بسیار کوچکتر از خطای OKVIS-mono و VINS-mono بود.

ما تفاوت در نتایج موقعیت یابی بین نقطه پایان و نقطه شروع را محاسبه کردیم. تفاوت در OKVIS-mono 0.516 متر و تفاوت در VINS-mono 0.168 متر بود، در حالی که تفاوت در VINS-dimc 0.153 متر بود.

بر اساس الگوریتم پیشنهادی، دقت موقعیت یابی VINS-dimc در مقایسه با VINS-mono به طور قابل توجهی بهبود یافت. بنابراین، الگوریتم پیشنهادی برای داده های خود جمع آوری شده نیز موثر است. بدیهی است که الگوریتم به دقت موقعیت یابی کمک می کند.

۳٫۳٫ آزمایش مجموعه داده ADVIO

۳٫۳٫۱٫ مواد و راه اندازی آزمایشی

برای آزمایش علمی دقت موقعیت‌یابی VINS-dimc، آزمایش‌هایی را روی مجموعه داده‌های عمومی ADVIO [ ۳۸ ] با حقیقت زمین انجام دادیم. این یک مجموعه داده عمومی است که از دستگاه‌های دستی برای اندازه‌گیری فاصله‌سنجی بصری-اینرسی استفاده می‌کند، مانند حسگرهای موجود در تلفن هوشمند. مجموعه داده شامل ۲۳ دنباله است که شامل ضبط‌هایی از تنظیمات بیرونی و داخلی است. حقیقت زمین با ترکیب یک سیستم ناوبری اینرسی خالص اخیر [ ۳۹ ] به دست می آید.

برای تأیید الگوریتم در سناریوهای مختلف، این مطالعه شش نماینده از ۲۳ دنباله را انتخاب کرد. سکانس های انتخاب شده ۱، ۲، ۶، ۱۱، ۱۶ و ۲۱ بودند که شامل صحنه های آزمایشی مختلفی از جمله مرکز خرید، ایستگاه مترو، دفتر و محوطه بیرونی است. آنها همچنین حاوی انواع اجسام دینامیک مانند عابران پیاده، آسانسورها و اتومبیل های متحرک هستند.

همانطور که در شکل ۱۱ نشان داده شده است، دو تصویر خام مجاور از دنباله ۱ مجموعه داده عمومی انتخاب شدند . شکل ۱۱ a تصویر قبلی و شکل ۱۱ b تصویر فعلی را نشان می دهد. در این دو فریم تصویر، بقیه اشیاء به جز آسانسور متحرک بی حرکت هستند. بنابراین، تنها آسانسور متحرک بر تطابق ویژگی ها تأثیر می گذارد. بنابراین، نتیجه ایده آل این است که تمام نقاط ویژگی در آسانسور حذف شده و سایر نقاط ویژگی حفظ شوند.

۳٫۳٫۲٫ نتایج تجربی

در طول آزمایش، VINS نقاط ویژگی و مسابقات را استخراج می کند و ویژگی های غیرعادی دو تصویر را حذف می کند. ما از الگوریتم حذف نقطه ویژگی پیشنهادی در VINS استفاده می‌کنیم. شکل ۱۲ نتایج تطبیق نقاط ویژگی را نشان می دهد. شکل ۱۲ a,b توزیع نقاط مشخصه را در تصویر نشان می دهد.

الگوریتم پیشنهادی برای مجموعه داده های عمومی نیز مناسب است. این می تواند نقاط ویژگی را در آسانسور متحرک حذف کند و در عین حال سایر نقاط ویژگی را حفظ کند و هیچ خطای آشکاری در تطبیق ویژگی وجود ندارد.

ما از کتابخانه Evo [ ۴۰ ] برای محاسبه RMSE خطای موقعیت یابی مطلق (APE) نتیجه موقعیت یابی استفاده کردیم. APE تفاوت مستقیم بین پوز تخمینی و حقیقت زمین است که می تواند مستقیماً دقت الگوریتم و ثبات کلی مسیر را منعکس کند. لازم به ذکر است که حالت تخمینی و حقیقت زمین معمولاً در یک سیستم مختصات نیستند، بنابراین ابتدا باید آنها را تراز کنیم. ما باید یک ماتریس تبدیل را محاسبه کنیم از ژست تخمین زده به حقیقت زمین با استفاده از روش حداقل مربع. بنابراین، APE فریم i به صورت زیر تعریف می شود:

(۱۰)

جایی که، نشان دهنده حقيقت زميني و نتیجه محاسبه الگوریتم را نشان می دهد.

سپس از ریشه میانگین مربعات خطا (RMSE) برای شمارش APE استفاده کنید:

(۱۱)

که در آن ∆ نشان‌دهنده بازه زمانی و m نشان‌دهنده تعداد نمونه‌های گرفته شده است.

در شش دنباله مجموعه داده عمومی ADVIO، داده های مقایسه خطا بین روش پیشنهادی و روش اصلی در جدول ۱ نشان داده شده است.

از آنجایی که مجموعه داده شامل بسیاری از اشیاء پویا است که نیاز به سیستم بسیار قوی دارد، هر دو OKVIS-mono و ROVIO قادر به اجرای برخی از مجموعه داده ها نیستند. همانطور که در جدول ۱ نشان داده شده است ، VINS-dimc در مقایسه با سه VINS پیشرفته دیگر، عملکرد بسیار خوبی داشت. در مقایسه با کار قبلی ما، VINS-dimc نیز پیشرفت قابل توجهی داشته است. نه تنها صحنه هایی با اطلاعات پویا قابل توجهی وجود دارد، بلکه صحنه هایی نیز وجود دارد که تقریباً همه اشیاء ثابت هستند، مانند یک دفتر. این سیستم نه تنها برای همه مجموعه داده ها با موفقیت اجرا می شود، بلکه دقت موقعیت یابی را نیز بهبود می بخشد. VINS-dimc استحکام بهتر و دقت موقعیت یابی بالاتری نسبت به VINS های معمولی در هر دو محیط پویا و استاتیک دارد.

شکل ۱۳ داده های خطای نتایج را برای توالی های مختلف در مجموعه داده عمومی ADVIO نشان می دهد. ارقام در ستون سمت چپ خطای مطلق را در طول زمان نشان می دهد. آبسیسا نشان دهنده زمان آزمایشی است. واحد ثانیه است و مختصات خطای موقعیت مطلق بر حسب متر است. ارقام در ستون سمت راست آمار خطای موقعیت مطلق را نشان می دهد. آمار در ارقام از بالا به پایین حداکثر، حداقل، انحراف معیار، میانه، میانگین و RMSE است. محور افقی اندازه را بر حسب متر نشان می دهد.

۴٫ بحث و نتیجه گیری

در این مطالعه، ما یک الگوریتم برای حذف تطبیق ویژگی بر اساس محدودیت‌های چندگانه ارائه می‌کنیم. این الگوریتم دو مزیت اصلی دارد. اول، اطلاعات IMU با محدودیت های اپی قطبی و FVB ترکیب می شود تا نقاط ویژگی غیرعادی را با استفاده از روابط هندسی حذف کند. دوم، محدودیت‌های GMS و پنجره کشویی معرفی شده‌اند که با محدودیت‌های epipolar و FVB ترکیب می‌شوند تا تطبیق نقطه ویژگی برای اشیاء پویا را حذف کنند. محدودیت Epipolar و محدودیت FVB داده های IMU را ترکیب می کنند و از اطلاعات هندسی برای حذف نقاط ویژگی پویا استفاده می کنند. محدودیت GMS سازگاری فضایی تطبیق نقطه ویژگی را در نظر می گیرد. محدودیت پنجره کشویی از همبستگی زمانی برای محدود کردن نقاط ویژگی استفاده می کند. بدین ترتیب،

ما الگوریتم را در VINS-mono ادغام کردیم و VINS-dimc را پیشنهاد کردیم. از طریق آزمایش‌های تطبیق نقطه ویژگی، ما ثابت کردیم که الگوریتم پیشنهادی در حذف نقاط ویژگی پویا مفید است. در آزمایش با داده های خود جمع آوری شده، خطای حلقه بسته VINS-dimc بسیار کمتر از روش های معمولی است. در آزمایش با مجموعه داده عمومی ADVIO، خطای موقعیت یابی VINS-dimc کوچکترین است. بنابراین، روش پیشنهادی می‌تواند دقت تطبیق نقاط ویژگی و دقت موقعیت‌یابی VINS را بهبود بخشد.

در کار آینده، یکی دیگر از مشکلات VINS را در نظر خواهیم گرفت: تغییرات روشنایی. در کاربردهای عملی، تغییر نور تاثیر زیادی بر پایداری نقاط ویژگی دارد. ما قصد داریم یک روش بهبود تصویر را پیشنهاد کنیم و آن را با VINS ادغام کنیم تا دقت و استحکام سیستم را بهبود ببخشیم.

منابع

آلیز، پی. بوناردی، اف. بوچفا، س. دیدیه، J.-Y. حاج عبدالقادر، ح. مونوز، FII; کاچورکا، وی. راولت، بی. رابین، ام. Roussel, D. سیستم چند SLAM بلادرنگ برای محلی سازی عامل و نقشه برداری سه بعدی در سناریوهای پویا. در مجموعه مقالات کنفرانس بین المللی ربات ها و سیستم های هوشمند، لاس وگاس، NV، ایالات متحده آمریکا، ۲۴ تا ۳۰ اکتبر ۲۰۲۰؛ IROS: لاس وگاس، NV، ایالات متحده آمریکا، ۲۰۲۰٫ [ Google Scholar ]
رام، ک. خریال، ج. حارثاس، اس.اس. کریشنا، KM RP-VIO: فاصله‌سنجی بصری-اینرسی مبتنی بر هواپیما برای محیط‌های پویا. arXiv ۲۰۲۱ ، arXiv:2103.10400. [ Google Scholar ]
Bonin-Font، F. اورتیز، ا. Oliver, G. ناوبری بصری برای روبات های متحرک: یک نظرسنجی. جی. اینتل. ربات. سیستم ۲۰۰۸ ، ۵۳ ، ۲۶۳-۲۹۶٫ [ Google Scholar ] [ CrossRef ]
یانگ، دی. بی، س. وانگ، دبلیو. یوان، سی. وانگ، دبلیو. Qi، X. Cai, Y. DRE-SLAM: رمزگذار پویا RGB-D SLAM برای ربات دیفرانسیل درایو. Remote Sens. ۲۰۱۹ , ۱۱ , ۳۸۰٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
سیبلی، جی. می، سی. رید، آی. نیومن، پی. ناوبری در فضای باز در مقیاس وسیع با استفاده از تنظیم بسته نسبی تطبیقی. بین المللی ربات جی. Res. ۲۰۱۰ ، ۲۹ ، ۹۵۸-۹۸۰٫ [ Google Scholar ] [ CrossRef ]
یانگ، اس. Scherer، SA; یی، ایکس. Zell، A. SLAM بصری چند دوربینی برای ناوبری خودکار وسایل نقلیه هوایی میکرو. ربات. Auton. سیستم ۲۰۱۷ ، ۹۳ ، ۱۱۶-۱۳۴٫ [ Google Scholar ] [ CrossRef ]
گائو، QH; Wan, TR; تانگ، دبلیو. چن، ال. Zhang، KB یک روش ثبت واقعیت افزوده بهبود یافته بر اساس SLAM بصری. در آموزش و بازی های الکترونیکی ؛ یادداشت های سخنرانی در علوم کامپیوتر; Springer: Cham, Switzerland, 2017; صص ۱۱-۱۹٫ [ Google Scholar ]
محمود، ن. گراسا، Ó.G. Nicolau, SA; دوگنون، سی. سولر، ال. مارسکو، جی. Montiel, J. واقعیت افزوده مشاهده از طریق بیمار مبتنی بر SLAM بصری. بین المللی جی. کامپیوتر. کمک کنید. رادیول. سرگ ۲۰۱۷ ، ۱۲ ، ۱-۱۱٫ [ Google Scholar ] [ CrossRef ]
کین، تی. لی، پی. Shen, S. Vins-Mono: برآوردگر حالت بصری-اینرسی تک چشمی قوی و همه کاره. IEEE Trans. ربات. ۲۰۱۸ ، ۳۴ ، ۱۰۰۴-۱۰۲۰٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
لوتنگر، اس. لینن، اس. Bosse، M. سیگوارت، آر. فورگال، پی. کیلومتر شماری بصری-اینرسی مبتنی بر فریم کلیدی با استفاده از بهینه‌سازی غیرخطی. بین المللی ربات جی. Res. ۲۰۱۵ ، ۳۴ ، ۳۱۴-۳۳۴٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
بلوش، ام. عمری، س. هاتر، م. Siegwart, R. کیلومتر شماری اینرسی بصری قوی با استفاده از رویکرد مستقیم مبتنی بر EKF. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ 2015 در مورد ربات ها و سیستم های هوشمند (IROS)، هامبورگ، آلمان، ۲۸ سپتامبر تا ۲ اکتبر ۲۰۱۵؛ صص ۲۹۸-۳۰۴٫ [ Google Scholar ]
موریکیس، هوش مصنوعی؛ Roumeliotis, SI فیلتر کالمن با محدودیت چند حالته برای ناوبری اینرسی با کمک دید. در مجموعه مقالات کنفرانس بین المللی IEEE 2007 در مورد رباتیک و اتوماسیون، رم، ایتالیا، ۱۰-۱۴ آوریل ۲۰۰۷٫ صص ۳۵۶۵–۳۵۷۲٫ [ Google Scholar ]
ژنو، ص. اکنهوف، ک. لی، دبلیو. یانگ، ی. Huang, G. Openvins: یک پلت فرم تحقیقاتی برای تخمین بصری-اینرسی. در مجموعه مقالات کنفرانس بین المللی IEEE 2020 در مورد رباتیک و اتوماسیون، پاریس، فرانسه، ۳۱ مه تا ۳۱ اوت ۲۰۲۰؛ صص ۴۶۶۶-۴۶۷۲٫ [ Google Scholar ]
وانگ، آر. وان، دبلیو. وانگ، ی. Di, K. یک روش جدید RGB-D SLAM با تشخیص جسم متحرک برای صحنه های پویا داخل ساختمان. Remote Sens. ۲۰۱۹ , ۱۱ , ۱۱۴۳٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
چنگ، جی. سان، ی. منگ، MQ-H. بهبود SLAM بصری تک چشمی در محیط های پویا: یک رویکرد مبتنی بر جریان نوری. Adv. ربات. ۲۰۱۹ ، ۳۳ ، ۵۷۶-۵۸۹٫ [ Google Scholar ] [ CrossRef ]
شیمامورا، جی. موریموتو، ام. Koike، H. vSLAM قوی برای صحنه های پویا. در مجموعه مقالات MVA، نارا، ژاپن، ۶-۸ ژوئن ۲۰۱۱٫ جلد ۲۰۱۱، ص ۳۴۴-۳۴۷٫ [ Google Scholar ]
تان، دبلیو. لیو، اچ. دونگ، ز. ژانگ، جی. Bao, H. SLAM تک چشمی قوی در محیط های پویا. در مجموعه مقالات سمپوزیوم بین المللی IEEE 2013 در مورد واقعیت ترکیبی و افزوده (ISMAR)، آدلاید، استرالیا، ۱ تا ۴ اکتبر ۲۰۱۳٫ جلد ۲۰۱۳، ص ۲۰۹-۲۱۸٫ [ Google Scholar ]
رونز، ام. Agapito، L. Co-Fusion: بخش‌بندی، ردیابی و ادغام در زمان واقعی چندین اشیا. در مجموعه مقالات کنفرانس بین المللی IEEE 2017 در مورد رباتیک و اتوماسیون (ICRA)، سنگاپور، ۲۹ مه ۲۰۱۷؛ ص ۴۴۷۱-۴۴۷۸٫ [ Google Scholar ]
سان، ی. لیو، ام. منگ، MQ-H. بهبود RGB-D SLAM در محیط های پویا: رویکرد حذف حرکت ربات. Auton. سیستم ۲۰۱۷ ، ۸۹ ، ۱۱۰-۱۲۲٫ [ Google Scholar ] [ CrossRef ]
Alcantarilla، PF; Yebes، JJ; المازان، ج. Bergasa، LM در مورد ترکیب SLAM بصری و جریان صحنه متراکم برای افزایش استحکام محلی سازی و نقشه برداری در محیط های پویا. در مجموعه مقالات کنفرانس بین المللی IEEE 2012 در مورد رباتیک و اتوماسیون، بیله فلد، آلمان، ۱۳ تا ۱۷ اوت ۲۰۱۲٫ جلد ۲۰۱۲، ص ۱۲۹۰–۱۲۹۷٫ [ Google Scholar ]
لی، دی. میونگ، اچ. راه‌حل مشکل SLAM در محیط‌های کم دینامیک با استفاده از گراف پوز و حسگر RGB-D. سنسورها ۲۰۱۴ ، ۱۴ ، ۱۲۴۶۷-۱۲۴۹۶٫ [ Google Scholar ] [ CrossRef ]
لی، ا. وانگ، جی. خو، ام. Chen, Z. DP-SLAM: یک SLAM بصری با احتمال حرکت به سمت محیط های پویا. Inf. علمی ۲۰۲۱ ، ۵۵۶ ، ۱۲۸-۱۴۲٫ [ Google Scholar ] [ CrossRef ]
نام، DV; Gon-Woo، KJS سیستم ناوبری اینرسی بصری استریو قوی بر اساس حذف چند مرحله ای پرت در محیط های پویا. Sensors ۲۰۲۰ , ۲۰ , ۲۹۲۲٫ [ Google Scholar ] [ CrossRef ]
وانگ، ی. Huang, S. به سمت تقسیم بندی شی متحرک متراکم مبتنی بر RGB-D SLAM متراکم قوی در سناریوهای پویا. در مجموعه مقالات سیزدهمین کنفرانس بین المللی رباتیک و چشم انداز اتوماسیون کنترلی ۲۰۱۴ (ICARCV)، سنگاپور، ۱۰ تا ۱۲ دسامبر ۲۰۱۴؛ جلد ۲۰۱۴، ص ۱۸۴۱–۱۸۴۶٫ [ Google Scholar ]
یانگ، اس. Scherer, S. Cubeslam: Monocular 3-D Object Slam. IEEE Trans. ربات. ۲۰۱۹ ، ۳۵ ، ۹۲۵–۹۳۸٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
بسکوس، بی. Fácil، JM; سیورا، جی. Neira, J. DynaSLAM: ردیابی، نقشه برداری و نقاشی در صحنه های پویا. ربات IEEE. خودکار Lett. ۲۰۱۸ ، ۳ ، ۴۰۷۶-۴۰۸۳٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
یو، سی. لیو، ز. لیو، X.-J. زی، اف. یانگ، ی. وی، کیو. Fei, Q. DS-SLAM: یک SLAM بصری معنایی به سمت محیط های پویا. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ 2018 در مورد ربات ها و سیستم های هوشمند (IROS)، مادرید، اسپانیا، ۱ تا ۵ اکتبر ۲۰۱۸؛ صص ۱۱۶۸-۱۱۷۴٫ [ Google Scholar ]
براش، ن. بوزیچ، آ. لالمند، ج. Tombari، F. SLAM تک چشمی معنایی برای محیط های بسیار پویا. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ 2018 در مورد ربات ها و سیستم های هوشمند (IROS)، مادرید، اسپانیا، ۱ تا ۵ اکتبر ۲۰۱۸؛ جلد ۲۰۱۸، صص ۳۹۳–۴۰۰٫ [ Google Scholar ]
جیائو، جی. وانگ، سی. لی، ن. دنگ، ز. Xu, W. یک روش تطبیقی بصری پویا-SLAM مبتنی بر ترکیب اطلاعات معنایی. انتشارات IEEE Sens. J. ۲۰۲۱ . [ Google Scholar ] [ CrossRef ]
ژانگ، سی. هوانگ، تی. ژانگ، آر. Yi, X. PLD-SLAM: یک روش جدید RGB-D SLAM با ویژگی های نقطه ای و خطی برای صحنه های پویا داخل ساختمان. Inf. علمی ۲۰۲۱ ، ۱۰ ، ۱۶۳٫ [ Google Scholar ] [ CrossRef ]
فو، دی. شیا، اچ. Qiao، Y. ناوبری بصری-اینرسی تک چشمی برای محیط پویا. Remote Sens. ۲۰۲۱ , ۱۳ , ۱۶۱۰٫ [ Google Scholar ] [ CrossRef ]
مور آرتال، آر. تاردوس، جی دی. حروف، A. SLAM تک چشمی بصری-اینرسی با استفاده مجدد از نقشه. ربات IEEE. خودکار Lett. ۲۰۱۷ ، ۲ ، ۷۹۶-۸۰۳٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
یانگ، ز. Shen, S. تخمین حالت بصری-اینرسی تک چشمی با مقداردهی اولیه آنلاین و کالیبراسیون بیرونی دوربین-IMU. IEEE Trans. ربات. ۲۰۱۶ ، ۱۴ ، ۳۹-۵۱٫ [ Google Scholar ] [ CrossRef ]
هارتلی، آر. زیسرمن، A. هندسه چند نما در بینایی کامپیوتری . انتشارات دانشگاه کمبریج: کمبریج، انگلستان، ۲۰۰۳٫ [ Google Scholar ]
کندو، ا. کریشنا، KM; Sivaswamy، J. تشخیص شی متحرک با تکنیک‌های هندسی چند نمای از یک ربات تک دوربین. در مجموعه مقالات کنفرانس بین المللی IEEE/RSJ 2009 در مورد ربات ها و سیستم های هوشمند، سنت لوئیس، MO، ایالات متحده، ۱۰-۱۵ اکتبر ۲۰۰۹٫ جلد ۱۳۸۸، صص ۴۳۰۶–۴۳۱۲٫ [ Google Scholar ]
بیان، جی. لین، دبلیو. لیو، ی. ژانگ، ال. یونگ، اس. چنگ، م. Reid, I. GMS: آمار حرکت مبتنی بر شبکه برای مکاتبات سریع و فوق العاده قوی از ویژگی ها. بین المللی جی. کامپیوتر. Vis. ۲۰۲۰ ، ۱۲۸ ، ۱۵۸۰-۱۵۹۳٫ [ Google Scholar ] [ CrossRef ][ نسخه سبز ]
اینتل. RealSense. در دسترس آنلاین: https://www.intelrealsense.com/depth-camera-d435i (در ۲۸ سپتامبر ۲۰۲۰ قابل دسترسی است).
کورتس، اس. سولین، ا. رهتو، ای. Kannala، J. ADVIO: یک مجموعه داده معتبر برای کیلومتر شماری بصری-اینرسی. در مجموعه مقالات کنفرانس اروپایی بینایی کامپیوتر (ECCV)، مونیخ، آلمان، ۸ تا ۱۴ سپتامبر ۲۰۱۸؛ صص ۴۲۵-۴۴۰٫ [ Google Scholar ]
سولین، ا. کورتس، اس. راهتو، ای. Kannala، J. کیلومتر شماری اینرسی در گوشی های هوشمند دستی. در مجموعه مقالات بیست و یکمین کنفرانس بین المللی ۲۰۱۸ در همجوشی اطلاعات (فیوژن)، کمبریج، بریتانیا، ۱۰ تا ۱۳ ژوئیه ۲۰۱۸؛ جلد ۲۰۱۸، صص ۱-۵٫ [ Google Scholar ]
Grupp, M. Evo: Python Package for the Evaluation of Odometry and SLAM. در دسترس آنلاین: https://github.com/MichaelGrupp/evo (در ۲۰ آوریل ۲۰۲۱ قابل دسترسی است).

شکل ۱٫ نمودارهای شماتیک ( الف ) محیط های استاتیک و ( ب ) محیط های پویا دارای تطبیق نقطه هستند. ( الف ) موقعیتی را نشان می دهد که در آن نقطه مشخصه ثابت است، ( ب ) موقعیتی را نشان می دهد که نقطه مشخصه ثابت است، در حالی که نقطه ویژگی در حال حرکت است. و مرکز دوربین را در دو نقطه از زمان نشان می دهد. حرکت دوربین در طول دوره زمانی k تا نقطه زمانی k + ۱ است. مستطیل ها صفحه تصویربرداری دوربین را نشان می دهند. تصویری از نقطه مشخصه i در نقطه زمانی k را نشان می دهد.

شکل ۲٫ نمودار جریان VINS-dimc با استفاده از الگوریتم پیشنهادی ما.

شکل ۳٫ نمایش شماتیک شکست محدودیت های اپی قطبی. و مرکز دوربین، نقطه هستند به نقطه حرکت می کند ، و خطوط اپی قطبی هستند دو متوازی الاضلاع صفحه تصویربرداری دوربین را نشان می دهند. و نقاطی در تصویر هستند چهار نقطه ، ، و همسطح هستند.

شکل ۴٫ نمودار شماتیک محدودیت پنجره کشویی. نقاط ویژگی تصویر فریم فعلی با نقاط مشخصه n ام تصویر قبلی مطابقت دارد.

شکل ۵٫ دو تصویر مجاور: ( الف ) قاب های تصویر قبلی و ( ب ) فعلی.

شکل ۶٫ نتایج تطبیق نقطه ویژگی. ( الف ، ب ) نتایج روشهای سنتی. ( ج ، د ) نتایج الگوریتم پیشنهادی. ( الف ، ج ) توزیع نقطه ویژگی قاب قبلی. ( ب ، د ) توزیع نقطه مشخصه فریم بعدی. نقاط سبز نقاط مشخصه ثابت و نقاط قرمز نقاط مشخصه پویا هستند.

شکل ۷٫ صحنه آزمایش برای جمع آوری داده ها.

شکل ۸٫ داده های بصری دو فریم مجاور: ( الف ) فریم های تصویر قبلی و ( ب ) فعلی.

شکل ۹٫ نتایج تطبیق نقطه ویژگی با استفاده از الگوریتم پیشنهادی. ( الف ) نقشه توزیع نقطه مشخصه تصویر قاب قبلی، و ( ب ) نقشه توزیع نقطه ویژگی تصویر قاب فعلی. نقاط سبز نقاط مشخصه ایستا هستند.

شکل ۱۰٫ نتایج آزمایش موقعیت‌یابی داده‌های بصری جمع‌آوری‌شده توسط خود: ( الف ) مسیر تعیین موقعیت در فضای سه بعدی و ( ب ) تغییر مختصات XYZ 3D در طول مدت آزمایش.

شکل ۱۱٫ دو تصویر مجاور در مجموعه داده ADVIO: ( الف ) تصویر قبلی، ( ب ) تصویر فعلی.

شکل ۱۲٫ نتایج تطبیق نقاط ویژگی. ( الف ) نقشه توزیع نقطه مشخصه تصویر قاب قبلی، و ( ب ) نقشه توزیع نقطه ویژگی تصویر قاب فعلی. نقاط سبز نقاط مشخصه ایستا هستند.

شکل ۱۳٫ مقایسه نتایج موقعیت‌یابی بین OKVIS-mono معمولی، ROVIO، VINS-mono، کارهای قبلی، و VINS-dimc پیشنهادی در توالی‌های مختلف مجموعه داده ADVIO: ( a , b ) دنباله ۱, ( c , d ) ۲، ( e ، f ) دنباله ۶، ( g ، h ) دنباله ۱۱، ( i ، j ) دنباله ۱۶، و ( k ، l ) دنباله ۲۱٫ تصاویر سمت چپ خطای مطلق موقعیت یابی را در طول زمان نشان می دهد. تصاویر سمت راست برخی از آمارهای خطای موقعیت یابی مطلق را نشان می دهد.