۷٫۴بحث ارزیابی تطبیقی
سؤالات تحقیق و یافته‌های پیش‌بینی‌شده از تحقیق، طرح‌های تحقیقاتی خاصی را تشویق می‌کند. به‌عنوان بخشی از طراحی تحقیق که در فصل ۴ مورد بحث قرار گرفت، انتخاب حالت درمان و انتخاب استراتژی داده‌ها، منجر به استراتژی تجزیه و تحلیل می‌شود. انتخاب – یا حداقل باید بگوییم راهبردهای تحلیل تسهیل و/ یا محدود کردن. استراتژی‌های تجزیه و تحلیل، چیزی است که ما برای بررسی روابط تعیین‌شده در سؤالات تحقیق به‌کار می‌گیریم. دو راهبردی که در این فصل استفاده کردیم (تحلیل آماری سنتی و تحلیل متوالی)، تنها دو استراتژی از مجموعه‌ای بسیار بزرگ‌تر از انتخاب‌های ارائه‌شده در فصل ۴ هستند. استراتژی‌های تجزیه و تحلیل اکثر محققان رفتار اجتماعی، تشخیص می‌دهند که یک تکنیک تحلیل خاص، نوع خاصی از رابطه را بین دو یا چند متغیر پیاده‌سازی می‌کند؛ بنابراین، همیشه محدودیت‌هایی وجود دارد که برخی از آن‌ها اساسی‌تر از دیگران هستند. ما تصمیم گرفتیم تجزیه و تحلیل آماری پارامتریک را به‌عنوان استراتژی تحلیل سنتی ارائه کنیم؛ زیرا اکثر محققان این تکنیک‌ها را از طریق آموزش در مقطع کارشناسی ارشد آموخته‌اند و مفروضات مربوط به استفاده از آن‌ها به‌خوبی شناخته‌شده است. این تکنیک‌ها در اکثر بسته‌های نرم‌افزاری آماری عمومی موجود است؛ با این حال، استراتژی متوالی اکتشافی و تکنیک تحلیل متوالی تأخیر مربوطه آن، یک رویکرد نسبتاً جدیدتر برای پردازش داده‌ها است‌ـ به همین دلیل است که تصمیم گرفتیم آن را در مرحله دوم معرفی کنیم. هیچ‌یک از راهبردهای تجزیه و تحلیل در بررسی همه سؤالات مفید نبود. این معضل، یک رویکرد ترکیبی را برای تجزیه و تحلیل داده‌ها به‌منظور پرداختن به همه سؤالات تشویق می‌کند.
هر دو نوع استراتژی و تکنیک‌های مربوط به آن‌ها از داده‌های کمّی به‌عنوان تعداد کدگذاری‌شده حرکت یا تعداد سلول‌های زمانی استفاده می‌کنند. تجزیه و تحلیل سنتی، قادر به مقایسه مجموعه‌ای از کدها، یعنی کدهای MCDM و MAPS، در سیستم کدگذاری معین (سیستم کدگذاری کمک تصمیم) بود؛ زیرا ما سلول‌های یک‌دقیقه‌ای را به سلول‌های دو دقیقه‌ای رمزگذاری مجدد کردیم تا مشاهدات را در یک کدگذاری واحد نمایش دهیم‌ـ سیستمی که به‌طور هم‌زمان رخ می‌دهد. تحلیل متوالی برای مقایسه مشاهدات بین سیستم‌های کدگذاری بهتر بود. دومی برای پردازش داده‌ها در یک سیستم کدگذاری منفرد مناسب نبود؛ زیرا ما آن را پس نگرفتیم و از کدهای اولیه و ثانویه در سلول زمانی که ممکن بود؛ استفاده نکردیم.
بررسی از یک رابطه اجتماعی- رفتاری بین دو یا چند متغیر را می‌توان به طرق مختلف متمایز کرد؛ درواقع حداقل به ده روش اساسی که توسط ویژگی‌های رابطه مندرج در ستون ۱ جداول ۷٫۵، ۷٫۷، ۷٫۱۱ و ۷٫۱۳ فهرست شده است. ارزیابی مقایسه‌ای نشان داده‌شده در آن جداول، نشان می‌دهد که برخی از تفاوت‌های اساسی در آنچه انتظار می‌رود تحلیل‌های بسیار مشابه باشد، حداقل «در مورد سطح». ده ویژگی رابطه به نشان دادن تفاوت‌ها کمک می‌کند بین تحلیل سنتی و تحلیل متوالی در جداول ۷٫۵، ۷٫۷، ۷٫۱۱ و ۷٫۱۳، هرچه تعداد ویژگی‌ها بیشتر حل شود، بیشتر کسب اطلاعات مقایسه کردن و تضاد ورودی‌های موجود در جداول به ما اجازه می‌دهد نشان دهیم که تفاوت‌هایی از نظر کسب اطلاعات بین استراتژی‌ها وجود دارد.
با بررسی نتایج خاص ارزیابی جانبی ما از نظر هر چهار سؤال تحقیق برای همه روابط، بسیار جالب توجه است که نه یک تجزیه و تحلیل منفرد به صورت سنتی یا متوالی، آن را در بالای ویژگی ۵ نشان می‌دهد. معنی این موضوع، این است که ما هنوز در مورد نحوه استفاده از کمک‌های تصمیم‌گیری در فرایندهای تصمیم‌گیری گروهی، حداقل در زمینه این آزمایش خاص، اطلاعات بسیار کمی داریم. از منظری دیگر، این بدان معناست که حتی یک آزمایش آزمایشگاهی در چگونگی برقراری روابط اجتماعی- رفتاری در محیط آزمایشگاهی محدود است. آنچه در اینجا مهم است، این است که ما هنوز در مورد ماهیت «یافته‌های معنادار» می‌آموزیم؛ زیرا تعداد کمی از آن‌ها دستورالعمل‌هایی را برای معنای ایجاد یافته‌های معنادار ارائه کرده‌اند. با وجود چنین دستورالعمل‌هایی، درک اینکه چگونه اعتبار درونی، بیرونی، ساختاری و نتیجه‌گیری آماری می‌تواند تحت تأثیر طراحی تحقیق یک مطالعه قرار گیرد، بسیار آسان‌تر است. به یاد داشته باشید که طرح تحقیق، شامل مشخص کردن درمان‌ها، بازرسی دقیق بیشتر از ارزیابی‌های جانبی برای هر چهار سؤال تحقیق، نشان می‌دهد که یافته‌های حاصل از تحلیل متوالی تأخیر با استفاده از کدهای داده‌های انبوه در درمان‌ها، یعنی کدهایی که بر اساس کار و جلسه تجزیه و تحلیل می‌شوند، «نظم زمانی» را حفظ نمی‌کنند. این نقص با ورودی سلولی با برچسب «ناشناخته» در ستون سمت راست، برای رابطه ویژگی (۲) در جداول ۷٫۵، ۷٫۷، ۷٫۱۱ و ۷٫۱۳ نشان داده شده است. بر اساس این یافته‌ها، ما قویاً پیشنهاد می‌کنیم که جمع‌آوری تعداد کدهای توسعه‌یافته از تحلیل متوالی تأخیر، باید بااحتیاط انجام شود تا سطوح بالاتری از اطلاعات را در میان مقایسه‌های درمان ارتقا دهیم.
درمان‌ها در این مورد، پیچیدگی کار و جلسات برای کمک به کنترل موقعیت‌هایی بود که در آن، داده‌های مربوط به تعامل انسان- رایانه- انسان نمونه‌برداری می‌شد. فکر می‌کردیم که حداقل پیچیدگی کار (به‌عنوان پیچیدگی مشکل) زیربنای اصلی نیاز به ابزارهای مختلف کامپیوتری است. اکنون می‌دانیم که افزودن تضاد به پیچیدگی، واقعاً تفاوتی در کمک‌های تصمیم‌گیری ایجاد می‌کند. جمع‌آوری (یا حداقل کدگذاری) داده‌ها با هدف «جلب توجه گروهی»، آن‌قدرها هم که به نظر می‌رسد، آسان نیست. کدگذاری، ارتباط زیادی با اعتبار سازه دارد. اگرچه می‌توان کدهای قابل اعتمادی را جمع‌آوری کرد، با توجه به اینکه همه کدنویس‌ها موافق هستند که رفتار یکسان به روشی خاص کدگذاری شده است، این بر عهده شرکت‌کنندگان است که معرف بودن آن کدها را از نظر «رفتار معنادار» مشخص کرده به دست آورد؛
یعنی آنجا ممکن است شواهد زیادی برای روابط علّی در یافته‌های ما باشد یا نباشد. شواهد علّی از یافته‌هایی به دست می‌آیند که حداقل روابط زمانی و نه منطقی را بین متغیرها نشان می‌دهند. علاوه بر این، با شرکت‌کنندگانی که برای استفاده در آزمایش انتخاب کرده‌ایم، نمی‌توانیم ادعای زیادی از نظر اعتبار خارجی داشته باشیم؛ به‌جز اینکه بگوییم که تعداد کمی از اعضای یک جامعه هنگام جلسه با دانش‌آموزان، واقعاً متوجه شدند که با استفاده از کمک‌های تصمیم‌گیری GIS می‌توان به‌آسانی به مرتب کردن پیچیدگی انتخاب محل بازسازی زیستگاه در فرایند تصمیم‌گیری کمک کرد.