Identification, compilation, and validation of indicators and dimensions of rankings of universities and institutions of higher education

مقدمه

موضوع بهبود، افزایش کارایی و ارتقائ دانشگاهها از مباحث عمده سیاستگذاران و کارگذاران آموزش عالی
می­باشد. در حالی که بسیاری از موسسات آموزش عالی از عنوان دانشگاه استفاده می­کنند و اهداف و رسالت­هایی برایشان در نظر گرفته شده است اما در عمل تفاوتهای فاحشی بین آنها در میزان توجه و عمل به رسالت های تعیین شده وجود دارد، به همین منظور دولت، کارفرمایان و عموم مردم حق دارند تا از وضعیت کمی و کیفی دانشگاهها در زمینه های مختلف مطلع گردند. در این راستا رتبه بندی دانشگاهها می تواند به عنوان یک منبع آگاهی دهنده برای ارزیابی کارایی و اثربخشی عملکرد موسسات آموزش عالی مورد استفاده قرار گیرد. امروزه رتبه بندی دانشگاهها به عنوان یکی از اصلی ترین ابزارهای تضمین کیفیت در آموزش عالی پذیرفته شده است. ولاسین^[2] و همکاران (2004) رتبه بندی را فرایندی می داند که با رویکردهای مقایسه ای بر اساس ملاکها و شاخص­های معینی جایگاه رتبه ای هر یک از دانشگاهها را به صورت کلی (همه جانبه) یا بر اساس ابعاد معین دانشگاهی در سطوح ملی، منطقه ای یا بین المللی تعیین می کند. معلوم بودن معیارهای دقیق سنجش و اندازه گیری، از جمله پیش شرط های اصلی رسیدن به کیفیت مطلوب و تحقق اهداف در سازمانهای مختلف منجمله نظامهای آموزشی است و مشخص نمودن آن از جنبه های گوناگون می تواند موجبات افزایش بهره وری نظام اموزشی را فراهم آورد.

     اگر چه گرایش های اولیه درباره نظام های رتبه بندی دانشگاهی و تجزیه و تحلیل دانشگاهها تنها به چند کشور محدود شده بود، رشد و تحرک سریع دانشجویان به دلیل گسترش اقتصادی و تکنولوژیکی منجر به توسعه رویکردهای رتبه بندی دانشگاهی از سطح ملی به سطح بین المللی شده است. همانگونه که دانشگاهها به گونه فزاینده ای در سطح جهانی با همدیگر به رقابت می پردازند، آنها به مقایسه خود با سایر دانشگاه­های جهان نیز می پردازند. در حقیقت اصطلاح مقیاس جهانی^[3] مطرح شده و بسیاری از دانشگاه­ها در مقیاس جهانی مورد توجه قرار می گیرند. پیشگام رتبه بندی از دانشگاهها و موسسات آموزش عالی، دانشگاه جایو تانگ شانگهای^[4]بود، که با هدف آگاهی از وضعیت آن در مقایسه با دانشگاههای دیگر انجام شد (بویلا و دیگران^[5]، 2006). بعد از این اقدام، اقدامات دیگری بر مبنای مقایسه های بین المللی داده های علمی دانشگاهها، با هدف رتبه بندی دانشگاهی توسط سایر موسسه های آموزشی صورت گرفت. یرادکار و تیواری^[6] (2014)، ضمن اجتناب ناپذیر خواندن رتبه بندی جهانی به عنوان یک جنبه آموزش عالی، بر این باورند که بین المللی شدن آموزش عالی، موسسات را بر آن داشته است که خود را در مقایسه با سایر موسسات محک بزنند . بولتون^[7] (2011) نیز بیش از هر چیز، استفاده از مجموعه ابزار کامل و دقیق را در رتبه بندی مورد تاکید قرار می دهد. وی معتقد است، اگر در فرایند رتبه بندی از ابزارهای کامل و دقیق استفاده نشود، رتبه بندی اثرات مخربی بر رفتار و عملکرد دانشگاه ها خواهد داشت و در صورت استفاده از ابزارهای کامل و دقیق، نتایج آن می تواند برای مدیران دانشگاه ها به عنوان یک الگو عمل کرده و در شناسایی مهمترین نقاط قوت و ضعف و مشخص کردن راه توسعه و پیشرفت دانشگاه کمک کند، همچنین رتبه بندی می تواند برای دانشجویان و اعضائ هیئت علمی در انتخاب محل تحصیل یا کار متناسب با علایق، و برای سیاست گذاران کشور در مورد برنامه ریزی در دانشگاهها متناسب با نیازهای جامعه مفید باشد. و موسسات خصوصی یا دولتی را در انتخاب دانشگاههای همکاری که بهتر بتوانند نیازهای آنها را مرتفع کنند، یاری نماید.

   بعضی از صاحب نظران رتبه بندی را به عنوان یک ابزار تضمین کیفیت می شناسند. و بعضی نیز عقیده دارند که رتبه بندی نمی تواند کیفیت را اندازه گیری نماید. با این حال رتبه بندی بسیاری از نیازهای سیاستگذاران و دست اندرکاران را بهتر از دیگر سیستم های موجود برآورده می سازد (حق دوست و همکاران، 1389). از نظر سیدورنکو و گورباتف^[8] (2014) رتبه بندی با اهداف ارزشیابی آموزش عالی در تمام سطوح (آموزشی، ,علمی، مدیریت، مالی و زیرساختها)، و تهیه اطلاعات موثق برای مصرف کنندگان در مورد خدمات آموزشی انجام می شود.

   نظام های رتبه بندی دانشگاهی از نظر نوع شاخص های مورد استفاده در برگیرنده طیف وسیعی از شاخص هاست که بسته به تعریف کیفیت و بر مبنای آن تطبیق داده می شود. با این وجود دستور کارهای متنوعی در ارتباط با فرایند حساس رتبه بندی می توان تدوین شود (میریسوتیس^[9]، 2005). در ابتدا داده ها می توانند از هر یک از منابع موجود یا منابع اصلی رتبه بندی جمع آوری شوند. در مرحله بعد شاخص ها، استاندارد شده و وزن دهی می شوند و در نهایت جمع بندی و مقایسه به منظور مرتب کردن موسسه دانشگاهی بر حسب رتبه، صورت می گیرد. اقدامات نخستین در جهت ایجاد نظام های رتبه بندی دانشگاهی منجر به شروع بحث میان کارشناسان مختلف شد. برای مثال اینکه چه شاخص هایی می توانند به گونه ای واقعی کیفیت را اندازه گیری کنند، و همچنین چگونگی ارائه اطلاعات در فرمت رتبه بندی دانشگاهی به منظور افزایش شفافیت اندازه گیریها و غیره از این دست مباحث هستند (بولتون، 2011). ازنظر میلوت^[10] (2015) رتبه بندی کل سیستم آموزش عالی کار ساده ای نیست. کارکردهای چندگانه چنین سیستم هایی، تنوع در ماموریت هایشان، فقدان توافق پیرامون آنچه که کیفیت سیستم را تشکیل می دهد و عدم شاخص های فراگیر موجود و قابل اندازه گیری برای نشان دادن این کارکردها و ماموریت ها، همگی دست به دست هم داده تا این پروژه به چالش کشیده شود. داریو^[11] و همکاران (2015) انتقادات اصلی را که در حال حاضر به سیستم رتبه بندی دانشگاهها وارد است را در 4 مورد تک بعدی بودن^[12]، اهمیت بیش از اندازه به آمار^[13]، وابستگی به اندازه دانشگاه و ترکیب موضوعی^[14]، فقدان توجه به ساختارهای ورودی – خروجی^[15] خلاصه کرده اند. آنها همچنین، نقد کارشناسان در حوزه متدولوژی و تاثیرپذیری از سیاست های رسانه ای را موضوعات چالش برانگیز رتبه بندی های دانشگاه ها دانسته اند. بلاسی و همکاران^[16] (2016) نقش رسانه ها را در رتبه بندی دانشگاه­ها همچون شمشیر دولبه ای دانسته اند، که از یک طرف با گزینش بعضی شاخص ها و نادیده گرفتن شاخص های دیگر، و یا با گزینشی عمل کردن شاخص ها، سو گیری عمده ای روی ارزشیابی دانشگاه­ها دارند. و از طرف دیگر با ارائه اطلاعات فراوان به گروه وسیعی از ذی نفعان در زمان اندک نقش موثری در اطلاع رسانی به افراد جامعه دارند. زارع بناد کوکی و همکاران (1394) در بررسی چالش های اساسی پیش روی نظام های رتبه بندی از نظر شاخص ها و روش های اندازه گیری آنها، نظام های رتبه بندی موجود را جامع ندانسته و مشکلاتی در زمینه های سنجش کیفیت، نمایش رشد یا افول، وزن دهی معیارها، اثرمتئو^[17]، اعتبارسنجی، جامعیت، وضوح، تحرک و بالندگی، تعمیم پذیری و محدودیت زمان را مطرح کرده است.باوجود دخالت شاخص های آموزش و یادگیری در بسیاری از رتبه بندیهای جهانی و بخصوص ملی، حیدری و همکاران(1396) تمرکز زیاد بر شاخص های پژوهشی را از نقاط ضعف رتبه بندی های موجود می دانند. همچنین صفوی فار فار و همکاران(1397) بی توجهی رتبه بندی های آموزش عالی به صورت عام و دانشگاهها به صورت خاص در استفاده از گروه های آموزشی را متذکر شدند. خورسندی کاسکوه و پناهی(1395) در دیدگاه انتقادی به رتبه بندی های موجود دانشگاهها، به حاشیه رفتن پژوهش ها و ارجاعات علمی غیر انگلیسی زبان، برجسته کردن سابقه آکادمیک، غفلت از استانداردها و ارزش های علوم نرم، ترویج استانداردهای دانشگاهی با تراز جهانی و رویکرد خطی و غیر حرفه ای را از ضعف های رتبه بندی های موجود می دانند.  

   مطالعات متعدد ویژگی­های آماری مربوط به رتبه بندی را فارغ از هر نوع محتوایی، زیر سوال می برند. در حالی که مطالعات دیگر نشان می دهند رتبه بندی ها به شکل نظام مندی به نفع دانشگاه­های بزرگ و معروف و همین طور دانشگاه­هایی که رشته های علمی و فنی و به ویژه رشته های پزشکی در آن غالب است، می باشد.  با وجود تمام انتقادات و تعارضات ذکر شده مطالعات روی رتبه بندی های مختلف نشان می دهد که در کل موسسات رتبه بندی در ارائه تعاریف خاص از کیفیت دانشگاه­ها کم و بیش اتفاق نظر دارند و می توان نتیجه گرفت که رتبه بندی ها اگر چه در جزئیات تفاوت فاحش دارند اما در کلیات دارای اتفاق نظر می باشند. در تائید مورد فوق می توان به ارتباط نتایج به دست آمده از 4 مدل معروف رتبه بندی تایمز، کیو اس، شانگهای و وبومتریک در جهان اشاره نمود.

جدول 1. ضریب همبستگی 4 رتبه بندی دانشگاهی مهم: (به نقل از میلوت، 2015)

نتایج جدول 1 نشان می دهد که 4 رتبه بندی مهم دانشگاههای جهان توافق زیادی در چگونگی رتبه بندی دانشگاهها دارند. شاید دلیل این همبستگی بالا ناشی از عدم توجه به ابعاد مختلف و در نظر گرفتن وزن های مشابه به ابعاد مختلف باشد. برطبق نظر کارشناسان رتبه بندیهای جهانی تمرکز بیش از حد روی بعد پژوهشی دارند چون می تواند به صورت آشکار مورد توجه قرار گیرد. تعداد و وزن شاخص های آموزشی حتی در معروفترین نظامهای رتبه بندی جهانی پایین است و حتی شاخص های آموزشی مطرح شده در برخی از موارد دقیقا کیفیت آموزشی را اندازه گیری نمی کند (سادلاک^[18]، 2007).

   شواهد نشان می دهد تا کنون رتبه بندی ها بیشتر بر مبنای شاخص های پژوهشی بوده است و معیارهای آموزشی کمتر مورد توجه قرار گرفته اند. اساس شاخصهای رتبه بندی مبتنی بر رویدادهای برونداد و تاثیر فعالیت های آموزشی دانشگاه­ها است، اما به دلیل پاره ای از مسائل و هزینه زیاد تعیین همه معیارها و ورود به جزییات آموزشی دانشگاهها مجبوریم برخی شاخص های آموزشی از جمله فرایندهای آموزشی را که دستیابی به اطلاعات آنها ساده تر است را مورد توجه قرار دهیم. بنابراین شناخت شاخص های ارتقای کیفیت آموزشی باید بیشتر مورد توجه قرار گیرند. توسعه اطلاعات، از طریق شبکه‌هایی همچون الزویر^[19] ، اسکوپوس^[20] و تامپسون رویترز^[21] راه را بر داده ها و اطلاعات در خصوص عملکرد دانشگاهی هموار نموده است که این یکی از مواردی است که ساختار بسیاری از سیستم های رتبه بندی را شکل می دهد. علاوه بر سیسم های رتبه بندی جهانی، چندین سیستم رتبه بندی ملی نیز توسط مؤسسات محلی شکل گرفتند. اگرچه میزان توجه و شهرت این رتبه بندی های ملی و محلی در مقایسه با رتبه بندی های جهانی کمتر می باشد. ولی آن ها می توانند بسیاری از شاخص هایی را که در رتبه بندی های جهانی به واسطه چالش هایی حذف نموده اند، را مورد بررسی قرار دهند. سیستم های رتبه بندی جهانی با استفاده از اطلاعات قابل دسترسی کتاب سنجی به رتبه­بندی می پردازند و تأکید آن ها در خصوص شاخص ها براساس کتاب سنجی می باشد. که این روش در رتبه بندی جهانی مورد انتقاد زیادی است. زیرا چنین شاخص هایی دانشگاه های بسیار بزرگ تحقیقاتی را بدون در نظر گرفتن مأموریت­های مهم دانشگاه ها همچون آموزش و خدمات مورد بررسی قرار می دهد. در صورتی که رتبه بندی ملی می توانند با دسترسی به شاخص های دیگر (غیر از تحقیقات) به رتبه بندی بپردازند. مشکل دیگر رتبه بندی های جهانی تحت پوشش قرار دادن دانشگاه های محدودی است، که آن هم بیشتر در کشورهای توسعه یافته قرار دارند.

   تفاوت بین رتبه بندی های ملی و جهانی موجود برحسب منابع اطلاعاتی و روش شناسی به کار برده شده وجود دارد. که این امر بطور اجتناب ناپذیری بر نتایج رتبه بندی تأثیر می گذارد. در یک مطالعه جامع که توسط آشر و ساوینو^[22] (2007) به مقایسه روش جمع آوری انتخاب داده ها و وزن شاخص ها از 14 سیستم رتبه بندی ملی و 3 رتبه بندی جهانی پرداخته شد، آن ها به شاخص های مشترک بین دو نوع رتبه بندی نظیر ویژگی های ورودی، آموزش کارکنان تازه وارد، بکارگیری منابع ورودی و خروجی، درآمدهای مالی و.... دست یافتند. آن ها هم چنین به تفاوت های منطقه ای در میان سیستم های رتبه بندی اشاره کردند مثلاً در چین بیشتر به خروجی تحقیقات اهمیت می دهند تا به ویژگی­های ورودی دانشجویان و در بریتانیا بیشتر به شهرت (اعتبار) اهمیت می دهند و در آمریکای شمالی رتبه بندی های ملی بیشتر معطوف به ورودی و خروجی یادگیری متمرکز می شود تا عملکرد تحقیقاتی.

   نتایج تحقیقات کاکر^[23] (2015) از شاخص های رتبه بندی، برای ‌ سیستم های رتبه بندی ملی و جهانی نشان داد که 12 سیستم رتبه بندی ملی از 190 شاخص استفاده کردند. این در حالی است که 8 سیستم رتبه بندی جهانی تنها از 44 شاخص استفاده نمودند و 24 شاخص هم مشترک بین دو سیستم رتبه بندی ملی و جهانی بوده است. بنابراین کل شاخص های مورد استفاده در دو سیستم رتبه بندی موجود 210 شاخص بوده است.

   رتبه بندی های ملی تمایل دارند شاخص های زیادی را مورد استفاده قرار دهند. در حالی که تعداد شاخص ها در رتبه بندی­های جهانی محدود است. یافته های کاکر حاکی از آن است که رتبه بندی های ملی لزوماً زیر مجموعه رتبه بندی جهانی نیستند. اگرچه در بعضی موارد شباهت‌های زیادی بین رتبه بندی ملی و جهانی وجود دارد مثل رتبه بندی های ملی لهستان، شیلی و برزیل ولی در بسیاری از موارد این دو نوع رتبه بندی تفاوت های عمده ای با یکدیگر دارند مثلاً رتبه بندی ملی چین با توجه به مجموعه بسیار غنی از شاخص ها، که به ویژگی های محلی می پردازد، مورد ارزیابی قرار می گیرند. از جهت دیگر اهمیت رتبه بندیهای ملی این است که آنها برخلاف رتبه بندیهای جهانی که تعداد محدودی از دانشگاه ها را در فهرست رتبه بندی خود قرار می دهند و وزن عمده ای به پژوهش می دهند، آنها ابعاد دیگر (غیر از پژوهش) را در نظر می گیرند و همچنین دانشگاه­های بسیاری را مد نظر قرار می دهند. (کاکر، 2015)

   با توجه به ضرورت ارتقا مستمر کیفیت دانشگاهها، تبیین و شناخت شاخص های رتبه بندی و جنبه های مختلف اثرگذار ازجمله استقرار نظام آموزشی مبتنی بر نیازهای جامعه و ارائه خدمات، تا به حال شاخص های جامع رتبه بندی منطبق با نیازهای دانشگاههای ایران، تدوین نشده است. اگر چه موضوع رتبه بندی و شاخص های آن برای سالها مورد بحث بوده است و مطالعات متعدد و پراکنده ای در خصوص تعیین شاخص های رتبه بندی دانشگاهها انجام شد که می توان به پژوهش قادری شیخ آبادی و همکاران (1392) در تعیین وزن شاخص های ارزیابی عملکرد و رتبه بندی در موسسات آموزش عالی غیر انتفاعی غرب کشور، پژوهش قاسمی و احمدی (1392) با هدف تعیین مهم ترین معیارهای ارزیابی موسسات آموزش عالی غیر انتفاعی، پژوهش نیکوکار و همکاران (1388) در تدوین 95 شاخص عملکردی برای سنجش کارایی و اثربخشی مراکز آموزش عالی نظامی، پژوهش پازارگادی و همکاران (1381) در تدوین 216 شاخص از 16 عامل برای رتبه بندی دانشگاه های علوم پزشکی، و همچنین رتبه بندی پایگاه استنادی علوم جهان اسلام (ISC) که در سال (2010) به تدوین شاخص هایی از پنج عامل با وزن های مشخص ، اشاره نمود. کاملا روشن است که استفاده از ابزار مناسبی که شاخص های مورد نظر ذی نفعان را مورد توجه قرار دهد، در این راستا می تواند مفید و راهگشا باشد. با توجه به اینکه نقش مدیریت و برنامه ریزی آموزشی در ارتقائ رتبه دانشگاهها در ابعاد مختلف انکار ناپذیر است، لذا در این پژوهش سعی شده است، ابزار مناسبی که با بافت آموزش عالی موجود و با نیازهای کاربران ارتباط بیشتری داشته باشد، فراهم شود. و طی آن سعی شده است، عامل های رتبه بندی دانشگاه ها شناسایی و ابزاری با اعتبار و روایی قابل قبول برای آن ساخته شود.

سوالات پژوهش:

• شاخص ها و عوامل زیربنایی ابزار رتبه بندی دانشگاه ها و موسسات آموزش عالی ایران کدامند؟
• ساختار عاملی ابزار به دست آمده در نمونه کمی چگونه است ؟
• شاخص های بررسی اعتبار ابزار رتبه بندی دانشگاه ها چگونه است ؟
• شاخص های بررسی روایی ابزار رتبه بندی دانشگاه ها چگونه است ؟

ادبیات پژوهش:

 رتبه بندی دانشگاهها

گاهی اوقات، ارزیابی کنندگان دانشگاه­ها و مصرف­کنندگان رتبه بندی توجه زیادی به این واقعیت ندارند که رتبه­بندی در ابتدا به عنوان یک ابزار برای اندازه­گیری اثربخشی موسسات آموزش عالی در نظر گرفته می شود. اغلب اینگونه پنداشته می شود که نهادها و موسسات با رتبه بالاتر بسیار سازنده تر هستند، آموزش و پژوهشی با کیفیت عالی دارند، و کمک بیشتری به جامعه نسبت به نهادها و موسسات با تراز رتبه بندی پایین تر ارائه می دهند . با این حال، سه بعد اصلی موسسات - آموزش، پژوهش و خدمات - می تواند، متفاوت باشد و در پاره­ای از مواقع در تضاد با هم قرار گیرند و  نهادها و موسساتی که در یک حوزه فعالیتی پر رنگ و اثر گذار دارند، ممکن است درحوزه ای دیگرنمایش ضعیفی داشته باشند. به عنوان مثال، یک نهاد کوچک ممکن است در آموزش تعداد معینی از دانشجویان با منابع محدود بسیارموفق وموثر عمل کند، اما در تولید تحقیقات بسیار کارآمد نباشد. از سوی دیگر، ممکن است بایک نهاد و موسسه بزرگی مواجه شویم که در حوزه تولید دانش بسیار کارآمد باشد اما در آموزش دانشجویان در مقطع کارشناسی چنین تبحر و شهرتی نداشته باشد.

   اینگونه پیشنهاد شده است که یک چارچوب خاصی را می توان برای توصیف این مسئله که چگونه دانشگاه­ها ورودی­ها را به خروجی تبدیل می­کنند، مورد استفاده قرار داد (بوردن وباتریل^[24] 1994). بنابراین با کنکاش و تحلیل این نظریه، اثربخشی یک سازمان می­تواند در ترکیبی از ورودی­ها، توان عملیاتی،ویا
خروجی­ها اندازه­گیری شود. به عنوان مثال، اثربخشی سازمانی را می­توان با دستاوردهای خروجی، بازده حصول به هدف (برای مثال، ورودی در مقابل خروجی)، و یا ترکیبات دیگر این عناصر اندازه گیری کرد.

   بررسی­های رتبه­بندی دانشگاه تمایل به تمرکز بر هر سه بعد مطرح شده در یک زمان (به شکلی همزمان) دارد. به عنوان مثال، رتبه بندی یو اس نیوز به اقدامات ورودی (منابع مالی، فارغ التحصیلان، پیشرفت تحصیلی دانشجویان  ورودی، و غیره)، و خروجی­ها و نتایج (نرخ فارغ التحصیلی) متکی است. این بدان معنی است که یک دانشگاه ممتاز، دانشگاهی است که در منابع بیشتر سرمایه­گذاری کند، و نتایج بهتری تولیدکند. با این حال، برخی از رتبه بندی­هاممکن است تنها به یکی از معیارهای مطرح شده توجه کنند وحوزه های دیگر را نادیده بگیرند. چنین حذف و نادیده گرفتن ها خلاف موضوع کلیدی نظری برای مفهوم "بهره وری" است که چگونه با توجه به ورودی منابع مشخص،تولید خروجی را به حداکثر رساند. برخی از ابتکارات توسط محققان دانشگاهی باتوجه به کارایی نسبی با در نظر گرفتن ورودی و خروجی تولید شده انجام شده است. به عنوان مثال، ژنگ و استوارت^[25] (2002) دانشگاه­ها در ایالات متحده را بواسطه کارایی نسبی رتبه بندی کرده اند که ورودی و همچنین خروجی موسسات آموزش عالی را مورد توجه قرار دادند.

   رتبه بندی برنامه ای و سازمانی منطبق با دیدگاه­های مختلف در اثربخشی سازمانی می تواند به نتایجی بیانجامد که کاملا با رتبه بندی های رایج تفاوت دارند. یکی دیگر از مسائل نظری که بایدمورد توجه قرار گیرداین است که چگونه به درستی بتوان مفهوم "کیفیت" در آموزش عالی را اندازه­گیری کرد. از آنجا که به ندرت ابزار سنجش خوبی از خروجی واقعی آموزش عالی در اختیار داریم (مانند کیفیت یادگیری و پژوهش)، بسیار دشوار است که اقدامات مطلوبی را برای چنین ساختاری بیابیم. به همین دلیل، موضوع مهم برای محققان این است که چگونه از شاخص­های کمی در دسترس به بهترین وجه  ممکن که نشان دهنده کیفیت در آموزش عالی است استفاده کنند. موسسات معمولا کیفیت آموزش را بر اساس ارزیابی­های دروس دانشجویی می­سنجند، و بهره وری پژوهشی اعضای هیئت علمی رابا شمارش مقالات آنها، تعداد استنادات، و نیز سطح بودجه حمایتی تحقیقات اندازه­گیری می کنند.

   آیا این اقدامات سنجشی واقعا به جنبه­های کیفیت آموزش و پژوهش اشاره دارند. اگر چه این اقدامات ممکن است تا حدی نشان دهنده کیفیت باشند، به نظر می رسد که این دست از اقدامات تنها نشان دهنده ابعاد محدود کیفیت تدریس و پژوهش است. برای مثال، محققی که مقالات بسیاری را به چاپ می رساند ممکن است بسیار سازنده فرض شود؛ با این حال، پژوهش محقق، ممکن است در واقع کمک ناچیزی به دانش، نسبت به همکارانش که مقالات کمتراما مهم­تری چاپ کرده­اند، کند. به همین ترتیب، یک عضو هیات علمی با ارزیابی آموزشی بالا ممکن است در واقع تاثیر کمتری نسبت به دیگر اعضای هیات علمی در انتقال دانش و کمک به دانشجویان برای یادگیری موضوع و در نهایت موفقیت در دانشگاه داشته باشد.

   بسیاری از رتبه بندی­های دانشگاهی رایج، به ویژه رتبه بندی­های جهانی، به شدت بر اقدامات سنجشی کمی عملکرد سازمانی تکیه دارند. با این حال، رتبه بندی­های دیگری نظیر آنهایی که توسط کیو اس تایمز تولید شده، نیز اقدامات سنجشی مرتبط با بررسی اعتبار همکاران دانشگاهی و کارفرمایان کسب و کار را به کار می گیرند. شورای تحقیقات ملی ایالات متحده و یو اس نیوز،و ورلد ریپورت نیزاز اقدامات سنجشی اعتباری برای ارزیابی برنامه­های تحصیلات تکمیلی استفاده می­کنند. اگر چه این اقدامات سنجشی محدودیت­هایی در انعکاس کیفیت آموزش و پژوهش دارند (ون ران^[26]2007).  اینگونه استدلال می شود که اعتباریک برنامه، عملکرد انباشته شده آن در طول یک مدت زمان طولانی است، و در نتیجه از بسیاری از اقدامات سنجشی، پایدارتر و قابل اعتمادتر است و همه جنبه­های مختلف بهره وری و کیفیت را به هم نزدیک و ادغام می کند (جونز^[27]،1988). سه ساز و کار مختلف برای ارزیابی اثربخشی سازمانی وجود دارد: رتبه بندی، اقدامات پاسخگویی، و تضمین کیفیت. رتبه بندی توسط رسانه­های انتفاعی و یا موسسات تحقیقاتی خصوصی انجام می شود و تمایل بسیاری به جلب توجه از سوی سیاست­گذاران دارد. بر خلاف رتبه­بندی، تضمین کیفیت و اقدامات پاسخگویی توسط سازمان­های دولتی هدایت می شوند. با این حال، این سه ساز و کار اهداف مشترکی دارند، که ارتقای کیفیت در آموزش عالی است.

   راهکارهای پاسخگویی اغلب توسط دولت برای اطمینان از این مسئله که موسسات آموزش عالی در حال ارائه خدمات مناسب به مردم هستند، توسعه می یابند. اکثر سیستم­های پاسخگویی دارای شاخص­هایی هستند که این امکان را به دولت­ها می دهند تادریابند آیا موسسات به اهداف از پیش تعیین شده دست یافته­اند. گاهی اوقات، سیستم پاسخگویی از منافع مالی یا تحریم برای کمک و / یا جلب موسسات برای پاسخ به ابتکارات و راه کارها استفاده می کنند. برای مثال، برنامه­های بودجه بندی بر مبنای عملکرد، دارای منافع مالی هستند در حالی که گزارش عملکرد چنین ویژگی­ای ندارد.

   هدف از طرح ها و راهکارهای تضمین کیفیت حصول اطمینان از فراهم کردن حداقل سطح کیفیت در آموزش توسط موسسات آموزش عالی است. بسیاری از کشورها دردهه 1990 سیستم پاسخگویی ای را در تلاش برای کمک به بالا بردن کیفیت آموزش عالی به کار بستند. سیستم­های تضمین کیفیت نیزبه
شاخص­هایی وابسته هستند، اما تمایل دارند که بر داده­های کیفی به دست آمده در بررسی­های خارجی همتایان، که ممکن است در یک سازمان تضمین کیفیت جداگانه انجام شود، تاکید کنند. تضمین کیفیت بر بهبود کیفیت به جای این مسئله که چگونه یک موسسه با موسسات دیگر بر اساس معیارهای تعیین شده مقایسه می شود، تاکید می­کند. به همین دلیل، تضمین کیفیت ممکن است به عنوان گزینه مطلوب دانشگاه­هاقلمداد شود، در حالی که رتبه­بندی گزینه مطلوب  دانشجویان و ابتکارات پاسخگویی مورد حمایت سیاست­گذاران است.

روش پژوهش:

در این مطالعه، برای کشف عوامل و شاخص های مؤثر بر رتبه بندی دانشگاهها از روش نظریه‌پردازی داده ‌بنیاد^[28] استفاده گردیده است. با توجه به هدف ، این پژوهش از نوع پژوهش­های کاربردی است زیرا یافته‌های آن در موقعیتهای متعدد برای مدیران، سیاستگذاران، دانشجویان آینده و ... قابلیت کاربرد دارد. با توجه به نوع اجرا در زمره‌ی پژوهشهای میدانی است زیرا داده‌های آن از محیط‌های واقعی و با حضور در جمع متخصصین مدیریت آموزشی و آموزش عالی و اعضای هیئت علمی دانشگاهها و دانشجویان جمع‌آوری شده است. با توجه به روش‌شناسی این پژوهش از نوع آمیخته است. از بعد کیفی ابتدا محقّق با صاحبنظران در حوزه‌ی مدیریت آموزشی و آموزش عالی  مصاحبه‌ی نیمه ساختارمند انجام داده و عوامل و شاخص های مؤثر بر رتبه بندی دانشگاهها را جویا شده است. سپس پرسشنامه­ی حاصل از این مصاحبه در اختیار اعضای هیئت علمی و دانشجویان قرار گرفت. یعنی این بعد از پژوهش در زمره پژوهشهای کمی است. از نظر تکنیک تحلیلی نیز در بعد کیفی مطالعه زمینه‌ای (گراندد) بوده، که از مصاحبه برای جمع آوری اطلاعات به کار گرفته شد و به همراه آن بررسی جامعی از ادبیات و پیشینه، به توضیح و تبیین نتایج در حال ظهور کمک کرده است. و در بعد کمی همبستگی- مدل اندازه گیری است.

جامعه آماری در بعد کیفی، اساتید و کارشناسان حوزه مدیریت آموزشی و آموزش عالی که حداقل دارای 10 سال سابقه خدمت در حوزه آموزش عالی بودند. و در بعد کمی جامعه آماری شامل اعضای هیئت علمی دانشگاه آزاد استان مازندران و دانشجویان واحد ساری به تعداد9758 نفرکه در سال تحصیلی 95-94 مشغول خدمت و تحصیل بودند.

   نمونه گیری در بخش کیفی: برای این بخش از روش نمونه گیری گلوله برفی استفاده شد، به این ترتیب که نظرات 20 نفر از متخصصان کلیدی با استفاده از نمونه گیری هدفمند و روش نمونه گیری غیر احتمالی و بر مبنای اشباع نظری داده ها حاصل گردید. در انتخاب نمونه کیفی مصاحبه تا نفر بیستم ادامه یافت، سپس به دلیل رسیدن به نقطه اشباع مصاحبه ها به اتمام رسانده شد.

   نمونه گیری در بخش کمی: به منظور انتخاب نمونه معرف از جامعه مورد مطالعه ابتدا حجم نمونه با استفاده از فرمول نمونه گیری کوکران 360 نفر تعیین شد. و سپس با استفاده از روش نمونه گیری تصادفی طبقه ای برای هر یک از گروه های اساتید و دانشجویان 180 نفر به عنوان نمونه در نظر گرفته شدند.

مراحل انجام پژوهش:

• مرور ادبیات پژوهش، بررسی رتبه بندی های موجود، پایگاه داده ها، مصاحبه با کارشناسان در حوزه آموزش عالی و دانشگاه ها، توجه به اسناد بالا دستی در حوزه آموزش عالی و اهداف و چشم اندازهای دانشگاه ها، مطالعه استراتژی ها، خط مشی ها و برنامه های دانشگاه آزاد اسلامی.
• شناسایی و تعیین شاخص ها و عوامل زیربنایی رتبه بندی دانشگاه ها که از طریق اطلاعات به دست آمده از مرحله اول با استفاده از کد گذاری های باز، محوری و گزینشی به دست آمد. شاخص های به دست آمده شامل پرسشنامه ای 148 سوالی بر حسب مقیاس لیکرت بوده است.
• اجرای پرسشنامه تنظیم شده بر روی نمونه کمی، شامل 360 نفر از دانشجویان و اساتید دانشگاه ها.
• بررسی اعتبار و روایی ابزار رتبه بندی دانشگاه ها.

یافته های پژوهش:

برای تحلیل داده ها، از دو روش کیفی و کمی استفاده شد. برای پاسخ به سوال اول از روش کیفی که حاصل مرور ادبیات پژوهش، مرور رتبه بندی های موجود، توجه به اسناد بالا دستی در حوزه آموزش عالی، اهداف و چشم اندازهای دانشگاه و مصاحبه با خبرگان بوده است، استفاده شد. و برای پاسخگویی به سوالات بعدی از روش کمی که حاصل اجرای پرسشنامه طراحی شده روی آزمودنی هایی که در گروه نمونه قرار گرفته بودند، استفاده شد.

 سوال 1) شاخص ها و عوامل زیربنایی ابزار رتبه بندی دانشگاه ها و موسسات آموزش عالی ایران کدامند؟

در پاسخ به سوال اول پژوهش با استفاده از روش نظام دار اشتراورس و کوربین (1387) داده های مصاحبه پس از پیاده سازی مورد تجزیه و تحلیل قرار گرفتند. بر اساس این رویکرد تحلیل مصاحبه ها در سطوح کد گذاری های باز، محوری و گزینشی انجام شد. در کد گذاری باز با مشخص شدن محورهای اصلی مورد بحث، محتوای مصاحبه ها بر طبق این محورها تفکیک شدند، تا کدگذاری آسانتر انجام گیرد. در مرحله بعدی گفته های مصاحبه شوندگان به صورت سطر به سطر مطالعه و به هر مفهوم استنباط شده یک برچسب داده شد. که تعداد 356 کد باز شناسایی گردید. در مرحله کد گذاری محوری، مفاهیمی که مشابه و مرتبط بودند، تحت یک مقوله سازماندهی شدند. بنابراین در این مرحله، دسته بندی ها بر اساس موضوعات اصلی صورت گرفت.

در مرحله کد گذاری گزینشی، با استفاده از مفاهیم و موضوعات استخراج شده داده ها جمع بندی و یکپارچه سازی شدند. و مقولات اصلی استخراج شده و مفاهیم به دست آمده در مراحل قبلی را پوشش دادند. پس از انجام کد گذاری توسط محقق، جداول کد گذاری شده و همچنین متن مصاحبه ها در اختیار سه تن از فارغ التحصیلان مقطع دکتری مدیریت آموزشی قرار گرفت و کدها مجددا بررسی و از صحت آنها اطمینان حاصل شد.           

جدول 2:  نتایج نهایی کد گذاری های به همراه مولفه ها، عامل ها و شاخص ها

همانطور که در جدول 2  ملاحظه می شود، دسته بندی صورت گرفته با توجه به یک چارچوب نظری و تجارب سایر سیستم های رتبه بندی دانشگاه ها شکل گرفته است. ضمنا با توجه به اینکه ارائه یک رتبه بندی قابل قبول به چارچوب نظری نیاز دارد تا درباره بخش های محتوایی آن تصمیم بگیرد، در این مطالعه بخش های، احصا شده از چارچوب نظری، عوامل یا ابعاد رتبه بندی دانشگاه ها نامیده شده است.

در همین رابطه با بررسی مؤسسات آموزش عالی چند جنبه مفهومی به عنوان مفروضات با یکدیگر ترکیب گردید. فرض مفهومی اول، اینکه پردازش دانش ویژگی کلی هر مؤسسه آموزش عالی می باشد. پردازش می تواند کشف دانش جدید در پژوهش یا انتقالش به اعضاء بیرون از مؤسسات آموزش عالی(انتقال دانش) یا برای گروه های مختلف فراگیرنده (آموزش) و تربیت افراد کارآفرین باشد. البته تمرکز بر اهداف کلی مؤسسات آموزش عالی در چهار وظیفه، آموزش و یادگیری، پژوهش و انتقال دانش و کارآفرینی یک مورد ساده شده از دنیای پیچیده مؤسسات آموزش عالی و دانشگاه ها است.

فرض دوم، این است که برای رسیدن به آموزش، پژوهش و انتقال دانش و کارآفرینی می بایستی شرایط و سازماندهی مطلوب فراهم باشد که آن شرایط را مدیریت مطلوب، امکانات مناسب و همچنین توجه به امور دانشجویان نامگذاری گردید. بنابراین 3 شرط ضروری در تسهیل آموزش و یادگیری، پژوهش، انتقال دانش و کارآفرینی به عنوان وظایف کارکردی موسسات آموزش عالی و دانشگاه ها، سه بعد دیگر یعنی مدیریت و برنامه ریزی، امکانات و تجهیزات و امور مربوط به دانشجویان می باشد.

فرض مفهومی سوم، این است که عملکرد مؤسسات آموزش عالی به مستمعین مختلفی نیاز دارد. در حوزه سیاست آموزش عالی کنونی 2 مستمع اصلی ارجحیت دارند. اول، از طریق جهت یابی بین المللی دانشگاه ها است، که تأکید بر این دارد، چگونه این مؤسسات به عنوان مدخل های اجتماعی برای دنیا در نظر گرفته می شوند، (هم تأییدات وارد شونده و هم همکاری های بیرون رونده به مباحث بین المللی). همزمان مشارکت مؤسسات با منطقه می تواند مورد توجه باشد. در اینجا، تأکید بر مشارکت و تأثیر بر منطقه ای است که یک مؤسسه آموزش عالی در آن فعالیت می نماید.

این مسئله قابل ذکر است که وظایف مؤسسات آموزش عالی برای متخصصین منطقه ای و بین المللی در ابعاد آموزش و یادگیری و پژوهش و انتقال دانش و کارآفرینی با جهت گیری بین المللی و همزمان مشارکت منطقه ای باشد. پس مشارکت منطقه ای و جهت گیری بین المللی دو بعد دیگر رتبه بندی دانشگاه ها هستند.

سوال 2) ساختار عاملی ابزار به دست آمده در نمونه کمی چگونه است ؟

در این مرحله برای تایید ویا رد یافته های مرحله پیشین که حاصل آن به دست آوردن شاخص ها و نامگذاری عوامل و ابعاد رتبه بندی بوده است، با استفاده از نرم افزار لیزرل به تحلیل عاملی تاییدی پرداخته شد. در واقع هدف استفاده از تحلیل عاملی تائیدی با استفاده از لیزرل، مشخص نمودن، صحت نامگذاری شاخص ها حول یک عامل بوده است.

به طور کلی در ارزیابی ابزار اندازه گیری دو رویکرد مورد استفاده قرار می گیرد. رویکرد اول، شاخص های نیکویی برازش می باشند. درواقع شاخص های نیکویی برازش، نشان می دهد که یک مدل مشخص شده تا چه میزان قادر است ماتریس کواریانس بین متغیرهای شاخص را باز تولید کند. و این شاخص ها پس از انجام تحلیل عاملی تاییدی توسط نرم افزار مشخص می گردد. رویکرد دوم، برازش کلی مدل است، که به تعیین روایی سازه، متغیرهای مکنون در مدل اندازه گیری با استفاده از شاخص های²χ (نسبت درست نمایی)، GFI (نیکویی برازش)،  AGFI (نیکویی برازش تعدیل شده)،  RMSEA (ریشه دوم میانگین مربعات خطای برآورد) می پردازد.

شکل 1 تحلیل عاملی تاییدی شاخص­های رتبه­بندی دانشگاهها بر مبنای ضریب استاندارد شده

شکل  2  تحلیل عاملی تاییدی شاخص­های رتبه­بندی دانشگاهها بر مبنای t-values

جدول3:  یافته های تحلیل مدل اندازه گیری برای ارزیابی شاخص های جزئی

نتیجه به دست آمده از تحلیل عاملی تاییدی نشان داد که همه 9 سازه مورد بحث با عامل زیربنایی خود یعنی رتبه بندی دانشگاه ها ارتباط داشتند و دارای بار عاملی مطلوبی بودند. مقدار بار عاملی، مقدار T و میزان R² (درصد واریانس تبیین شده) برای تک تک سازه ها در جدول 3  نشان داده شده است. مقدار T   سازه ها نشان دهنده رابطه معنی دار هر سازه با عامل زیربنایی آن دارد. و می توان نتیجه گرفت که ارزیابی جزئی سازه ها حاکی از مطلوب بودن آنها است.

جدول  4: شاخص­های برازندگی رتبه بندی دانشگاهها

همانطور که مشخصه­های برازندگی جدول  نشان می­دهد شاخص ریشه میانگین مربعات خطای برآورد (RMSEA) برابر 042/0 می­باشد که بیانگر برازش خوب مدل است. معیار دیگر برای برازش این مدل، بالا بودن شاخص نیکویی برازش(GFI)، شاخص نیکویی برازش اصلاح شده  (AGFI)و نزدیکی بودن مقدار آنها می­باشند که مدل از نظر این شاخصها مناسب می­باشد. هر چه شاخص ریشه میانگین مربعات باقیمانده (RMR)برای مدلی نزدیک­تر به صفر باشد، مدل مذکور برازش بهتری دارد که مدل از نظر این معیارنیز مناسب می­باشد. مقدار شاخص برازش هنجار شده NFI و شاخص برازندگی تطبیقی CFI باید نزدیک یک باشد که مدل از نظر این شاخصها هم مناسب است.

سوال 3) شاخص های بررسی اعتبار ابزار رتبه بندی دانشگاه ها چگونه است ؟

پس از تحلیل عاملی تاییدی که متغیر به بررسی شاخصهای معتبر برای هریک از عوامل مکنون می پردازد، اقدام به بررسی اعتبار یا پایایی شاخص های مورد استفاده شد. اعتبار یا پایایی شاخص ها را می توان از چند طریق مورد بررسی قرار داد. در این پژوهش برای بررسی اعتبار از اعتبار گویه، آلفای کرانباخ و اعتبار ترکیبی استفاده شده است. در اعتبار گویه ها هر چه بار عاملی گویه ها بیشتر باشد، نشان دهنده مطلوبتر بودن اعتبار آن خواهد بود. که این بار عاملی حداقل باید در سطح 01/0 معنی دار باشد (گیفن و استراب، 2005). همانطور که در جدول 3 نشان داده شده است میزان T برای تمام عامل های مورد مطالعه معنی دار است.

   در بررسی همگونی درونی از ضریب آلفای کرانباخ استفاده شد. ضریب آلفای کرانباخ در اینجا به عنوان شاخصی برای اندازه گیری میزان همگونی درونی سازه ها به یک عامل زیر بنایی می باشد. کرانباخ (1967) میزان آلفای 7/0 قابل قبول دانسته است. با توجه به میزان آلفای محاسبه شده (86/0) می توان گفت میزان اعتبار ابزار از این نظر قابل قبول می باشد. زامبو^[29]، گادرمن^[30] و زیسر^[31] (2007) یکسان فرض کردن ارزش سوالات یک سازه را به عنوان یک مشکل در روش آلفای کرانباخ ذکر کردند. به همین دلیل از شاخص دیگری بنام اعتبار ترکیبی هم برای برآورد اعتبار ابزار استفاده شد. رایکو^[32] (1998) مقدار اعتبار ترکیبی بالاتر از 6/0 را برای برآورد اعتبار قابل قبول می داند.

   در پاسخ به سوال سوم با توجه به جدول شماره 3 نتایج نشان می دهد در ارزیابی اعتبار مدل، اعتبار گویه با توجه به بار عاملی و میزان T  محاسبه شده ( بالاتر از 58/2 )، اعتبار همگونی درونی بر اساس مقدار آلفای محاسبه شده (86/0)، و اعتبار ترکیبی با در نظر گرفتن مقدار اعتبار ترکیبی (91/0) قابل قبول و مطلوب بوده است.

سوال 4) شاخص های بررسی روایی ابزار رتبه بندی دانشگاه ها چگونه است ؟

برای بررسی روایی ابزار رتبه بندی علاوه بر نتایج به دست آمده از تحلیل عاملی تاییدی از دو روش روایی همگرا^[33] و روایی تشخیصی^[34] استفاده شده است. روایی همگرا از طریق همبستگی نسبتا قوی بین اندازه هایی که برای سنجش یک سازه کلی و مشترک طرح شده، مشخص می گردد. و روایی تشخیصی از طریق همبستگی بسیار ضعیف بین اندازه های مورد نظر و اندازه هایی که برای سنجش سازه دیگری طرح شده نشان داده می شود (هومن، 1369:249). برای اندازه گیری این دو نوع روایی فورنل و لاکر^[35] (1981) شاخص AVE (میانگین واریانس برآورد شده) را پیشنهاد داده اند. در معرفی این شاخص می توان گفت ،این شاخص ریشه دوم میانگین توان دوم بارهای عاملی برای هر عامل است.

جدول5: مجذور همبستگی بین عامل هاو میزان AVE ( روی قطر اصلی) برای هر یک از عامل ها

از نظر آنها عامل هایی که میانگین واریانس برآورد شده بزرگتر از  5/0 باشد دارای روایی همگرا می باشند. برای بررسی روایی تشخیصی چن^[36]  (1988) توصیه می کند که جذر AVE یک سازه باید بیشتر از همبستگی آن سازه با سازه های دیگر باشد. که در این صورت می توان گفت که همبستگی آن سازه با نشانگرهای خود، بیشتر از همبستگی اش با سازه های دیگر است.

جدول 5  نشان می دهد که میزان AVE  برای تمام عامل ها بیشتر از 5/0 است بنابر این ابزار رتبه بندی دانشگاه ها دارای روایی همگرا است و همچنین  مجذور همبستگی هر یک از عامل ها با عوامل دیگر کوچکتر از میزان AVE آن عامل می باشد، که این نشان دهنده وجود روایی تشخیصی می باشد. بنابراین ابزار اندازه گیری از نقطه نظر روایی همگرا و روایی تشخیصی مورد پذیرش قرار می گیرد.  

 بحث و نتیجه گیری:

موسسات آموزش عالی و دانشگاهها زمینه ساز تحقق سیاست های توسعه اقتصادی، فرهنگی و اجتماعی هر جامعه ای هستند. لذا تربیت نیروی انسانی متخصص، تولید دانش و دانش پژوهی و انجام پژوهش های کاربردی، توسعه ای، بنیادی و نشر یافته های آن از اهداف دانشگاه ها می باشد. کیفیت آموزش و پژوهش و بطور کلی آنچه جزو اهداف و رسالت های دانشگاهها می باشد، از جمله دغدغه هایی است که همیشه نظام های دانشگاهی برای دستیابی به آن تلاش کرده اند. در دهه های اخیر تلاش های قابل ملاحظه ای برای بهبود مستمر کیفیت آموزش عالی و دستیابی به اهداف نظام های دانشگاهی صورت گرفته است. از جمله عواملی که می توان با استفاده از آن میزان دستیابی به اهداف و رسالتهای دانشگاهی را مورد بررسی قرار داد، بحث رتبه بندی دانشگاهها می باشد. توجه به آمارهایی از نوع رتبه بندی، عاملی تعیین کننده در توجه مخاطبان برای تصمیم گیری در انجام هر کاری است، که می تواند به آینده علمی و آموزشی آنها ارتباط داشته باشد. و این اطلاع رسانی و گزارشات رتبه بندی در صورتی قابل قبول خواهد بود که شاخص های درست و جامعی که برگرفته از یک متدولوژی مناسب باشد، برای گزارشات رتبه بندی مد نظر قرار گیرد. در این صورت رتبه بندی می تواند نقش بسیار عمده ای در اطلاع رسانی به ذی نفعان در مورد کیفیت خدمات دانشگاهها در ابعاد مختلف ارائه کند. هر چند در این بین نباید از نوع، اندازه، قدمت، رسالت و ویژگی های منحصر به فرد هر یک از موسسات آموزش عالی غافل بود. در حال حاضر ده ها رتبه بندی دانشگاه ها و موسسات آموزش عالی در سطح ملی و بین المللی وجود دارد که به دلایل مختلف کاربرد چندانی به خصوص برای دانشگاه های کوچک و متوسط ندارد. مثلا رتبه بندی معروف شانگهای، تایمز، کیو اس، لیدن و ...تنها دانشگاه های با رتبه زیر 1000 را مد نظر قرار می دهند و دانشگاه های دیگر در لیست آنها قرار نمی گیرند. و از جمله اشکالات دیگر برای رتبه بندی های موجود می توان به شاخص های مورد بررسی آنها اشاره کرد. مثلا رتبه بندی شانگهای شاخص اصلی خود را روی پژوهش متمرکز نموده است. این مسئله به نحوی بوده است که حتی اخیرا رئیس موسسه تحقیقاتی سیاست آموزش عالی انگلیس (HEPI) که اتاق فکر آموزش عالی این کشور محسوب می شود، اعلام کرد که دولت ها و محققان نباید برای رتبه بندی دانشگاه ها ارزش زیادی قائل شوند. زیرا روش های اجرای این رتبه بندی ها و اطلاعاتی که این کار بر اساس آنها انجام می شود، مشکلات زیادی دارند و نتایج را بی اعتبار می کنند. وی در ادامه می نویسد این رده بندی ها اساسا تک بعدی هستند و صرفا بر اساس میزان تحقیقات دانشگاهی انجام می شوند و فاکتورهای دیگر را عملا در نظر نمی گیرند. و همچنین در ادامه غفلت از مهمترین رسالت دانشگاه ها یعنی آموزش دانشجویان توسط سازمان های رتبه بندی را متذکر می شود. اگرچه، همانطور که مطرح شد، رتبه بندی دانشگاه­ها می­تواند اثرات مثبتی رابر موسسات و دانشجویان داشته باشد، در عمل، بسیاری از کمبودها و کاستی­ها دررتبه بندی موسسات و دانشگاه­ها وجود دارد. محققان دانشگاهی، به ویژه استادان علوم اجتماعی و انسانی، کاملا از رشد رتبه بندی و تاثیر آنها بر دانشگا­ها ابراز نگرانی می کنند. دیل^[37] (2009) اثرات منفی رتبه بندی را به عنوان یک مقوله "بسیار پر هزینه، و یک بازی بی‌نتیجه" عنوان می کند که در آن بسیاری از موسسات و خود جامعه بازنده خواهد بود » (ص 102). علاوه بر این، اثرات نامطلوب احتمالی دیگر رتبه بندی ممکن است به عنوان همگن­سازی نهادی و سازمانی، تحریف تعادل رشته ای و هدایت موسسات و نهادها به تغییر تمرکز و ماموریت خود در پاسخ به رتبه بندی تقسیم شود.

اگرچه سیاست­گذاران و مدیران بر اهمیت تنوع موسسات آموزش عالی تاکید دارند، موسسات آموزش عالی به شکل قابل توجهی متاثر از مجموعه­ای یکسانی از شاخص های رتبه بندی هستند. همانطور که وندروند و وستریجدن^[38] (2009) استدلال کرده اند "نهادها و موسسات به طور موثر در تبدیل شدن به آنچه باید بر مبنای آن سنجیده شوند به شکلی عقلانی و استراتژیک عمل می کنند» (ص. 77). بسیاری از روسای دانشگاه­ها رتبه بالاتری را برای دانشگاه خود به عنوان هدف اصلی از ریاست خود در نظر می گیرند، اگرچه می دانند که دستیابی به رتبه بندی می تواند عوارض جانبی منفی­ای به همراه داشته باشد.

در نتیجه، اینگونه ادعا شده است که دانشگاه­ها تنوع ماموریت و آرمان خود را به دلیل نفوذ قوی رتبه بندی از دست داده اند (ون در وند و وستریجدن 2009؛ دیل 2009). اثر رتبه بندی در موسسات آموزش عالی به عنوان مسئله همگن­ساز یا همگرایی موسسات آموزش عالی در نظر گرفته می شود(پرولکس^[39] 2009). همانطور که پرولکس(2009) گفته است، «خطر ابتلا به ایزومورفیزم ^[40](اصل همشکلی) ممکن است مهم­ترین مشکل بیان شود" (ص 36). به عنوان مثال، با ظهور رتبه بندی جهانی، دانشگاه­هایی که به دنبال افزایش رتبه بندی هستند ممکن است بر افزایش تولید تحقیقات تاکید کنند، حتی زمانی که ماموریت اصلی آنها آموزش بوده است. بسیاری از دانشگاه­های شاغل به امر آموزش در حال حاضر عملکرد پژوهشی متقاضیان هیات علمی را در نظر می­گیرند، که به از دست دادن ماموریت­های سازمانی آنها در آینده نزدیک منجر خواهد شد. این گونه تغییرات به طور گسترده در کشورهای آسیایی که در آن رتبه بندی دانشگاه­ها در ساختار اجتماعی بسیار مهم است، دیده می شود. متاسفانه، بررسی­های رتبه بندی، به خصوص رتبه بندی جهانی، تنوع سازمانی را در نظر نمی­گیرند و به درستی موسسات را برای تولید آموزش و خدمات تشویق نمی­کنند .

دوم اینکه، همانطور که قبلا اشاره شد، رتبه­بندی به تفاوت میان رشته­ها در موسسات مختلف توجهی نمی کند. رشته­ها بر حسب پارادایم، انواع ترجیحی مقالات، انواع ترجیحی پژوهش­ها، (انواع کاربردی در مقابل انواع محض)، روش تحقیق، تخصیص زمان بین انواع مختلف فعالیت­های علمی (به عنوان مثال، آموزش، پژوهش و خدمات) متفاوت­اند. با این حال، به علت نفوذ قوی رتبه­بندی در موسسات، مدیران موسسات آموزش عالی ممکن است توجه بیشتری به رشته­های دیگر در هنگام تخصیص منابع، سهمیه دانشجویی و استخدام هیئت علمی داشته باشند. در این بازی رتبه­بندی، رشته­های کاربردی و رشته­های علوم زیستی و پزشکی ممکن است نسبت به رشته­های دیگراز مزیت بالاتری برخوردار باشند چرا که اعضای هیئت علمی در رشته­های کاربردی و علوم زیستی و پزشکی، و همچنین علوم سخت، تمایل به تولید مقالات بیشتری نسبت به هم ترازان خود در رشته­های دیگر دارند.

نگرانی سوم این است که در فرآیندهای تعیین رتبه بندی، موسسات آموزش عالی در صداقت آن دسته از موسسات که به انجام رتبه­بندی می پردازند، مربوط می شود. رتبه دهندگان برای جمع­آوری داده­ها و تجدید نظر در طرح رتبه بندی خود با موسسات آموزش عالی تماس می­گیرند، اما نگرانی اصلی موسسات آموزش عالی، رتبه دهنده­ها، که بسیاری از آنها رسانه­های تولید سود هستند، می باشند. موسسات آموزش عالی اغلب نمی دانند که چگونه داده­های خامی که آنها به رتبه دهنده­ها ارائه می­دهند، به کار گرفته می شود، دستکاری می شود، مورد سنجش قرار می گیرد ودر آخر به رتبه بندی می­انجامد.

در طی پژوهش حاضر سعی شده است، مشکلات و مسائل ذکر شده مورد توجه قرار گیرد و شاخص های در نظر گرفته شده، ابعاد مختلف فعالیت ها و رسالت های دانشگاه ها را در نظر بگیرد. به عبارت دیگر از یک سیستم رتبه بندی چند بعدی استفاده شد. در راستای آنچه ذکر کردیم هدف این پژوهش ساخت ابزاری معتبر و مناسب جهت شناسایی عوامل و شاخص های رتبه بندی دانشگاه ها و موسسات آموزش عالی بوده است. به همین جهت با استفاده از ادبیات رتبه بندی دانشگاه ها و مرور رتبه بندی های موجود و مصاحبه با خبرگان در حوزه آموزش عالی به روش استقرایی به بررسی و کشف مولفه های رتبه بندی دانشگاه ها با استفاده از متخصصان در این حوزه مبادرت شد. برای پاسخ به سوال اول در ارتباط با شاخص ها و عوامل زیربنایی رتبه بندی دانشگاه ها به تحلیل مصاحبه با خبرگان از روش نظامدار منسوب به اشتراوس و کوربین پرداخته شد. مصاحبه ها در چند سطح به صورت کد گذاری آزاد، محوری و گزینشی انجام شد. و در نهایت 148 شاخص که هر یک از آنها منسوب به یکی از 9 عامل شناسایی شده بودند، انتخاب گردیدند. عامل های شناسایی شده برای رتبه بندی عبارت بودند از: 1) عواملی که جزو وظایف نظام دانشگاهی بودند. که 4 عامل آموزش و یادگیری، پژوهش، انتقال دانش و کارآفرینی. 2) عواملی که جزو شرایط تسهیل کننده در رسیدن به وظایف محسوب مشوند. که 3 عامل مدیریت و سازماندهی، تجهیزات و امکانات و امور مربوط به دانشجویان و 3) عوامل که به گسترش وظایف ذکر شده، مربوط می شود. که شامل 2 عامل جهت گیری بین المللی و تعهدات منطقه ای نامگذاری شدند.

   بحث ما در حال حاضر به یک نوع رتبه بندی مربوط می شود که می تواند منافع متقابلی را برای رتبه دهنده­ها، موسسات آموزش عالی و مشتریان ارائه دهد. اصولی را برای رتبه بندی و چگونگی بهبود آنها ارائه داده ایم. در این اصول به پیشنهاد این موضوع پرداختیم که عناصر ضروری رتبه بندی دانشگاه باید شامل شفافیت، ارتباط، و اعتبار داده­های مقایسه­ای باشد. علاوه بر این، پیشنهادهای زیر ممکن است در به روزرسانی سیستم رتبه بندی فعلی موثر و مفید باشد:

• سیستم­های رتبه­بندی یکپارچه کنونی باید به سیستم­های رتبه­بندی متعدد برای انعکاس ماموریت­ها، اندازه، مکان سازمانی و موارد دیگر تبدیل شوند.
• سیستم­های رتبه دهنده محور باید به سیستم­های مشتری محور برای برآوردن نیازهای مختلف خوانندگان رتبه بندی­ها تبدیل شوند.
• سیستم­های رتبه بندی جهانی باید به سیستم رتبه بندی منطقه­ای که منعکس کننده ویژگی­های منطقه­ای هستند، به عنوان مثال، زبان، فرهنگ، و غیره، تبدیل شوند.
• سیستم رتبه­بندی سازمانی باید به سیستم رتبه بندی مبتنی برابعاد وشاخص های تبدیل شود تا نشان دهنده تفاوت­های بین این ابعاد باشند.

در میان سیستم­های رتبه بندی موجود، برخی رتبه دهنده­ها در تلاش بوده­اند تا این ابعاد را برای بهبود سیستم­های رتبه بندی خود منعکس کنند. رتبه بندی یو اس نیوز و ورلد ریپورت و بخصوص یو مولتی رنک با توجه به ماموریت­های سازمانی، مکان­های منطقه، و اندازه موسسات انواع مختلفی از رتبه بندی­ها را ارائه می کند. این تلاش­ها به خوانندگان در انتخاب دانشگاه با توجه به منافع اصلی خود کمک خواهد کرد، برای مثال، بهترین دانشگاه هنر، بهترین دانشگاه در منطقه و غیره). ابعاد و شاخص های معرفی شده این رتبه بندی خدمات رتبه بندی در دسترس بیشتری را ارائه می دهد که در آن مشتریان می­توانند شاخص­ها را انتخاب کنند و بر اساس ترجیحات خود سنجش­های متفاوتی را اعمال کنند. همانطور که ون در وند و وستریجدن^[41] (2009)عنوان کرده­اند، «ارزش واقعی رتبه بندی، رتبه بندی نیست، بلکه تطبیق و مقایسه است » (ص. 78).

   رتبه بندی منطقه­ای دانشکده­ها و دانشگاه می تواند سلایق و علایق متفاوتی را جذب کند چرا که موسسات با مرزهای فرهنگی مشابه  را با هم مقایسه می کنند.علاوه بر این تغییرات سیستمیک در رتبه بندی، امکان ترکیب این سیستم­های کنونی اندازه­گیری اثر بخشی سازمانی مانند اندازه­گیری تضمین کیفیت و پاسخگویی باید برای طرح رتبه­بندی سازمانی در نظر گرفته شوند.

یکی از چالش­های عمده این است که سیستم­های مختلف به شاخص­های مختلف نیاز دارند و گاهی اوقات با یکدیگر در تضادند. همچنین، اشکال مختلف شاخص­ها در این روش­ها به اشکال مختلف داده­ها نیاز دارند، و موسسات آموزش عالی را ملزم  به صرف زمان  برای مدیریت و ارائه اطلاعات برای هر سیستم می کند. مکانیسم جدید اندازه­گیری اثربخشی سازمانی، معیاری را برای موسسات آموزش عالی و دانشگاه ها فراهم کرده است و اطلاعات سازمانی را از زوایای مختلف برای سیاست­گذاران، مدیران سازمانی، و دانشجویان مهیا می کند. سیستم ارائه شده افزایش عملکرد سازمانی و همچنین در ارائه اطلاعات مفید به مصرف­کنندگان کمک کننده می باشد.

منابع :

• اشتراوس، آنسلم؛ کوربین، جولیت. (1387). اصول روش تحقیق کیفی، نظریه مبنایی: رویه ها و شیوه ها. مترجم: بیوک محمدی، تهران: انتشارات پژوهشگاه علوم انسانی و مطالعات فرهنگی.
• پازارگادی، مهرنوش؛ پیروی،؛ حبیب الله، عزیزی، فریدون؛ قورچیان، نادرقلی، پورخوشبخت، یوسف؛ علوی مجد، حمید. (1381). شاخص­های عملکردی پیشنهادی در دانشگاه­ها و موسسات آموزش عالی علوم پزشکی کشور، پژوهشی در پزشکی (مجله پژوهشی دانشکده پزشکی)، سال 26، شماره 1، صص 21-22.
• ثراندایک، رابرت ال. (1369). روان سنجی کاربردی، مترجم: حیدر علی هومن. تهران: انتشارات دانشگاه تهران.
• حق دوست، علی اکبر. (1389). رتبه بندی آموزشی دانشگاه­های علوم پزشکی: طراحی شاخص­های
  رتبه­بندی. طب و تزکیه، بهار 1389، شماره 76 صص 65-72
• حیدری، شعبان؛ ایزدی، صمد؛ صالحی عمران، ابراهیم. (1396). شناسایی، تدوین و اعتباریابی شاخص های آموزش و یادگیری در رتبه بندی دانشگاه ها، پژوهش در یادگیری آموزشگاهی و مجازی، سال پنجم، شماره 2، صص 47-56.
• خورسند ی کاسکوه، علی؛ پناهی، مریم. (1395). تحلیل انتقادی نظام های رتبه بندی دانشگاه ها، پیشنهادات سیاستی برای آموزش عالی ایران، فصلنامه علمی پژوهشی آموزش عالی ایران، سال هشتم، شماره 3، صص 111-136.
• زارع بناد کوکی، محمدرضا؛ وحدت زاد، محمدعلی؛ صالح اولیاء، محمد؛ لطفی، محمدمهدی. (1394). بررسی نظام­های رتبه بندی دانشگاه­ها، یک رویکرد انتقادی، فصلنامه آموزش مهندسی ایران، شماره 65، صص 131-95.
• صفری فار فار، رحیم؛ ابولقاسمی، محمود؛ فراستخواه، مقصود؛ نوه ابراهیم، عبدالرحیم. (1397). طراحی چارچوب مفهومی برای رتبه بندی گروههای آموزشی دانشگاه های دولتی ایران، فصلنامه مطالعات اندازه گیری و ارزشیابی آموزشی، سال هشتم، شماره 21، صص191-225.
• قادری شیخ آبادی، مریم؛ طالع پسند، سیاوش؛ زارعی، عظیم. (1392). تعیین وزن شاخص های ارزیابی عملکرد و رتبه بندی موسسات آموزش عالی غیردولتی- غیرانتفاعی استان­های غرب کشور، فصلنامه اندازه گیری تربیتی، سال چهارم، 13، 95-69.
• قاسمی، احمدرضا؛ احمدی، سید حسین. (1392). ارزیابی موسسات آموزش عالی با کمک کارت متوازن و روش های تصمیم گیری چند معیاره ی گروهی. مجله توسعه­ی آموزش پزشکی، شماره 10. صص49-38.
• کرسول، جان و کلارک، ویکی. (1390). روشهای پژوهش ترکیبی (ترجمه کیامنش و سرایی)، تهران: نشر آییژ.
• موسسه پژوهش و برنامه­ریزی آموزش عالی. (1386). دفترچه راهنمای رتبه بندی دانشگاه­های جهان اسلام: شاخص­ها و فرایندها، وزارت علوم و تحقیقات و فناوری.
• نیکوکار، غلامحسین؛ سجادی پناه، علی؛ رایج، حمزه؛ سجادی پناه، مجید. (1388). طراحی الگوی سنجش کارایی و اثربخشی مراکز آموزش عالی نظامی، نشریه مدیریت دولتی، دوره 1، شماره 3، صص 174-155.
• Blasi, B. Romagnois, S. Bonaccorsi, A. (2016). Playing the ranking game: media coverage of the evaluation of the quality of research in Italy, high Educ. Published online. Springer sclieace.
• Boulton, Geoffrey. )2011(. University rankings: Diversity, excellence and the European initiative. Procedia Social and Behavioral Sciences 13: 74-82.                                                                  
• Buela – Casal, Gualberto & Maria, P, S. (2007). Cpmparative Study Of International Academic Rankings Of Universitis, Published by akadmiai kiado and springer, vol-71, no.3,349-365.
• Cakir, M.P. Acarturk, c. Alasehir, O. cilingir, c. (2015). A comparative analysis of global and national university ranking systems, Scieritionetrics , vol, 103 pp. 413-848.
• Chin; W. (1988). The partial least squares approach to structural equation modeling. In G. A. Marcoulides editor. Modern methods for business research. Mahwah, New Jersey: Lawrence Erlaum Associates. 295-303.
• Creswell, J, W. (2012). Educational research: planning, conducting and evaluating quantitative and qualitative research, (fourthedition). Pearson. Boston. Education, 2H(2), 68-76.
• Daraio; C. Bonaccorsi; A. Simar; L. (2015). Rankings and university performance: aconditional multidimensional approach, European Journal of Operational Research. doi: 10,1016/j.ejor. 2015. 02.005.
• Dill, D. D. (2009). Convergence and diversity: The role and influence of university In M. K. Barbara & S. Bjorn (Eds.), University rankings, diversity, and the new landscape of higher education (pp. 97–116). Rotterdam: Sense Publishers.
• Fornell; C. Larcker; D. (1981). Evaluating structural equation model with unobserved variables and measurement error. Journal of Marketing research. 18(1) , 39-50.
• Johnes, G. (1988). Research performance indications in the university sector. Higher Education Quarterly, 42(1), 54–71.
• Meriotis, J, P. (2002). Summary report of the invitational roundtable on statistical for the quality assessment of higer/tertiary education institutions: ranking and league table methodologies higher education in Europe, 27. (2002). 472-480.
• Millot; B. (2015). International rankings: Universities vs. higher education systems. International Journal of Educational Development 40 (2015) 156 – 165.
• Proulx, R. (2009). World university rankings: The need for a new paradigm. In M. K. Barbara & S. Bjorn (Eds.), University rankings, diversity, and the new landscape of higher education (pp. 35–46). Rotterdam: Sense Publishers.
• Raykov; T. (1998). Coefficient alpha and composite reliability with interrelated non-homogeneous items. Applied psychological measurement, 22(4) , 375-385.
• Sadlak, J. (2007). validity of university ranking and its ascending impact on higher education hn Europe. Bridges, Retrieved January 3, from http://www.ostina.org/content/view/1714/625.
• Sidorenko,T. & Gorbatova. (2015). Efficiency of Russian education through the scale of World University Rankings. Procedia – Social and Behavioral Sciences 166 (2015) 464 – 467.
• Usher, A. & savino, M. (2007). A global survey of university league tables. Higher Education in Europe 32(1), 5-15.
• van der Wende, M., & Westerheijden, D. (2009). Rankings and classifications: The need for a multidimensional approach. In F. A. van Vught (Ed.), Mapping the higher education landscape (pp. 57–70). Dordrecht: Springer.
• van Raan, A. F. J. (2007). Challenges in ranking universities. In J. Sadlak & L. Nian Cai (Eds.),The world-class university and ranking: Aiming beyond status (pp. 87–121). Bucharest:UNESCO-CEPES.
• Vlasceanu, L. Grunberg, L. & parlea, D. (2004). Quality Assurance and Accreditation: A Glossary of Basic Terms and Definitions (BucharestT, UNESCO-CEPES) papers on Higher Education, ISBN 92-9069-178-6.
• Yeravdekar; V;R. & Tiwari; G. (2014). Global Rankings of Higher Education Institutions and India s Effective Non-Presence. Procedia – Social and Behavioral Sciences 157 (2014) 63 -83.
• Zhao, C. M. (2007). Building world-class universities: Some unintended impacts of universityranking. In J. Sadlak & N. C. Liu (Eds.), The world-class university and ranking: Aimingbeyond status (pp. 321–331). Cluj: Cluj University Press.
• Zumbo; B. D. Gaderman; A.M. and Zeisser; C. (2007). Ordinal versions of coefficients alpha and theta for likert rating scales. Journal of Modern Applied statistical methods, 6, 21-29.

Identification, compilation, and validation of indicators and dimensions of rankings of universities and institutions of higher education

Shaban Heidari¹

Abstract:

This study aimed to identify, compile and validate the dimensions and indicators of rankings of universities with regard to the opinions of higher education experts, university professors and students. Data was collected and analyzed in two quantitative and qualitative steps. In the qualitative phase, 20 experts in the field of higher education were interviewed individually and in form of focus groups. During the analysis of qualitative data using open, axial and selective coding, 148 indicators out of 9 criteria were identified. In the quantitative section, with the participation of 360 students and professors, a questionnaire was carried out that had been set based on the Likert scale of adjusted indicators. The confirmatory factor analysis, convergent and diagnostic validity were used to assess the validityof the research tools and internal consistency,Cronbach's alpha andcomposite reliability index were used for validation. The research results showed that the made tools have an acceptable validity.

Keywords: Rankings of Universities; Accreditation; Training and education; Management and organization

1Department of Psychology, Sari Branch, Islamic Azad University, Sari, Iran.

1 گروه روانشناسی، واحد ساری، دانشگاه آزاد اسلامی، ساری، ایران

Shaban.haydari17@yahoo.com

[2] Vlascean

[3] word class

[4] Shanghai jiao tong university

[5] Buela & others

[6] Yeravdekar & Tiwari

[7] Boulton

[8] Sidorenko & Gorbatova

[9] Meriotis

[10] Millot

[11] Daraio

[12] Monodhmensionality

[13] Statistical robustness

[14] Dependence on university size and subject mix

[15] Lack of consideration of the input-output structure

[16] Blasi et al

[17] Matthew

اثر متئو: تقویت سازوکارهایی که، در آن وضعیت و موقعیت باعث تثبیت وضعیت و موقعیت می شود. یعنی دانشگاههای معروف در شرایط یکسان تولید دانش با دانشگاههای بی نام و نشان، به صورت نامتناسب اعتبار و شهرت بیشتری بدست می آورند.

[18] Sadlak

[19] Elsevier

[20] Scopus

[21] Thompson Reuters

[22] Usher and Savino

[23] Cakir

[24] Borden and Bottrill

[25] Zheng and Stewart

[26] van Raan

[27] Johnes

[28] Grounded Theory

[29] Zumbo

[30] Gaderman

[31] Zeisser

[32] Raykov

[33] Convergent validity

[34] Discriminant validity

[35] Fonell and larcker

[36] Chin

[37] Dill

[38] Van der Wende and Westerheijden

[39] Proulx

[40] Isomorphism

[41] van Der Wende and Westerheijden