انتخاب شاخص های مرتبط

یک منطق مداخله رابطه بین تئوری برنامه (چگونه و چرا انتظار می رود یک برنامه منجر به تغییر شود) و استفاده از شاخص ها برای ارزیابی را نشان می دهد.

انواع مختلفی از شاخص ها برای نظارت و ارزیابی استفاده می شود:

• زمینه: شاخص‌های زمینه مستقیماً به سیاست/برنامه در حال اجرا مربوط نمی‌شوند، اما به توضیح تصویر بزرگ‌تر کمک می‌کنند. آنها برای زمینه سازی عملکرد یک برنامه / سیاست استفاده می شوند.
• ورودی ها: آنچه برای اجرای برنامه/سیاست سرمایه گذاری می شود. ورودی ها می توانند منابع مالی یا منابع انسانی باشند.
• فرآیند: فعالیت های انجام شده
• خروجی ها: اینها منعکس کننده چیزی هستند که برنامه به طور مستقیم تولید کرده است، به معنی تعداد شرکت کنندگان، محصولات، خدمات ارائه شده و غیره.
• نتایج: دستاوردهای مستقیم برنامه/سیاست. اینها باید تغییر مستقیمی را که برنامه/سیاست منجر به آن شده است، نشان دهد. آنها باید با هدف برنامه برای دستیابی به آن مرتبط باشند.
• تأثیرات: اثرات بلندمدت یک سیاست یا یک برنامه. تأثیرات می تواند فراتر از افراد مستقیماً درگیر باشد و به تأثیرات در سطح سازمان یا جامعه نگاه کند.
• شاخص های ساختاری آنچه را که در سطح سیاست یا سیستم برای مقابله با یک موضوع خاص انجام می شود و نحوه انجام آن را نشان می دهد. آنها معمولاً یا بیانیه‌های بله یا خیر هستند یا از دسته‌های دیگر برای گرفتن ویژگی‌های سیستمی/سیاستی استفاده می‌کنند.

برای درک کامل یک برنامه/سیاست، باید با ترکیب مجموعه وسیعی از شاخص ها به آن نگاه کرد. یک شاخص واحد هرگز داستان کامل را بیان نمی کند. بنابراین همه انواع شاخص های فوق باید در چارچوب نظارت یا ارزیابی منعکس شود.

شاخص‌ها می‌توانند اطلاعاتی را که کمی و کیفی هستند، ضبط کنند. شاخص های کمی بر اعداد مطلق، درصدها، نسبت ها و سایر معیارها تمرکز دارند. شاخص های کیفی انواع یا مقوله ها را می گیرند، وسعت را بیان می کنند، روابط را تعیین می کنند و غیره.

نتایج و شاخص های تأثیر باید به طور منطقی با آنچه برنامه هدف آن دستیابی است مرتبط باشد. آنها باید با دقت انتخاب شوند و نباید زیاد باشند. ممکن است در میان ذینفعان تمایلی وجود داشته باشد که ارائه برنامه را بر آن شاخص هایی که در حال اندازه گیری هستند متمرکز کنند. این می تواند اثرات نامطلوبی بر کیفیت خدمات/برنامه داشته باشد. به همین دلیل:

• شاخص ها باید عاقلانه انتخاب شوند و آنچه واقعاً مهم است را نشان دهند
• آنها باید با روایتی همراه شوند که داده های جمع آوری شده را به توضیح تبدیل می کند. این را می توان با یک منطق مداخله پشتیبانی کرد.

نمونه هایی از شاخص های کمی:

- زمینه: سطح بیکاری می تواند یک نشانگر متنی مفید برای درک ترک زودرس از آموزش و آموزش باشد - ورودی ها: بودجه برنامه ، تعداد کارکنان - فرآیند: تعداد و نوع فعالیتهای اجرا شده - خروجی: تعداد افراد آموزش دیده ، تعداد افرادی کهمربیگری دریافت کرد

همچنین می تواند به عنوان سهمی از جمعیت خاص به جای تعداد مطلق تدوین شود:

• نتیجه: تعداد و سهم کسانی که پشتیبانی دریافت کرده اند و آموزش/ آموزش مجدداً ، تعداد و سهم کسانی که پشتیبانی دریافت کرده اند و مهارت های خود را بهبود بخشیده اند
• تأثیر: تعداد و سهم کسانی که پشتیبانی دریافت کرده اند و تحصیلات/ آموزش را به اتمام رسانده اند ، تغییر در نرخ ترک زود هنگام در سطح محلی
• شاخص ساختاری: تا چه حد اکثر مؤسسات آموزش و آموزش برنامه ای برای کاهش زود هنگام ترک دارند

نمونه هایی از شاخص های کیفی:

- روابط بین ذینفعان درگیر در تحویل برنامه - انواع تغییراتی که زبان آموزان با مشارکت در برنامه در ارتباط هستند - وسعت و انواع تغییر در رفتارهای زبان آموزان مشاهده شده توسط پزشکان (به عنوان مثال معلمان/مربیان)

شاخص های مربوطه

شاخص های نتیجه و ضربه باید برای جلب تفاوت برنامه/سیاست در مشکل ترک زودرس طراحی شوند.

آنها باید منعکس کننده آنچه یک برنامه برای دستیابی به آن است. به عبارت دیگر ، آنها باید بتوانند عملکرد برنامه/سیاست را در برابر اهداف آن اندازه گیری کنند. این شاخص ها باید تمام سطوح موجود در زنجیره منطقی را منعکس کنند ، همانطور که در تئوری برنامه و منطق مداخله شرح داده شده است.

هدف نهایی برنامه ها/سیاستهای مربوط به این ابزار ابزار کاهش میزان ترک زودرس توسط:

• بهبود نرخ حفظ و فارغ التحصیلی
• افزایش صلاحیت در بین افراد اولیه که به آموزش یا آموزش باز می گردند

با این حال این امر به طور مستقیم توسط اکثر برنامه ها/سیاست ها حاصل نمی شود. همانطور که در سایر قسمت های ابزار ابزار توضیح داده شده است ، ترک زودرس یک پدیده چند وجهی است که منعکس کننده طیف وسیعی از چالش ها و مشکلات است. برنامه ها/سیاست ها با این چالش ها و عوامل اساسی مقابله می کنند و منجر به تغییرات مرتبط در سطح فردی یا نهادی می شوند. این نتایج واسطه ای است که با تغییر در نرخ ترک زودرس همراه است.

بین لحظه ای که شخص در یک سیاست/برنامه شرکت می کند و وقتی که در نهایت فارغ التحصیل می شود ، زمان مشخصی وجود دارد. این می تواند چندین سال طول بکشد. اغلب برای تصمیم گیری در مورد بودجه برنامه/سیاست قبل از این دوره ، اطلاعات نظارت و ارزیابی لازم است. از این رو برای طراحی شاخص هایی که نتایج واسطه را نیز ضبط می کنند بسیار مهم است.

اثرات مستقیم و غیرمستقیم برنامه ها/ سیاست ها

پیوندهای بین نتایج واسطه و تأثیرات باید بر اساس شواهد باشد. به عنوان مثال ، تحقیقات CEDEFOP تشخیص داد که جهت گیری ناکافی دانش آموزان یکی از عوامل منتهی به ترک زودرس است. بنابراین ، برنامه ای که با هدف کمک به جوانان در انتخاب آگاهانه در مورد مسیرهای آموزش و آموزش خود ، در نهایت باید در مقابله با ترک زودرس کمک کند.

چگونه می توان تعریف کرد که چه برنامه/سیاست انتظار می رود تغییر کند و چرا؟

هر برنامه/ خط مشی تحت تأثیر فرضیات خاص در مورد ماهیت مشکل و نحوه انجام XYZ وضع موجود است. این فرضیات می توانند کم و بیش در مستندات برنامه صریح باشند. غالباً برای درک این فرضیات با کسانی که برنامه/ سیاست را طراحی کرده اند ، لازم است. با شفاف سازی این موارد ، ارزیابان استدلال منطقی را که ضبط می کند ، توسعه می دهند: مشکل ، ماهیت فعالیت های انجام شده ، منطقی که توضیح می دهد که چگونه انجام X مشکل را تغییر می دهد. یک ارزیابی خوب نه تنها باید اندازه گیری کند که تغییرات مورد انتظار اتفاق افتاده است یا خیر. همچنین باید توضیح دهد که کدام یک از فرضیات اولیه صحیح است و کدام یک از آنها نیست.

آیا ارزیابی ها فقط آنچه را که از برنامه انتظار می رود اندازه گیری می کند؟

ارزیابی ها به طور معمول توسط منطق مداخله برنامه هدایت می شوند که توضیح می دهد آنچه انتظار می رود اتفاق بیفتد. با این حال ، برنامه ها می توانند اثرات غیر منتظره ای نیز داشته باشند (مثبت یا منفی). از آنجا که اینها غیر منتظره هستند ، ارزیابان اغلب با صحبت با ذینفعان یا ذینفعان ، در طول تحقیق کیفی از آنها آگاه می شوند. در بعضی موارد ، اثرات غیر منتظره ممکن است آنقدر مهم باشد که ممکن است نیاز به ادغام آنها در بین شاخص های کلیدی برای ارزیابی وجود داشته باشد.

منطق مداخله

یک ابزار اصلی ارزیاب برای تهیه یک چارچوب شاخص نظارت و ارزیابی ، منطق مداخله برنامه/سیاست است. منطق مداخله دلیل منطقی برنامه را در:

• ورودی ها: منابع سرمایه گذاری شده
• فرآیند/فعالیت ها: کاری که برنامه انجام می دهد
• خروجی ها: آنچه مستقیماً تولید و تحویل می شود و چه کسی در آن شرکت می کند.
• یافته ها: چه تغییرات مشخصی را می توان در سطح افراد (زبان آموزان یا پزشکان) یا موسسات شناسایی کرد
• تأثیرات: تا چه اندازه برنامه زودتر از کار کاهش می یابد

اگر عوامل زمینه ای بر اجرای برنامه یا شانس موفقیت آن تأثیر بگذارد ، باید این موارد نیز روشن شود. بحث در مورد منطق مداخله می تواند هرگونه فرضیه در مورد زمینه ای را که برای موفقیت برنامه در نظر گرفته می شود ، روشن کند.

شاخص های نظارت و ارزیابی باید برای هر جنبه از منطق مداخله تعریف شود. اگر شاخص ها فقط خروجی را ضبط کنند ، ارزیابی چیزی در مورد تغییر واقعی که می تواند به برنامه نسبت داده شود ، نمی گوید. اگر آنها فقط روی نتایج و تأثیرات نهایی تمرکز کنند ، مشخص نیست که چگونه برنامه به طور مشخص ساخته شده است (یا نتوانسته است ایجاد کند). اگر تغییر در تأثیرات نهایی اندک باشد و هیچ نتیجه واسطه ای اندازه گیری شود ، نمی توان دید که چه جنبه هایی از منطق مداخله و دلیل منطقی برنامه ناکام است. این امر توصیه تنظیمات را دشوار می کند.

تحقیقات CEDEFOP که زیربنای این ابزار است ، نشان می دهد که تنها تعداد کمی از ارزیابی ها توجه کافی به شاخص ها برای نتایج واسطه دارند. بسیاری از خروجی ها و برخی از تأثیرات اندازه گیری ، بدون ارزیابی آنچه منجر به این تأثیرات می شود.

توجه: منطق مداخله ایستا نیست. این باید نقطه شروع یک فرایند فکر در مورد چگونگی ارزیابی یک برنامه باشد. در طول فرآیند می توان آن را به خوبی تنظیم کرد تا پیوندهای علی بین ورودی ها و خروجی ها ، نتایج و تأثیرات را روشن کند.

نمونه هایی از ویژگی های متنی (که به طور مستقیم با خط مشی/برنامه مرتبط نیست) که می تواند بر عملکرد برنامه تأثیر بگذارد عبارتند از:

- سطح بیکاری - گردش مالی کارکنان - رابطه بین سازمانهای ذینفع کلیدی - روابط معلم/مربی و دانش آموز - تغییر در اولویت های سیاسی