اگر شما طراح سوال بودید!
آیا تا به حال به این موضوع فکر کرده اید که اگر شما طراح سوالات کنکور بودید، سوالات را چگونه طراحیمیکردید!؟ آیامیدانید که طراحان سوالات آزمون های سراسری و همگانی برای اینکه امکان ورود و امتیاز گیری شانسی را به حداقل برسانند مجبورند از یک سری قوانین و قواعد ثابت و مشخص تبعیت کنند و حق ندارند هر جور دلشان خواست سوال طرح کنند و هر جور دلشان خواست سوالات را بین گزینه های الف و ب و ج و د توزیع کنند؟ بدیهی است که اگر شما این قوانین را بدانید به پنجره و دیدگاه طراح سوال نزدیک ترمیشوید و بهترمیتوانید حرکات و حقه های او را حدس بزنید و از این طریق گزینه های درست و نادرست را از یکدیگر تشخیص دهید. بیائید با هم این قوانین و قواعد اجباری را مرور کنیم:
قاعده اول :طراحان سوالات کنکور های همگانی ملزممیباشند که پاسخ ها را به طور یکسان بین گزینه های الف و ب وج ود توزیع کنند و حق ندارند سنگینی پاسخ ها را روی یک گزینه خاص بیاندازند و یا سنگینی را از یک گزینه خاص بیش از حد دور کنند.
فرض کنید در امتحان کنکور یکصد سوال وجود دارد بدیهی است که جواب این سوالات باید بین چهار گزینه الف و ب و ج و د توزیع شود. با توجه به اینکه به ازای هر سه پاسخ نادرست یکی از پاسخ های درست حذفمیشود پس طراح سوال حق ندارد روی یکی از گزینه ها مثلا ( گزینه ج) بیشتر تمرکز کند و جوابهای بیشتری را روی گزینه ج قرار دهد. چرا که اگر چنین کند. یکی از داوطلبان زیرکمیتواند با درک سریع این موضوع از روی تصویر گرافیکی پاسخنامه فورا کلید را کشف کند و با علامت زدن همه جوابهای ج بدون اینکه جواب را بداند امتیاز بگیرد!
طراح سوال مجبور است برای خلاصی از دردسرهای بعدی جواب صد سوال کنکور را بین گزینه های الف و ب و ج ود به تساوی تقسیم کند. برای اینکه این حقیقت را شخصا کشف کنید، کافی است پاسخنامه سوالات کنکورهای چند سال اخیر را مورد بررسی قرار دهید و در هر پاسخنامه تعداد گزینه های الف را بشمارید و این عدد را به کل تعداد سوالات تقسیم کنید به عددی حدود ۲۵ درصد دست خواهید یافت.عین همین واقعیت برای گزینه های ب و ج ود نیز صادقمیباشد. به عبارتی اگر یک داوطلب همینطور الله بختکی تمام گزینه های الف کنکور را بزند. نهایتا موفقمیشود ۲۵ درصد نمره را بیاورد اما در عین حال ۷۵ درصد جوابها را غلطمیزند که چون به ازای هر سه جواب غلط یک جواب درست صفرمیشود پس نهایتا امتیاز این فرد چیزی در حدود صفر خواهد بود.
حال بیائید از منظری دیگر به این قاعده نگاه کنیم: حالت ایده آلی را در نظر بگیرید که داوطلب به دلیل تسلط علمی موفق شده است ۷۵ سوال را جواب دهد و بعد در کمال تعجب دریافته است که جواب این ۷۵ سوال همگی بین گزینه هایالف و ب و ج بوده است. به نظر شما او اگر فرصت و دانش کافی برای جوابدهی به بقیه سوالات را نداشته باشد،و تنها ده دقیقه به پایان وقت آزمون باقی مانده باشد آیا بهتر نیست که بقیه سوالات را از ترس نمره منفی همینطوری به حال خود رها نکند؟! و هر چه گزینه “د” است را علامت بزند؟!
فراموش نکنید که طبق قاعده حفظ تعادل گزینه ها و نکشاندن مرکز ثقل جوابها روی یک گزینه خاص طراح سوال مجبور است ۲۵ درصد پاسخ ها را هم از بین گزینه های “د” انتخاب کند و چون تا این لحظه گزینههای “د” انتخاب نشده اند پس به احتمال بالای ۹۰ درصد انتخاب گزینه های “د”میتواند امتیاز بسیار زیادی برای شخص به همراه داشته باشد. در حالت ایده آل این امتیاز ۲۵ است
در جدول زیر(جدول شماره ۱) توزیع گزینه ها در آزمونهای مختلف درصد بندی شده اند. بیائید آن را با هم مرور کنیم.
آزمون
تعداد
گزینه الف
گزینه ب
گزینه ج
گزینه د
۷۶ ریاضی
۳۰۰
۷۷
۶/۲۵%
۷۱
۶/۲۳%
۷۸
۲۶%
۷۴
۶/۲۴%
۷۷ریاضی
۳۰۰
۷۰
۳/۲۳%
۸۶
۶/۲۸%
۷۹
۳/۲۶%
۶۵
۶/۲۱%
۷۸ تجربی
۲۴۵
۶۷
۳/۲۷%
۶۱
۹/۲۴%
۳۵
۶/۲۱%
۴۶
۱/۲۶%
۷۸ هنر
۲۶۰
۶۸
۱/۲۶%
۶۶
۳/۲۵%
۶۳
۲/۲۴%
۶۳
۲/۲۴%
۷۸ انسانی
۲۸۰
۷۴
۴/۲۶%
۷۰
۲۵%
۵۶
۲/۲۳%
۷۱
۳/۲۵%
همانگونه که در این جدول مشخص است، وزن سوالات تقریبا به طور تساوی بین گزینه های الف و ب وج و د تقسیم شده است و هر کدام از این گزینه ها به تساوی وزن و سنگینی جوابها را تحمل کرده اند. البته این نکته نیز روشن است که درصدها برای تمام گزینه های الف و ب و ج و د دقیقا ۲۵% نیست اما در دیدگاه آماری هرگز کلمات دقیقا معنایی ندارد و این واژه های تقریبا و حدودا است که ارزش داده های آماری را تعیینمیکند. کمترین درصدها در جدول بالا متعلق به گزینه “د” آزمون سال ۷۷ ریاضی بوده است که عددی معادل ۶/۲۱% را به خود اختصاص داده است. این یعنی در بدترین شرایط هر گزینه حداقل۲۱٫۶/۲۵=۸۶% سنگینی جوابها را حتمامیپذیرد.
قاعده دوم : طراحان سوالات کنکور های همگانی ملزممیباشند که پاسخ ها را بر حسب منحنی توزیع نرمال یا گوسی در کل سوالات آزمون بین گزینه ها پخش کنند.به عبارتی هنگام توزیع جوابها بین گزینه ها هیچ کدام از گزینه های الف و ب و ج و د در هیچ ناحیه انتخابی نباید احساس بی عدالتی کند!
به این قاعده اگر خوب دقت کنیم،میتوانیم رمز طلایی کنکورهای استاندارد همگانی را دریابیم. روی واژه مرکب “ناحیه انتخابی ” خوب دقت کنید. معنای آن این است که اگر شما ۱۰۰ سوال متوالی را انتخاب کردیدباید حتما در بین این صد سوال حداقل۲۰ تا الف ۲۰ تا ب ۲۰ تا ج ۲۰ تا د داشته باشید. و ۲۰ تای بعد را برای تکراری ها کنار بگذارید.
همینطور اگر این ناحیه انتخاب را کوچکتر کنیم و مثلا آن را ۱۰سوال متوالی در هر منطقه ای از مجموعه سوالات در نظر بگیریم. باز باید شاهد حداقل ۲ گزینه الف، ۲ گزینه ب، ۲ گزینه ج و ۲ گزینه د و ۲ گزینه تکراری دلخواه باشیم. البته هر چه ناحیه انتخاب بزرگتر باشد صحت این قاعده بیشتر است و هر چه ناحیه انتخاب کوچکتر شود احتمال خطا بیشترمیشود اما ایده آل ترین و مطلوب ترین ومتعادل ترین توزیع نرمال زمانی است که از هر پنج سوال متوالی در هر منطقه ای از مجموعه سوالات ما حتما شاهد یک گزینه از هر نوع باشیم و احتمال یافتن منطقه ای که یکی از این گزینه ها در آن وجود نداشته باشد.بسیار کم و زیر پنج درصد باشد.
روی دو واژه ناحیه انتخاب دلخواه و تعداد سوالات متوالی خوب دقت کنید. بهترین ناحیه انتخابی جایی است که شما بیشترین جوابها را در آن درست زده اید و کوچکترین تعداد سوالات متوالی مناسب ده سوال متوالی است که چون در سر جلسه آزمون شمردن تعداد الف ها وب ها و ج ها و د ها در ده سوال متوالی وقت گیر و بعضی اوقات گیج کننده است، با شرط ارفاق و پذیرفتن خطای بیشتر کوچکترین تعداد سوالات متوالی را پنج در نظرمیگیریم. این نکته را در نظر داشته باشید تا بعد از تشریح قاعده سوم دوباره به آن بازگردیم:
قاعده سوم : طراحان سوالات کنکور های همگانی به خاطر الزام رعایت توزیع نرمال پاسخ ها حق ندارند از یک حد مجاز ده درصد بیشتر گزینه های همسان را در پاسخنامه بگنجانند. یعنی احتمال گزینه های همسان متوالی در هر آزمون نباید از ده درصد بیشتر باشد و در غیر اینصورت آزمون استاندارد نبوده و معتبر نمی باشد.
به زبان خیلی ساده یعنی وقتی شما جواب یک سوال رامیدانید با احتمال بالای ۹۰ درصد یکی از گزینه های نادرست سوال قبلی و بعدی را نیزمیتوانید حدس بزنید. فراموش نکنید که در تست زنی اطلاع از گزینه نادرست و غلط به اندازه اطلاع از گزینه درست ( و حتی گاهی بیشتر از آن ) ارزشمند است. برای مثال اگر مطمئن هستید پاسخ سوالی گزینه “ب” است پسمیتوانید با احتمال ۹۰ درصد مطمئن باشید که جواب سوال قبلی و بعدی “ب” نیست! یعنی چنانچه در سوالی برای انتخاب یک گزینه از بین دو گزینه شک کردیم، اول باید جواب سوال قبلی و گزینه ای که برای آن سوال انتخاب کردیم را نگاه کنیم. اگر گزینه انتخابی سوال قبلی همسان با یکی از گزینه های تردیدی ما باشد، باید با ۹۰ درصد اطمینان گزینه تردیدی دیگر را انتخاب کنیم.
در جدول شماره ۲ توالی گزینه های همسان در آزمون های سراسری درج شده است.
جدول شماره ۲، توالی گزینه های همسان در آزمون های سراسری
آزمون
%الف متوالی
%ب متوالی
%ج متوالی
%د متوالی
% کل متوالیها
% نامتوالی بودن
۷۶ریاضی
۹
۱۰
۸
۸
۹
۹۱
۷۷ریاضی
۴
۸
۷
۵
۶
۹۴
۷۸ تجربی
۷
۱۶
۹
۱۱
۱۱
۸۹
۷۸ هنر
۱۹
۱۵
۱۱
۹
۱۴
۸۶
۷۸انسانی
۱۲
۱۳
۳
۳
۸
۹۲
همچنان که از جدول ۲ مشخص است نزدیک به ۹۰ درصد احتمال وحود دارد که گزینه های متوالی عین هم نباشند. این ۹۰ درصد عدد بسیار خوبی است، چرا که در علم آمار بدان معناست که اگر شما بی اعتنا به امکان خطا از این قاعده کمک بگیرید و فرض را بر این بگذارید که دو گزینه پشت سرهم نمی توانند وجود داشته باشند در کل آزمون فقط ده درصد خطامیکنید. و ۹۰ درصد اوقات درست به هدفمیزنید. چون هر جواب درست شما با سه جواب نادرست از بینمیرود در نتیجه ۹۰ درصد احتمال درست در قبال ۱۰ درصت نادرست یعنی ۲۷۰ امتیاز مثبت در مقابل ۳۰ امتیاز منفی که کاملا پذیرفتنی و مقبولمیباشد.
خیلی از داوطلبین کنکور وقتی موفقمیشوند جواب درست یک سوال را پیدا کنند حیفشانمیآید که با زدن جوابهای تردیدی امتیاز آن جواب را از دست بدهند و در نتیجه بسیاری اوقات گزینه های تردیدی را سفید رهامیکنند و به سراغ آنها نمی روند. آنها با خودمیگویند که بالاخره با داشتن همین تعداد جواب درست نسبت به کسی که هم رده ایشانمیباشد اما از زدن همینطوری گزینه ها ابایی ندارد جلوتراند. این نگرش از یک جهت درست است اگر فرد هم رتبه همینطوری الکی و تصادفی و شانسی گزینه های دیگر را انتخاب کند. اما اگر آن فرد بر اساس قاعده های فوق اینکار را انجام دهد در اینصورت نتیجه به طور وحشتناکی به نفع او تغییر خواهد کرد.
فراموش نکنید که در بحث آماری شما شاید در یک ناحیه امتیازی را از دست دهید اما در کل سنگینی امتیازات شما به سوی اعدادی مثبت میلمیکند. و در نهایت هنگام محاسبه امتیازات شما در کنکور نتیجه نهایی تلاش شما در کل نواحی به عنوان نمره کل منظورمیشود. بنابراین بی جهت برای جوابهای درست خود دلسوزی نکنید و نگران آنها نباشید. شاید با تست زنی احتمالاتی بر اساس قواعد مهندسی معکوس این جزوه بخشی از این جوابهای درست قربانی شوند اما نهایتا امتیاز مثبتی که به دستمیآورید دهها برابر امتیازی است که فقط با چسبیدن به جوابهای درست و رها کردن بقیه جوابها به حال خود به دستمیآورید.
قاعده چهارم : سه قاعده فوق باید در هر مقیاس(Scale) صادق باشد.
معنای این قاعده این است که سخت یا ساده بودن سوالات ربطی به محل انتخاب گزینه جواب ندارد. و طراح حق ندارد جواب سوالات مشکل را روی گزینه های خاصی متمرکز کند. همینطور ضریب ۲ یا ۳ یا ۴ داشتن یک درس نیز ربطی به توزیع جوابها بین گزینه ها ندارد. از سوی دیگر اگر یک بازرس ناگهان پاسخنامه ای را بردارد و ناحیه دلخواهی از سوالات متوالی را انتخاب کند باز هم طراح سوال باید بتواند رعایت شدن سه قاعده اول را در هر ناحیه اثبات کند. به همین دلیل بحث توزیع متعادل و نرمال سنگینی جوابها بین هر چهار گزینه ال و ب و ج ود یک بحث مستقل از نوع درس میزان دشواری سوالات، ضریب اهمیت درس یا جابجا شدن پرسشنامه درس هامیباشد.
بر اساس این قاعده اگر بالفرض شما جواب اولین سوال درس عربی رامیدانید چون سوال قبلی در درس دیگری مثلا ادبیات قرار دارد. لذا باز هممیتوانید از سه قاعده اول استفاده کنید. کافی است فقط به پاسخ نامه نگاه کنید و جواب انتخابی برای آخرین سوال درس ادبیات را مورد بررسی قرار دهید.
فراموش نکنید که در استفاده و کاربرد روشهای احتمالاتی این جزوه مبنا پاسخنامه است
در حقیقت شاه کلیدی که در روش مهندسی معکوس با آن تمام قفل های کنکور را بازمیکنیم منحنی توزیع نرمال است. چون طراحان سوال مجبورند از همین توزیع برای ایجاد تعادل و توازن در آزمون استفاده کنند لذا ما در اینجا مچ طراحان رامیگیریم وبا درصد خطای حساب شده گزینه درست را ردیابیمیکنیم.