پلتفرم سنجش در ۱۴ روز
سکوی سنجش چندمستأجری با کیف پول، موتور نمرهگذاری و خط لولهٔ گزارش در چهارده روز، طوری که هر عدد گزارش تا کلیدی که تولیدش کرده قابل ردیابی است.
سازمانی که بخواهد یک سنجش شخصیت ساختاریافته را روی کارکنانش اجرا کند، به چیزی خیلی بیشتر از پرسشنامه نیاز دارد: چندمستأجری، صورتحساب پیشپرداخت، ارجاع، اجراکنندهای که نشستِ نیمهکاره را تاب بیاورد، موتور نمرهگذاریای که حسابش سالها بعد هم قابل بازتولید باشد، مدیریت هنجار با تبارشناسی، و گزارشی که فرد بتواند دربارهٔ خودش بخواند بیآنکه آسیب ببیند. بیشتر اینها دیده نمیشوند و همهٔ شکستها همانجا زندگی میکنند.
چهارده روز، و بیشترش پرسشنامه نیست
| کامیت · زمان سپریشده | ۱۴۱ · حدود ۱۴ روز |
| خط PHP بکاند · فایل | حدود ۱۰۳٬۵۰۰ · ۸۰۷ |
| مهاجرت · جدول | ۵۶ · ۶۱ |
| مورد آزمون بکاند | ۱٬۳۰۱ |
| فایل آزمون فرانتاند | ۱۵ |
| ابزار | ۲۴۰ گویه · ۵ عامل · ۳۰ مؤلفه |
شصتویک جدول، فراتر از یک فرم، اینها را میخرد: چندمستأجریای که در آن خواندن بینسازمانی بهجای تکیه بر شرطی که کسی یادش مانده بنویسد، هیچ برمیگرداند؛ کیف پول پیشپرداخت با دفتر کل؛ ارجاع به افراد و گروهها؛ اجراکنندهای که خودکار ذخیره و از سر گرفته میشود؛ موتور نمرهگذاریای که اصلاً به پایگاهداده دست نمیزند، پس سالها بعد میشود روی پاسخهای ذخیرهشده دوباره اجرایش کرد؛ مدیریت هنجار که ثبت میکند هر نمرهٔ استاندارد از کدام جمعیت مرجع آمده؛ و گزارشی که در سمت سرور به PDF رندر میشود با فونتهای جاسازیشده — چون فارسی به شکلدهی متنی حروف نیاز دارد و رندرگری که این کار را نکند، حروف جدا و برعکس تولید میکند که برای هیچکس خوانا نیست.
قاعدهای که کل سامانه دورش ساخته شده
هر عددی در گزارش باید سالها بعد هم قابل توضیح و قابل بازتولید باشد.
این جمله یک بار در سند تصمیم معماری نوشته شده و بیشتر بقیهٔ چیزها را مجبور میکند.
به همین دلیل است که موتور نمرهگذاری خالص است: نسخهٔ آزمون و مجموعهای از پاسخها را میگیرد و نمرهٔ خام برمیگرداند، بیآنکه به چیز دیگری دست بزند. به همین دلیل است که نتیجه تغییرناپذیر و به نسخهای که زیرش نمره خورده گره خورده، پس گزارش ذخیرهشده پس از بازنگری ابزار هم هنوز زیر باندهای نسخهٔ خودش رندر میشود. و به همین دلیل است که هر نمرهٔ استاندارد ثبت میکند از کجا آمده: سطر دقیق جدول، سطر درونیابیشده، یا میانگین و انحراف معیار. «احتمالاً جدول هنجار آن سطر را در سال ۱۴۰۵ داشته» جوابی نیست که بشود به وکیل یک داوطلب داد.
«سه سال دیگر کسی این نتیجه را زیر سؤال میبرد. میتوانید دقیقاً نشان بدهید این عدد چطور تولید شده؟»
ممیزیای که نشان داد کلید غلط است
قویترین کار این پروژه، کمافتخارآمیزترینش هم هست؛ که معمولاً همینطور است.
کلید نمرهگذاری — اینکه هر گویه به کدام مؤلفه و در چه جهتی شمرده میشود — با خواندن متن فارسی هر ۲۴۰ گویه و مقایسهاش با جهتی که کلید خورده بود ممیزی شد. سیوشش گویه در خلاف جهت متن خودشان کلید خورده بودند.
مثال کارشدهٔ خود ممیزی بهتر از هر خلاصهای میگوید: پاسخدهندهای که به «من آدم بسیار بامنضبطی هستم» کاملاً موافقم داده بود، روی آن گویه بهجای بیشترین نمره، صفر میگرفت.
دو گویهٔ دیگر نقص ترجمهاند و معنای گویهای را که بازمیگردانند نفی میکنند. اینها به معنای اصلی کلید خوردهاند و هزینهاش — اینکه پاسخدهندهای که به جملهٔ فارسی جواب داده، روی آن دو گویه در برابر عکسش نمره میگیرد — بهجای ماستمالی نوشته شده؛ چون اصلاح متن، ابزاری منتشرشده را تغییر میدهد و آن گویهها را از دادهٔ مرجعی که رویشان جمع شده جدا میکند.
آزمون بازگشتیای که حالا از این محافظت میکند، گویههای معکوس را با شماره ادعا میکند، نه با هیچ قاعدهٔ مرتبی. همین جزئیات کل درس است: هر دو کلید قبلی از بررسیهایی که به آنها داده شده بود سربلند بیرون آمدند و باز هم غلط بودند، چون آن بررسیها با یک الگوی بهظاهر منظم ارضا میشدند.
مدل تا کجا اجازه دارد برود
این مرز روی صفحهٔ اصلی خود محصول به کاربر گفته میشود نه اینکه دفن شود، با این استدلال که خریداری که بعداً کشفش کند فرض میکند پنهان شده بوده.
- موتور نمره میدهد. کلید ثبتشدهٔ نسخه را اعمال میکند، جهت گویههای معکوس را میگرداند، نمرهٔ عاملها و مؤلفهها را میسازد و باند هرکدام را تعیین میکند.
- مدل توضیح میدهد. نمرههای محاسبهشده را میگیرد — نه پاسخها، نه نام، نه هیچچیز دربارهٔ کارفرما — و خوانشی به زبان ساده از آنها مینویسد.
- مدل چیزی را تغییر نمیدهد. نمیتواند نمرهای را عوض کند، صفتی بسازد، تشخیصی بدهد یا تصمیم استخدامی بگیرد.
- سامانه خروجی را بررسی میکند. ارجاع به نموداری که این نسخه ندارد حذف میشود، مقدار اهمیت به بازه برمیگردد، خروجی بدشکل بهجای خطا به متن ساده تنزل میکند، و اصطلاحهای بالینینمایی که مدل به کار برده تعریفشان در سمت سرور اضافه میشود.
مرحلهٔ آخر بهخاطر یک رویداد واقعی وجود دارد. پرامپت از مدل خواسته بود تعریف خودش را از نام مؤلفههای بالینینما ننویسد، و یک اجرای زنده دقیقاً همان واژهها را تولید کرد؛ بدون هیچ تعریفی و بدون هیچ جملهای دربارهٔ اینکه هیچکدام تشخیص نیستند. پرامپت یک درخواست است. پس تعریفها بهعنوان داده وارد بار ارسالی شدند و یک پویشگر، واژهنامه را پس از پاسخ اضافه میکند؛ چه مدل همکاری کرده باشد چه نکرده باشد.
و آنچه مدل ندارد
هیچ بازبینی انسانی روی تفسیر تولیدشده انجام نمیشود. نه وضعیت تأیید، نه صف بازبینی — تحلیل نوشته میشود و فرد مطلع میشود. مدیران میتوانند بعداً نگاه کنند و بازتولید یا پاکش کنند. این مشاهده است، نه بازبینی؛ و در محصولی که دربارهٔ آدمها مینویسد یک شکاف واقعی است.
شکافی که ماستمالی نمیکنیم
سامانه غربالگری کیفیت پاسخ ندارد. سند برنامهریزی خود تیم در یک جمله میگویدش: آزمونی که ۲۴۰ بار «موافقم» پاسخ داده شود، در حال حاضر یک نیمرخ مطمئن و غلط تولید میکند.
شاخصهایی که این را میگیرند — بلندترین زنجیرهٔ پاسخ یکسان، پراکندگی پاسخ، شمار گزینههای متمایز، و یک پرچم اعتبار که بالای همهچیز روی صفحهٔ نتیجه بنشیند — با جزئیات طراحی شدهاند و در پایگاهداده نیستند. تنها کنترل در حال اجرا، نسبت حداقل پاسخداده است.
این مهمترین چیزی است که باید دربارهٔ وضعیت فعلی سکو بدانید، پس دو بار در این صفحه آمده: اینجا، و در فهرست محدودیتها در بالا.
تصمیمها
نمرهٔ هر عامل از گویههای خودش محاسبه میشود، نه از جمع مؤلفههایش.
گزینههای دیگر: جمعزدن نمرهٔ مؤلفهها برای رسیدن به نمرهٔ عامل
جمع مؤلفهها همارز به نظر میرسد و نیست. یک گویه میتواند روی یک مؤلفه، روی عامل والدش، روی هر دو یا روی هیچکدام بار داشته باشد؛ هرکدام با وزن و جهت خودش. جمعکردن مؤلفهها هر گویهٔ چندباره را دو بار میشمارد و وزنها را بیصدا دور میریزد. هر دو مسیر محاسبه میشوند و یک اعتبارسنج وقتی نتیجهها نخوانند هشدار میدهد — سکوت یعنی خواندند، که ادعای بهمراتب قویتری از «اصلاً بررسی نکردیم» است.
ساختار گویهها از کلید بارگذاریشده بهعنوان داده میآید، نه از حساب روی شمارهٔ گویه.
گزینههای دیگر: استخراج عامل و مؤلفه از موقعیت گویه با فرمول باقیمانده، آرایهٔ ثابت و کدشدهٔ گویههای معکوس
هر دو جایگزین پیشنهاد و مکتوب رد شدند، به یک دلیل: یک خطای یکواحدی در هر جایی، یک نیمرخ کامل، باورپذیر و غلط تولید میکند و هیچ چیزی در سامانه توان تشخیصش را ندارد. کلید، داده است؛ هنگام بارگذاری در برابر تعداد اعلامشدهٔ مؤلفه در هر عامل و گویه در هر مؤلفه اعتبارسنجی میشود و مدیر میتواند بدون تغییر کد اصلاحش کند.
نمرهگذاری معکوس برابر است با (کمینه + بیشینه) منهای پاسخ، روی بازهٔ خودِ مجموعهپاسخ.
گزینههای دیگر: ۴ منهای پاسخ، ۶ منهای پاسخ
هر دو ثابت دقیقاً برای یک مقیاس درستاند. محاسبهٔ بازتاب از بازهٔ اعلامشدهٔ مجموعهپاسخ یعنی مقیاس پنجگزینهای شمارهگذاریشده از یک تا پنج و مقیاس پنجگزینهای شمارهگذاریشده از صفر تا چهار، هر دو درست نمره میگیرند؛ بدون تغییر کد و بدون پیادهسازی دومی که باید همگام نگه داشته شود.
نشست ناقص هشدار میگیرد، ثبت میشود، پرچم میخورد و نمرهگذاری میشود — هرگز متوقف نمیشود.
گزینههای دیگر: توقف نمرهگذاری وقتی بیش از یک آستانه گویه بیپاسخ باشد
توقف، سند آزمونی را که کسی واقعاً نشسته و داده نابود میکند. اجراکننده اولین ثبت را رد میکند، فقط جاهای خالی را نشان میدهد، و ثبت دوم با تأیید صریح ذخیره و همراه پرچم نمرهگذاری میشود. تنها کنترل کیفیت پاسخ که واقعاً اجرا میشود، نسبت حداقل پاسخدادهٔ ۰٫۷۵ است — که در محدودیتهای پایین آمده، چون بههیچوجه کافی نیست.
باندهای تفسیر، بازههای نیمباز اعشاریاند و مقیاسشان برچسب خورده است.
گزینههای دیگر: باندهای صحیح و بسته
باندهای صحیح و بسته سوراخ میگذارند. نمرهٔ ۴۴٫۵ به هیچ باندی تعلق نداشت و بدون هیچ برچسبی رندر شد — یعنی گزارشی با جای خالی، آنجا که باید تفسیر میبود. بازههای نیمباز اعشاری کل دامنه را بدون شکاف کاشی میکنند، یک اعتبارسنج مجموعهٔ باندی را که شکاف بگذارد رد میکند، و هر باند اعلام میکند که برای نمرهٔ خام است یا نمرهٔ استاندارد یا صدک — پس این دو هرگز بهجای هم خوانده نمیشوند.
مدل زبانی به نمره نزدیک نمیشود: نمرههای محاسبهشده را توضیح میدهد و نمیداند صاحبشان کیست.
گزینههای دیگر: اجازه به مدل برای خواندن پاسخها و توصیف فرد، درخواست تعریف اصطلاح از خود مدل در پرامپت
موتور نمرهگذاری مرجع است و مدل فقط نمرههای محاسبهشده را میگیرد — نه پاسخها، نه نام، نه شمارهٔ تماس، و عمداً هیچچیز دربارهٔ کارفرما؛ چون خوانشی که به سمت دغدغهٔ امروز کارفرما خم شده باشد، دیگر خوانشی از آن فرد نیست. درخواست تعریف اصطلاحهای بالینینما از خود مدل در یک اجرای زنده شکست خورد: مدل همان واژهها را بدون هیچ تعریفی و بدون هیچ جملهای دربارهٔ اینکه تشخیص نیستند تولید کرد. پس تعریفها همراه نمرهها و بهعنوان داده منتقل میشوند و یک پویشگر، واژهنامه را پس از پاسخ مدل در سمت سرور اضافه میکند؛ چه مدل همکاری کرده باشد چه نه.
محدودیتها
- هیچ غربالگری کیفیت پاسخ یا اعتبار پاسخ وجود ندارد. سند برنامهٔ خود تیم مسئله را مکتوب کرده: آزمونی که ۲۴۰ بار با یک گزینه پاسخ داده شود، در حال حاضر یک نیمرخ مطمئن و غلط تولید میکند. تشخیص پاسخ خطکشیشده، پراکندگی پاسخ و شمار گزینههای متمایز طراحی شده و ساخته نشده است. تنها کنترل در حال اجرا، نسبت حداقل پاسخدادهٔ ۰٫۷۵ است.
- هیچ ضریب پایایی یا روایی محاسبه، نمایش یا ادعا نمیشود. هیچ چیزی در این سامانه به شما نمیگوید یک مقیاس روی جمعیت شما چقدر همسانی درونی دارد.
- نمرهگذاری بازآزمون و تغییر قابلاتکا وجود ندارد، چون به دادهٔ پایایی بازآزمون نیاز دارد که سکو در اختیار ندارد؛ و ارائهٔ تفاضل خام دو نشست بهعنوان «تغییر» بدون آن، دقیقاً از همان جنس خطایی است که قواعد نمرهگذاری برای جلوگیری از آن نوشته شدهاند.
- هیچ بازبینی انسانی روی تفسیرهای تولیدشده توسط مدل انجام نمیشود. نه وضعیت تأیید هست، نه صف بازبینی. تحلیل تولید میشود و فرد مطلع میشود. مدیران میتوانند بعداً ببینند و بازتولید یا پاک کنند، و این با بازبینی یکی نیست.
- مؤلفهها با نمرهٔ خام، نمرهٔ استاندارد و صدک گزارش میشوند و بدون باند تفسیر، چون منبع فقط برای عاملها باند دارد و ساختن باند برای مؤلفهها یعنی تفسیر جعلی.
- جنسیت پاسخدهنده جمعآوری نمیشود، پس همیشه گروه هنجار تجمیعی استفاده میشود، حتی جایی که آمار مرجع تفکیکشده در جدول موجود است.
- وضعیت مجوز ابزار پرسشی باز است که به مالک محصول تعلق دارد و بهعنوان حلنشده ثبت شده. تا تعیینتکلیف نشود، آنچه میتوان دربارهٔ ابزار منتشر کرد محدود است و این صفحه با همان محدودیت نوشته شده.
- پایگاهدادهٔ زنده یک محیط نمایشی پیشبارگذاریشده است، نه پایگاه مشتری. عددهای این صفحه خروجی مهندسی و ظرفیت سامانه را توصیف میکنند. اینها آمار پذیرش نیستند و نباید به آن معنا خوانده شوند.