ما یک مدل چندصفتی به نام WholeSoldier Performance را ارائه می دهیم که عملکرد سربازان تازه وارد در ارتش ایالات متحده را اندازه گیری می کند؛ در حال حاضر هیچ سیستم ارزیابی عملکرد رسمی در محل وجود ندارد. این برنامه کاربردی برای تجزیه و تحلیل تصمیم گیری منحصر به فرد است که در آن ما از یک مقیاس ساخته شده مشترک و تابع مقادیر تک بعدی به منظور مطابقت با چارچوب طبیعی کاربران مدل و بر اساس نگرانی های عملکرد، برای همه صفات استفاده می شود. علاوه بر این، ما اعتبار مدل را برحسب تجزیه و تحلیل تصمیم گیری و روان سنجی در مدل هایی که برای ارزیابی های مکرر و معمول استفاده می شوند و در نتیجه مقادیر قابل توجهی از داده ها را تولید می کنند مورد بحث قرار می دهیم. ما تجسم داده ها را برای استفاده به منظور حمایت از تربیت و تصمیم گیری های بهتر برای تعلیم، تعیین ، حفظ، ترویج پرسنل و پرسنل فعلی جداگانه برجسته می نماییم. سرانجام، با ارائه یک روش برای استانداردسازی رتبه بندی و در نظر گرفتن مسئولیت ارزیاب ها برای تربیت زیردستان و همچنین شناسایی عملکرد آنها برای های سازمان بزرگتر، به نگرانی های مشترک فرهنگی مربوط به ارزیابی عملکرد در سازمان می پردازیم.
1 . مقدمه
راهنمای میدانی، ارتش (ستاد، گروه ارتش 2005) چشم اندازی را برای ارتش ایالات متحده تدوین نموده است؛ بند آغازین تاکید می کند که سربازان " کیفیت دار "، مهم ترین منبع ارتش می باشد. به این ترتیب، ارتش ایالات متحده باید تلاش زیادی را برای مدیریت این منابع به صورت عاقلانه اتخاذ نماید. ما مدیریت سربازان را به صورت عالمانه با هدف تصمیم گیری مناسب پرسنل در مورد استخدام، انتساب ، مشاوره، آموزش، حفظ ، ارتقاء و جدایی از سربازان اعمال می کنیم. برای پیروی موثر از این تصمیم گیری، ارتش باید کیفیت سربازان را تعریف و اندازه گیری نماید. Symons و همکاران . (1982 ، ص 5) تعریف کیفیت سرباز را به عنوان مهم، عاطفی، و دست نیافتنی توصیف نموده اند در آن " کیفیت به خودی خود یک توصیف کننده کیفی است و در برابر تعیین کمیت بر حسب سن زمانی که اطلاعات قابل سنجش برای همه چیز مورد نیاز است، مطرح می شود. " سه دهه بعد، شرایط مشابه وجود خواهد داشت، زمانی که ارتش با کاهش قابل توجه بودجه و پرسنل روبرو می شود که شامل کاهش اندازه نیروی فعال وظیفه تا 80000 سرباز در طول پنج سال آینده ( Mattson 2012) می شود. تصمیم گیری پرسنل از اهمیت بسزایی برخوردار است که اجازه می دهد تا ارتش در دهه های پیش رو از عهده ماموریت خود برآید. هدف از این مقاله، طرح ریزی روندی است که برای تعریف یک مدل چندصفاتی از WholeSoldier Performance تعریف می شود و در نتیجه ارائه دهنده یک تعریف و اندازه گیری از کیفیت سرباز است به طوری که رهبران در ارتش بهتر بتوانند سربازان را تربیت کنند و در مورد پرسنل تصمیم گیری نمایند در حالی که یک چارچوب و داده هایی را برای ادامه پژوهش ارائه دهند. استفاده از روش برای پرسنل نظامی است، اما همتاهای مشخصی در دانشگاه ، کسب و کار ، بهداشت و درمان ، ورزش، دولت ، و دیگر زمینه ها وجود دارد. در § 1 ، ما برای شما یک متن کوتاه و پس زمینه های مربوط به اقدامات عملکرد پرسنل در ارتش و کسب و کار ارائه می دهیم. بخش 2 روی مدل، تجسم داده ها و اعتبار سنجی متمرکز است. بخش 3 نتیجه گیری و جهت کار در آینده را برجسته نموده است.
1.1 پیش زمینه ارتشی
زمان و انرژی قابل توجهی به مطالعه کیفیت سرباز اختصاص داده شده است. با آغاز به کار نیروی داوطلب در سال 1974 ، وضعیت فارغ التحصیل دیپلم و نمره آزمون نیروهای مسلح صلاحیت ( Rostker 2006) به عنوان اقدامات اولیه با کیفیت تصویب شد. به طور مشابه، ده ها تن از اقدامات روانسنجی و آزمون های دیگر که پیشنهاد می شوند یا در جمعیت استخدام برای ارائه اطلاعات در تصمیم گیری استخدام مورد استفاده قرار می گیرند، وجود دارد. اگر چه این اقدامات ممکن است اطلاعاتی را برای درک پتانسیل نامشخص از سربازان پیش از ورود آنها به این سرویس ارائه دهد، آنها عملکرد تحقق یافته درون سازمان را اندازه نمی گیرند. عملکرد تحقق یافته دارای مقادیر است؛ شاخص های پتانسیل جذب در تصمیم گیری های استخدام تنها بر اساس توانایی آنها برای پیش بینی طول عمر و عملکرد آینده مقادیر گذاری می شود. اگر چه اقدامات استخدام بسیار مهم است، تمرکز ما روی تعریف و اندازه گیری عملکرد از سربازان برای حمایت از تصمیم گیری در مورد پرسنل است، زمانی که آنها در ارتش می باشند.
در حال حاضر، هیچ استاندارد سنجش عملکرد مورد استفاده در مورد جمعیت سرباز فهرست شده، که نزدیک به نیمی از پرسنل ارتش را تشکیل می دهند وجود ندارد. مشاوره عملکرد میان به صورت دوره ای انجام می شود، اما فرم مشاوره 1 هیچ اطلاعات قابل سنجشی را شامل نمی شود و به صورت محلی در یک فایل مقاله نگهداشته می شود. اگر چه ناظران فوری از نزدیک با عملکرد سربازان تحت اقتدار خود تعامل دارند و آن را درک می کنند، در حال حاضر هیچ مکانیزمی برای این دانش به صورت متراکم و ابلاغ انبوه به سازمان بزرگتر وجود ندارد. به طور کلی، چندین سال طول می کشد تا یک سرباز جوان برای رتبه گروهبان برسد، زمانی که او شروع به دریافت رتبه بندی گزارش ارزیابی افسر وظیفه می نماید. این کار برای سیاست گذاران، "نزدیک به شایستگی کور" (کین 2011) را بر جای می گذارد. مطالعه ما توسط رهبران در ارتش ایالات متحده در مورد استخدام فرماندهی در سال 2008 برای رسیدگی به این نگرانی آغاز شد.
محققان دیگر، اقدامات از عملکرد برای سربازان تازه وارد در داخل ارتش را در نظر گرفته اند؛ از مهمترین آنها، Schinnar و همکاران. (1988) به کار تجزیه و تحلیل پوششی داده ها برای توسعه شاخص های عملکرد برای چهار شغل خاص در ارتش بر اساس آزمون دانش شغلی، آزمون ها، آزمایش دانش مدرسه، و رتبه بندی های ناظر پرداختند. ما یک مدل تجزیه و تحلیل تصمیم گیری چند صفتی را به کار بردیم که اولویت سازمانی را برای تعریف عملکرد سرباز و جمع آوری رتبه بندی سرپرست در تمام کارها در ارتش می گنجانند در حالی که انعطاف پذیری را به عنوان سمبل اقدامات خاص برای مشاغل خاص حفظ می کند. Schinnar و همکاران. (1988) اشاره کردند که کار آنها اکتشافی و توصیفی است. ما حامل همان روح در یک چارچوب تجزیه و تحلیل تصمیم گیری تجویزی هستیم و یک ابزار کم هزینه و به طور گسترده قابل استفاده برای ارزیابی منظم سرپرست را در مورد عملکرد سرباز در سراسر همه کارها در ارتش ارائه می دهیم.
ارتش ایالات متحده، اطلاعات عملکرد ارائه شده در افسران و مکتبی را جمع آوری می کند. در حال حاضر، گزارش بررسی افسر 2 فقط یک معنی "کنترل بلوک،" است که در آن ارزیاب ارشد (در دو سطح بالاتر از افسر رتبه) به طور کلی فقط عملکرد را به عنوان "در بالای مرکز جرم" و یا "مرکز جرم" دسته بندی نمود؛ این بهتر از عدم حضور اطلاعات قابل اندازه گیری است، اما به خوبی قابل تمایز نیست. گزارش ارزیابی افسر وظیفه 3 دارای رتبه بندی در پنج حوزه (شایستگی، تناسب اندام / نظامی تحمل فیزیکی، رهبری، آموزش، و مسئولیت / مسئولیت پذیری) با چهار سطح در هر یک و یک رتبه بندی کلی با سه سطح بود. اگر چه ارتش مسلما اهداف خود را در این گزارش مدلسازی می کند، مدل مقادیر را برای منعکس کننده نمودن ترجیحات بر اهداف متوقف می کند. علاوه بر این، این امتیازبندی نسبتا نامشخص است (تعالی، موفقیت، نیاز به برخی از بهبود، و نیاز به بهبود بسیار) و به راحتی می تواند به منظور کاهش ابهام دوباره طراحی شود. هر دو گزارش در معرض عواملی هستند که ارزیاب را تشویق به بالا بردن رتبه های خود می نماید که که منجر به اندازه گیری فرهنگ می شود و نه عملکرد. ما یک روش برای رسیدگی به این نگرانی ها را در مورد WholeSoldier Performance ارائه می دهیم.
1.2 کار مرتبط
در شرکت های کسب و کار، یک رویکرد (Kaplan and Norton 1992) "کارت امتیازی متوازن" اعمال می شود که مکمل اقدامات مالی سنتی است و ماموریت، چشم انداز و استراتژی سازمانی را به "مجموعه ای عملی از اهداف و اقدامات توافق شده توسط همه مدیران ارشد ترجمه می کند، که به عنوان محرکان بلند مدت توصیف می شوند (Kaplan و Norton 1996, p. 76). همسویی عملکرد فردی کارکنان با استراتژی کلی شرکت، "اهداف استراتژیک و اقدامات در سطح بالای سازمان، از طریق استفاده از کارت امتیازی آنها در سطح فردی باید به اهداف و اقدامات برای واحدهای عملیاتی و افراد ترجمه شود" (Kaplan and Norton 1996, p. 80). علاوه براین، بسیاری از شرکت ها، از طریق "تخصیص وزن به هر هدف، جبران فردی را به عملکرد ها مرتبط می کنند و محاسبه جبران خسارت انگیزه ای را به این مورد که تا چه حد هر هدف وزندهی شده به دست می اید" مرتبط می نمایند (Kaplan and Norton 1996, p. 80). هرچند، Kaplan and Norton (1996) از این ماهیت دفاع نمی کنند، Keeney (2000) نتیجه گرفت که "تجزیه و تحلیل تصمیم گیری، پایه و اساس منطقی برای، روش برای پیاده سازی، و مدل ها را برای استفاده از روش کارت ارزیابی متوازن" فراهم می کند.
به این ترتیب، WholeSoldier Performance می تواند به صورت کارت امتیازی شخصی در نظر گرفته شود که از نظر منطقی با یک مدل چندصفاتی برای برقراری ارتباط چشم انداز سازمان با سربازان، به منظور تسهیل نظارت از طریق تعیین هدف و بررسی عملکرد، و حمایت از کلاس گسترده ای از تصمیم گیری پرسنل، حمایت می شود.
2. مدلسازی WholeSoldier Performance
تفکر متمرکز بر مقادیر (VFT) یک رویکرد فلسفی برای ایجاد سلسله مراتب مقادیر در تصمیمات با صفات چند گانه (Keeney 1992) است که توسط روش ریاضی تحلیل تصمیم گیری چندصفاتی در نظر گرفته می شود (Keeney and Raiffa 1976). ایده مرکزی تجزیه تحلیل VFT تحت عدم قطعیت، تعریف صفات و اندازه گیری ها در یک سلسله مراتب مقادیر و سپس ارائه اولویت ها با تابع مقادیر قابل اندازه گیری است.
We present a multiattribute model called WholeSoldier Performance that measures the performance of junior enlisted soldiers in the U.S. Army; currently there is no formal performance appraisal system in place. The application is unique to decision analysis in that we utilize a common constructed scale and singledimensional value function for all attributes to match the natural framework of model users and based on operability concerns. Additionally, we discuss model validation in both the terms of decision analysis and psychometrics in models that are used for repeated or routine assessments and thus generate significant quantities of data. We highlight visualization of data for use to support mentoring and personnel decisions to better train, assign, retain, promote, and separate current personnel. Last, we address common cultural concerns related to performance appraisals in organizations by offering a method to standardize ratings and hold raters accountable for their responsibility to mentor subordinates as well as identify their performance to the larger organization.
1. Introduction
Field Manual 1, The Army (Headquarters, Department of the Army 2005) codifies the vision for the U.S. Army; the opening paragraph emphasizes that “quality” soldiers are the army’s most important resource. As such, the U.S. Army should take great effort to manage this resource wisely. We take managing soldiers wisely to mean making good personnel decisions regarding the recruitment, assignment, mentoring, training, retention, promotion, and separation of soldiers. To effectively pursue such decision making, the army must define and measure the quality of soldiers. Symons et al. (1982, p. 5) describe the definition of soldier quality as important, emotional, and elusive in that “quality itself is a qualitative descriptor and resists quantification in an age when quantifiable data is required for everything.” Three decades later, similar conditions exist as the army faces significant budgetary and personnel cutbacks that include reducing the size of the active-duty force by 80,000 soldiers over the next five years (Mattson 2012); personnel decisions are of the utmost importance to allow the army to satisfy its mission in the decades ahead. The purpose of this paper is to outline the process that was followed to define a multiattribute model of WholeSoldier Performance, thereby providing a definition and measure of soldier quality such that leaders in the army can better mentor soldiers and make personnel decisions while providing a framework and data for continued research. The application of the methodology is to military personnel, but there are clear parallels in academia, business, healthcare, sports, government, and other fields. In §1, we provide a brief context and background relating to measures of personnel performance in the army and business. Section 2 focuses on the model, visualization of data, and validation. Section 3 concludes and highlights directions of future work.
1.1. Army Background
Significant time and energy have been devoted to the study of soldier quality. With the inception of the AllVolunteer Force in 1974, high school diploma graduate status and the Armed Forces Qualification Test score (Rostker 2006) were congressionally mandated as the primary measures of quality. Similarly, there are dozens of psychometric measures and other tests that are proposed or utilized in the recruit population to provide information in recruiting decisions. Although these measures may provide information to understand the uncertain potential of recruits before they enter the service, they do not measure realized performance inside the organization. Realized performance has value; indicators of recruit potential are valued in recruiting decisions based only on their ability to predict future longevity or performance. Although recruiting measures are very important, our focus is on defining and measuring the performance of soldiers to support decisions regarding personnel once they are in the army.
Currently, there is no standard measure of performance utilized in the junior enlisted soldier population, who make up nearly half of all army personnel. Quarterly performance counseling is conducted, but the counseling form1 does not include any quantifiable information and is maintained locally in a paper file. Although immediate supervisors closely interact with and understand the performance of soldiers under their authority, there is currently no mechanism for this knowledge to be aggregated and communicated to the larger organization. In general, it takes several years for a young soldier to be promoted to the rank of sergeant, when he or she would begin to receive Noncommissioned Officer Evaluation Report ratings. This leaves policy makers “nearly blind to merit” (Kane 2011). Our study was initiated by leaders at the U.S. Army Recruiting Command in 2008 to address this concern.
Other researchers have considered measures of performance for junior enlisted soldiers inside the army; most notably, Schinnar et al. (1988) employed data envelopment analysis to develop performance indices for four specific jobs in the army based on jobknowledge tests, hands-on tests, school knowledge tests, and supervisor ratings. We employ a multiattribute decision analysis model that incorporates organizational preference to define soldier performance and collect supervisor ratings across all jobs in the army while retaining the flexibility to incorporate specific measures for specific jobs. Schinnar et al. (1988) noted that their work is exploratory and descriptive; we carry on in the same spirit within a prescriptive decision analysis framework and offer a low-cost, broadly applicable tool for regular supervisor assessment of soldier performance across all jobs in the army.
The U.S. Army does collect performance information on officers and noncommissioned officers. Currently, the Officer Evaluation Report2 only has one meaningful “block check,” in which senior raters (two levels above the rated officer) generally only categorize performance as “above center of mass” or “center of mass”; it is better than an absence of quantifiable information, but does not differentiate well. The Noncommissioned Officer Evaluation Report3 incorporates ratings in five areas (competence, physical fitness/military bearing, leadership, training, and responsibility/accountability) with four levels each and one overall rating with three levels. Although the army arguably modeled its objectives in this report, it stops short of a value model to reflect preferences over objectives. Additionally, the rating levels are relatively unclear (excellence, success, needs some improvement, and needs much improvement) and could easily be redesigned to reduce ambiguity. Both reports are subject to factors that encourage raters to inflate their ratings leading to a measure of culture rather than performance. We provide a method to address these concerns with WholeSoldier Performance.
1.2. Related Work
In business, companies have employed a “balanced scorecard” (Kaplan and Norton 1992) approach that complements traditional financial measures and translates organizational mission, vision, and strategy into an actionable “set of objectives and measures, agreed upon by all senior executives, that describe the long-term drivers of success” (Kaplan and Norton 1996, p. 76). To align employees’ individual performances with the firm’s overall strategy, “the organization’s high-level strategic objectives and measures must be translated into objectives and measures for operating units and individuals” through the use of a personal scorecard at the individual level (Kaplan and Norton 1996, p. 80). Furthermore, many companies have linked individual compensation to performance by “assigning weights to each objective and calculating incentive compensation by the extent to which each weighted objective was achieved” (Kaplan and Norton 1996, p. 82). Although Kaplan and Norton (1996) do not advocate aggregation of this nature, Keeney (2000) concluded that “decision analysis provides a logical foundation for, procedures to implement, and models to use a balanced scorecard approach.”
In this way, WholeSoldier Performance can be considered as a personal scorecard that is logically supported by a multiattribute model to communicate the organization’s vision to individual soldiers, to facilitate mentoring through goal setting and performance review, and to quantifiably support a broad class of personnel decisions.
2. WholeSoldier Performance Modeling
Value-focused thinking (VFT) is a leading philosophical approach to building value hierarchies in decisions with multiple attributes (Keeney 1992) and is underpinned by the mathematical methodology of multiple attribute decision analysis (Keeney and Raiffa 1976). The central idea of a VFT analysis under certainty is to define attributes and measures in a value hierarchy and then represent preferences with a quantitative value function.