TTQS評核的一致性

 黃 惇 勝  撰 文
2010.04.08

 TTQS(Taiwan TrainQuali System) 在台灣推動的最近三年中,評核的一致性一直是大家所關心的話題。到底什麼叫做一致性?一致性應該如何促進?目前評核委員的評核有沒有一致性?現在就讓我們來談談。 

 對TTQS評核而言,所謂一致性可包括量的一致性及質的一致性兩種。前者指各項目計分及總分的一致性;後者指各項目及綜合意見欄文字表現的一致性。量的一致性探討不能忽略計分的方式,質的一致性探討則必須探究意見內容的文義。 

 我個人認為一致性必須經由計分卡、個人、組內、組間、到區間、乃至國際間的次第展開,才能展現一致性的結構性效果。所謂計分卡的一致性,指計分卡各指標的信度;所謂個人的一致性,指評核委員個人心中的那把尺隨意改變的程度;所謂組內的一致性,指配對評核委員間計分及意見趨於一致的程度;所謂組間的一致性,指不同評核配對間計分及意見趨於一致的程度;所謂區間的一致性,指不同地區評核委員間計分及意見趨於一致的程度;所謂國際間的一致性,則指不同國家評核委員間計分及意見趨於一致的程度。 

 針對以上的概念,我個人有幸在職訓研發中心的委託下、主持98年度TTQS北區200多個評核委員配對的案例分析。我門的方法在量部份採用成對兩母體平均值t檢定,再以Wilcoxon符號等級檢定的無母數統計分析結果確認,另以單變數的ANOVA分析瞭解評核委員年資及不同版本對於一致性的影響;在質的部份主要採用KJ法文字性資料記載及處理技術,逐筆檢視意見表達的一致性。 

 分析結果在計分方面有15%的配對委員未達一致性,屬非管制狀態;85%的一致性配對委員中,有14%的各項計分幾近雷同,屬無管理状態。故真正處於管制狀態者大致為71%,剛好跨過大學研究所學生的及格門檻;在文字內容方面,配對評核委員的意見表達格式存有相當大的差距,但從文義的角度,配對評核委員在與計分、評核要素、及第23階指標連結的一致性上相對較高。最後,配對委員計分的集中趨勢是2.53分間,不同年資或不同版本對於配對委員的一致性並無顯著性差異。 

 有關上述一致性結果的要因分析,受限於評核助理的情境紀錄,我們無法判斷配對委員在計分上究竟採用「基準共識法」或「差距調節法」(黃惇勝,2008)或其他方法,乃至計分情境與上述結論的連結性。然而我個人仍對上述結果感到「雖不滿意但可接受」,因為評核委員在一致性的表現上仍可相當程度地獲得肯定,而這樣的結果也不致於限縮未來一致性的努力空間。