談TTQS評核的一致性
黃 惇 勝 撰 文
2010.04.08
TTQS(Taiwan TrainQuali System) 在台灣推動的最近三年中，評核的一致性一直是大家所關心的話題。到底什麼叫做一致性？一致性應該如何促進？目前評核委員的評核有沒有一致性？現在就讓我們來談談。
對TTQS評核而言，所謂一致性可包括量的一致性及質的一致性兩種。前者指各項目計分及總分的一致性；後者指各項目及綜合意見欄文字表現的一致性。量的一致性探討不能忽略計分的方式，質的一致性探討則必須探究意見內容的文義。
我個人認為一致性必須經由計分卡、個人、組內、組間、到區間、乃至國際間的次第展開，才能展現一致性的結構性效果。所謂計分卡的一致性，指計分卡各指標的信度；所謂個人的一致性，指評核委員個人心中的那把尺隨意改變的程度；所謂組內的一致性，指配對評核委員間計分及意見趨於一致的程度；所謂組間的一致性，指不同評核配對間計分及意見趨於一致的程度；所謂區間的一致性，指不同地區評核委員間計分及意見趨於一致的程度；所謂國際間的一致性，則指不同國家評核委員間計分及意見趨於一致的程度。
針對以上的概念，我個人有幸在職訓研發中心的委託下、主持98年度TTQS北區200多個評核委員配對的案例分析。我門的方法在量部份採用成對兩母體平均值t檢定，再以Wilcoxon符號等級檢定的無母數統計分析結果確認，另以單變數的ANOVA分析瞭解評核委員年資及不同版本對於一致性的影響；在質的部份主要採用KJ法文字性資料記載及處理技術，逐筆檢視意見表達的一致性。
分析結果在計分方面有15%的配對委員未達一致性，屬非管制狀態；85%的一致性配對委員中，有14%的各項計分幾近雷同，屬無管理状態。故真正處於管制狀態者大致為71%，剛好跨過大學研究所學生的及格門檻；在文字內容方面，配對評核委員的意見表達格式存有相當大的差距，但從文義的角度，配對評核委員在與計分、評核要素、及第2、3階指標連結的一致性上相對較高。最後，配對委員計分的集中趨勢是2.5至3分間，不同年資或不同版本對於配對委員的一致性並無顯著性差異。
有關上述一致性結果的要因分析，受限於評核助理的情境紀錄，我們無法判斷配對委員在計分上究竟採用「基準共識法」或「差距調節法」(黃惇勝，2008)或其他方法，乃至計分情境與上述結論的連結性。然而我個人仍對上述結果感到「雖不滿意但可接受」，因為評核委員在一致性的表現上仍可相當程度地獲得肯定，而這樣的結果也不致於限縮未來一致性的努力空間。