Beoordelaarsovereenstemming is een maat die aangeeft in hoeverre de beoordelingen van de beoordelaars (werkelijk) identiek zijn. De formule voor het berekenen van de beoordelaarsovereenstemming luidt als volgt:
$$$ o_{}^{2} = \frac{o_{k}^{2}}{o_{k}^{2} + \frac{1}{b} (o_{b}^{2} + o_{kb}^{2}) } $$$
Waarin:
$$$ o_{}^{2}$$$ = beoordelaarsbetrouwbaarheid
$$$ o_{k}^{2}$$$ = variantiecomponent kandidaten
$$$ o_{b}^{2} $$$= variantiecomponent beoordelaars
$$$o_{kb}^{2}$$$ = variantiecomponent kandidaten * beoordelaars (residu)
b = aantal beoordelaars
De variantiecomponenten kunnen geschat worden via een variantie-analyse.
