De beoordelaarsbetrouwbaarheid is een maat die aangeeft in hoeverre de beoordelingen van de beoordelaars identiek zijn na correctie voor mildheid of strengheid van de beoordelaars.
De betrouwbaarheid van een meting wordt bepaald door de mate waarin de meting ongevoelig is voor verstorende factoren (zie onder: betrouwbaarheid). Bij het beoordelen van bijvoorbeeld werkstukken, praktijkopdrachten en open vragen is het standaardiseren van de antwoordmogelijkheden meestal in maar beperkte mate mogelijk. Wanneer dan een of meer beoordelaars bij de waardering van de geleverde prestaties worden ingeschakeld, wordt daarmee ook onbedoelde variantie bij de meting geïntroduceerd. Deze onbedoelde variantie kan bijvoorbeeld voortkomen uit: inconsistentie binnen een beoordelaar zelf; gebrek aan overeenstemming tussen beoordelaars op grond van systematische verschillen tussen de beoordelaars (mildheid of strengheid); gebrek aan overeenstemming tussen de beoordelaars, afgezien van systematische verschillen.
De mate waarin deze variantiebronnen de meting niet verstoren, wordt weergegeven door respectievelijk de:
-intrabeoordelaarsovereenstemming
-(inter)beoordelaarsbetrouwbaarheid in strikte zin
-beoordelaarsovereenstemming
De formule voor het berekenen van de beoordelaarsbetrouwbaarheid luidt als volgt:
$$$ o_{}^{2} = \frac{o_{k}^{2}}{o_{k}^{2} + \frac{1}{b} (o_{kb}^{2}) } $$$
Waarin:
$$$ o_{}^{2}$$$ = beoordelaarsbetrouwbaarheid
$$$ o_{k}^{2}$$$ = variantiecomponent kandidaten
$$$o_{kb}^{2}$$$ = variantiecomponent kandidaten * beoordelaars (residu)
b = aantal beoordelaars
De variantiecomponenten kunnen geschat worden via een variantie-analyse.
