TIJDSCHRIFT
VOOR

ONDERWIJS
RESEARCH

Redactie:

Klaas J. Westerhof (secretaris)
Christiaan Hamaker
Bemadette van Hout Wolters
Wim J. van der Linden
Joost Lowyck
G. Wim Meijnen
Johan M.M. van der Sanden
Jaap Scheerens
Marinus J.M. Voeten

I .

VERENIGING VOOR ONDERWIJSRESEARCH

RIJKSUNIVERSITEIT TE UTRECHT

2652 329 4

TIJDSCHRIFT VOOR ONDERWIJSRESEARCH

Een drie-maandelijks tijdschrift voor onderzoekers van onderwijs, gewijd aan theoredsche,
methodologische en professionele problemen in de onderwijsresearch.

Manuscripten zende men in drievoud, getypt en persklaar aan de redacdesecretaris.
Manuscripten dienen te worden voorbereid overeenkomsdg de Aanwijzingen voor auteurs.

Abonnementsprijs: Instituten f. 192,50

Pardculieren f. 125,00
Studenten f. 102,50
De prijzen zijn inclusief porto, maar exclusief btw.

Men kan zich abonneren bij de uitgever: Swets & Zeitlinger, Heereweg 347, 2161 CA Lisse.
Voor leden van de Vereniging voor Onderwijsresearch (VOR) is het abonnementsgeld reeds
inbegrepen in de contributie. Leden van de VOR hoeven zich dan ook niet afzonderlijk te
abonneren bij de uitgever.

Losse nummers zijn (a f. 50,00) verkrijgbaar bij de uitgever.

Advertenties dienen te worden gezonden aan het adres van de uitgever. Tarieven: 1/1 f. 450,00;
1/2 f. 260,00; 1/4 f. 190,00; exclusief zetkosten.

Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt door middel van
druk, fotocopie, microfilm of op welke andere wijze ook zonder voorafgaande schriftelijke
toestemming van de uitgever.

Het Tijdschrift voor Onderwijsresearch wordt uitgegeven door de Vereniging voor Onderwijs-
research.

Tijdschrift voor Onderwijsresearch, 20 (1995), nr. 1, pp. 1-27

Van de redactie

November 1975 verscheen het eerste nummer van Tijdschrift voor Onderwijsresearch. In dat-
zelfde jaar was ook de Vereniging voor Onderwijsresearch opgericht. Een jaar eerder waren in
Amsterdam, met groot succes, de eerste Onderwijsresearchdagen gehouden. Dit waren drie
belangrijke stappen in de ontwikkeling van het onderwijsonderzoek in het Nederlandse taalge-
bied. Vrij snel zijn deze drie initiatieven in elkaar geschoven. Eind zestiger, begin zeventiger
jaren was het empirische omderzoek van het onderwijs aan de Nederlandse en Vlaamse univer-
siteiten op gang gekomen. Het waren voornamelijk toen nog jonge en beginnende onderzoekers
die - ondersteund door enkele gerenommeerde wetenschappers - via vereniging, congres en
tijdschrift een wetenschappelijk platform voor onderwijsonderzoekers hebben gecreëerd. Deze
initiatieven zijn manifestaties van (streven naar) een professionele identiteit van onderwijson-
derzoekers, ongeacht disciplinaire of interdisciplinaire oriëntatie. Binnen dit geheel heeft het
tijdschrift een belangrijke rol vervuld en nog steeds te vervullen.

Tijdschrift voor Onderwijsresearch heeft zich van meet af aan gepresenteerd als een forum
voor onderzoek van het onderwijs, waarbij met name veel aandacht werd gegeven aan methodo-
logische en onderzoekstechnische aspecten. Sinds de start in 1975 heeft het tijdschrift zich
ontwikkeld tot een publikatiemedium voor onderwijsonderzoek in het algemeen, waarbij een
grote variëteit aan inhoudelijke thematiek aan bod kan komen. In de laatste jaren is daarbij een
inhoudelijke concentratie tot stand gekomen in de vorm van themanummers.

Sinds 1975 is er veel veranderd in het land van de onderwijsonderzoekers. Naast inhoudelij-
ke ontwikkelingen in het onderzoek en in de wijzen van onderzoeken, waren er veranderingen in
onderwijsbeleid en onderwijspraktijk en veranderingen in de instituten en de samenwerkings-
verbanden waarbinnen onderzoekers functioneren. Wat het laatste betreft, is er duidelijk sprake
van een trend naar internationalisering, die mede tot uiting komt in een streven van onderwijs-
onderzoekers van verschillende landen om zich te verenigen in de vorm van internationale
verenigingen, congressen en tijdschriften. Toen ik het eerste nummer van het Tijdschrift voor
Onderwijsresearch weer eens ter hand nam, zag ik dat de eerste helft Engelstalig en de tweede
helft Nederlandstalig was. Dat heeft zich niet over alle nummers voortgezet, maar ook nu nog
kan men Engelstalige naast Nederlandstalige artikelen en themanummers aantreffen. In verge-
lijking met de situatie in 1975 zijn Nederlandse en Vlaamse onderwijsonderzoekers meer gaan
publiceren in internationale tijdschriften. Dat is ongetwijfeld een goede ontwikkeling, maar het
neemt niet weg dat er nog steeds een eigen plaats en taak is voor een publikatiemedium dat door
de Nederlandstalige onderwijsresearchwereld wordt gedragen.

Deze korte terugblik op twee decennia onderwijsresearch is vooral ingegeven door het feil
dat per 1 januari 1995 een van de belangrijkste hoofdrolspelers afscheid heeft genomen van de
redactie. Het is moeilijk om hem uit TOR weg te denken, maar Bert Creemers heeft de redactie
verlaten. Zijn vele activiteiten ten behoeve van de onderwijsresearch, waaronder het redigeren
van internationale tijdschriften, hebben hem doen besluiten zijn werk voor TOR nu te beëindi-
gen. In de totstandkoming en ontwikkeling van het tijdschrift heeft Bert Creemers een zeer grote
rol gespeeld. Hij behoorde tot de oprichters, hij was de initiator. Vanaf het begin is hij lid
geweest van de redactie, een aantal jaren als voorzitter. Tien jaar lang, van 1984 tot en met 1994,
heeft Bert het werk van redactiesecretaris gedaan. Als redactie danken wij hem voor zijn grote
inzet en enthousiasme en voor de prettige wijze waarop wij met hem hebben kunnen samenwer-
ken. De onderwijsonderzoekers in Nederland en Vlaanderen zijn hem veel dank verschuldigd.

Het redactiesecretariaat blijft in Groningen. Bert wordt als redactiesecretaris opgevolgd door
Klaas Westerhof. Hij mag beginnen met een ruime erfenis van themanummers en manuscripten
die nog onder verantwoordelijkheid van Bert Creemers tot stand zijn gekomen.

Met Bert Creemers heeft ook Annelies Weersing de redactie verlaten. Vanaf 1984 heeft zij
Bert bijgestaan in zijn taken als redactiesecretaris en verzorgde zij de notulen van de redactie-
vergaderingen. De redactie wil graag haar grote waardering uitspreken voor de wijze waarop

2 Van de redactie

Annelies in de afgelopen tien jaar het secretariaat van de redactie heeft beheerd. Het was heel
plezierig met haar samen te werken. Wij wensen haar veel succes met de organisatie van de
ORD'95 in Groningen. Verder heeft de redactie per 1 januari 1995 ook afscheid genomen van
Leo van der Kamp als redactielid. Zijn fakkel is overgenomen door Wim van der Linden. Leo
maakte sinds november 1984 deel uit van de redactie. Zijn vertrek verhindert niet dat wij er nog
steeds van uitgaan ook in de toekomst gebruik te kunnen maken van zijn zeer gewaardeerde
bijdragen tot de beoordeling van manuscripten.

Een wetenschappelijk tijdschrift wordt gedragen door auteurs die hun werk aan het tijdschrift
aanbieden en door collega's van deze auteurs die het aangeboden werk beoordelen en van
commentaar voorzien. In de nu bijna twintigjarige geschiedenis van het tijdschrift heeft de
redactie met vele auteurs en vele beoordelaars mogen werken. Wij zijn hen dankbaar voor hun
bijdragen. De redactie doet haar best om alle ingezonden manuscripten op een billijke wijze te
behandelen en om daarbij zo goed mogelijk gebruik te maken van de in het Nederlandse taalge-
bied aanwezige expertise. Wij willen u allen aanmoedigen om manuscripten aan ons in te
zenden of voorstellen te doen voor themanummers. De redactie wil graag artikelen ontvangen
die interessant zijn voor een brede doorsnee van de onderwijsonderzoekers en die een bijdrage
leveren aan de voortgang van het onderwijsonderzoek. De redactie vertrouwt erop dat vanuit
alle divisies van de Vereniging voor Onderwijsresearch onderzoekers willen meewerken aan de
continuering en verdere uitbouw van een onderzoekstraditie die weliswaar nog jong is, maar
waar Bert Creemers en wij toch al een beetje trots op beginnen te worden.

Rinus Voeten

Tijdschrift voor Onderwijsresearch, 20 (1995), nr. 1, pp. 3-12

Themanummer: Evaluatie van het basisonderwijs
De evaluatie van het basisonderwijs door de CEB^

Frans J.G. Janssens
Inspectie van het Onderwijs^

ABSTRACT

In 1992 the Netherlands' Inspectorate of Education appointed a temporary coinmittee (CEB) to
evaluate primary education. This evaluation had to be completed within two years. This paper
describes the approach and working methods adopted by the CEB and examines certain aspects of
the CEB's methodology, such as the development of evaluation criteria, the collection of data and
the consultation of experts and others involved in the education sector.

The rationale underlying the choice of quality criteria for the evaluation is a definition of 'good'
primary education. The CEB devised frameworks for the evaluation on the basis of this definition:
sets of criteria and standards. These frameworks were used to describe and assess the state of
education.

The absence of sufficient up-to-date information that was both relevant and methodologically sound,
posed a great problem. The CEB regarded it as inadmissible to omit certain important aspects of
primary education from the evaluation only on the grounds that too little data were available. It
therefore opted to commission research studies. In order to forestall such problems arising during
future large-scale evaluations, the CEB recommend that an evaluation plan, including an evaluation
framework, be drawn up at a very early stage. On the basis of this plan, a multiyear research and data
collection programme should be drawn up.

1. INLEIDING

In 1991 heeft de toenmalige staatssecretaris van O. en W., drs J. Wallage, de inspecde van het
onderwijs de opdracht gegeven een tijdelijke commissie te installeren die tot taak kreeg het
basisonclerwijs te evalueren. Het doel van de evaluade was, zo formuleerde de staatssecretaris:
inzicht krijgen in de feitelijke ontwikkelingen in het basisonderwijs, voor zover deze betrekking
hebben op de kerntaken. Aan de commissie is bovendien gevraagd waar mogelijk een oordeel te
geven over het niveau en de kwaliteit van het onderwijs en de leerresultaten. In het verlengde
hiervan is de commissie verzocht aanbevelingen te doen over de wijze waarop en de richdng
waarin het basisonderwijs in de toekomst verbeterd kan worden (zie Plan voor de evaluatie van
het basisonderwijs: CEB, 1992). Eind 1991 zijn de werkzaamheden van de Commissie Evalua-
tie Basisonderwijs (CEB) gestart. De afronding van de evaluatie vond, zoals was voorzien, eind
1993 plaats.

Voorliggend artikel beschrijft de aanpak en werkwijze van de CEB. Paragraaf 2 behandelt de
aanleiding tot deze evaluatie en de randvoorwaarden waarbinnen de opdracht uitgevoerd moest
worden. Paragraaf 3 gaat in op de werkwijze van de CEB en paragraaf 4 op de onafhankelijkheid
van deze commissie. In paragraaf 5 wordt een aantal methodologische aspecten van de gekozen
evaluatie-aanpak behandeld, zoals de ontwikkeling van evaluadecriteria, de wijze van gege-

1. Bewerking van een lezing ten behoeve van de Algemene Ledenvergadering van de VOR-divisie Metho-
dologie & Evaluatie, Arnhem, 23 maart 1994.

2. Adres: Kantoor Inspectieleiding, Postbus 134, 3454 ZJ De Meern.

4 F.J.G. Janssens

vensverzameling en de raadpleging van experts en bij het onderwijs betrokkenen. In paragraaf 6
worden tot slot enkele kanttekeningen gemaakt bij de uitvoering van de evaluatie, welke van
belang kunnen zijn voor eventuele volgende evaluaties.

2. AANLEIDING EN RANDVOORWAARDEN

Bij de inwerkingtreding van de wet op het basisonderwijs (WBO) in 1985 is aangekondigd dat
de voortgang van de ontwikkeling van het basisonderwijs nauwlettend zou worden gevolgd.
Gedacht werd aan een systematische evaluatie, die om de driejaar zou plaatsvinden. Het eerste
evaluatiemoment lag dan ook in 1988. Deze lijn doortrekkend zou een volgende evaluatie
gebaseerd moeten zijn op de stand van zaken in 1991. Hierin is echter vertraging opgetreden.
Zowel de kabinetswisseling in 1990 als het grote aantal kritische kanttekeningen bij de eerste
evaluatie hebben ertoe geleid, dat de resultaten ervan pas in januari 1991 met de Tweede Kamer
konden worden besproken, aan de hand van de nota 'Zo hard gelopen en toch nog zo ver te
gaan'.

De belangrijkste kritiek van de zijde van de Tweede Kamer op deze nota betrof de wijze van
evalueren. De evaluatie was uitgevoerd door het Ministerie van Onderwijs en Wetenschappen,
wat vragen opriep over de objectiviteit ervan. Voor het uitvoeren van een volgende evaluatie
werd dan ook door de Kamer gepleit voor een onafhankelijke externe commissie van deskundi-
gen die minder nauw betrokken zijn geweest bij het tot stand komen van de WBO en het
basisonderwijs. Bovendien moest een substantiële inbreng van alle onderwijsbetrokkenen gega-
randeerd worden. Verder zou een evaluatieplan moeten worden opgesteld.

Een ander punt van kritiek betrof het doel en de inhoud van de eerste evaluatie. Naar het
oordeel van velen was die te veelomvattend, te veel gericht op het gevoerde beleid respectieve-
lijk de wet en te weinig op de onderwijspraktijk. Daarom werd gepleit voor een systematische
evaluatie van de feitelijke ontwikkelingen in het basisonderwijs, waarbij men zich zou moeten
beperken tot enkele kernproblemen.

De suggesties van de Tweede Kamer, eveneens verwoord in de opdrachtformulering van de
staatssecretaris (zie daarvoor: Plan voor de evaluade van het Basisonderwijs; CEB, 1992), zijn
richtinggevend geweest bij de opzet van de recente evaluatie. Naast het verzoek internationale
expertise in te schakelen en gebruik te maken van over het basisonderwijs beschikbare onder-
zoeksgegevens, zijn ook de volgende voorwaarden van belang;

1. De evaluatiecommissie moest onafhankelijk zijn

De onafhankelijkheid werd volgens de staatssecretaris gegarandeerd door de instelling van
een tijdelijke commissie, onder leiding van de Inspectie van het onderwijs. Bovendien zou
deze Commissie Evaluatie Basisonderwijs (CEB) samengesteld moeten zijn uit onafhanke-
lijke deskundigen die geen directe betrokkenheid hebben (gehad) met de beleidsontwikke-
ling en -uitvoering op het terrein van het basisonderwijs. In de CEB hebben, onder voorzit-
terschap van de Inspecteur-generaal van het onderwijs, A.J.C. Stekelenburg, zitting genomen
de hoogleraren B.P.M. Creemers, mw L. Eldering, A. van der Leij, W.J. van der Linden en J.
Scheerens.

2. Het onderwijsveld moest hij de evaluatie worden betrokken

Om een substantiële inbreng te garanderen van betrokkenen bij het basisonderwijs heeft de
CEB diverse groeperingen geraadpleegd over zowel de evaluatievragen als de gehanteerde
criteria en de bereikte resultaten (zie ook par. 5.4).

De betrokkenheid van de onderwijsvakorganisaties, de besturenorganisaties en de ouderor-
ganisaties is belichaamd in een begeleidingscommissie van de Centrale Commissie voor
Onderwijsoverleg (CCOO), die het hele traject heeft gevolgd, van planopstelling tot rappor-
tage.

Evaluatie basisonderwijs 5

3. De evaluatie moest betrekking hebben op de feitelijke ontwikkelingen op het gebied van de
kernproblemen in het basisonderwijs

De inhoudelijke suggesties van de Tweede Kamer naar aanleiding van de eerste evaluade van
het basisonderwijs bevatten twee elementen: 'feitelijke ontwikkelingen' en 'kernproblemen
van het basisonderwijs'. Dit is gehonoreerd door deze evaluatie op te zetten als een waarde-
rende beschrijving van de toestand van het basisonderwijs toegespitst op de door de staatsse-
cretaris geformuleerde centrale vragen. Deze luiden: Hoe staat het ervoor met betrekking tot
de volgende aandachtsgebieden:

1. de inhoud en opbrengsten van het onderwijs?

2. onderwijs-op-maat?,

3. het onderwijs aan jonge kinderen?

4. het onderwijs gericht op een multiculturele samenleving?

Deze aandachtsgebieden zijn in vier afzonderlijke deelrapporten uitgewerkt. Daarnaast is
nog een eindrapport geproduceerd 'Zicht op kwaliteit', waarin de conclusies uit de deelrap-
porten opnieuw gepresenteerd zijn en in een onderling verband zijn gebracht. Verder zijn er
aanbevelingen gedaan voor verbetering van het basisonderwijs.

3. WERKWIJZE

In de CEB is materiedeskundigheid aangezocht op het gebied van de door de staatssecretaris
aangereikte centrale evaluatievragen, alsmede experdse op het gebied van onderwijsevaluatie,
evaluatie-onderzoek in het algemeen en internationaal vergelijkend onderzoek. Doordat de CEB
onder voorzitterschap stond van de Inspecteur-generaal, kon bovendien specifieke (veld)kennis
en ervaring van de Inspecde van het onderwijs worden ingebracht. Het gaat hierbij om zowel de
inhoudelijke materiedeskundigheid ten aanzien van de vier aandachtsgebieden als om de kennis
van het funcdoneren van scholen.

De CEB als geheel is verantwoordelijk voor de opzet en uitvoering van de evaluatie, alsmede
voor de daaruit voortvloeiende rapporten. Daarnaast zijn de onderscheiden leden van de CEB,
op basis van hun specifieke experdse, verantwoordelijk voor het totstandbrengen van een of
meer deelrapporten.

Ten behoeve van de inhoudelijke, organisatorische en administratieve ondersteuning van de
CEB is door de inspecde een secretariaat geïnstalleerd, dat onder andere bestond uit inspecteurs
die deskundig zijn op de onderscheiden aandachtsgebieden.

De CEB heeft haar werkzaamheden verricht op basis van een, op het eerder genoemde
evaluatieplan gebaseerd, operationeel werkplan. In grote lijnen is dit werkplan voor de onder-
scheiden aandachtsgebieden op de volgende stappen gebaseerd:

I Verrichten van literatuuronderzoek met het oog op enerzijds het formuleren van de criteria
waarlangs wordt geëvalueerd en anderzijds het opsporen van bruikbare evaluatiegegevens;

2. Formuleren van evaluatiecriteria (waarderingskader);

3. - Verzamelen van bestaande gegevens en beoordelen op kwaliteit en bruikbaarheid;
- Uit laten voeren van onderzoek om nieuwe/aanvullende gegevens te verzamelen;

4. Opstellen van een normering om te kunnen vaststellen in welke mate aan de evaluatiecriteria
is voldaan;

5. Opstellen van de rapportage.

4. ONAFHANKELIJKHEID VAN DE CEB

Op verzoek van de Tweede Kamer en de verantwoordelijke bewindslieden is de Evaluatie van
het basisonderwijs uitgevoerd door een onafhankelijke commissie van de Inspectie van het
Onderwijs.

De onafhankelijkheid van de CEB komt tot uitdrukking in het feit, dat:

6 F.J.G. Janssens

1. de evaluatiecriteria zijn gebaseerd op opvattingen over de intrinsieke kwaliteit van het basis-
onderwijs;

2. de oordelen van de CEB niet ontleend zijn aan opinies van bij het basisonderwijs betrokke-
nen of die van beleidsverantwoordelijken, maar voortvloeien uit het perspecdef van waaruit
de Inspecde evalueert, nl. het algemeen belang.

Dit stemt overeen met de opvatdngen van de Commissie Programma-evaluatie, zoals verwoord
in het slotdocument (Laros, 1992, p. 105): 'Onafhankelijke evaluade houdt in dat getracht wordt
criteria af te leiden uit de intrinsieke doelstellingen van een program en uit het mandaat van de
beleidsmaker, en dat criteria niet op gezag worden aanvaard. (....) Het onafhankelijkheidscrite-
rium houdt in dat een weliswaar feilbare, maar getrouwe poging wordt ondernomen te oordelen
vanuit het gezichtspunt van de staatsburger (niet te verwarren met de consument van het pro-
gram) die de beleidsmaker een bepaald mandaat (bijvoorbeeld de zorg voor de kwaliteit van het
onderwijs) heeft verstrekt'.

De Inspectie van het onderwijs is een onder de eindverantwoordelijkheid van de minister
opererend orgaan, onder andere belast met de waarneming en de beoordeling van de toestand
van het onderwijs. De inspectie kent een grote onafhankelijkheid in relatie tot de Minister van
Onderwijs en Wetenschappen en het departement, dat wil zeggen dat de inspecde zelfstandig en
onder eigen verantwoordelijkheid werkt en rapporteert. De inspecde is in staat de toestand van
het onderwijs te evalueren, omdat zij niet deelneemt aan en mede-verantwoordelijk is voor de
formulering van het overheidsbeleid. Immers, wanneer dat wel het geval zou zijn, is er sprake
van twee onverenigbare acdviteiten: beleid maken en de effecten van datzelfde beleid evalue-
ren.

De rapportages die de inspectie gevraagd en ongevraagd uitbrengt zijn openbaar. Bovendien
is de inspecde verantwoordelijk voor het jaarlijks uit te brengen onderwijsverslag. Ook daarin
komt de onafhankelijkheid van de inspecde tot uitdrukking.

5. EVALUATIE-AANPAK

5.1- Begrippenkader

Wetenschappelijk onderzoek en evaluatie hebben veel gemeenschappelijk, met name de syste-
madsche gegevensverzameling, maar verschillen op één belangrijk punt van elkaar: onderzoek
is vooral gericht op uitbreiding van generaliseerbare kennis met het oog op theorievorming (zie
bijv. Wolf, 1990, p. lO-11; Worthen & Sanders, 1987, p. 26 e.v). Bij evaluade gaat het om een
oordeel over de waarde van 'iets'. Daarvoor zijn enerzijds criteria nodig, waarlangs kan worden
vastgesteld of het object van evaluatie is gerealiseerd. Anderzijds zijn er normen nodig om vast
te kunnen stellen of en in welke mate aan die criteria wordt voldaan. Criteria en normen zijn een
eerste noodzakelijke voorwaarde voor een goede evaluade (De Groot, 1986; Scheerens, 1983;
Van den Berg, 1987; Corporaal, Janssens, Sandbergen & Zwarts, 1992; Van den Berg, Hoeben
& Van der Werf, 1993).

5.7.7. Kwaliteitscriteria

Een van de belangrijkste onderdelen van een evaluatie is de vaststelling van de criteria waaraan
het te evalueren object moet voldoen, wil er sprake zijn van voldoende kwaliteit. Voor het
typeren van de kenmerken van en kwalificaties voor te evalueren objecten zijn verschillende
begrippen in omloop: criteria, standaarden, maatstaven en normen (zie bijv. Creemers, Hoeben,
Peschar & Snippe, 1993; Janssens & Zwarts, 1993). Het onderscheid tussen kenmerken en
kwalificaties wordt vaak impliciet gelaten. Zo hanteert bijvoorbeeld het Nederlands Normalisa-
de-insdtuut uitsluitend het begrip 'norm' als 'kenmerk inclusief kwalificatie'. Bovendien wor-
den de bovengenoemde termen vaak door elkaar gebruikt. Dezelfde termen worden gebruikt om
zowel de lat waarmee gemeten wordt als de onderscheidingen die op die lat worden gemaakt,
aan te duiden. Omdat het gebruik van de bedoelde termen, noch taalkundig noch wetenschappe-

Evaluatie basisonderwijs 7

lijk gezien, eenduidig is, heeft de CEB twee begrippen gekozen: 'kwaliteitscriterium' om de
kritische componenten van het object van kwaliteit te definiëren en 'norm' om de mate waarin
de kwaliteitscriteria in de onderwijspraktijk worden gerealiseerd van een kwalificatie te voor-
zien (Janssens & Zwarts, 1993).

Meestal is het niet mogelijk rechtstreeks de realisatie van een kwaliteitscriterium vast te
stellen. Daarvoor heeft de CEB gebruik gemaakt van 'kwaliteitskenmerken' die aangeven welke
aspecten essentieel zijn voor de realisering van een kwaliteitscriterium. Deze kwaliteitskenmer-
ken zijn te beschouwen als de factoren die de kwaliteitscriteria operationaliseren. De relatie
tussen object van evaluatie, kwaliteitscriteria en -kenmerken, kan worden weergegeven als een
hiërarchische conceptuele structuur, die steeds verder wordt uitgewerkt. Een voorbeeld kan dit
wellicht verduidelijken; bij de evaluatie van de inhoud en opbrengsten van het basisonderwijs
heeft één van de kwaliteitscriteria betrekking op de schoolorganisatie en het pedagogisch kli-
maat: de schoolorganisatie en het pedagogisch-didacdsch klimaat van de school zijn gunstig
voor de bevordering van het onderwijsleerproces. Dit kwaliteitscriterium is uiteengelegd in drie
kwaliteitskenmerken:

- Er is een duidelijk consistent en coherent schoolbeleid ten aanzien van de pedagogisch-
didactische aanpak;

- De school en de schoolomgeving bieden de leerlingen een ordelijk en veilig klimaat;

- Er is een goede relatie tussen de school en de ouders/verzorgers, het voortgezet onderwijs en
met externe instanties.

De realisatie van elk van deze kenmerken is vervolgens verder uiteengelegd in subkenmerken
en gemeten met behulp van meerdere variabelen.

5.7.2. Normen

Normen geven de beslissingsregels en de kwalificaties voor de mate waarin aan kwaliteitscrite-
ria wordt voldaan. Er zijn verschillende soorten normen, die op verschillende manieren gebruikt
kunnen worden. Het gebruik hangt vooral af van de evaluatievraag. Bij internationaal evaluatie-
onderzoek, zoals bijvoorbeeld uitgevoerd door de lEA, worden landen onderling met elkaar
vergeleken. In dat geval worden relatieve normen gehanteerd, waarbij een kwalificatie wordt
toegekend aan de positie in een verdeling.

De evaluatie van het basisonderwijs is echter gericht op het beoordelen van de intrinsieke
kwaliteit van een complete sector van het onderwijssysteem. In dat geval ligt het hanteren van
absolute normen voor de hand. Dit houdt in dat kwalificaties worden toegekend op basis van een
inhoudelijke redenering over de male waarin bepaalde kwaliteitscriteria gerealiseerd zouden
moeten zijn. De sterke kant van een dergelijke wijze van normeren is het expliciete karakter van
de basis waarop is genormeerd. De zwakke kant van absoluut normeren is dat het tot op zekere
hoogte een arbitraire kwestie blijft. Vooral hel bepalen van de cesuur is en blijft 'mensenwerk'.
Over het algemeen heeft de CEB drie kwalificaties gebruikt: 'onvoldoende' als de kwaliteit
onder de maat is en er dus aanleiding is om actie te ondernemen, 'matig' als er twijfel is over de
kwaliteit en 'voldoende' als de kwaliteit goed is en er geen reden is om acde te ondernemen. Bij
het bepalen van de cesuur (= grens tussen onvoldoende en madg) is door de CEB de volgende
werkwijze toegepast. De normen zijn gebaseerd op een beredeneerde keuze uit de (gewogen)
geoperationaliseerde kenmerken van een kwaliteitscriterium. Daarbij is rekening gehouden met
relevante informatie uit andere bronnen, zoals empirische gegevens, expertise van de inspecde,
informatie uit raadplegingen, e.d.

Bij het opstellen van normen is de CEB uitgegaan van de minimale eisen die aan de realise-
ring van de kwaliteitscriteria gesteld kunnen worden, omdat het van belang is in ieder geval te
kunnen vaststellen of het onderwijs op een acceptabel niveau wordt gerealiseerd en georgani-
seerd. Uilgaan van het hoogste bereikbare niveau levert het probleem op dat in de praktijk deze
hoge normen in veel gevallen niet (voor alle kwaliteitscriteria) worden bereikt, waardoor de
beeldvorming over het onderwijs (onbedoeld) negatief beïnvloed wordt.

8 F.J.G. Janssens

5.2. Ontwikkeling van waarderingskaders

De selectie van kwaliteitscriteria is geen eenvoudige zaak, omdat deze geen objecdef gegeven
zijn, maar beredeneerd gekozen worden. Bij die keuze spelen het perspectief van waaruit geëva-
lueerd wordt en de belangen die in het spel zijn, een grote rol. Als radonale voor de keuze van
kwaliteitscriteria voor de evaluatie van het basisonderwijs gold een omschrijving van 'goed'
onderwijs. De CEB meent dat goed basisonderwijs bepaald wordt door (zie CEB, 1992):

1. een leer- en vormingsaanbod

- dat maatschappelijk relevant is en aangepast is aan de eisen die daaraan thans gesteld
moeten worden;

- dat vervat is in onderwijskundig verantwoord onderwijsleermateriaal;

- waarvoor voldoende tijd om te leren wordt geboden;

2. hoge opbrengsten die op een efficiënte wijze zijn verkregen;

3. gunsdge omstandigheden op het gebied van instructie, schoolorganisade en pedagogisch
klimaat;

4. gunsdge omstandigheden op het gebied van

- onderwijswetgeving, onderwijsbeleid en financiële middelen;

- materiële voorzieningen;

- leraarpopulade.

De mate waarin scholen beoogde opvoedingsdoelen realiseren komt in deze evaluade niet
expliciet aan de orde. Specifieke opvoedingsdoelen behoren immers niet tot het domein van de
regelgevende overheid. De formulering van de algemene doelen van het basisonderwijs in de
WBO sluiten echter wel opvoedingsdoelen in. Deze algemene doelen maken onderdeel uit van
de evaluade. Datzelfde geldt voor de beschrijving en beoordeling van het pedagogisch klimaat.
Ook in het pedagogisch klimaat liggen opvoedingsdoelen besloten.

De CEB heeft waarderingskaders voor de vier aandachtsgebieden ontwikkeld op basis van
bovengenoemde omschrijving van goed basisonderwijs. Onder 'waarderingskader' verstaat de
CEB een set van kwaliteitscriteria en -kenmerken met bijbehorende normen voor een bepaald
aandachtsgebied. Deze kaders zijn gebruikt om voor ieder aandachtsgebied de toestand van het
onderwijs te beschrijven en te waarderen.

Uitgangspunt bij het formuleren van kwaliteitscriteria respecdevelijk kwaliteitskenmerken en
bij het vaststellen van de normen is de intrinsieke kwaliteit van het basisonderwijs: wat wordt
het basisonderwijs geacht op te leveren. Vanwege het kaderstellende karakter van de WBO en
de verdere beleidsuitwerking daarvan lag het primaat bij het perspecdef van de wetgever. Deze
wet bevat immers de eisen waaraan basisscholen moeten voldoen, wil er sprake zijn van de
realisering van goed onderwijs.

Bij de verdere uitwerking van de waarderingskaders heeft de Commissie zich laten leiden
door twee andere perspecdeven: dat van de wetenschap en dat van de direct bij het onderwijs
betrokkenen. De kwaliteitscriteria zijn mede gebaseerd op de uitkomsten van wetenschappelijk
onderzoek naar factoren die wel of juist niet bevorderiijk zijn voor goed onderwijs. En ten slotte
zijn ook de opvatdngen over goed basisonderwijs van onderwijsgevenden, schoolbesturen,
ouders en andere betrokkenen van invloed geweest.

De waarderingskaders zijn tot stand gekomen op basis van een conceptuele analyse van de
kwaliteitsbepalende factoren van de onderscheiden aandachtsgebieden. Ten behoeve van de
nadere specificering en nuancering van de waarderingskaders is, vaak heen en weer gaand,
gebruik gemaakt van wetenschappelijke kennis, wet- en regelgeving, expertise van de inspectie
en andere deskundigen. Voorts zijn deze kaders ter validering en legidmering voorgelegd aan
verschillende deskundigen en vertegenwoordigers van belangengroeperingen (zie par. 5.4).

5.3. Gegevensverzameling

De Commissie heeft zo veel mogelijk gebruik gemaakt van reeds beschikbare onderzoeksgege-
vens over de toestand van het Nederlandse basisonderwijs. Zij is daarbij al snel gestuit op het
probleem, dat voor een vrij groot aantal onderdelen van de evaluatie onvoldoende recente

Evaluatie basisonderwijs 9

onderzoeksresultaten beschikbaar waren. Deze bleken noodzakelijk om tot gefundeerde uitspra-
ken te komen. Aanvullende gegevens waren dus nodig.

5.3.1. Criteria voor selectie van onderzoeksgegevens

Richtinggevend voor het opsporen van bruikbaar bestaand onderzoeksmateriaal waren:

1. de bij de opdrachtformulering van de staatssecretaris vermelde centrale vragen bij de vier
aandachtsgebieden (zie CEB, 1992);

2. de omschrijving van goed onderwijs, zoals uitgewerkt in het evaluatieplan;

3. de onderscheiden waarderingskaders.

Aan de selectie van het onderzoeksmateriaal lagen de volgende criteria ten grondslag:

1. Relevantie

Het onderzoek moest betrekking hebben op de feitelijke toestand van het onderwijs en niet
langer dan 5 a 6 jaar geleden gepubliceerd zijn.

2. Kwaliteit

Het onderzoek moest voldoen aan de gebruikelijke eisen van betrouwbaarheid en validiteit.

5.3.2. Ontbrekende informatie

De CEB constateerde dat op verschillende terreinen onvoldoende bruikbare onderzoeksgege-
vens beschikbaar waren, waardoor de mogelijkheid tot gefundeerd oordelen over de toestand
van het basisonderwijs ernstig werd bedreigd. De belangrijkste hiaten betreffen:

Aanbod

Er was onvoldoende materiaal voorhanden op basis waarvan uitspraken gedaan konden worden
over wat leerlingen feitelijk op de basisschool onderwezen werd. Dit gold zowel voor het
onderwijsaanbod in de gangbare onderwijsmethoden, als voor het feitelijke realisering van het
aanbod in de onderwijspraktijk.

Er waren wel verschillende publikaties beschikbaar waarin, vooral recente, methodes werden
beoordeeld, maar deze beoordelingen kenden geen uniforme systematiek. Bovendien stemden
de beoordelingscriteria vaak niet overeen met de criteria die in CEB-verband zijn aangelegd om
het aanbod te beoordelen. De CEB-criteria hadden betrekking op: de overeenstemming met de
kerndoelen, de onderwijskundige kwaliteit en het eigentijdse karakter (zie CEB, 1994).

Ook het bestaande onderzoek naar de implementatie van curricula bleek niet geschikt om het
vigerende aanbod in het basisonderwijs te beschrijven en te beoordelen.
Het onderzoek naar het vigerende aanbod dat in PPON-verband is uitgevoerd, bleek niet vrij van
methodologische problemen (zie Harskamp & Suhre, 1993).

Onderwijs-op-maat

Over twee belangrijke onderdelen van onderwijs-op-maat bleken eveneens in onvoldoende
mate onderzoeksgegevens beschikbaar: differentiatie en zorgverbreding. Het onderzoek naar
'differentiatie' bleek grotendeels betrekking te hebben op de situatie voor de start van het
basisonderwijs (zie Stokking, 1991), terwijl er naar essentiële onderdelen van de zorgverbre-
dingsproblematiek praktisch geen grootschalig onderzoek gedaan was.

Pedagogisch klimaat

Ook over dit aspect van het basisonderwijs bleken onvoldoende recente gegevens beschikbaar,
zoals over de pedagogische visie en doelstellingen, het pedagogisch handelen en de fysieke
omgeving.

Onderwijs aan jonge kinderen

In bovenstaande gevallen ging het om ontbrekend materiaal over belangrijke aspecten van een
of meer aandachtsgebieden. Ten aanzien van het aandachtsgebied 'Onderwijs aan jonge kinde-
ren' bleek dat over de gehele linie de nodige empirische gegevens ontbraken. Dit betrof zowel
het aanbod, het onderwijsproces als de opbrengsten van het onderwijs aan 4 tot 8 jarigen.

10 F.J.G. Janssens

Procesgegevens

De CEB wenste ook het onderwijsproces en de organisatie van het basisonderwijs te beoorde-
len. Over belangrijke aspecten daarvan (bijv. het didactisch handelen, het schoolbeleid en de
relatie school-omgeving) bleken eveneens belangrijke recente gegevens te ontbreken.

Al vrij snel besloot de CEB naar bovenstaande onderwerpen nieuw of aanvullend onderzoek
te laten uitvoeren (zie tabel 1). Een deel van het onderzoek is via de SVO door verschillende
onderzoeksinstituten uitgevoerd, al dan niet in samenwerking met de inspectie. Een deel is
geheel uitgevoerd door de inspectie zelve.

5.4. Raadplegingen

De CEB heeft om uiteenlopende redenen in verschillende fasen van de evaluatie ruim 260
personen geraadpleegd. Het betrof hier raadplegingen die tot doel hadden:

1. gegevens ten behoeve van de evaluatie te verzamelen;

2. de evaluatie-aanpak te valideren en/of te legitimeren;

3. het verwerven van een draagvlak in de kring van betrokkenen en belanghebbenden.

De inspectie heeft samen met de CEB in twee fasen een groot aantal personen uit scholen voor
basisonderwijs, speciaal onderwijs en voortgezet onderwijs geraadpleegd: directieleden, leraren
en bestuursleden.

Voorts zijn in overleg met de Vereniging van Onderwijsbegeleidingsdiensten (WPRO) en de
directies van de landelijke pedagogische centra vertegenwoordigers aangewezen, die op per-
soonlijke titel hebben deelgenomen aan raadplegingen. Ditzelfde geldt voor het Instituut voor
Toetsontwikkeling (Cito) en het Instituut voor Leerplanontwikkeling (SLO).

De speciale plaats van de ouders is gehonoreerd door aan de ouderorganisaties te vragen
personen voor de raadplegingen aan te wijzen.

Verder zijn over specifieke onderwerpen besprekingen gevoerd met vertegenwoordigers van
de Landelijke Advies- en Overlegstructuur Minderhedenbeleid (LAO), allochtone ouders, lera-
ren die onderwijs in de eigen taal (en cultuur) verzorgen, inspecteurs, vertegenwoordigers van
de vroegere zorgverbredingsprojecten en specifieke deskundigen.

De gevolgde werkwijze, de gehanteerde waarderingskaders en de voorlopige uitkomsten van
de evaluatie zijn voorgelegd aan een forum van buitenlandse deskundigen.

De eerste raadplegingen in 1992 gingen over het gekozen evaluatieperspectief. Op grond
hiervan is het operationele werkplan van de CEB op een aantal punten gewijzigd. Zo is meer
aandacht geschonken aan niet-cognitieve aspecten van het leer- en vormingsaanbod en is het
pedagogisch klimaat expliciet opgenomen in de definitie van goed basisonderwijs. Ook de
deskundigheid van leraren en de rol van de ouders zijn meer nadrukkelijk bij de evaluatie
betrokken. Datzelfde geldt voor de aandacht voor hoogbegaafde leerlingen, de zorgverbredings-
projecten en het ononderbroken ontwikkelingsproces.

De tweede serie raadplegingen, uitgevoerd in 1993, was gericht op de voorlopige uitkomsten
van de evaluatie. De algemene tendens van deze raadplegingen was tweeledig. In de eerste
plaats werden de conclusies van de Commissie onderschreven; volgens een overgrote meerder-

Evaluatie basisonderwijs 11

heid van de betrokkenen geven deze conclusies een juist beeld van de kwaliteit van het basison-
derwijs op dit moment. Maar daarnaast werd het als een belangrijke omissie gezien, dat de
rapportages geen verklaring gaven van de huidige toestand van het basisonderwijs. Op onderde-
len nuanceerden de deelnemers aan de raadplegingen dc conclusies van de Commissie. Deze
opmerkingen en suggesties hebben de Commissie extra aanleiding gegeven de rapporten aan te
vullen met een verklaring van de situatie waarin het basisonderwijs verkeerde.

6. BESLUIT

De beschikbaarheid van voldoende actuele, relevante en methodologisch verantwoorde infor-
matie vormde een groot probleem voor de CEB. De commissie achtte het niet aanvaardbaar om
belangrijke aspecten van het basisonderwijs in de evaluade onbesproken te laten, omdat daar-
voor geen (voldoende) gegevens beschikbaar waren. De CEB heeft er toen voor gekozen onder-
zoek uit te zetten om deze lacunes aan te vullen. Er moest in een kort tijdsbestek (de evaluade
had een looptijd van twee jaar) nog het nodige onderzoek worden uitgezet. Het gevolg hiervan
was dat bepaalde onderzoeken onder druk van deze tijdlimiet beperkt van opzet moesten zijn.

Om dergelijke problemen bij toekomstige grootschalige evaluaties te ondervangen, heeft de
CEB in het eindrapport een aanbeveling opgenomen waarin wordt gepleit reeds aan het begin
van de volgende evaluatieperiode een beknopt evaluatieplan, inclusief een waarderingskader,
samen te stellen. Vervolgens zou op basis van dit plan een meerjarige programmering van
onderzoek en gegevensverzameling tot stand moeten komen. Concreet betekent dit afstemming
van onderzoek, gegevensverzameling en evaluatie door de inspectie en periodieke peilingen van
het onderwijsniveau door het Cito. Ook is afstemming gewenst met andere evaluatie-activitei-
ten, zoals de Landelijke Evaluatie van het Onderwijsvoorrangsbeleid en de landelijke Stuur-
groep Evaluatie Weer Samen Naar School.

Naast periodieke peilingen van het onderwijsniveau zou een onderzoeksprogrammering in
ieder geval moeten voorzien in een periodieke en systematische verzameling van gegevens over
aanbod, context en processen in het basisonderwijs. Verder is systematische vergelijking ge-
wenst van peilingsresultaten, tenminste in EG-verband.

Eind jaren negentig is de evaluatie voorzien van de basisvorming. Teneinde bovenstaande
problemen te voorkomen wordt in dat verband thans gewerkt aan de programmering van onder-
zoek en gegevensverzamelingen. Voorts wordt ernaar gestreefd tijdig het waarderingskader en
het evaluatieplan te ontwikkelen.

LITERATUUR

Berg, G. van den (1987). Effectief evalueren: een empirische studie naar de doelmatigheid van aanwijzin-
gen voor de evaluatiepralctijk. Li.s,se: Swets & Zeitlinger.

Berg, G. van den. Hoeben, W.Th.J.G. & Van der Werf, G. (1993). De bijdrage van evaluatie-onderzoek aan
de kwaliteitsverbetering van het onderwijs. In B.P.M. Creemers, W.Th.J.G. Hoeben, J.L. Peschar
& J. Snippe (1993). Wat is onderwijsonderzoek waard? De Lier: Academisch Boekencentrum.

Commissie Evaluatie Basisonderwijs (1992). Plan voor de evaluatie van het basisonderwijs. Zoetermeer:
Inspectie van het Onderwijs.

Commissie Evaluatie Basisonderwijs (1994). Inhoud en opbrengsten van het basisonderwijs. De Meern:
Inspectie van het Onderwijs.

Corporaal, A.H., Janssens, F.J.G., Sandbergen, S. & Zwarts, M. (1992). Evaluatie door de inspectie. Zoeter-
meer: Inspectie van het Onderwijs

Creemers, B.P.M., Hoeben, W.Th.J.G., Peschar, J.L., & Snippe, J. (1993). Wat is onderwij.sonderzoek
waard? De Lier: Academi.sch Boekencentrum.

Groot, A.D. de (1986). Begrip van evalueren. Den Haag: VUGA.

Harskamp, E. & Suhre, C. (1993). Psychometnsche kwaliteiten van meetinstrumenten van het onderwijs-
aanbod. Tijdschrift voor Onderwijsresearch, 17, 355-369.

12 F.J.G. Janssens

In.spectie van het Onderwijs (1994). Technisch rapport van het onderzoeli onder 386 basisscholen ten
behoeve van de evaluatie van het basisonderwijs. De Meern; Inspectie van het Onderwijs.

Janssens, F.J.G. & Zwarts, M. (1993). Het gebruik van 'standaarden en normen' binnen de inspectie.
Intro.spectie, 14(l)p. 7-8.

Laros, J.A. (1992). Eindverslag van de Commissie Programma-evaluatie. Zoetermeer: Ministerie van On-
derwijs en Wetenschappen.

Scheerens, J. (1983). Evaluatie-onderzoelc en beleid: methodologische en organisatorische aspecten. Den
Haag: SVO.

Stokking, K.M. (1991). Wijlcende condities. Differentiatie en zorgverbreding in het basisonderwijs: onder-
zoek en beleid. Utrecht: ISOR.

Wolf, R.M. (1990). The nature of educational evaluadon. In H.J. Walberg & G.D. Haertel. The international
encyclopedia of educational evaluation. Oxford: Pergamon Press.

Worthen, B.R. & Sanders, J.R. (1987). Educational evaluation: alternative approaches and practical gui-
delines. New York: Longman.

Manuscript ontvangen 9-8-1994

Definitieve versie ontvangen 31-10-1994

Tijdschrift voor Onderwijsresearch, 20 (1995), nr. 1, pp. 13-27

Robustness of judgments in evaluation research

W.J. van der Linden'* and M.A. Zwarts^
^University of Twente; ^Inspectorate of Education

ABSTRACT

The point of view is taicen that judgments in evaluative research are ultimately subjective but that
good criteria are available to assess their quality. One of these criteria is robustness of the judgments
against incompleteness or uncertainty in the data used to describe the educational system. The use of
the robustness criterion is demonstrated for the case of a recent evaluation project in which the state
of elementary education in The Netherlands was evaluated.

Typically, the first stage of an evaluation project consists of a careful description of the state of
an educational object or system. In the next stage, the state of the system is evaluated through a
series of evaluative statements or judgments. Examples of such judgments are: "The quality of
teaching in the system is excellent"; "Too many students in the system do not reach a satisfacto-
ry level of proficiency in physics"; and "School management is poor". If the goal of the evalua-
tion project is to serve a reorientation of a policy with respect to the system, the judgments
usually result in a series of recommendations to improve the functioning of the system.

For the descriptive stage, the standard methodology of empirical research in the social
sciences is available. This methodology includes the use of such methods as survey and obser-
vation as well as various techniques of (multivariate) descriptive statistical analysis to summa-
rize the results. Though descriptive statements can be founded on a rigorous methodology,
judgments seem to lack this support. The main reason is the use of such qualifications as
"excellent", "not satisfactory", and "poor" in the examples above. The choice of such qualifica-
tions, as well as their definitions, is a subjective matter. However, subjectivity is not necessarily
erratic, and criteria for good qualifications do exist. Judgment does not imply lack of rationality.

One criterion for the quality of judgments is consistency. For example, suppose that empiri-
cal research has shown time and again that certain instructional measures lead to an increase in
the achievements of the students in a given domain, and that a system to be evaluated scores
high on the use of these measures. Then, ignoring the role of costs as well as the possibility of
interaction between factors in the system, it seems inconsistent to make judgments that provide
the former finding with a negative and the latter with a positive qualification. Such evaluations
are inconsistent in the sense that they imply a world that can never exist. It should be noted that
in this example empirical research was used to show that a set of qualifications is inconsistent.
Empirical research can only provide the evaluator with objective information about what worlds
are possible and what not. It remains a subjective choice to evaluate one possible world over the
other.

Another obvious criterion is explicitness. The criterion of explicitness includes the require-
ment that all judgments be based on explicit definitions of the qualifications and procedures
used in the evaluation. If this requirement is not met, the evaluator can never communicate his
evaluations to others in a meaningful way. Also, it will never be possible to test these evalua-
tions for consistency in the sense defined above.

Both authors are equally reponsible for the contents of this article; the order of their names is alphabetical.
The empirical results in this article were presented earlier at a Vereniging voor Onderwijsresearch, Divisie
Methodologie en Evaluatie, symposium, Arnhem, March 23, 1994.

* Adres: Universiteit Twente, Faculteit Toegepaste Onderwijskunde, Postbus 217, 7500 AE Enschede.

14 W.J. van der Linden and M.A. Zwarts

It is not the purpose of this paper to give an extensive overview of criteria for the use of
qualificadons in evaluation research (for a more complete review, see van der Linden, in press).
Rather, the emphasis is on one criterion of a more technical nature than the previous examples.
The criterion is necessary because judgments may have to be based on a description of the state
of the system which is incomplete, uncertain, or erroneous due to the quality of the data. An
example is an evaluadon project in which the state of some relevant throughput factor is not
precisely known. In such a case, which is certainly not untypical of educational evaluation, the
evaluator may have to base his or her judgments on a best guess as to the state of this part of the
system. An important criterion for the quality of his or her judgments, then, is robustness.
Generally, a judgment is robust if minor changes in the description of the state of the system do
not lead to changes in the qualifications used in it. The idea underlying this criterion is obvious:
Uncertainty about some part of the state of the system is less critical, the less dependent the
qualifications are on the precise state the part of the system is in. The robustness of qualifica-
tions is usually assessed through a series of analyses in which changes in the values of some of
the variables are made to simulate uncertainty about the state of the system, whereafter it is
determined to what extent the qualifications would have to change. Obviously, robustness
analyses are only possible if both the qualifications and the procedures leading to them are
defined explicitly.

In the remainder of this paper, the results from a robustness study in a recent evaluation
project in The Netherlands are reported to illustrate the possible contribution of robustness
analysis to educational evaluation. The project was run by the Committee for the Evaluation of
Elementary Education (CEB). In the next section, the problem addressed in the study is de-
scribed. Subsequently, the methods of analysis will be given and the results will be discussed.
The paper concludes with a discussion of the practical implications of the study.

INTRODUCTION TO THE PROBLEM

The evaluation committee was appointed by the Dutch Secretary of Education in 1991. Its
mission was to evaluate the state of elementary education in the Netherlands from 1988-1992. In
particular, the interest was in an evaluation of four different aspects of elementary education in
this period, its level of achievements being one of them. The results of the evaluation were
published recently (Commissie Evaluatie Basisonderwijs, 1994a, 1994b, 1994c, 1994d, 1994e).
A fuller description of the assignment to the committee is given in Janssens (1995).

The committee had to report its findings at a level of aggregation that would suit a possible
reorientation of the current policy of the Ministry of Education with respect to elementary
education. Another constraint was that resources for data gathering were limited, and that the
committee had to use existing sources of empirical data to perform its evaluation.

To present its evaluation of the achievements, the committee used the item material and
scales from PPON. In this large-scale program for the assessment of educational progress in The

Robustness of judgments 15

Netherlands, which is run by the National Institute for Educational Measurement (Cito), the
level of achievement in elementary education is periodically fathomed. The basic methodology
used in PPON to scale the item pools and score the achievements is item response theory (IRT).
The use of this methodology restricts the scaling of the items to the level of homogeneous
subsets of the pool each measuring the same ability. An overview of the number of scales that
were necessary to scale the item pools for the various subjects is given in Table 1.

For a complete review of the methodology used in PPON as well as reports of its assess-
ments, the reader should consult van der Schoot (1993), Sijtstra (1992), Vinje (1993), van
Weerden (1993), Wijnstra (1998, 1990), and Zwarts (1990)

Definition of Qualifications

The selection of the qualifications by which the committee evaluated the achievements was
guided by various considerations, three of which need to be explained here to be able to define
the research problems addressed in this paper:

1. As already mentioned, the evaluation had to be reported at a level of aggregation suitable for
recommendations on policy decisions. Therefore, it was necessary to combine sets of separa-
te PPON scales into higher-level measures of achievement. For example, six separate scales
for reading (Reading Reports; Reading Reflective Texts; Reading Persuasive Texts; Reading
Maps; Reading References; and Reading Tables and Graphs) were combined into a single
measure for Reading Comprehension. As IRT scales were not possible at this level of aggre-
gation, the simple number of items correct score was used as a measure of achievement.
However, this measure can be estimated from the scores on the IRT scales underlying the
aggregate (see below). The number of aggregates in the evaluation is given in the last column
of Table 1.

2. A second form of data reduction was also necessary to report the evaluations. The achieve-
ments of the population of students were in the form of distributions of scores. A usual way
of defining qualifications for distinguishing between "good distributions" and "bad distribu-
tions" is in terms of their moments. Based on displays of the estimated distributions of the
observed scores, the committee opted for qualifications for the first moments or means of the
distributions. The main purpose of inspecting the displays was to get familiar with the
relation between the location of the means and the shape of the left tails of the distribution.
The qualifications were knowingly selected to be conservative; that is, relatively large pro-
portions of students in the population had to be at the lower ends of the achievement scales
before an unfavorable qualification applied.

3. Instead of qualifications in the form of a simple good/bad dichotomy, the committee chose
three different qualifications for which the terms "Satisfactory" (Dutch: voldoende), "Mode-
rate" (Dutch: matig) and "Unsatisfactory" (Dutch: onvoldoende) were used. As a compromi-
se between the fact that evaluations in terms of observed scores are dependent on item pool
content and the fact that a single set of qualifications is easier to communicate, the committee
opted for a common definition of qualifications with adjustments for item pools that were
deemed to be too difficult or too easy.

16 W.J. van der Linden and M.A. Zwarts

In fact, the definition of the qualifications was a long process in which such factors as familiar-
ity with the curriculum, teaching practices, quality of the learning materials, previous evalua-
tions, and extensive consulting of relevant parties played an important role. The results are
given in Table 2.

Estimation of Mean Observed Scores

Two typical distributions of observed scores are given in Figure 1. Both distributions were
estimated using the assumption of a correlation equal to .80 between the abilities on the under-
lying IRT scales.

Calculating

Robustness of judgments 17

The distribution for Calculating was evaluated as "Moderate". Its mean was just higher than
the lower bound for this category but some 13% of the examinees solved less than one third of
the items correctly. The distribution for Proportions/Percentages was estimated to have a mean
in the category "Unsatisfactory". In this distribution, 36% of the examinees had less than one
third of the items correct.

The means of the observed-score distributions were calculated from the item parameters
estimated in the PPON projects. These estimates were obtained under the one-parameter logistic
model with imputed values for the discrimination parameter (Verhelst, Glas & Verstralen,
1994). The ability distributions were scaled to be normal with mean 250 and standard deviation
50. Under the previous assumptions, the mean of an observed-score distribution can simply be
calculated from the common marginal ability distribution and the sum of the response functions.
This claim is proved in the Appendix.

Research Problems

The decision to use PPON item material and scales entailed two questions both related to the use
of IRT in PPON.

First, though there is national agreement that the blueprints for the item pools had high
content validity and that the sets of items in the pools covered the blueprints, some of the items
were removed from the original pools in the scaling process. For example, for Arithmetic 4% of
the items was removed from a pool of 491 items, whereas for Dutch 6% was removed from a
pool of 498 items. These numbers were not large but important enough to pay attention to. As
these items were removed on the basis of values of psychometric parameters and not of their
content, it seems safe to conclude that:

1. The resulting pools still define the same ability variables, and that these variables have
therefore not lost their vahdity; and

2. The removal of some of the items from the pools may nevertheless have had effects on the
observed-score distributions, and hence on the judgments by the committee.

An important question is how serious these possible effects are.

Second, only the marginal ability distributions were available from PPON. As already ex-
plained, the choice for the mean as the critical moment of the distribution of observed-scores
was based on plots of observed-score distributions. However, under the assumption of multivar-
iate normality, to be able to plot observed-score distributions for aggregates of IRT scales,
Pearson's correlation between the abilities must be known. (Remember that this requirement
does not hold for the mean of the distributions.) As the abilities In each aggregate were "close",
and numerous research projects have shown high correlations between subtests covering differ-
ent aspects of, for example, language and arithmetic, the assumptions of correlations in the
neighborhood of .80 seemed realistic. An important question is how serious the consequences of
violation of this assumption are.

Both questions were addressed in a robustness study.

METHODS

Removal of Items

Four different procedures of item removal were simulated. In each procedure, after the removal
of an item the mean of the observed-score distribution was calculated, and the correct qualifica-
tion from Table 2 was selected.

The following procedures were studied:

1. Scaling

The pair of items with the smallest difference between their values for the difficulty parameter
was selected, and one item of the pair was chosen at random and removed from the pool. The
mean of the observed-score distribution was calculated, and the appropriate qualification was

18 W.J. van der Linden and M.A. Zwarts

identified The steps were repeated undl the pool was empty. This procedure simulates item
analysis in which the range of the scale values of the items has to remain maximal but redundan-
cies are removed by eliminadng items from subsets that cluster too strongly. The procedure
applies when the ideal is a pool of items with uniformly distributed scale values.

2. Easy items

The item with the smallest value for the difficulty parameter was removed from the pool, the
mean of the observed-score distribudon was calculated, and the appropriate qualificadon was
idendfied. The steps were repeated until the pool was empty. This procedure simulates the case
where the item pool is considered too easy.

3. Difficult items

The previous procedure was repeated, but now at each step the most difficult item was removed.

4. Extreme items

This procedure is a combination of the previous two procedures. Alternately, the easiest and the
most difficult item were removed. This procedure simulates the case where the item pool is
considered to be on target but, for example, the distribudon of abilities of the examinees is
expected to have less spread than the item pool.

Correlation between Abilities

To assess the robustness of the observed-score distributions with respect to the correlation
between the abilities, a Monte Carlo method was used to generate observed-score distributions
on the sets of items in the aggregates for various values of the correlation coefficient. As a
correlation between the abilities lower than .60 was most unlikely, the following values for the
correlation coefficient were used: .60, .70, .80, and .90.

In the description of the Monte Carlo procedure below, the notation of the variables is the
same as in the Appendix but the indices j = 1,...,J and i = 1,...,1 are now used to denote the
abilities and the items in a subset for the same ability, respectively:

1. For each simulated examinee, the values of the vector of abilities (0,,..,0j) were drawn from
a multivariate normal distribution with the assumed (common) value of the correlation coef-
ficient.

2. The true scores (t,,...,tj) were calculated as

= fp(0,.), j=\,...,J, (1)

and normed on [0,1].

3. The conditional distributions of X. given Tpt. are generalized binomial. Their probability
functions, Prob(Xp, were calculated using the first term in the expansion of the generalized
binomial probability function given in Lord and Novick (1968, sect. 23.10).

J

4. The probabilities of the number-correct scores, X X., were calculated as

Prob{T=t)= 1 YlProbiXj). (2)

lXj = , j

The last step in the procedure made use of the fact that for a fixed examinee the observed scores
Xj, j=l,...,J, were independent.

The accuracy of the approximation in Step 3 was checked against an algorithm suggested by
Lord and Wingersky (1984) which produces the full generalized binomial distribution (see
below).

The procedure was repeated for N= 10,000 examinees. It should be noted, however, that for

Robustness of judgments 19

each examinee not one realization of X^ given T—tj but its full conditional distribution was
generated. The number is thus large enough to guarantee a smooth and stable result.

RESULTS

Graphs are used to present the results for the scaling procedure. In Figure 2, the mean observed

8 o
u>

Fig. 2. Mean observed score as a function of the proportions of items removed due to scaling for Arithme-
dc.

20 W.J. van der Linden and M.A. Zwarts

relative scores for the five aggregates in Arithmetic are displayed as a function of the proportion
of items removed due to scaling. The horizontal tines in the graphs denote the cut-off scores
between the qualifications defined in Table 2. Generally, the curves follow a flat course, indi-
cating extreme robustness of the mean with respect to the removal of items due to scaling. To
cross one of the lines, the removal of 91% of the items for Basic Skills and 100% of the items for
Proportions/Percentages was needed. For Calculating, the percentage was equal to 62%. The
percentages for Fractions and Measurement are lower but still equal an impressive 45% and
33%, respectively. After these values, the two last curves started moving back and forth be-
tween the two sides of the upper (Fractions) and lower lines (Measurement). This behavior is
typical of mean scores that were close to the borderline between two qualifications, remained
there after removal of the items, but showed small fluctuations.

The results for the aggregates in the other subjects are given in Figures 3 through 6. The
results are generally the same as for Arithmetic. All curves had a flat course, and, except for
Reading English, at least 30-40% of the items had to be removed before the qualifications
change. The case of Reading English is an interesting one. The curve was flattest of all curves in
Figures 2-6, but the curve coincided with the upper line nearly perfectly. The same phenomenon

ïd

Fig. 3. Mean observed score as a function of the proportions of items removed due to scaling for Dutch.

Robustness of judgments 21

was observed for Reading Comprehension, Its curve was also flat and uniformly close to the line
between "Satisfactory" and "Moderate". Nevertheless, .38% of the items had to be removed
from the pool to change the qualification. At a later stage, the curve moved back to the original
qualification. In its report, the committee made the provision that important parts of this aggre-
gate were less favorable than the general impression suggested. Also, uncertainty was expressed
due to the fact that data from an international comparison of achievements in Reading Compre-
hension had yielded conflicting information (Commissie Evaluatie Basisonderwijs, 1994a, sect.
5.1).

The results for all four principles of item removal are given in Table 3. The first column
gives the percentages of items that had to be removed for the scaling procedure. The next three
columns present the results for the other item removal procedures. Obviously, removal of the
most difficult or easy items introduced a shift in the observed-score distributions, and generally
the qualifications changed earlier than in the previous case. Nevertheless, with the exception of
Measurement and Reading Comprehension for the removal of the easiest items and Biology for
the most difficult items, the qualifications were remarkably robust for all aggregates. In these

22 W.J. van der Linden and M.A. Zwarts

English Speaking

0.2 0.4 0.6 08 1.
Proportion items deleted

Fig. 6. Mean observed score as a function of the proportions of items removed due to scaling for Traffic.

exceptional cases of change, again the mean observed scores were already close to the border-
line between two classifications for the intact item pool. For example, for Reading Comprehen-
sion the mean relative observed score for the intact item pool for the pool was .71, a result close
to the cut-off score of .70 separating "Satisfactory" from "Moderate" (see Figure 2). The remov-
al of the items with extreme difficulty values at both ends of the scale had, except for Reading of
English, no noticeable effect on the qualifications. In the majority of the cases, nearly all items
had to be removed before the qualification changed.

In Figure 7, two typical observed-score distributions for values of the correlation coefficient
in the range from .60-.90 are shown. The effect of lowering the value of the correlation was a
small shift of the mode of the distribution to the center of the scale. (However, remember that
this phenomenon does not hold for the mean of the distribution. This parameter is independent

Robustness of judgments 23

of the value of the correlation coefficient.) Consequently, the value of the correlation coefficient
d. cs have some effect on the left tail of the distribution, but the effect is not dramatic. It seems
safe to conclude that the relation between the mean and the left tail of the distributions observed
by the committee does not change much in the neighborhood of r=.80.

As already observed, in Step 3 of the procedure for generating the observed-score distribu-
tions, an approximation to the generalized binomial distribution of X given T=t was made. The
quality of the approximation was checked by comparing its results against those obtained for the
exact distributions using the computer program AAPMOMT which implements the algorithm
by Lord and Wingersky (1984) referred to earlier. The results were always virtually identical.
Figure 8 gives the distributions for the same two aggregates as in Figure 7. The approximation
proved to be excellent; the difference between the results of the two methods is hardly discern-
ible.

24 W.J. van der Linden and M.A. Zwarts

Calculating

Proportions/Percentages

T-T

0.4 0.6
Relative score

Fig. 7. Estimated observed-score distributions for: (a) Calculating; and (b) Proportions/Percentages (diffe-
rent correlation between abilities).

Robustness of judgments 25

Calculating

0.0 0.2 0.4 0.6
Relative score

Proportions/Percentages

0.0 0.2 0.4 0.6
Relative score

Fig. 8. Observed-score distributions estimated by: (a) Taylor approximation to generalized binomial; and
(b) exact distribution function.

26 W.J. van der Linden and M.A. Zwarts

DISCUSSION

The main conclusion from the robustness study reported in this paper is that the qualifications
used in the evaluation project are quite stable under the removal of items from the pool accord-
ing to the four procedures defined above. Nearly all of the qualifications thus met a rigorous
criterion of robustness.

In this study, the results for the scaling procedure are most important since this procedure
comes closest to the procedure actually used in the PPON projects. However, it should be noted
that the former is an idealized version of the latter, and that differences between the two may
exist. Also, the procedure was applied to the item pools that were the results from PPON item
analyses, and not to the original pools. Generalizing the findings to the original pools thus
involves an element of extrapolation, albeit that the differences between the sizes of the two
kinds of pools were generally small. Also, the fact that, with a few exceptions, remarkably
robust results were obtained for procedures that deliberately made the item pools easier or more
difficult does lend some support to the claim that this generalization is unlikely to involve
serious bias.

It is emphasized that robustness of qualifications is only one necessary criterion which
judgments in evaluation projects must meet, and that judgments are not automatically meaning-
ful if they are robust. However, as illustrated in this paper, if uncertainty exists as to the
knowledge base on which the judgments have to based, then robustness analysis is an excellent
means to assess how serious the consequences of this uncertainty are.

APPENDIX

Independence of Mean Observed Score of Covariation between Abilities

For ease of exposition, the case of two distinct abilities is addressed. Let 6, and 62 be these two
abilities. The bivariate distribution of the two abilities is represented by probability density
function f(0,,92), whereas the marginal distributions of 0, and Gj are denoted as fi(0,) and
f2(02)- Let X, and Xj be the observed scores on the item sets measuring 0, and ©2 and T, en T2
the classical true scores for these observed scores.

In PPON, the marginal distributions of 0, and Oj are scaled to have common marginal
densities:

f,(0,)=f2(02)=f(0).

This feature is used in the proof below. The first step in the derivation follows from classical test
theory, whereas the other steps are straightforward. Indices i and j denote items measuring the
first and second ability, respectively. The proof runs as follows:

= 11 [I p, (0,.) + Z Pj (0^1 ƒ (01,02^0,^/02

= JI Z',. (0,) [J ƒ (0,,02^021^/6, + j I P. (02)[1 ƒ (0,,02^0,1^02
' j

= JIP, (0,) ƒ, (0,^0, +11 P. (02) /2(e2)^e2
' j

= l[ZF,(0)+ ZF (0)]/(0)^i0.

' j

Hence, when calculating the mean observed score, possible covariation between the underlying
abilities can be ignored, and the item response function may be summed across abilities.

Robustness of judgments 27

REFERENCES

American College Testing (1993). AAPMOMT (computer program). Iowa City, Iowa.

Commissie Evaluatie Basisonderwijs (1994a). Inhoud en opbrengsten van het basisonderwijs (Deelrapport
1). De Meern: Inspectie van het Onderwijs.

Commissie Evaluatie Basisonderwijs (1994b). Onderwijs op maat (Deelrapport 2). De Meern: Inspectie van
het Onderwijs.

Commissie Evaluade Basisonderwijs (1994c). Onderwijs aan jonge kinderen (Deelrapport 3). De Meern:
Inspectie van het Onderwijs.

Commissie Evaluatie Basisonderwijs (1994d). Onderwijs gericht op een multiculturele samenleving (Deel-
rapport 4). De Meern: Inspectie van het Onderwijs.

Commissie Evaluatie Basisonderwijs (1994e), Zicht op kwaliteit {Eindrapport), De Meern: Inspectie van het
Onderwijs.

Janssens, F,J,G, (1995), De evaluatie van het basisonderwijs door de CEB: aanpak en werkwijze. Tijdschrift
voor Onderwijsresearch, 20, 3-12,

van der Linden (in press). Standards for standard setting in large-scale assessments. In Proceedings of the
Joint Conference on Large-Scale Assessments. Washington, DC: National Assessment Governing
Board & National Center for Education Statistics,

Lord, F.M., & Novick, M,R. (1968) Statistical theories of mental test scores. Reading, MA: Addison-
Wesley,

Lord, F.M. & Wingersky, M.S, (1984), Comparison of IRT true-score and equipercentile observed score
"equatings". Applied Psychological Measurement, 8, 453-461.

van der Schoot, F. (1993). Verantwoording van de peiling verkeerssituatie einde basisonderwijs (PPON-
report no,7), Arnhem: Instituut voor Toetsontwikkeling Cito.

Sijtstra, J, (1992). Balans van het taalonderwijs halverwege de basisschool. Arnhem: Instituut voor Toet-
sontwikkeling Cito,

Verhelst, N,D., Glas, C.A.W, & Verstralen H,H.F,M, (1994), OPLM: The One-Parameter Logistic Model
(computerprogramma en manual). Arnhem: Instituut voor Toetsontwikkeling Cito

Vinjé, M. (1993). Balans van het Engels aan het einde van de basisschool. Arnhem: Instituut voor Toetson-
twikkeling Cito.

Wijnstra (1988). Balans van het rekenonderwijs in het basisonderwijs. Arnhem: Instituut voor Toetson-
twikkeling Cito,

Wijnstra, J. (1990), Verantwoording van de rekenpeiling medio en einde basisonderwijs 1987. Arnhem:
Instituut voor Toetsontwikkeling Cito.

Zwarts, M, (1990). Balans van het taalonderwijs aan het einde van het basisonderwijs. Arnhem: Instituut
voor Toetsontwikkeling Cito,

Manuscript ontvangen 9-8-1994

Definitieve versie ontvangen 7-11-1994

Tijdschrift voor Onderwijsresearch, 20 (1995), nr. 1, pp. 28-27

De opbrengsten van het basisoncierwijs volgens de CEB

enkele kanttekeningen bij de gevolgde normeringsprocedures

Johan M. Wijnstra

Instituut voor Toetsontwikkeling (Cito), Arnhem

ABSTRACT

In 1993 the Committee for the Evaluation of Primary Education evaluated the outcomes of primary
education in the Netherlands using data from the Dutch National Assessment Program in Educadon.
In this ardcle the committee's criteria are questioned from the principles of the assessment program
and their pracdcal value. Further, the implicit assumptions in aggregadng subdomains into higher
order domains are pointed out. It is concluded that in an evaluation of educational outcomes a sound,
well-founded rationale for the cntena to be u.sed is of the utmost importance.

INLEIDING

Het project Periodieke Peiling van het Onderwijsniveau (PPON) dat door het Instituut voor
Toetsontwikkeling (Cito) wordt uitgevoerd in opdracht van de Minister van Onderwijs en We-
tenschappen, heeft als opdracht beschrijvende rapporten over de stand van zaken in het basis- en
speciaal onderwijs te produceren met betrekking tot het aanbod en de opbrengsten op basis van
peilingen bij steekproeven van scholen en leerlingen. Het Cito is (tot nu toe) niet gerechdgd
kwaliteitsuitspraken aan de gegevens te verbinden. De PPON-rapporten moeten aanknopings-
punten bieden voor een (publieke) discussie over de inhoud en het niveau van het onderwijs.

De Commissie Evaluade Basisonderwijs (CEB) heeft bij de beoordeling van de opbrengsten
van het basisonderwijs uitvoerig gebmik gemaakt van PPON-gegevens (Commissie Evaluatie
Basisonderwijs, 1994a; 1994b, verder aan te duiden als respectievelijk eindrapport en deelrap-
port 1). De CEB heeft twee normeringen op de gegevens toegepast, één gebaseerd op panelbe-
oordelingen in het licht van de kerndoelen die in 1993 in het Staatsblad zijn verschenen (Besluit
kerndoelen basisonderwijs, 1993) en één op eigen gezag.

De panelbeoordeling, waarop de eerste normering is gebaseerd, bestond uit twee fasen. In
eerste instantie is vastgesteld of de domeinbeschrijvingen waarop de PPON-toetsen zijn geba-
seerd, voldoende overeenkomen met de kerndoelen. Vervolgens is de panels - bestaande uit
inspecteurs, vakdeskundigen en ervaren leraren basisonderwijs - bij de relevante domeinen een
oordeel gevraagd over de gewenste beheersing van de opgaven. De vraagstelling voor de panels
bij de naar moeilijkheidsgraad geordende opgaven per domein luidde: Welke opgaven moet een
zwakke, respectievelijk goede leerling aankunnen, er van uitgaand dat de leerlingen onderwijs
hebben gekregen dat door de kerndoelen is geïmpliceerd? (Zwarts & Janssens, 1994). Deze
procedure komt in essentie overeen met de procedures die eerder in het project zijn toegepast
om bij verschillende groepen relevante respondenten (leraren basisonderwijs, ouderleden van
medezeggenschapsraden van basisscholen en leraren uit verschillende typen voortgezet onder-
wijs) oordelen te verzamelen over het verwachte en gewenste vaardigheidsniveau van de gemid-
delde leerling, met dien verstande dat in dit geval oordelen over de gewenste inhoudelijke
beheersing op percendel 25 (zwakke leerling) en 75 (goede leerling) werden gevraagd en dat de
opgaven in het licht van de kerndoelen werden geplaatst. Net als in de PPON-procedures werd
de definide van een opgave aankunnen, afhankelijk van de soort vaardigheid, gedefinieerd als
een succeskans van minimaal 80%, respectievelijk 50% volgens het toegepaste itemresponsmo-

Adres: Cito, Postbus 1034, 6801 MG Arnhem.

opbrengsten van het basisonderwijs 29

dei. Uitgaande van de gegevens over het gewenste niveau van de zwakke leerling heeft de CEB
vervolgens een norm toegepast op de discrepande tussen het percentage leerlingen dat dit
niveau haalt en het acceptabele percentage (25%). Deze norm leidt tot een oordeel met drie
categorieën: onvoldoende, madg, voldoende.

Hoewel bij deze procedure ook wel kanttekeningen zijn te maken, bijvoorbeeld ten aanzien
van de omvang van de panels, de procedures bij de vergelijking van de PPON-domeinbeschrij-
vingen met de kerndoelen en het gebruik van alleen de gegevens over het gewenste niveau van
de zwakke leerling in de normering, kenmerkt deze procedure zich door een behoorlijke inhou-
delijke verankering. Dat geldt voor de tweede procedure minder, waar ook verder de nodige
kridek op mogelijk is. In het vervolg van deze nodde worden bij deze procedure enkele kantte-
keningen gemaakt, vanuit het perspectief of deze tot voldoende gefundeerde oordelen kan
leiden.

DE NORMERING VAN DE COMMISSIE

De commissie heeft de opbrengsten van het vigerende onderwijs beoordeeld door te kijken naar
de schatdngen van de gemiddelde reladeve vaardigheidsscore per (sub)domein uit de verschil-
lende peilingen. Vervolgens is daaraan een oordeel verbonden over de beheersing:

Van een voldoende beheersing is sprake indien de populatie leerlingen gemiddeld genomen
minimaal 70% van de opgaven goed maakt. Van een matige beheersing is sprake als gemid-
deld minder dan 70%, maar meer dan 55% van de opgaven goed wordt gemaakt. Bij gemid-
deld minder dan 55% is sprake van onvoldoende beheersing. (Deelrapport 1, p. 55).
Op deze normeringsprocedure, die in een aantal gevallen naar beneden is bijgesteld, richt
zich onze kritiek. De commissie geeft als rationale voor deze gekozen normen slechts de vol-
gende formulering: De Commissie acht deze normering redelijk en dus verantwoord. (Deelrap-
port 1, p. 55).

Een dergelijke normering veronderstelt dat de gebruikte itemverzamelingen op de een of
andere manier als representadef kunnen worden beschouwd voor de inhoud van het vigerende
onderwijs en dat de normen passen bij de nagestreefde beheersing van deze stof. Deze veronder-
stelling is in elk geval niet te ontlenen aan PPON, hoewel de commissie schrijft: De PPON-
toetsen zijn zo geconstrueerd, dat leerlingen in principe de opgaven goed moeten kunnen ma-
ken. (Deelrapport 1, p. 55). Deze zin is eenvoudig onjuist en in tegenspraak met de uitgangspun-
ten bij de toetsconstrucde, waarover we hier voor een goed begrip in het kort iets weergeven.

De gebruikte opgavenverzamelingen in de peilingen passen bij de daarvoor opgestelde do-
meinbeschrijvingen. De domeinbeschrijvingen bevatten een gestructureerde beschrijving van
het mogelijke leer- en vormingsaanbod op een bepaald gebied en zijn niet beperkt tot het
communale aanbod, enerzijds om te voorkomen dat de peilingen een conserverend effect heb-
ben en anderzijds om ook op basis van peilingsresultaten nieuwe ontwikkelingen, die nog geen
gemeengoed zijn, in de discussie te kunnen betrekken. Uit de peilingen van het aanbod blijkt
ook dat de domeinbeschrijvingen in het algemeen meer omvatten dan enige school in het aanbod
realiseert (het meest gedetailleerd is dit te vinden in de peiling wereldoriëntatie; vgl. Van
Weerden, 1993). Bij de constructie en de selectie van de opgaven voor de peilingen gelden twee
hoofdoverwegingen:

- de domeinbeschrijving moet zo volledig mogelijk gedekt worden;

- de toetsen en taken moeten een breed vaardigheidsbereik bestrijken.

Er is echter geen noodzaak de opgavenverzamelingen te beschouwen als steekproeven uit (on-
eindig) grote opgavenbanken die alle doelstellingen voor een domein met de gewenste moeilijk-
heidsgraad dekken. Door de toepassing van itemresponsmodellen kunnen zowel de vaardig-
heidsverdeling als de opgaven op dezelfde schaal worden afgebeeld, waarmee kan worden
getoond wat typische leerlingen inhoudelijk kunnen en kennen. Door deze schalingsprocedure
is er geen perdnente noodzaak te streven naar een bepaalde gemiddelde moeilijkheidsgraad of
een bepaalde verdeling van de p-waarden van de opgaven en dat is ook nooit gebeurd. Als we al

30 J.M. Wijnstra

ergens naar gestreefd hebben, dan hebben we eerder gemikt op een gemiddelde p-waarde van
.50 dan .30 of .70 (vgl. Wijnstra, 1988, p. 153). Omdat de toetsen niet primair op deze basis zijn
samengesteld, kunnen verschillen in geobserveerde moeilijkheidsgraad tussen de gebruikte toetsen
voor verschillende domeinen zowel worden toegeschreven aan verschillen in beheersing als aan
de toegepaste constructie- en selectieprocedures bij de samenstelling van de toetsen. Anders
gezegd, voor een oordeel over het bereikte niveau moet de inhoud van de toetsen worden
geraadpleegd. Op welke wijze de commissie tot een keuze voor de toegepaste normering is
gekomen, wordt in deelrapport 1 nauwelijks verantwoord en dit komt de doorzichtigheid niet
ten goede.

In dit verband is het ook de vraag wat de realiteitswaarde is van de toegepaste normering, in
die zin dat men zich moet afvragen in welke orde van grootte de inspanning ligt om de kwalifi-
catie 'voldoende' te bereiken in de gevallen dat de oordelen matig of onvoldoende luiden. De
opbrengst van het reken/wiskunde-onderwijs wordt bijvoorbeeld over de gehele linie als matig
of onvoldoende gekwalificeerd. In één geval blijkt dat het algemeen gemiddelde meer dan een
halve standaarddeviade zou moeten opschuiven om de kwalificatie 'voldoende' te bereiken.
Effecten in deze orde van grootte worden bij door het onderwijs manipuleerbare variabelen
zelden gevonden. Bij de door de commissie toegepaste normen is het reken/wiskunde-onderwijs
wel bijna gedoemd om matig te blijven. Daarnaast kan de vraag gesteld worden hoe gevoelig de
kwalificaties zijn voor veranderingen in de samenstelling van de opgavenverzamelingen. Door
de commissie zijn de schattingen van de gemiddelde relatieve vaardigheidsscores gebruikt,
ofwel de gemiddelde p-waarden, die afhankelijk zijn van de gebruikte opgavenverzamelingen.
Hoe dichter deze waarden bij de grenswaarden in de normering liggen, hoe eerder de kwalifica-
ties veranderen door opname of verwijdering van wat gemakkelijker, respectievelijk moeilijker
opgaven (vgl. Van der Linden & Zwarts, 1995). Het is een bekend gegeven dat het beoordelen
van de moeilijkheidsgraad van opgaven een notoir moeilijke zaak is. De commissie heeft voor
dit probleem gestaan bij de keuze van de grenswaarden voor de normen in het algemeen en bij
de keuze van deze 'standaardnormen' of de lichtere variant daarvan bij de afzonderlijke domei-
nen per leer- en vormingsgebied. Het is de vraag of de commissie bij een iets andere samenstel-
ling van de opgavenverzamelingen dergelijke verschuivingen onderkend zou hebben.

opbrengsten van het basisonderwijs 31

Ter illustrade maken we enkele kanttekeningen bij de beoordeling van de opbrengst van het
basisonderwijs op het gebied van wereldoriëntade. De commissie-oordelen en de normering op
de panelbeoordeling worden gepresenteerd in Tabel 1.

De commissie heeft bij de beoordeling de lage set normen gehanteerd (grenswaarden .50 en
.60) met als magere toelichting: De correctie wordt gemotiveerd door het feit dat de PPON-
toeisen soms vrij moeilijk waren omdat ze vroegen naar stof die in eerdere leerjaren aan de
orde was geweest en derhalve niet altijd verwacht mocht worden dat de leerlingen hun kennis
nog volledig paraat konden hebben. (Deelrapport 1, p. 66). Het resultaat daarvan is in de kolom
'opbrengst' vermeld. In de kolom 'realisatie kerndoelen' wordt het resultaat van de normering
op de panelbeoordeling vermeld. Bij vergelijking van de twee normeringen volgt dan met een
toon van verwondering: Opvallend genoeg blijkt dat voor vrijwel alle leer- en vormingsgebie-
den het niveau dat de leerlingen nu behalen niet hoger (sic! bedoeld zal zijn: niet lager) is dan
het niveau dat door de kerndoelen is geïmpliceerd. (...) Uitgaande van deze beoordeling is er
geen noodzaak aanwezig om meer of anders aandacht te gaan besteden aan de wereldoriënte-
reiide vakken. Verondersteld moet dan ook worden dat de toetsen van PPON voor sommige
onderdelen (te) moeilijk waren.

Bij de laatste zin dringt zich natuurlijk ook de gedachte op dat de normering van de commis-
sie nog aan de hoge kant was. Omgekeerd blijken de gemiddelde p-waarden van de opgavenver-
zamelingen voor de domeinen van wereldoriëntatie dicht bij de grenswaarden uit de normering
te liggen (vgl. Zwarts & Janssens, 1994). Bij geschiedenis en biologie behoeven bijvoorbeeld
slechts 4% van de moeilijkste opgaven uit de verzamelingen van ongeveer 100 opgaven te
worden verwijderd om de kwalificatie 'voldoende' toe te kennen.

VERDERE AANNAMES BIJ DE NORMERING VAN DE COMMISSIE

In de rapportage van de peilingsuitkomsten worden over het algemeen rapportage-eenheden
(schalen) van een beperkte omvang gehanteerd die didactisch betekenisvolle eenheden vormen,
bijvoorbeeld bij rekenen/wiskunde basiskennis en begrip van procenten, handig procentrekenen
en toepassingen met procenten in plaats van procenten. De commissie heeft in veel gevallen
afzonderlijke schalen gegroepeerd tot bij de kerndoelen passende domeinen, bijvoorbeeld pro-
centen en verhoudingen. Bij deze aggregatie kunnen verschillende kanttekeningen worden ge-
maakt die we toelichten aan de verdeling van de (genormaliseerde) moeilijkheidsparameters
van de schalen uit het domein procenten en verhoudingen in Tabel 2 (in de PPON-rapporten
worden de resultaten gerapporteerd op schalen met een gemiddelde van 250 en een standaard-
deviatie van 50).

Om te beginnen zien we dat er aanzienlijke verschillen zijn in de verdelingen van de moei-
lijkheidsparameters tussen de schalen uit het kerndoelendomein. Bij de eerste rekenpeiling
heeft geen proefafname plaatsgevonden (van deze open opgaven). De opgaven weerspiegelen
de opvattingen van de toetsconstructeurs over de passendheid van de opgaven. Waarom er dan
zulke grote verschillen tussen de schalen basiskennis en begrip, respectievelijk toepassingen
optreden tussen procenten en verhoudingen is niet te zeggen. Het is alleen wel de vraag of de
coinmissie hiermee bij de aggregatie niet op de een of andere manier rekening had moeten
houden.

Per schaal is ongeveer een gelijk aantal opgaven gebruikt. Bij de aggregatie heeft de commis-
sie feitelijk de afzonderlijke schalen gewogen met het aantal opgaven. De vraag is of dit terecht
is. Hadden bijvoorbeeld de schalen basiskennis en begrip niet een veel hoger gewicht moeten
hebben dan de toepassingenschalen en is het terecht dezelfde normen aan te leggen voor deze
verschillende vaardigheden? Gelet op het verschil in de aard van de vaardigheid is bij de
panelbeoordelingen - conform de suggestie van PPON - bij de toepassingenschalen uitgegaan
van een succeskans van 50%, terwijl bij de andere schalen een succeskans van 80% is gehan-
teerd.

32 J.M. Wijnstra

Tabel 2. Verdeling van de moeilijkheidsparameters in de schalen van het domein procenten en verhoudin-
gen (aantallen opgaven).

AFSLUITING

Dankzij de PPON-gegevens is er voor het eerst een brede waardering van de opbrengst van het
basisonderwijs mogelijk. Zoals uit het voorgaande blijkt moet daarbij echter met de nodige
voetangels en klemmen worden gerekend. Op zichzelf is het moedig van de CEB daartoe een
poging te ondernemen, echter er zijn wel de nodige kanttekeningen bij te plaatsen die de
oordelen van de commissie relativeren. Daarbij is met name het gebrek aan doorzichtigheid en
de realiteitswaarde in het geding.

De CEB beveelt de minister aan te bevorderen dat PPON in de toekomst mede uitspraken
doet over de kwaliteit van de leerresultaten in het licht van de kerndoelen. (Eindrapport p. 47).
Anticiperend op de invoering van de kerndoelen is het PPON-projectteam al geruime tijd bezig
alternatieve procedures te ontwerpen voor de verzameling van gegevens over het verwachte en
gewenste niveau die een dergelijke beoordeling van de peilingsuitkomsten mogelijk moeten
maken. Onze conclusie uit de verkenningen tot nu toe is dat het van het grootste belang is te
zorgen voor een goed te verantwoorden inhoudelijke verankering van de normering, dat wil
zeggen de opgaven op de verschillende schalen moeten gerelateerd worden aan (een vertaling
van) de kerndoelen. Daarbij is het verder van belang dat de realiteitswaarde van de oordelen,
respectievelijk de kerndoelen in het oog wordt gehouden. Dit is onder andere mogelijk door in
de beoordelingsprocedure een of meer feedbackrondes in te bouwen.

LITERATUUR

Besluit kerndoelen basisonderwijs (1993). Staatsblad van het Koninkrijk der Nederlanden, nr. 264.
Commissie Evaluade Basisonderwijs (1994a). Zicht op kwaliteit. Eindrapport. Z.p.: Inspectie van het On-
derwijs.

opbrengsten van het basisonderwijs 33

Commissie Evaluatie Basisonderwijs (1994b). Inhoud en opbrengsten van het basisonderwijs. Deelrapport
1. Z.p.: Inspecde van het Onderwijs.

Linden, W.J. van der & Zwarts, M.A. (1995). Robustness of judgments in evaluadon research. Tijdschrift
voor Onderwijsresearch, 20, dit nummer.

Weerden, J. van (red.) (1993). Balans van het wereldoriëntatie-onderwijs aan het einde van de basisschool.
Arnhem: Instituut voor Toetsontwikkeling.

Wijn.stra, J.M. (red.) (1988). Balans van het rekenonderwijs in de basisschool. Arnhem: Insdtuut voor
Toetsontwikkeling.

Zwarts, M.A. & Janssens, F.J.G. (1994). Meten van kerndoelen met PPON-toetsen. De Meern: Inspectie van
het Onderwijs.

Manuscript ontvangen 17-6-1994

Definitieve versie ontvangen 24-10-1994

Tijdschrift voor Onderwijsresearch, 20 (1995), nr. 1, pp. 34-27

De opbrengsten van het basisonderwijs: een repliek

W.J. van der Linden'

Universiteit Twente*

M.A. Zwarts'

Inspectie van het Onderwijs

ABSTRACT

In this rejoinder to Wijnstra (1995), it is argued that, unlike the author seems to suggest, the
definitions of the qualifications in the CEB evaluation project were not based on any assumptions
regarding the distribution of difficulties in the item doinains. Also, it is pointed out that statistical
descriptions of the system of elementary education are contingent on the conditions under which the
system exists, and that such descriptions are not sufficient to criticize the effects of the recommen-
dations for change made by CEB. Finally, it is shown that the author's claim of aggregation of
achievement scales being appropriate only for certain (unspecified) distributions of item difficulties
ignores the unidentified character of the IRT difficulty scale, and hence does not apply.

Op 12 januari 1994 heeft de Commissie Evaluatie Basisonderwijs (CEB) zijn werkzaamheden
voltooid met de aanbieding van een eindrapport en een viertal deelrapporten (Commissie Eva-
luatie Basisonderwijs, 1994a, 1994b, 1994c, 1994d, 1994e) aan de Minister van Onderwijs.
Daarmee kwam een einde aan een intensieve werkperiode, die ruim twee jaar heeft geduurd. Het
behoorde tot de opdracht aan de CEB om een zo breed mogelijke, evaluerende beschrijving van
de toestand van het basisonderwijs te geven. Vervolgens moest deze evaluatie toegespitst wor-
den aan de hand van een viertal specifieke vragen. Een volledig overzicht van de opdracht en de
werkzaamheden van de CEB wordt gegeven in Janssens (1995).

Wijnstra (1995) heeft gelijk als hij in zijn notitie stelt dat de CEB bij zijn evaluatie van de
opbrengsten van het onderwijs uitvoerig gebruik heeft gemaakt van de peilingen van de op-
brengsten van het onderwijs door PPON. Op momenten als deze blijkt het belang van de
beschikbaarheid van systematische empirische gegevens over de opbrengsten van het Neder-
landse onderwijs. Gelukkig is het land dat goed peilingsonderzoek heeft.

Voor het betoog hieronder is het van belang om de precieze rol die de gegevens uit de PPON-
projecten in de evaluatie van de CEB gespeeld hebben, scherp in het oog te houden. De CEB
heeft de PPON-gegevens alleen gebruikt voor een beschrijving van de opbrengsten van het
basisonderwijs. De beoordeling van deze opbrengsten is daarentegen volledig voor de rekening
van de CEB. Bij de totstandkoming van deze beoordeling hebben ook deelbeschrijvingen uit
andere bronnen voorgelegen (OVB-evaluatie; diverse SVO-projecten; dissertaUe-onderzoek).
Verder werd er door de CEB beoordeeld in het licht van evaluadeve uitspraken die eerder door
anderen geuit waren. Sommige uitspraken zijn te vinden in de verslagen van de voornoemde
projecten, terwijl andere werden geuit tijdens de raadpleging van zo'n 260 vertegenwoordigers
van relevante instanties in het onderwijs en overige deskundigen. Ook werden in de PPON-
projecten voor diverse leergebieden beoordelingsexperimenten uitgevoerd, waarin ouders, lera-
ren BO en docenten VO hun verwachtingen en wensen ten aanzien van de opbrengsten kenbaar
maakten. Naar het oordeel van de CEB was het algemene niveau van de verwachtingen en

' Beide auteurs waren respectievelijk als lid en stafmedewerker verbonden aan de Commissie Evaluatie
Basisonderwijs.

* Adres: Universiteit Twente, Faculteit Toegepaste Onderwijskunde,. Postbus 217, 7500 AE Enschede.
Dit is het laatste artikel behorende bij het themanummer.

Repliek opbrengsten basisonderwijs 35

wensen onrealistisch hoog en waren ze in dit opzicht derhalve niet bruikbaar. Wel bruikbaar was
het patroon in deze beoordelingen over de diverse leergebieden.

Ten slotte moet vermeld worden dat de CEB zijn beoordelingen heeft opgesteld op basis van
een totaalbeeld van de toestand van het basisonderwijs dat onder andere berustte op een be-
schrijving van het aanbod, de leermaterialen, de pedagogisch-didactische aanpak, de leerlingen-
en lerarenpopulatie alsmede van de fysieke, beleidsmatige en politieke omgeving van het onder-
wijs. De beschrijving van de opbrengsten vormde dus slechts een deel van dit totaalbeeld. Na de
publikatie van de rapporten heeft zowel de pers als de politiek zich gestort op de constatering
van de CEB dat het huidige aanbod overladen is. Voor de CEB waren andere constateringen,
zoals die van het feit dat in het basisonderwijs, mede op grond van gebrek aan faciliteiten, de
mogelijkheden van onderwijs op maat amper benut worden en dat er nog weinig systematisch
aan kwaliteitszorg wordt gedaan, even belangrijk. Dergelijke constateringen vormen een on-
losmakelijk geheel met de beoordelingen van de opbrengsten.

In zijn notitie maakt Wijnstra een aantal kanttekeningen bij de door de CEB gevolgde werk-
wijze, waar deze notitie een repliek op vormt. Zijn kanttekeningen laten zich groeperen rondom
de volgende drie thema's:

1. de afhankelijkheid van de beoordelingen door de CEB van de toevallige psychometrische
eigenschappen van de itemdomeinen;

2. de vraag of de normering door de CEB wel realistisch is geweest;

3. de problematiek van de aggregatie van de PPON-schalen.

ITEMDOMEINEN

In vrijwel alle peilingsonderzoek worden de opbrengsten van het onderwijs vastgesteld met
behulp van itemdomeinen waaruit deelverzamelingen items aan verschillende steekproeven
leerlingen worden voorgelegd. Het voordeel van deze werkwijze is dat de opbrengsten van het
onderwijs met een maximale validiteit en nauwkeurigheid beschreven kunnen worden. Voor-
waarde is wel dat de itemdomeinen omvangrijk en van een goede kwaliteit zijn. Om een hoge
inhoudsvaliditeit te realiseren wordt een itemdomein in twee stappen geconstrueerd. In de eerste
stap wordt het betreffende leer- of vormingsgebied volledig geclassificeerd. In de PPON-pro-
jecten staat deze stap bekend als de "domeinbeschrijving". In de tweede stap wordt een verza-
meling items geschreven die de gewenste verdeling over deze classificatie vertoont.

Het is de stellige indruk van dc CEB dat zowel de domeinbeschrijvingen als de itemdomei-
nen uit de PPON-projecten een hoge inhoudsvaliditeit bezitten. Deze indruk is gebaseerd op
kennisname van het materiaal en de lof die inhoudsdeskundigen aan PPON hebben toege-
zwaaid. Het resultaat is het gevolg van een werkwijze waarin bij de constructie van de opgaven
de inhoudsvaliditeit voorop stond (Wijnstra, 1988, pag. 5). Uit commentaar van derden blijkt
hoe de kwaliteit van de itemdomeinen voor bijvoorbeeld rekenen wordt gewaardeerd:

"De PPON-rekentoetsen zijn een uitdrukking van een range van eindtermen: kennis en vaar-
digheden waarvan te verdedigen valt dat alle kinderen aan het einde van de basisschool ze
zouden moeten beheersen' (Teunissen, 1988, pag. 169).

"Nadere bestudering van de voorbeeldopgaven en van de totale collectie wijst uit dat de
PPON-toetsen inderdaad het overgrote deel van de eindtermen bestrijken. ... Voorts kan
worden vastgesteld dat de kwaliteit van de PPON-opgaven in het algemeen ruimschoots
voldoende is om het onderwijsniveau passend te peilen" (Treffers, 1988, pag. 182).
Alleen Huitema (1988, pag. 164) maakt een opmerking waarin hij aangeeft dat hij meer opgaven
had willen zien die minder van de Nederlandse taal afhankelijk zouden zijn en daardoor gemak-
kelijker waren. In het onderzoek van Zwarts en Janssens (1994), waaraan Wijnstra in de inlei-
ding van zijn kanttekeningen refereert, gaf het panel van beoordelaars aan dat de toetsen voor
rekenen goed samenvallen met de kerndoelen. Dezelfde conclusie werd getrokken voor Neder-
landse taal. Engelse taal en verkeer. Alleen voor enkele domeinen van wereldoriëntatie moet er
een voorbehoud worden gemaakt.

36 W.J. van der Linden and M.A. Zwarts

Naast de inhoudsvaliditeit wordt een tweede Icenmerk van itemdomeinen gevormd door hun
verdeling van de psychometrische eigenschappen van de items. Het is op dit punt dat de notitie
van Wijnstra zich richt. Alvorens we de precieze inhoud van zijn kanttekening aangeven, is het
van belang om op te merken dat in de PPON-projecten niet bewust naar een bepaalde verdeling
van de psychometrische eigenschappen werd gestreefd. Dit gegeven wordt door Wijnstra ver-
woord wanneer hij stelt dat:

"Door deze schalingsprocedure is er geen pertinente noodzaak te streven naar een bepaalde
gemiddelde moeilijkheidsgraad of een bepaalde verdeling van de p-waarden van de opgaven
en dat is ook nooit gebeurd" (pag. 4).
Zulk een streven zou in de praktijk ook nooit gerealiseerd hebben kunnen worden. Talloze
empirische onderzoekingen laten namelijk zien dat, met uitzondering van enkele experimenten
met matig succes voor onderdelen uit de wiskunde, het vrijwel onmogelijk is om verschillen
tussen de eigenschappen van items die bij eenzelfde "cel" in een domeinbeschrijving behoren te
voorspellen of te verklaren. Zulke items, die alle geschreven zijn bij eenzelfde onderwerp, op
hetzelfde gedragsniveau en voor dezelfde leerlingen, blijken psychometrische verschillen op de
leveren die in hoge mate afhangen van "toevallige", ogenschijnlijk irrelevante eigenschappen
van de formulering van de items. De enige wijze waarop een gewenste verdeling van de psycho-
metrische eigenschappen van de items kan worden verkregen is achteraf, door selectie aan de
hand van empirische schattingen van deze eigenschappen. Wijnstra refereert aan deze bevindin-
gen wanneer hij het volgende neerschrijft:

"Het is een bekend gegeven dat het beoordelen van de moeilijkheidsgraad van opgaven een
notoir moeilijke zaak is" (pag. 5).
We kunnen nu het door Wijnstra opgeworpen "meningsverschil" met de CEB scherp stellen. De
CEB heeft, overeenkomstig de werkwijze van PPON, aangenomen dat de feitelijke verdeling
van psychometrische eigenschappen in de itemdomeinen allereerst bepaald is door de opgestel-
de domeinbeschrijvingen en de gekozen verdeling van de items over de cellen van deze domein-
beschrijving. Gezien het toevalskarakter van de overblijvende verschillen tussen de items en de
grootte van de geaggregeerde itemdomeinen waar de CEB mee heeft gewerkt, is vervolgens een
beroep gedaan op de wet van de grote aantallen en werd aangenomen dat de feitelijk gecreëerde
itemdomeinen psychometrisch een afspiegeling vormen van de domeinen aan mogelijk items
die men zich bij de domeinbeschrijvingen in kan denken. Onder deze aanname is een benadering
mogelijk die bekend staat als "domain-referenced measurement" en waarbij normen geformu-
leerd kunnen worden in termen van de aantal-goed scores van de populade leerlingen voor het
totale domein (zie bijvoorbeeld Hively, Maxwell, Rabehl, Sension & Lundin, 1973). De CEB
heeft deze benadering gekozen; voor een definide van de normen raadplege men Van der
Linden en Zwarts (1995). Deze normering is uiteraard niet blind geweest en berust op een
inhoudelijke beoordeling van alle beschikbare PPON publikades en materialen. Voor een twee-
tal onderdelen van rekenen en taal alsmede voor het gehele gebied van wereldoriëntatie, bestond
de overtuiging dat de hiervoor omschreven aanname niet volledig correct was en is door de CEB
een correctie op de normen toegepast.

Het merkwaardige is nu dat Wijnstra de hiervoor beschreven werkwijze in de PPON-projec-
ten nog eens herbevestigt, maar vervolgens suggereert dat de normering van de CEB alleen
maar zin heeft als er binnen PPON wel naar een vooraf bepaalde verdeling van de moeilijkheden
van de items in de itemdomeinen zou zijn gestreefd. Aan welke voorwaarden voldaan zou
moeten worden en hoe deze "bepaalde" verdeling van itemmoeilijkheden er uit zou moeten
zien, wordt evenwel niet meegedeeld. Op dit punt moet er echt sprake zijn van een misverstand.
De werkwijze van de CEB berust niet op een aanname dat alle PPON-items een p-waarde in de
buurt van .70 zouden bezitten of iets dergelijks. Zoals hierboven geschetst werd, is het enige dat
gevraagd wordt dat de itemdomeinen representadef zijn voor de leerstof.

Het is wel zo dat men in tweede instande, door itemanalyse op grond van empirische gege-
vens, de samenstelling van de oorspronkelijke domeinen kan wijzigen. Door PPON is langs
deze weg een aantal items uit de oorspronkelijke domeinen verwijderd. Dit aantal was telkens
klein. Het doel bij deze verwijdering was om schalen te creëren met een maximale breedte aan

Repliek opbrengsten basisonderwijs 37

waarden voor de moeilijkheidsparameter uit het gehanteerde IRT model. Zo werden bijvoor-
beeld enkele items verwijderd die redundant waren omdat ze deel uitmaakten van een cluster
van items met ongeveer dezelfde parameterwaarden. Ondanks de kleine aantallen waarom het
gaal, voor rekenen bedraagt het aantal zo'n 4% van het oorspronkelijke domein, zou deze
itemselectie de beoordelingen van de CEB hebben kunnen verstoren. Daarom is door de CEB
voor alle zekerheid een robuustheidsanalyse uitgevoerd waarin deze itemselectie werd gesimu-
leerd en de gevolgen nagegaan werden. Voor een volledig overzicht van de resultaten van deze
analyse wordt verwezen naar de figuren 3-6 in Van der Linden en Zwarts (1995). Het vlakke
verloop van bijna al deze figuren over de gehele range van 0-100% wijst op een extreem hoge
robuustheid van de beoordeling van de CEB ten opzichte van het gevolgde type itemanaly.se
voor de itemdomeinen in de PPON-projecten. Voor een groot aantal leergebieden moeten bijna
alle items verwijderd worden alvorens het oordeel van de CEB zich dient te wijzigen. Alleen in
een paar gevallen, waarin de gemiddelde geobserveerde scores voor de populatie leerlingen
reeds dicht tegen de normen van de CEB aanzaten, kan er voor kleinere percentages verwijderde
items een verandering van de beoordeling nodig zijn, die soms voor grotere percentages weer
ongedaan gemaakt moet worden.

REALISTISCHE NORMERING?

Wijnstra vraagt zich hardop af wat de realiteitswaarde is van de door de CEB toegepaste
normering. Terecht meet hij de betekenis van kwalificaties als "voldoende", "matig" en "onvol-
doende" af aan de inspanning in het onderwijs die geleverd moet worden om de geobserveerde
scoreverdeling naar een hogere kwalificatie op te laten schuiven. Deze operationele definitie
was ook degene van dc CEB en is er de reden van dat, zoals eerder reeds werd opgemerkt, dc
aanbevolen maatregelen en de beoordelingen niet los van elkaar gezien mogen worden. De kern
van de opmerkingen van Wijnstra is dat de beoordelingen van de CEB effecten van maatregelen
veronderstellen die zelden gevonden worden bij door het onderwijs manipuleerbare variabelen.

Met deze effecten en variabelen doelt Wijnstra ongetwijfeld op de door PPON gepubliceerde
resultaten van analyses waarin de gemiddelde scores op de PPON-schalen gerelateerd worden
aan achtergrondvariabelen als de gehanteerde leerboeken, geslacht, leeftijd, gewicht van de
leerlingen in de formatiebepaling, e.d. De constatering dat in PPON effecten van de orde van
grootte van 0,5 standaarddeviatie zelden geschat konden worden, is terecht. Voor bijvoorbeeld
rekenen worden effecten van deze grootte vrijwel alleen aangetroffen, maar dan onmiddellijk
voor een ongewenst groot aantal PPON-schalen, voor de gewichtscategorieën voor leerlingen
zoals deze in de huidige financiering van het basisonderwijs gelden.

Door dc in PPON gevonden effecten als norm voor onderwijsverandering te kiezen, maakt
^^'ijnstra een klassieke fout in de interpretatie van de resultaten van statistische resultaten,
kegressie van de resultaten van peilingsonderzoek op achtergrondvariabelen levert alleen een
beschrijving op van de samenhang tussen variabelen onder de huidige voorwaarden in het
onderwijs. De gedachte dat men daarmee causale verbanden vastgesteld heeft, die de effecten
van onderwijsverandering voorspelbaar maken, is onterecht. Dergelijke verbanden kunnen nooit
via peilingsonderzoek vastgesteld worden. Technisch gezien gaat het hier om het onderscheid
tussen regressievergclijkingen die worden geschat in een beschrijvend onderzoek en differen-
tiaalvergelijkingen die worden geverifieerd via experimenteel onderzoek. Tegen overspannen
verwachtingen van het gebruik van regressie-analyse in peilingsonderzoek, werd reeds gewaar-
schuwd door Freudenthal (1975) in zijn bekende kritiek op de eerste internadonale peilingen
door de lEA, die in zijn rapporten dezelfde status aan regressie-analyse toeschreef.

In de tweede plaats is er genoeg empirisch onderzoek dat laat zien dat effecten van instructie-
en schoolvariabelen op de leerprestaties groter dan 0,5 standaarddeviatie wel degelijk tot de
niogclijkheden behoren. In een recent overzicht van Fraser (1989, Table 2.1) heeft maar liefst
een derde van de bestudeerde variabelen een effectgrootte die boven deze norm ligt.

Er moet dus rekening mee gehouden worden dat de CEB zich in zijn aanbevelingen op een

38 W.J. van der Linden and M.A. Zwarts

grondige herziening van een aantal voorwaarden in het onderwijs richt. Zoals al gememoreerd
werd, is een behoorlijke inperking van het verplichte aanbod één van de aanbevelingen, zodat er
per saldo veel meer tijd voor minder onderwerpen zal ontstaan. Nu blijken te grote percentages
scholen niet eens aan de behandeling van sommige onderwerpen toe te komen. Ook het vrijma-
ken van extra middelen om tijdens de eerste vier jaren van het basisonderwijs vroegtijdige
diagnose te kunnen vervolgen met een aanbod aan onderwijs op maat, is een krachtige maatregel.
Voeg daarbij nog eens het pleidooi voor een opbrengstgerichte cultuur, waarin kwaliteitszorg een
vast gegeven is, dan is het niet overdreven om een pittige verhoging van de opbrengsten te
verwachten. Om deze voorspelling te concretiseren het volgende. De curve voor Propordons/
Percentages in figuur 1 in Van der Linden en Zwarts (1995) heeft geleid tot het oordeel "onvol-
doende". Het is helemaal niet onrealistisch om aan te nemen dat, waar nu zelfs gemiddeld zo'n 8-
9% van de leerlingen überhaupt geen instrucde in deze onderwerpen krijgt (Wijnstra, 1988, par.
5.7), de bovengenoemde inaatregelen de curve een vorm aan kunnen doen nemen die dicht bij die
van de eerste curve in deze figuur ligt, die de beoordeling "matig" vertegenwoordigt.

Overigens komen de beoordelingen van de CEB, op een enkele uitzondering na, vrijwel
perfect overeen inet die van het PPON-team in een recente aflevering van een themanummer
van het blad School (1994). Dit themanummer verscheen gelijktijdig met de rapporten van de
CEB en is onafhankelijk tot stand gekomen. Hieronder volgt een selectie van de evaluadeve
uitspraken door het PPON-team, waarvoor we de lezer oproepen om deze met de beoordelingen
in de CEB-rapporten te vergelijken:

"Als goed uit de bus komen de prestaties van leerlingen bij spellen en technische lezen. Als
zwak: begrijpend lezen, schrijven en spreken." (pag. 24-25)

"Het is waar dat de kwaliteit van het schriftelijk werk in groep 8 soms erg tegenvalt. Het
wonderlijke is dat we in groep 5 vergelijkbare opdrachten hebben gegeven, die goed werden
uitgevoerd." (pag. 25)

"De resultaten op het onderdeel cijferen zijn goed te noemen: veel leerlingen beheersen de
standaardalgoritmen voor de bewerkingen optellen, aftrekken, vermenigvuldigen en delen
met gehele getallen." (pag. 28)

"De resultaten op het onderdeel procenten vallen tegen. Procentopgaven worden slechts door
een kleine groep leerlingen goed beheerst. Een gemiddelde leerling heeft geen goed begrip
van wat procenten zijn en hij is niet in staat eenvoudige procentberekeningen met een grote
kans op succes uit te voeren." (pag. 29)

"Hoofdrekenen moet beter, schatten is onvoldoende, maar dat is ook nog vrij nieuw in hel
onderwijs. Inzichten in het fundament van breuken, verhoudingen en procenten moet veel
beter. De basiskennis van procenten blijkt ook onvoldoende. In soinmige methodes wordt er
pas in groep 8 aandacht aan besteed. Er is ruimte om die lacunes te bestrijden, we cijferen
immers te veel." (pag. 30)

"Bij taal vond ik het zeer opvallend dat de produktieve vaardigheden, stellen en spreken,
zwaar beneden de verwachtingen bleven." (pag. 39)
"Spellen bleek boven verwachting goed." (pag. 39)

"Bij rekenen is het algemene beeld dat breuken, procenten en verhoudingen er mager iiitko-
tnen." (pag. 39)

AGGREGATIE VAN SCHALEN

In de PPON-projecten wordt gerapporteerd op een hoog niveau van detaillering. Bijvoorbeeld
voor de opbrengsten van het rekenen aan het einde van het basisonderwijs werden de opbreng-
sten gepeild met behulp van 27 verschillende schalen. Het aantal schalen is mede het resultaat
van het gebruik van itemresponstheorie (IRT), dat aan de schaling van de gebruikte opgaven de
eis van eendimensionaliteit oplegt. Dit is een duidelijk winstpunt. We weten daardoor welke
delen van leergebieden we als homogeen kunnen beschouwen en kunnen bijvoorbeeld bij de
herziening van didactische methoden met dit gegeven rekening houden.

Repliek opbrengsten basisonderwijs 39

Wie naar het beleid rapporteert, is echter onderhevig aan de wetten die daarbij behoren. Je
belrcedt dan de wereld van de executive summaries, moet aansluiten bij de "lopende discussies"
cn vooral "heldere boodschappen" brengen. Voor de rapportage van de opbrengsten van het
basisonderwijs ligt dat niet anders. Een beleidsmaker heeft er niet zoveel aan om te weten of het
nu mei "vermenigvuldigen" of met "delen" fout zit. Hij is meer geïnteresseerd in de opbrengsten
voor dc "basisbewerkingen" en wil antwoord op de vraag of daar in het onderwijs nu meer of
minder aandacht aan geschonken moet worden dan aan bijvoorbeeld "toepassingen". Kortom, er
is aggregatie van de gegevens nodig tot het niveau van de grotere onderdelen van de leergebie-
den-ongeveer het niveau dat gebruikt werd in de uitspraken van het PPON-team in de citaten
hierboven. Dat is niet erg. Er gaat wel wat informatie verloren, maar er wordt aan effect
gewonnen. En voor achtergrondinformade of in discussies met vakgenoten kan altijd weer
teruggegaan worden naar het oorspronkelijke niveau aan detaillering.

In dc CEB-rapporten is welbewust gekozen voor een indelingsniveau dat relevant is voor de
maatschappelijke discussie over de invoering van de kerndoelen in het basisonderwijs. Deze
keuze brengt onherroepelijk met zich mee dat voor de scores een andere schaal gekozen moet
worden dan dc IRT-schalen die in de PPON-projecten werden gehanteerd. Door de CEB zijn
daarom alle berekeningen gedaan op de schaal van de aantal-goed scores voor geaggregeerde
itemdomeincn uil de PPON-projecten. Voor de berekening van de populatieverdelingen op deze
schaal is dankbaar gebruik gemaakt van de schatting van de IRT-parameters van de items uit de
PPON-projectcn. Voorbeelden van deze berekeningen zijn te vinden in Van der Linden en
Zwarts (1995).

Wijnstra maakt twee opmerkingen bij de gevolgde aggregatieprocedure. Allereerst stelt hij
dc vraag of een ongeveer gelijke weging van de afzonderlijke PPON-schalen wel terecht is en de
opbrengsten op de schalen voor basiskennis cn -begrip niet zwaarder gewogen zouden moeten
worden dan de opbrengsten op de meer toepassingsgerichte schalen. Ten tweede presenteert hij
in label 2 de verdelingen van de waarden voor de moeilijkheidsparameter uit de IRT voor de
onderdelen procenten en verhoudingen en vraagt zich af "of de commissie hiermee bij de
aggregatie niet op dc een of andere manier rekening had moeten houden" (pag. 7).

Op de eerste vraag is onze reactie kort. De feitelijk gehanteerde weging verdient de voorkeur.
De verdeling van de aantal-goed scores op geaggregeerde domeinen leidt tot totaaloordelen aan
dc hand van een omnibusmaat. Bij ongelijke weging zouden deze totaaloordelen zeer gevoelig
worden voor de opbrengsten op slechts enkele van de oorspronkelijke schalen en zouden de
opbrengsten op de andere schalen dus noodzakelijk delen in het oordeel dat de eerste afdwingen.
Bij gelijke weging kan dezelfde gevocligheidsprobicmatiek reeds spelen als één van de onder-
liggende vaardigheden of kennisgebieden in sterke mate van de andere afwijkt. Ook dit is
ongewenst, maar onvermijdelijk. In zo'n geval heeft de CEB in zijn rapporten de toelichting op
dc labellen gebruikt om deze afhankelijkheid zichtbaar te maken. Zie hiervoor bijvoorbeeld de
i< Michiing op de rol die het lezen van rapporterende en argumentatieve teksten speelt in hel
loiaaloordeel over de opbrengsten voor begrijpend lezen (Commissie Evaluatie Basisonderwijs,
1994a. pag. 58).

De reactie op dc tweede vraag is methodologisch van aard. Vergelijking van de spreidingen
van de iwcc verdelingen van de moeilijkhcidsparameters voor procenten en verhoudingen in
tabel 2, zoals Wijnstra doet, is zinloos. In feite worden hier appels met peren vergeleken. Onder
het in PPON gebruikte IRT model hebben deze verdelingen namelijk ieder een willekeurige
eenheid en nulpunt (zie bijvoorbeeld Hambleton & Swaminathan, 1985, par. 4.2). We kunnen
dc spreiding van dc parameterwaarden op de individuele PPON-schalen zo breed of smal maken
als wc zelf willen, zonder hierdoor de passing van het model aan te tasten. Ieder van deze
spreidingen zou ook dezelfde verdeling van de aantal-goed scores voor het betreffende itemdo-
niein opleveren en derhalve tot hetzelfde oordeel van de CEB hebben geleid. Op de door Wijns-
tra opgeworpen vraag bestaat geen antwoord, omdat ze geen probleem aansnijdt.

40 W.J. van der Linden and M.A. Zwarts

DISCUSSIE

In deze reactie is betoogd dat er geen meningsverschil bestaat over de wijze waarop in de
PPON-projecten de itemdomeinen zijn geconstrueerd. Volgens Wijnstra is alleen gestreefd naar
een inhoudelijke dekking en niet naar een bepaalde verdeling van psychometrische eigenschap-
pen van de items, en dat is precies de veronderstelling waaruit de CEB vertrokken is. Merkwaar-
dig blijft het betoog van Wijnstra dat de werkwijze en normering van de CEB alleen zin hebben
als de moeilijkheid van de items een bepaalde verdeling zou bezitten, waarvan hij de aard
overigens niet omschrijft. De verwijzingen van Wijnstra naar de regressie van de PPON-resulta-
ten op een aantal achtergrondvariabelen en de betekenis van de verdeling van de moeilijkheid-
sparameters in de itemdomeinen berusten beide op een methodologisch misverstand, waarvan
de aard door ons is aangegeven. Blijft staan de vraag of de combinade van beoordelingen en
aanbevelingen door de CEB realistisch is geweest. Het deed ons deugd te constateren dat het
PPON-team in een onafhankelijke publikatie deze beoordelingen vrijmoedig bijviel.

Het was niet de bedoeling van deze reactie om de betekenis van peilingsonderzoek voor het
Nederlandse onderwijs ter discussie te stellen. Deze staat buiten kijf. In de aanhef is al gesteld
dat op momenten als de evaluatie door de CEB het belang van systemadsch empirisch onder-
zoek naar de opbrengsten van het onderwijs blijkt. In zijn nabeschouwingen heeft de commissie
het belang van peilingsonderzoek onderstreept en ervoor gepleit om de systematiek van pei-
lingsonderzoek uit te breiden naar een periodieke verzameling van empirische gegevens over
aanbod, context en processen in het onderwijs. Ook is een systematische vergelijking van
peilingsresultaten in internadonaal verband gewenst (Commissie Evaluatie Basisonderwijs, 1994e)

LITERATUUR

Commi.ssie Evaluatie Basisonderwijs (1994a). Inhoud en opbrengsten van het basisonderwijs (Deelrapport

1). De Meern; Inspectie van het Onderwijs.
Commissie Evaluade Basisonderwijs (1994b). Onderwijs op mati/(Deelrapport 2). De Meern: Inspectie van
het Onderwijs.

Commissie Evaluade Basisonderwijs (1994c). Onderwijs aan jonge Icinderen (Deelrapport 3). De Meern:

Inspectie van het Onderwijs.
Commissie Evaluatie Basisonderwijs (1994d). Onderwijs gericht op een multiculturele samenleving (Deel-
rapport 4). De Meern: Inspectie van het Onderwijs.
Commissie Evaluatie Basisonderwijs (1994e). Zicitf op Icwaliteit (Eindrapport). De Meern: Inspecde van het
Onderwijs.

Fraser, B.J. Research syntheses on school and instructional effectiveness. International Journal of Educa-
tional Research, 13, 707-720.
Freudenthal, H. (1975). Pupils' achievements internationally compared: The lEA. Educational Studies in
Mathematics, 6, 127-186.

Hambleton, R.K. & Swaminathan, H. (1985). Item response theory: Principles and applications. Boston,
MA: Kluwer-Nijhoff.

Hively, W., Maxwell, G., Rabehl, G., Sension, D. & Lundin, S, (1973). Domain-referenced curriculum
evaluation: A technical handbook and a case study from the MINNEMAST project. Los Angeles,
CA: Center for the Study of Evaluation, University of California.
Huitema, S. (1988). We overvragen de basisschool. In J.M. Wijnstra (red.). Balans van het rekenonderwijs

is de basisschool (PPON-reeks nr. 1), Arnhem; Instituut voor toetsontwikkeling Cito.
Jans,sens, F.J.G. (1995). De evaluatie van het basisonderwijs door de CEB: aanpak en werkwijze. Tijdschrift

voor Onderwijsresearch, 20, 3-12.
Van der Linden, W.J. & Zwarts, M.A. (1995). Tijdschrift voor Onderwijsresearch, 20, 13-27.
School (1994). Een beeld van een basischool (themakatern). 22, 19-40.

Teunissen, F. (1988). Een hoge norm. In Wijnstra, J.M. (red.). Balans van het rekenonderwijs is de basis-
school (PPON-reeks nr. 1). Arnhem: Insdtuut voor toetsontwikkeling Cito.
Treffers, A. (1988). Over de merkbare invloed van onderwijsmethoden op leerprestaties. In Wijnstra, J.M,
(red.). Balans van het rekenonderwijs is de basisschool (PPON-reeks nr. 1). Arnhem: Instituut
voor toetsontwikkeling Cito.

Repliek opbrengsten basisonderwijs 41

Wijnstra, J.M. (red.) (1998). Balans van het rekenonderwijs is de basisschool (PPON-reeks nr. 1). Arnhem:

Instituut voor toetsontwikkeling Cito.
Wijnstra, J.M. (1995). De opbrengsten van het basisonderwijs volgens de CEB: enkele kanttekeningen bij

de gevolgde normeringsprocedure. Tijdschrift voor Onderwijsresearch, 20, 28-33.
Zwarts, M.A. & Janssens, F.J.G. (1994). Meten van kerndoelen met PPON-toetsen. De Meern: Inspectie van
het Onderwijs.

Manuscript ontvangen 9-8-1994
Definitieve versie ontvangen 7-11-1994

Tijdschrift voor Onderwijsresearch, 20 (1995), nr. 1, pp. 42-27

Classroom composition and individual achievement.
Effects of classroom composition and teacher goals
in Dutch elementary education'

Hans Luylen''' and Anneke van der Hoeven-van Doornum''

" University of Twente, Faculty of Educational Science and Technology¹
'' ITS Nijmegen (Institute for applied social sciences)

ABSTRACT

The present study deals with the consequences of classroom composition on individual achieve-
ment. The main research question is which effects are to be expected when students in the Dutch
system of elementary education are grouped into more homogeneous classes. It seems likely that
classroom homogeneity will increase in the near future, as parents of Dutch origin tend to send their
children to schools where students of foreign origin constitute no more than a (small) minority of the
entire school population. The investigations specifically focused on two possible effects of more
homogeneous classrooms: changes with respect to the variation in student achievement and changes
pertaining to the average level of student achievement. The effects of individual cognitive aptitudes,
of the classroom average, of the classroom heterogeneity and their interaction effects were exami-
ned. It was also investigated to what extent the cognitive goals teachers set for their students can
account for classroom composition effects on achievement. The analyses showed that an increase in
classroom homogeneity may lead to a somewhat higher level of average achievement in Dutch
elementary education, but also to a considerably larger variation. The achievements of the least
talented students are likely to decrease. Although teacher goals were found to exert a considerable
effect on individual achievement, they could not account for the observed classroom composition
effects. The effect of the classroom average on individual achievement was found to be of similar
size as the effect of socio-economic background.

1. INTRODUCTION

Most of the empirical research dealing with the effects of classroom heterogeneity in elementa-
ry education relates to the American educational systein, where tracking students into separate
classes according to their perceived cognitive aptitudes is a very common practice (Slavin,
1987). In the Netherlands students are hardly ever deliberately grouped into homogeneous
classes. Most elementary schools are even too small to allow for such grouping practices. On
average the elementary schools comprise only one class per grade. Because their size is rather
sinall, the number of schools is quite large and it is not unusual to find several elementary
schools within very close range, often in one and the same street and sometimes even in the
same building.- Together with churches, pubs and bus connections elementary schools are the
most widely available facilities in the Netherlands. For 90% of the population between the ages
of four and twelve at least two elementary schools are available in their own residence (Blank et
al., 1990; pp. 39-66).

Even though students are not deliberately grouped into homogeneous classes, many of them
might end up in homogeneous classes, because the schools are so small and, as a result, mainly
enrol students from a very restricted area. Especially the populations of urban schools are
generally quite homogeneous with respect to the socio-economic and ethnic background of their

1  Address: P.O. Box 217, 7500 AE Enschede.

Classroom composition and individual achievement 43

students. Since the cognitive aptitudes that enhance success at school coincide with such back-
ground characteristics to a considerable extent, the student populations of urban schools may be
quite homogeneous with respect to their students' aptitudes as well. Another important reason
for this homogeneity, is the fact that parents of Dutch origin tend to send their children to
schools where the students of foreign origin constitute no more than a (small) minority of the
entire school population. As a result many students of foreign origin^ end up in schools where
Dutch students are largely absent (Rath, 1991; pp. 177-238).

The fact that in the Netherlands students in elementary schools are not deliberately grouped
into homogeneous classes entails some important consequences with respect to the interpreta-
tion of the research outcomes to be reported. When students are deliberately tracked into homo-
geneous low-ability and high-ability classes, this is done to provide the most appropriate level
and pace of instruction. In such cases it is no surprise that the teachers in high-ability classes set
higher goals for their students than the teachers in the low-ability classes and it is therefore
difficult to establish whether the less demanding instruction in low-ability classes is an approp-
riate response to the students' abilities or that it unnecessarily holds them back (Gamoran,
1992). In Dutch elementary education, however, the same curriculum is supposed to be taught
across all classes. If Dutch teachers are found to set consistently lower goals in the low-ability
classrooms this can be more straightforwardly interpreted as a response to the average ability
level of the students.

2. PRESUMED AND OBSERVED EFFECTS OF CLASSROOM COMPOSITION

Grouping students into heterogeneous classes has frequently been advocated as a means to
obtain an equitable distribution of student achievement. This is based on the often reported
research finding that student achievement is positively (but moderately) affected by the classroom's
average level of ability. Such effects have been reported for both elementary and secondary
education in several educational systems, such as the Am'erican, Israeli, Dutch, English and
Scottish (Beckerman & Good, 1981; Leiter, 1983; Rowan & Miracle, 1983; Dar & Resh, 1986;
Kerckhoff, 1986; Willms, 1986; Mensen & Guidemond, 1987; Link & Mulligan, 1991; Resh &
Dar, 1992; Reezigt, 1993). Grouping students into homogeneous classes Is believed to reinforce
already existing inequalities between students with respect to their cognitive aptitudes, because
the less talented will end up in low-ability classes, which will affect their achievements negati-
vely, while the more talented experience a positive effect of the high ability level in their
classes. Slavin (1987), however, argues that assigning students to separate classes which are
homogeneous with respect to their general cognitive abilities is less likely to have an effect on
achievement than other forms of ability grouping. According to Slavin grouping plans can be
expected to produce stronger effects when they reduce the heterogeneity with respect to the
specific skill being taught, but classes will remain quite heterogeneous with respect to most
subjects, when the same segregation criterion is applied for each subject. Teachers are then still
faced with the problem of providing the appropriate level and pace of instruction for all the
students in the classroom (Gamoran, 1992). The outcomes of the meta-analyses by Slavin
(1987; 1990) dealing with the effects of ability grouping in elementary and secondary education
support this view.

Another argument that has been advanced by proponents of heterogeneous grouping is that it
might lead to a higher level of student achievement, because the effect of the average classroom
ability is believed to be stronger for low-ability than for high-ability students (Oakes, 1985;
Hallinan, 1987; De Vos, 1986; 1989). According to this line of reasoning the achievements of
the most talented may be slightly impeded, but the achievements of the less talented are expec-
ted to rise more substantially. If all students would be grouped into heterogeneous classes
instead of homogeneous ones, the talented students would end up in classes with an average
ability level that is lower than their own individual level of ability and the reverse would be true
for the low-ability students. If the effect of the average classroom ability is the same for the

44 H. Luyten and A. van der Hoeven-van Doornum

talented and the less talented students, the overall effect of heterogeneous grouping would be
zero. However, if the effect is stronger for the less talented students, then the achievement gain
of the low-ability students would outweigh the loss of the high-ability students. Apart from the
research outcomes presented by Dar & Resh (1986) and Resh & Dar (1992) which relate to
secondary education in Israel there is not much empirical support for this view, which actually
presumes an interacdon effect of the individual and the classroom ability level on achievement.
In figure 1 such an interaction effect is graphically displayed. Two lines are drawn: the upper
line represents the effect of classroom composition for the talented students, while the lower
line represents the effect for the less talented. In this artificial example the effect of classroom
composition on achievement is much stronger for the less talented students.

It should be noted, that, even if such an interaction effect is actually at work, it does not
always make sense to subtract the disadvantage of the talented students from the profit of the
low-ability ones. Under certain circumstances more value must be attached to the achievements
of specific groups and less to the achievements of the others. Consider the following two
situations:

1. A large percentage of the students leaving elementary educadon appears to be virtually
illiterate;

2. An increasing number of the students from pre-university education turns out not to be able
to succeed in college.

If the number of illiterate students at the end of elementary schooling is unacceptably high, this
would call for policy measures aiming to raise the reading achievements of the low-ability

Interaction effect of average classroom IQ and individual IQ

100

0

low IQ average classroom high IQ very high IQ

High IQ students — Low IQ students

Classroom composition and individual achievement 45

students even if this would lead to a considerable decline in the achievements of the more
talented ones. In this case an approach resulting in a substantial reduction of the number of
illiterate students would be needed, even if this would entail a decreased average achievement
level. The second situation is more or less the reverse of the former. This time the achievements
of the high-ability students are unacceptably low. Measures producing a rise in the achieve-
ments of the most talented students, but at the same time causing a downfall in average achieve-
ment may in this case be appropriate.

Another argument against tracking students into homogeneous classes that has frequently
been raised is its contribution to the segregation of students from different social and ethnic
backgrounds (e.g. Slavin, 1987; Gamoran, 1992).

Opponents of grouping students into heterogeneous classes maintain that teachers in homo-
geneous classes can more easily provide instruction at the most appropriate pace and level
(Kulik & Kulik, 1982; 1984). According to this line of reasoning both high and low-ability
students will suffer from heterogeneous grouping. The level and pace of instruction in heteroge-
neous classes will hardly provide any challenge for the high-ability students, while the low-
ability ones are thought to be discouraged when they are confronted with highly talented class-
mates. Apart from two recent studies dealing with elementary education in the Netherlands
(Maas, 1992; Reezigt, 1993) there is hardly any empirical evidence available that confirms the
assertion that classroom heterogeneity affects student achievement negatively. Although the
meta-analyses by Kulik & Kulik (1982; 1984) provide some support for the idea that ability
grouping enhances student achieveinent in both elementary and secondary education, the outco-
mes do not allow for the conclusion that grouping students into homogeneous classes affects
achievement positively. The Kuliks do not distinguish between several forms of ability grou-
ping, such as assigning students to within-class groups for particular subjects, tracking them
into separate classes or offering special programs for the gifted. In the meta-analyses by Slavin
(1987; 1990) the effects of several types of ability grouping were separately investigated. Slavin
concludes that the overall effect of tracking students into homogeneous classes on achievement
is zero, both in elementary and secondary education. This conclusion is mainly based on Ame-
rican research. Positive effects of classroom heterogeneity on achievement have been reported
for students in Israeli secondary education (Dar & Resh, 1986; Resh & Dar, 1992), while in
Dutch secondary education classroom heterogeneity does not seem to affect the school careers
of the students (De Vries, 1992).

Although the available evidence is not conclusive with respect to the direction of the hetero-
geneity effect, the findings hardly show any contradiction as far as the size of the effect is
concerned. It is not clear whether the effect of classroom heterogeneity on achievement is
positive or negative, but is does not seem very strong.

Some other possible effects of classroom composition that are not frequently mentioned in
the debate on the advantages and disadvantages of classroom heterogeneity require some atten-
tion as well. First of all, the interaction of individual ability and classroom heterogeneity.
Grouping students into heterogeneous classes is sometimes believed to result in a higher level of
general achievement, because low-ability students are expected to be more sensitive to the
average level of ability in their classroom than their more talented classmates. However, if low-
ability students are more sensitive to the classroom ability level, they may also be more sensiti-
ve to other classroom characteristics, such as the possibly negative effect of classroom hetero-
geneity. This possibility should be taken into account in an analysis that deals with the effects of
grouping students into heterogeneous classes, for it may neutralize the positive effect of the
average classroom ability on the achievements of the low-ability students. Secondly, the inter-
action of the average classroom ability and heterogeneity. The effect of the average ability level
may be stronger in homogeneous classes, because in those classes teachers can provide instruc-
tion at the same level and pace for the entire classroom. The equalizing effect that is believed to
result from heterogenous grouping may then be rather weak. If all students are grouped into
maximally heterogeneous classes and the average ability level is identical across all classes, the
impact of the average classroom ability on individual achievement may be minimal. Thirdly,

46 H. Luyten and A. van der Hoeven-van Doornum

there may be a three-way interacdon effect of individual ability, classroom ability and classroom
heterogeneity, implying that the effect of classroom ability and heterogeneity may be different
for low-ability and high-ability students.

3. CLASSROOM COMPOSITION EFFECTS AND RATIONAL CHOICE THEORY

The explanations that have been proposed for the effects of classroom composition on indivi-
dual achievement can be grouped into two main categories. The first one refers to the idea of
differential instruction (e.g. Beckerman & Good, 1981; Rowan & Miracle, 1983; Gamoran,
1986; 1992; Slavin, 1987; 1990) implying that high-ability classes receive a more favourable
instruction, because teacher behaviour varies depending on the classroom composition or be-
cause the more competent teachers are disproportionately assigned to high-ability classrooms.
In the other category of explanations the role of interaction and competition among classmates
is emphasized (e.g. Erbring & Young, 1979; Mensen & Guldemond, 1987; Duke, 1993). Stu-
dents in high-ability classes are believed to be stimulated by the achievements of their peers,
whereas students in low-ability classes lack such incentives.

In this paper we will focus on the differential instruction hypothesis in order to explain the
effects of classroom composition on individual achievement. De Vos (1986; 1989) has pointed
out that the idea of differential instruction can be incorporated into rational choice theory quite
easily. Differential instruction can be conceived as resulting from purposeful behaviour of both
teachers and students. De Vos has summarized his argument as follows:

"students' efforts are an important determinant of their achievements, ... the teacher's eva-
luative behavior affects the amount of efforts students are willing to expend on school work,
and ... students' achievements affect the teacher's evaluative behavior." (De Vos, 1989, p.
223)

Both teachers and students are assumed to maximize their "subjective expected utility", which
results in striving for social approval and physical well-being. Students can obtain social appro-
val from the teacher through achievement. Achieving, however, requires effort. The efforts,
which lead to a decrease in physical well-being, represent the costs of achievement. It goes
without saying that the costs of achieving are relatively high for low-ability students and low for
high-ability students. According to De Vos students will keep raising their achievements up to
the point that the marginal utility of achieving equals its marginal cost. Going beyond this point
would be irrational, because raising one's achievements even higher would entail extra costs
that are no longer offset by an extra amount of social approval. The amount of utility a student
obtains as a result from achievement is largely dependent on the way the teacher responds to the
efforts of the students.

Teachers are believed to obtain social approval through the achievements of their students.
Like the students, they are faced with a problem of optimization, since raising the student
achievements requires effort from the teachers as well. The intellectual capacities of the stu-
dents also determine the costs for the teachers to a large extent, for it will be easier to obtain
high achievements in high-ability classes. It is assumed that teachers behave basically in the
same way as the students. Both teachers and students are believed to raise their efforts up to the
point that the marginal utility equals the marginal cost. As a result teachers will require higher
achievements, i.e. apply a more demanding standard, in classes with a high average ability level
and lower achievements in low-ability classes. Students in high-ability classes, also the less
talented, may therefore be expected to reach a higher level of individual achievement, because
they are confronted with a more demanding standard.

It should be noted that De Vos strongly emphasizes the effect of standards on the classroom
as a whole, although he acknowledges that teachers do not apply a uniform standard to all their
students. This would in most cases even be irrational, because the standard would then be too

Classroom composition and individual achievement 47

high for some students in the classroom, and too low for others. Students who are faced with
standards that are set too high for them, will be strongly discouraged to expend any effort at all,
while talented students who are confronted with a very low standard, will hardly be encouraged
to raise their achievements, even though they are able to do so. The crucial point, however, is
that students of equal ability are believed to be confronted with different standards depending
on the average classroom ability level. Teachers in high-ability classes can be expected to set
higher individual goals for each student and the students in those classes will be faced with a
higher general classroom standard.

De Vos also contends that classroom composition effects are stronger for low-ability stu-
dents than for the more talented ones and that this can also be conceived as resulting from
purposeful behaviour of the teacher, if one is willing to accept the additional assumption that
teachers in low-ability classes tend to pay relatively much attention to their best students in
order to "prove" that the low achievements in their class are not caused by poor instruction. This
implies that teachers in low-ability classes can be expected to set relatively high standards for
their most talented students.

4. RESEARCH QUESTIONS

Our main research question refers to the effects of classroom composition on achievement. We
start our analyses assessing the classroom homogeneity with respect to the socio-economic
background and general intelligence of the students. In addition we examine to what extent
classroom composition affects the standards the teachers employ and to what extent these
standards can account for the effects of classroom composition. The analyses specifically ad-
dress the following questions:

1. To what extent are the classrooms in Dutch elementary education homogeneous with respect
to the socio-economic and intellectual backgrounds of.-the students? This question will be
dealt with in section 6.1. A substantial amount of classroom homogeneity is expected, espe-
cially with respect to the students' socio-economic backgrounds, because most schools enrol
students from a rather restricted area.

2. In how far do teachers apply a uniform standard for the entire classroom? We will address
this question in section 6.2. In the explanation of classroom composition effects proposed by
De Vos (1986; 1989) the effect of standards on the classroom as a whole is strongly empha-
sized. On the other hand, it is not plausible that teachers will apply a perfectly uniform
standard for all their students.

3. Does classroom composition affect the goals teachers set for each individual student? Do
teachers set higher goals in high-ability classes independently of the students' individual
abilities? According to De Vos teachers set higher goals for their students in high-ability
classes. Furthermore, teachers in low-ability classes are believed to set particularly high
goals for their most talented students and relatively low goals for the less talented. Section
6.2 presents an empirical assessment of the hypothesized relations between classroom com-
position and teacher goals.

4. To what extent do the average classroom ability level and classroom heterogeneity affect the
individual achievements of the students independently of their individual ability and their
socio-economic family background? We will deal with this question in section 6.3. A positi-
ve effect of the average classroom ability level is expected, which would imply that grouping
students into homogeneous classrooms reinforces the already existing inequalities with res-
pect to their intellectual capacities. A negative effect of classroom heterogeneity, however,
would imply that more equality with respect to achievement entails a somewhat lower level
of general student achievement.

5. Are the effects of classroom composition different for high and low-ability students? Is the
effect of the average classroom ability stronger in homogeneous or in heterogeneous classes?

48 H. Luyten and A. van der Hoeven-van Doornum

In other words: are there any significant interaction effects of individual ability, classroom
ability and heterogeneity? These issues are addressed in section 6.3. Investigating the strength
of these interaction effects is required for an adequate understanding of the effects of classroom
composition. One of the arguments advanced by the proponents of heterogenous grouping is
the assertion that heterogeneous grouping will raise the general level of student achievement,
because the positive effect of the average classroom IQ is believed to be particularly strong
for the less talented students. On the other hand, one should acknowledge that this effect may
be counterbalanced by a negative heterogeneity effect which mainly affects the achieve-
ments of the low-abihty students. It should also be checked whether the effect of the classroom
ability level remains equally strong when classes become more heterogeneous.

6. To what extent can the goals set by the teachers account for the effects of classroom compo-
sition? How strong are the classroom composition effects after controlling for teacher stan-
dards? How strong is the empirical basis for the conception of classroom composition effects
as resulting from purposeful teacher behaviour? These questions are discussed in section 6.3.

7. Which changes are to be expected if the students were grouped into perfectly heterogeneous
or perfectly homogeneous classes? How will it affect the variation in student achievement?
What will be the consequences for high and low-ability students. These questions will be
dealt with in section 6.4.

The next section presents a description of the datasets that were used in the analyses. The

outcomes are reported in section 6.

5. DATA AND METHOD OF ANALYSIS

Two different datasets were analyzed to investigate the effects of classroom composition. The
first dataset, which contains information about a national sample of 212 elementary schools,
was used to assess the effects of classroom composition, whereas the second dataset was prima-
rily used to test whether teacher goals can account for the effects of classroom composition. The
first dataset has been used by several researchers in various studies (e.g. Brandsma, 1993;
Knuver, 1993; Reezigt, 1993). The present study focuses on the students who were in their final
year of elementary education. The data relate to 3993 students from 221 classes and were
collected in 1987 and 1988. To assess the impact of classroom composition on individual
achievement information about the following three variables was needed:

- achievement

- intelligence

- socio-economic status (SES)

Classroom characteristics, such as means and standard deviations, could be computed on the
basis of this information. To measure achievement a test made up of 88 items relating to
language and mathematics was used.'' These items were derived from standardized tests ("CITO-
tests"), which are administered in most schools a few months before the end of the final year in
elementary education. The CITO-tests can be considered to cover the basic curriculum in Dutch
elementary education quite adequately (Blok, 1992). Intelligence was measured one year ear-
lier, in 1987, by means of an IQ-test (the "ISI-test") measuring both spatial and verbal intelli-
gence. Information about the socio-economic background of the students, which served as a
control variable in our analyses, was obtained from the teachers. The SES-index is based on four
indicators: the education of a student's father and mother and their profession.

The second dataset contains information about a sample of 51 schools from four regions in
the East and South of the Netherlands (Twente, Arnhem, Tilburg and Zuid-Limburg). The data
were originally collected at several points in time between may 1986 and june 1988 by
Van der Hoeven-Van Doornum (1990) for a study into the indirect effect of socio-economic

Classroom composition and individual achievement 49

status via teacher expectations and aspiration levels on school careers in elementary education.
Students were followed during their last two years of elementary educadon. In the present study
we confine ourselves to the effects of classroom composition in the final year of elementary
education. The dataset was obtained through disproportionate sampling (Van der Hoeven-Van
Doornum, 1990; pp. 48-58). Two stratificadon criteria were applied: the composition of the
schools' student populations with respect to socio-economic and ethnic background and the
academic output of the schools in 1985.^ Schools were grouped into three categories with
respect to the first criterion (high, medium and low-input schools). On the basis of the second
criterion the schools in each category were classified as high, low or medium-output schools.
From each category an equal number of high and low-output schools was included in the
designed sample. The medium-output schools were not included in the sample.^ The schools in
the sample did not differ significantly from the total population of schools in the four regions
with respect to student enrolment, denomination (public, catholic, protestant or other), degree of
tirbanizadon or the socio-economic and ethnic background of their students (Van der Hoeven-
Van Doornum, 1990; pp. 59-60). The students in the sampled schools scored slightly below the
national average on the test score that served as the main criterion variable in our analyses -
5.33.3 versus 535.7 - , while the standard deviation in the sample was somewhat higher than in
the national population - 11.25 versus 9.75 (Van der Hoeven-Van Doornum, 1990; p. 94). The
analyzed dataset contained information about 698 students from 57 classes. Our analyses requi-
red information about only four student level variables. Classroom characterisdcs were compu-
ted on the basis of these four variables, which are:

- achievement

- intelligence

- socio-economic status (SES)

- cognitive goals set by the teacher

Achievement was measured by means of a standardized test (the "final CITO-test") consisting
of 180 multiple choice items dealing with language, mathematics and information processing
(i.e. reading tables, maps and graphs). This test is administered in the majority of Dutch elemen-
tary schools shortly before the end of the final year, usually in february. Intelligence was
assessed by means of the same IQ-test (the "ISl-test") as the one in the national sample. This test
was administered in September 1987. Socio-economic background was measured by an index
constructed on the basis of the education and profession of the students' parents. The informa-
tion was obtained directly from the parents. The cognitive goals were measured by a nine item
index, which serves as an operationalization of their standards. In december, three months after
the beginning of the school year, the teachers were interviewed about the cognitive goals they
had set for each of their students. The questions were formulated as follows:^

Please indicate your approach for this student.

- Set modest standards*

- Emphasize practical work rather than language and mathematics development*

- Teach only topics the student will need later on*

- Let the student work with material from lower grades*

- Teach extensive parsing skills

- Give the student the opportunity to switch to easier subject matter*

- Present enrichment material

- Let the student work ahead

- Demand correct spelling

These nine questions were Likert-type items with five response categories. The internal consis-
tency of the scale (Cronbach's a) equalled .86. The items marked with an asterisk (*) were
negatively scored.

50 H. Luyten and A. van der Hoeven-van Doornum

It should be noted that in the present study classroom homogeneity is conceived as a sociolo-
gical phenomenon rather than an educational one. In Dutch elementary educadon students are
hardly ever deliberately grouped into homogeneous classes. As far as students do end up in
homogeneous classes this is the result of sociological factors. Schools generally enrol students
from restricted areas, which are often quite homogeneous with respect to the socio-economic
and ethnic backgrounds of the residents and Dutch parents tend to send their children to schools
where the students of foreign origin constitute no more than a (small) minority of the endre
school population, so that many students of foreign origin end up in "black" schools. We expect
that such socio-economic and ethnic homogeneity produces a substantial homogeneity with
respect to the cognitive aptitudes of the students as well. The present study aims to establish in
how far the classroom composition characteristics with respect to the general cognitive aptitu-
des of the students affect their individual achievements. It was decided to investigate the effect
of the (individual and classroom average) IQ-scores rather than the effect of prior achievement,
because IQ-scores are more stable in time and less curriculum-dependent than test-scores which
relate to more specific knowledge and skills. The analyses aim to assess the effect of classroom
composition on the general achievement scores of the students and do not differentiate between
language and mathematics achievement.

Several multilevel analyses were conducted to answer the research questions formulated in
section 4. In order to obtain an impression of the effects to be expected if the students were
grouped into more heterogeneous or homogeneous classes, some simple simulations were con-
ducted based on the empirical findings with respect to the classroom composition effects.

6. RESULTS

The multilevel analyses were conducted using the ML3-software (Prosser et al.; 1991). The
findings are presented in the next three sections. The outcomes with respect to the simulations
are presented in section 6.4.

6.1. Classroom homogeneity with respect to IQ and SES

The homogeneity of the classrooms in the investigated sample with respect to the socio-econo-
mic background and the individual IQ-scores of the students was assessed by means of a
multilevel analysis. For both variables the total amount of variance was partitioned into student
level and classroom level variance. The amount of classroom level variance expresses how
much of the total variance can be attributed to differences between the classroom means. The
student level variance expresses how much of the total variance is attributable to differences
between students within classes. The results are listed in table 1, which shows that, although
most of the variance is situated at the student level, there are still substantial differences bet-
ween classes with respect to the socio-economic backgrounds of their students. The differences
between classrooms with respect to the IQ-scores were found to be considerably smaller, espe-
cially in the national sample. No more than 11.3% of the total variance in IQ-scores appeared to
be situated at the classroom level, whereas about a quarter of all variance with respect to the
SES-scores turned out to be aUributable to differences between classes. This implies that the

Classroom composition and individual achievement 51

classes in Dutch elementary education cannot be made much more heterogeneous than they
presently are with respect to the cognidve apdtudes of the students.

The appendix provides additional information about the frequency distributions of these and
other variables that were analyzed in the present study. The correlation between socio-economic
status and IQ was found not to be very high at the individual level in either sample. The relation
between both variables appeared to be stronger at the classroom level. The student level correla-
tion in the national sample is .33 (pearson r), and .37 in the regional sample, while the correla-
tion between the classroom aggregates equals .49 in the national sample and .57 in the regional
sample.

In several studies which deal with the effects of classroom composition the researchers have
been faced with the problem that the average classroom ability level and the classroom hetero-
geneity were very strongly correlated (Guldemond et al., 1987, pp. 61-75). In the present study
the standard deviation of the IQ-scores in the classroom served as a heterogeneity measure. The
correlations between the average classroom IQ and the standard deviation did not lead to any
problems of multicollinearity in either sample. The correlation between both variables equalled
-. 13 in the national sample (which is not significant for a < .05) and -.44 in the regional sample.

6.2. Effects of classroom composition on teacher goals

This section deals with the question to what extent teachers set uniform goals for all the students
in their classes and to what extent classroom composition variables can account for the goals
teachers set for the individual students. The second dataset, the one relating to the regional
sample, was used to address these issues. The total variance in teacher goals was partitioned into
student level and classroom level variance. Next the effects of individual student characteris-
tics, classroom characteristics and their interaction effects on the teacher goals were examined.
The results of these analyses are presented in table 2. Before conducting the analyses all varia-
bles were transformed into z-scores, so that the reported effects can be interpreted as standardi-
zed regression coefficients. The figures in between brackets denote the standard errors. The
interaction terms were computed by multiplying the z-score transformations. The effects of
these interaction terms can be interpreted as standardized regression coefficients as well (Jac-
card et al., 1990).

Model 0 shows the partitioning into student and classroom level variance. The percentages of
variance at the student and classroom level are similar to the ones found with respect to socio-
economic background and IQ-scores. Most of the variance in teacher goals is situated within the
classrooms, which implies that teachers set quite different goals for the students in their classes.
Although the amount of classroom level variance is rather modest as compared to the student
level variance, the outcomes do reveal substantial differences between classes with respect to
teacher goals. Model 1 presents the effects of several independent variables and their interac-
tions on the teacher goals. The regression coefficients that are significant for a < .05 in a two-
tailed t-test are printed in bold face. Most coefficients, however, are very small and not statisti-
cally significant. Individual IQ reveals the strongest effect on the goals set by the teachers.
Teachers also set higher goals for students from a more favourable socio-economic background.
Apart from the interaction effect of classroom heterogeneity (measured by the classroom stan-
dard deviation for IQ-scores) and individual IQ, no significant effects were found for the
classroom composition characteristics. The interaction effect imphes that in the more heteroge-
neous classes teachers set particularly high goals for the most talented students, and particularly
low goals for the less talented.

The expectation that teachers set higher goals in high-ability classes was not confirmed.
Teachers do set higher goals for the more talented students, but this is not related to the average
level of ability in the classroom. Also, the expectation that teachers in low-ability classes set
relatively high goals for their most talented students, which would imply a negative interaction
effect of individual and classroom ability, cannot be considered to be corroborated. However,
the analyses did reveal substantial differences between classrooms with respect to the goals set
by the teachers. The average classroom goals may have an effect on student achievement.

52 H. Luyten and A. van der Hoeven-van Doornum

Table 2. Effects of individual and classroom characteristics on teacher goals; Regional Sample.

Model 0

6.3. Effects of classroom composition and teacher goals on individual achievement

In this section it will be discussed to what extent classroom composition affects student achieve-
ment and whether teacher goals can account for such effects. Both the national and the regional
sample are examined. The information provided by the national sample allows for a reliable
estimation of the impact of classroom composition in Dutch elementary education. An analysis
of the regional sample will show in how far the effects of classroom composition can be
attributed to the goals set by the teachers.

The zero models in table 3 show that the amount of classroom level variance with respect to
student achievement is substantial in both samples. The differences between classrooms in this
respect are considerably larger than the classroom differences regarding IQ-scores and teacher
goals. They are also somewhat larger than the differences with respect to socio-economic
background. The classroom level variance probably provides a close approximation of the
school level variance, because only a few schools in both samples comprise more than one class
in grade 8. The classroom level variance thus largely coincides with the school level variance. In
most studies dealing with school effecdveness in Dutch elementary education the amount of
school level variance, however, has been reported to be considerably smaller (Blok, 1992). It is
quite likely that the differences between schools are somewhat overestimated in the regional
sample, because schools with remarkably high and low outputs in former years are overrepre-
sented to some extent (see section 5). It seems less likely, though, that the relatively large
amount of school level variance that was found in the national sample is due to the sampling
design. It should be noted that many reports which deal with the differences between Dutch
elementary schools are not based on representative samples (Blok, 1992). In some cases the
sample only relates to a certain region (Meijnen, 1984; Bosker & Hofman, 1987), in some cases
schools with many disadvantaged students are overrepresented (Van der Werf & Weide, 1991;
Van der Werfet al., 1991; Weide, 1993; Van der Velden, 1993; Jungbluth, 1993) and in other
cases there is no information about the representativeness of the samples (Brandsma & Knuver,
1988; Van de Grift & Akkermans, 1991). Apart from the national sample that was analyzed in

Classroom composition and individual achievement 53

the present study the sample analyzed by Blok (1992) may be the only one that can be conside-
red to produce a representadve picture of the differences between schools. This sample contains
information about student achievement in 179 schools for five consecutive years (1987-1991).
Blok reports a declining trend in time with respect to the amount of school level variance. For
1988, the year when the data for the national sample in the present study were collected, he
reports a school level variance of 17% for language and 22% for mathematics. These outcomes
still deviate to some extent from the findings in the present study, but they also suggest that the
relatively small amounts of school level variance reported in previous studies underestimate the
true differences between schools.

For both samples model 1 presents the effects of individual characteristics and classroom
composition on student achievement. Again, the reported effects can be interpreted as standar-
dized regression coefficients and the ones which are significant for a < .05 in a two-tailed t-test
are printed in bold face. The strongest effect was, not surprisingly, presented by individual
intelligence. Socio-economic background was found to affect achievement as well. A moderate,
but statistically significant effect of the average classroom ability level could be detected in
both samples. The national sample also revealed a significant effect of classroom heterogeneity
and a significant interaction effect of individual and classroom IQ. Classroom heterogeneity
was found to exert a modestly negative effect on individual achievement. The negative sign of
the interaction effect implies that the effect of the average classroom IQ is stronger for low-
ability students than for the more talented ones. This effect, however, is even smaller than the
effect of classroom heterogeneity. Similar interaction effects and heterogeneity effects were
found in the regional sample as well, but in that case they were not statistically significant. This
is probably due to the limited size of this sample which renders the statistical power of the
analyses rather low if one wants to detect effects of a modest size.'^ In general the findings from
both samples are fairly consistent. It is difficult, however, to establish which factors may
account for the observed inconsistencies. The fact that the samples were obtained through
different sampling designs may be the most important explanation for the divergencies. The
national sample must be considered to provide a more representative picture, because it relates
to the entire systein of Dutch elementary education and because in the regional sample schools
with high and low output are overrepresented. It should also be noted that two variables, socio-
economic status and student achievement, were not measured in exactly the same way in both
samples. The achievement scores in the national sample relate only to language and mathema-
tics, whereas the achievement scores in the regional sample are based on items pertaining to
language, mathematics and information processing. In the regional sample the information with
respect to the students' socio-economic background was obtained directly from the parents, but
in the national sample the teachers were asked to provide this information. It can of course not
be precluded that some of the inconsistencies reflect certain genuine regional peculiarities in the
F'lst and South of the Netherlands, but this does not seem very likely.

The fact that the other two-way interaction effects were found to be very small and non-
significant in the national sample is also worth mentioning. Our concern that the low-ability
students might be more strongly influenced by a negative heterogeneity effect than the more
talented ones (see section 2) turned out not to be justified. The same is true for our worries that
the impact of the classroom average might decrease in heterogeneous classrooms. The regional
sample even displayed (non-significant) effects in the opposite direction. The three-way inter-
action of individual IQ with classroom IQ and classroom heterogeneity also appeared to be
insignificant in both samples.

When controlling for the cognitive goals set by the teacher in the regional sample, some
remarkable changes emerge. Model 2 shows a considerable, positive effect of the goals set by
the teacher at the individual level, but the classroom average of the teacher goals was found to
affect achievement negatively. This effect, however, is not significant for a < .05. This finding
is consistent with the outcomes presented by Van der Veiden (1993) who investigated the effect
of a similar variable on language and mathematics achievement. In his analyses the teacher
goals are related to the classroom as a whole and not to individual students. This variable was

54 H. Luyten and A. van der Hoeven-van Doornum

not found to affect achievement. Another variable, however, which relates to the minimum
goals the teacher sets for his/her classroom did produce a significant effect. We will return to
this quesdon in the discussion secdon.

The outcomes suggest that at the individual level the teacher goals funcdon as an intermedia-
te variable between individual IQ and socio-economic background on the one hand and achieve-
ment on the other. The effects of both variables on achievement in the regional sample are
considerably lower in model 2 than in model 1. The effects of individual IQ and socio-economic
background in model 1 can be considered as the total effects on achievement, whereas model 2
presents the direct effects, i.e. the effects that are independent of the teacher goals. In the
previous section the teacher goals were shown to be dependent on IQ and SES. The difference
between the regression coefficients for the interacdon effect of classroom heterogeneity with
individual IQ presents another indication for the supposition that the teacher goals intermediate
between individual ability and achievement. In section 6.2 a significant interaction effect on
teacher goals of individual ability with heterogeneity was reported. Model 1 in table 3 presents
an interaction effect in the same direction on achievement for the regional sample, although it is
not statistically significant. When controlling for teacher goals, however, the interaction effect
is virtually equal to zero. The effects of the average classroom ability level and its interaction
with classroom heterogeneity appear to increase when controlling for teacher goals. In model 2
this interaction effect is even significant for a <. 05, which would imply that the effect of the
average classroom IQ is stronger in heterogeneous classroom instead of weaker. Our worries
that the effect of the average classroom ability level might be rather weak in heterogenous
classes were therefore not confirmed. The results presented in model 2 clearly indicate that the
goals set by the teachers, as operationalized in the present study, cannot account for the classroom
composition effects that were found.

Classroom composition and individual achievement 55

6.4. Simulated effects of classroom composition

In order to obtain an impression of the effects to be expected if the students were grouped into
more heterogeneous or more homogeneous classes some simple simulations were conducted
based on the empirical findings in the national sample. The general model that was used to
"predict" the effects is shown in table 4. The simulations are based on model 2. Model 1 is
included in the table to show how much of the variance in student achievement can be explained
by the classroom composition variables. The extra amount of variance explained by model 2 at
the classroom level is substantial (9.3%), but its contribution at the individual level is very small
(0.1 %). The increase across both levels is therefore quite modest as well (2.7%). All regression
coefficients in the table are significant for a < .01.

Table 5. shows the outcomes of the simulations. Three situations were considered:

A. The present situation

B. A situation in which students were grouped into completely heterogeneous classes

C. A situation in which students were grouped into completely homogeneous classes.

ad A: First of all, the achievement scores that would be expected in the present situation on the
basis of our model were computed. In this way a "yardstick" was obtained to evaluate the
o'ltcomes in the other two situations. The expected scores were computed by means of the
following equation:

^ITOexp = -6.114+1+ . 129*SES+.821 -1 .020*SD,q -. 1

Where:

The expected achievement score on the ClTO-test
The individual IQ-score
The socio-economic background
The classroom mean IQ-score

The standard deviation of the individual IQ-scores in the classroom

The individual IQ-score centred around the overall mean IQ-score (11.494)

The classroom mean IQ-score centred around the overall mean IQ-score (11.494)

56 H. Luyten and A. van der Hoeven-van Doornum

The product of the last two variables makes up the interacdon term that relates to the interaction
effect of individual and classroom IQ. An appropriate procedure to assess a two-way interaction
effect in multiple regression models is to centre both variables around their respective means
before computing a multiplicadve term. In this way the problem that the correlations between
the interaction term and the variables IQj„j and IQ^ass would be too large (the problem of
multicollinearity) can easily be avoided (Cronbach, 1987, Jaccard et al., 1990).^

Table 5 shows the average and the standard deviation of the expected scores. Note that the
standard deviation of these scores is considerably lower than the actual standard deviation. This
is because our model accounts for only 52.4% of the total variance in the achievement scores.
The table also shows the expected scores for students of different ability. For this purpose the
students were grouped into four categories of equal size.

ad B\ In this case each class would be a perfectly representative sample of the entire population
of students. The average IQ and the standard deviation of IQ-scores in each class would equal
the average score and standard deviation in the whole population. The value for IQ^ias^ is thus
assumed to be 11.494 in all classes. Since the regression effect for IQ^ia^s is .821, the effect of
this variable should equal 9.437 (.821*11.494) in all classes. The value for SDjq is assumed to
equal 1.803 in all classes and the regression coefficient for this variable is -1.020. The expected
effect of classroom heterogeneity is thus estimated to be -1.839 (-1.020*1.803) in each and
every class. The interaction term is equal to zero in this situation, because the value for IQ^^^iass
is zero in every class. Summing the values for the intercept and the effects of and SDjq

yields 1.484 (-6.114 + 9.437 - 1.839). The equation to compute the expected scores thus
becomes:

CITO^xp = ^ -484 + 1 •647*IQi„j + . 129*SES

ad C: In this hypothetical situation the students are assumed to be grouped into classrooms
with zero heterogeneity. This implies that the negative effect of SDjq is totally absent and that
for each student the average classroom IQ equals his or her individual IQ. The variable IQj^j,
now actually occurs two times in the equation, because IQi^j and IQ^iass assumed to be
identical. This can of course be simplified by computing a single term (2.468*IQjj^j instead of
1.647*IQj^j + -821*10)^^). Since in this situation IQi„j_ = IQdass' interaction term changes
into a quadratic term. The equation now becomes:

ƒ

Table 5 shows that extremely homogeneous grouping would result in much larger deviations
from the present situation than extremely heterogeneous grouping. This is not surprising, becau-
se in the present situation the students are already grouped into fairly heterogeneous classrooms

CITO^xp = - 6.114 + 2.486*IQj„, + .129*SES - .136*(IQ'=,„,_

Classroom composition and individual achievement 57

(see table 1). Homogeneous grouping may be expected to result in a somewhat higher level of
average achievement, but also in considerably more variance. The achievements of the least
talented would decrease, but the achievements of the others would increase, especially those of
the brightest 50%. Grouping students into extremely heterogeneous classes would result in a
slightly lower amount of variance and in somewhat higher achievement of the least talented
students.

The figures in table 5 should be considered primarily as an illustration of the trends that were
detected in the national sample rather than definite predictions of student achievement under
certain conditions. It should be noted that the model on which the simulations are based, leaves
nearly 50% of the total variance in student achievement unexplained. Moreover, the simulations
are based on the assumption that the trends which were found in the present situation can be
extrapolated to conditions of extreme homogeneity or heterogeneity of classrooms. Especially
the situation of perfectly homogeneous classes deviates strongly form the prevailing circum-
stances.

7. DISCUSSION

The main purpose of the present study was to assess the effects of classroom composition on
individual achievement in Dutch elementary education. It was specifically investigated what
will be the consequences if students become grouped into more homogeneous classes. The
research outcomes indicate that classroom homogeneity tends to reinforce the inequalities bet-
ween students with respect to their cognitive aptitudes. Increasing classroom homogeneity may
result in higher achieveinents for most students, especially the most talented, but it must be
expected to iinpede the achievements of the least talented. Our concerns that the effect of the
average classroom IQ on individual achievement might be very weak in heterogeneous classes
or that the negative effect of classroom heterogeneity is particularly strong for the low-ability
students were not confirmed. Although the classrooms in both samples appeared fairly homoge-
neous with respect to the socio-economic backgrounds of their students, the classes turned out
to be surprisingly heterogeneous with respect to the cognitive aptitudes of the students.

Classroom homogeneity, however, must be expected to increase under the present circum-
stances. Dutch parents generally seem to prefer schools with no more than a small minority of
foreign students for their children, because they suspect that a large number of foreign classma-
tes affects the achievements of the Dutch students negatively. As a result many students of
foreign origin end up in classes which are almost entirely made up of other foreign students.
Without government intervention this development can be expected to result in a considerably
increased homogeneity of the classes, which will coincide with a segregation along ethnic lines.
The present government policy, which is aimed at increasing the size of the elementary schools,
inay provide some opportunities to counterbalance this trend. The larger the schools, the wider
the area from which they enrol their students. The student populations of the schools may thus
become more heterogenous as their size increases, although this does not guarantee that the
classrooms will become more heterogeneous. Presently most schools are too small to allow for
the grouping of students into homogeneous classes. When school size increases, some schools
may choose to track students into high and low-ability classes. It seems dubious that the creation
of larger schools can on its own turn the tide of increasing classroom homogeneity. More
heterogeneous classes and a more equal distribution of student achievement can only be obtai-
ned through more specific measures. It should also be noted that, although the classrooms in the
national sample were found to be quite heterogeneous with respect to the IQ-scores of their
students, this does not preclude that in some regions, especially the large cities, classes may still
be very homogeneous in this respect.

Our analyses aimed to test whether the effects of classroom composition can be conceived as
resulting from rational behaviour by both teachers and students as proposed by De Vos (1986;
1989). It was investigated if teachers set higher goals for their students in high-ability classes

58 H. Luyten and A. van der Hoeven-van Doornum

than in low-ability classes. Although our analyses demonstrated that teacher goals exert a
considerable effect on student achievement and that the teacher goals are strongly dependent on
a student's individual IQ, the evidence clearly failed to confirm the assertion that classroom
composition effects result from rational behaviour through the goals set by the teachers. The
research outcomes did not reveal a significant effect of the average classroom IQ on the goals
set for the individual students (see table 2), nor was the classroom average of the teacher goals
found to affect student achievement in the way it was expected (see table 3). The effect of the
average classroom IQ appeared even to increase after controlling for the teacher goals. On the
other hand, it should be noted that the fundamental assumptions that teachers set higher goals
for the intelligent students and that the students' achievements increase when they are faced
with higher goals were clearly confirmed at the individual level. The present study, however,
showed that teachers set quite diverging goals for the students in their class, whereas in the
argument by De Vos the emphasis is on the effects of standards for the entire classroom.

The fact that in the present study the classroom composition effects could not be accounted
for by the teacher goals may to some extent be due to the way they were measured. The items on
which the index measuring the teacher goals is based (see secdon 5) may have encouraged the
teachers to emphasize the variadon in approaches they employed for the students in their class.
Perhaps, if more specific and objective information about their goals (e.g. through detailed
questions about the subject matter they wanted their students to master) had been available, the
within classroom differences with respect to the teacher goals might have appeared smaller.
However, the fact that substantial differences between classrooms with respect to the teacher
goals were found (see table 2) suggests that the index is able to distinguish classes where high
goals are set from classes with low goals, apart from detecting differences within the classrooms.

It should also be noted that the index employed in the present study expressed the teachers'
maximum aspiration levels rather than their minimum standards. When focusing on the mini-
mum levels of achievement the teachers demand from their students classroom effects on indivi-
dual achievement may still be (partly) accounted for by the teacher goals. The findings reported
by Van der Velden (1993) support this idea. In his analyses the effects of two kinds of teacher
goals on student achievement were investigated. Both variables related to the goals for the
classroom as a whole and not to individual students. The first variable resembles the operationa-
lization of teacher goals that was employed in the present study quite closely. This variable was
not found to affect achievement, which is consistent with the findings in this study, as we only
detected an effect at the individual level. The other variable, however, which relates to the
minimum goals the teacher sets for the classroom did produce a significant effect. These outco-
mes suggest that at the classroom level the minimum standards set by the teachers are important,
whereas our findings indicate that at the individual level the maximum aspiration levels of the
teachers enhance achievement. To gain a more clear understanding of the causes and effects of
teacher goals further (and probably quite elaborate) research is required.

More accurate measures of teacher goals may be obtained by asking teachers to indicate
whether they want a certain student to master some well-defined subject matter. Such questions
might even be asked about specific test-items. Separate questions might be formulated to measure
the minimum standard and the maximum aspiration level a teacher sets for each student. Expli-
cit questions could also be asked about the goals and standards at the classroom level. The
present study was mainly focused on the maximum aspiration levels the teacher had set for each
student with respect to not very specifically defined subject matters and it was assumed that the
classroom mean of the individual goals would correctly reflect the goals the teachers had set for
their class as a whole. Another issue that could not be addressed in the present study refers to the
relation between the teacher goals and their actual behaviour in the classroom. We assume,
however, that the information provided by the teachers presents a valid picture of their inten-
tions. Furthermore, it should be pointed out that even when teacher goals and their behaviour are
not clearly related, the goals may still have an important effect on achievement. Teacher goals
reflect what they want their students to achieve and it seems plausible that teachers are able to
attain a chosen goal via different approaches.

Classroom composition and individual achievement 59

Our study has nevertheless demonstrated that a teacher may choose quite different goals for
the students in his/her class. Even if the way the teacher goals were measured tends to exaggera-
te the differences within classes somewhat, which is for the moment no more than an unconfir-
med suspicion, this conclusion seems unavoidable. This inevitably limits the extent to which
teacher goals can account for classroom composidon effects. Possibly, the interactions and
competition among classmates may offer more valid explanations of classroom composition
effects than the idea of differential instruction. It should be noted, though, that teachers may
influence the interaction and competition among classmates, so that teacher behaviour may still
account to some extent for the effects of classroom composition. In the present study the
reinforcement of the inequalities between students which results from homogeneous grouping
could certainly not be attributed to the goals set by the teachers. On the contrary, the effect of
the classroom average IQ was found to increase after controlling for the teacher goals.

NOTES

1. The authors would like to thank Hennie Brandsma, Anja Knuver and Gerry Reezigt for providing part of
the data (the "national sample", see .section 5) that were analyzed in the present study.

2. Rath (1991, pp. 177-238) describes a case of two elementary schools in Rotterdam, housed in the same
building, but one with a population of predominantly foreign children (90%; and the other with a .student
population of predominantly Dutch children (60%). The parents of foreign origin frequently protested
against this segregation.

3. Most of these students originate from Surinam, Turkey, Morocco, Aruba or the Dutch Antilles (mainly
Curasao).

4. Although the test consists of 58 language items and only 30 mathematics items, the mathematics items
are not underrepresented. The composite achievement score was obtained by computing the unweighted
average of the (standardized) scores on the language and mathemadcs sub-tests.

5. The output measure was based on information about the school careers in secondary education of each
school's students.

6. It should be noted that the classification of high, low and medium output was different for the three
categories (high, low or medium input). Schools with an "average" output were included in the sample,
but these were predominantly high-input schools with a relatively low output or low-input schools with
a high output.

7. For the onginal Dutch formulations see Van der Hoeven-Van Doornum (1990, pp. 107-108).

8. This can be illustrated by considering the figures pertaining to the effect of "Standard deviation IQ" in
the regional sample. Given the size of the standard error for this regression coefficient (.046) only an
effect larger than .090 would be considered statistically significant, because only coefficients which are
about twice as large as their standard error are significant for $1 < .05. If the actual size of the effect is
smaller than .090, the chances to obtain a statistically significant result are less than 50 %. In other
words: the power of the test is limited when it comes down to detecting small effects.

9. If standardized coefficients are preferred the product of the z-score transformations may serve as the
interaction term (see section 6.2).

REFERENCES

Beckerman, T.M. & Good, T.L. (1981). The classroom ratio of high and low aptitude and its effect on
achievement. American Educational Research Journal, 18, 317-327.

Blank, J.L.T., Boef-van der Meulen, S., Bronneman-Helmers, H.M., Herweijer, L.J., Kuhry, B. & Schreurs,
R.A.H. (1990). School en schaal (School and scale). Rijswijk/Den Haag: Sociaal en Cultureel
Planbureau/VUGA.

Blok, H. (1992). De grootte van het schooleffect in het basisonderwijs; een analyse op basis van vijfjaar
Eindtoets Basisonderwijs. (The size of the school effect in elementary education; an analysis based
on five years Final Elementary Education Test). Tijdschrift voor Onderwijsresearch, 17, 343-354.

Bosker, R. & Hofman, A. (1987). Dimensies van schoolkwaliteit. De algemene en milieuspecifieke invloed
van scholen op prestaties en het keuzegedrag van leeriingen (Dimension of school quality. The
general and background specific effect of schools. In J. Scheerens & W.G.R. Stoel, (eds.) Effecti-

60 H. Luyten and A. van der Hoeven-van Doornum

viteit van onderwijsorganisaties (Effectiveness of educational organizations). Lisse: Swets &
Zeitlinger.

Brandsma, H.P. (1993). Basisschoolkeninerlcen en de kwaliteit van het onderwijs (Characteristics of ele-
mentary schools and the quality of education; Dissertation, with a summary in English), Gronin-
gen: RION.

Brandsma, H.P. & Knuver, A.W.M. (1988). Organisatorische verschillen tussen basisscholen en hun effect
op leerprestaties (Organizational differences between elementary schools and their effects on
student achievement). Tijdschrift voor Onderwijsresearch, 13, 201-212.

Cronbach, L. (1987). Statistical tests for moderator variables: Flaws in analysis recently proposed. Psycho-
logical Bulletin, 702,414-417.

Dar, Y. & Resh, N. (1986). Classroom intellectual composition and academic achievement. American
Educational Research Journal, 23, 357-430.

Duke, J.B. (1993). Estimation of the network effects model in a large dataset. Sociological Methods and
Research. 21, 465-481.

Erbring, L. & Young, A.A. (1979). Individuals and social structure: Contextual effects as endogeneous
feedback. Sociological Methods and Research, 7, 396-430.

Gamoran, A. (1986). Instructional and institutional effects of ability grouping. Sociology of Education, 59,
185-198.

Gamoran, A. (1992). Is ability grouping equitable? Educational Leadership, 50 (2), 11-16.

Guidemond, H., Haanstra, F., Laarhoven, P. van & Vries, A.M. de (1987). Effecten van heterogeen groepe-
ren in het voortgezet onderwijs, een voorstudie voor onderzoek in Nederland (Effects of heteroge-
neous grouping in secondary education, a preliminary study for research in the Netherlands).
Groningen: RION.

Grift, W. van de & Akkermans, W. (1991). Onderwijskundig leiderschap en leerprestaties in het basisonder-
wijs (Educational leadership and student achievement in elementary education) Tijdschrift voor
Onderwijsresearch, 16, 244-257.

Hallinan, M.T. (1987). Ability grouping and student learning. In M.T. Hallinan (Ed.): The social organiza-
tion of schools (pp. 41-69). New York/London: Plenum.

Van der Hoeven-van Doornum, A.A. (1990). Effecten van leerlingbeelden en streefniveaus op schoolloop-
banen. (Effects of teacher expectations and aspiration levels on school careers; Dissertation, with
a summary in English) Nijmegen: ITS.

Jaccard, J., Turrisi, R. & Wan, C.K. (1990). Interaction effects in multiple regression. Newbury Park/
London/New Delhi: SAGE Publications.

Jungbluth, P. (1993). Pygmalion and the effectiveness of 'black' schools; teachers' stereotypes and hidden
goal differentiations towards ethnic minorities. Tijdschrift voor Onderwijsresearch, 18, 99-110.

Kerckhoff, A.C. (1986). Effects of ability grouping in British secondary schools. American Sociological
Review. 51, 842-858

Knuver, J.W.M. (1993). De relatie tussen klas- en schoolkenmerken en het affectief functioneren van
teerlingen (The relation between class and school characteristics and the affective functioning of
the students; Dissertation, with a summary in English) Groningen: RION.

Kulik, C.C. & Kulik, J.A. (1982). Effects of ability grouping on secondary school : a meta-analysis of
evaluation findings. American Educational Research Journal, 19, 415-428.

Kulik, C.C. & Kulik, J.A. (1984). Effects of ability grouping on elementary school pupils: a meta-analysis.
Paper presented at the annual meeting of the American Psychological Association, Toronto.

Leiter, J, (1983). Classroom composition and achievement gains. Sociology of Education, 56, 126-132.

Link, C.R. & Mulligan, J.G. (1991). Classmates' effects on black student achievement in public school
classrooms. Economics of Education Review, 10, 297-310.

Maas, C.J.M. (1992), Probleemleerlingen in het basisonderwijs. (Pupils with learning and behavioral pro-
blems in elementary education; Dissertation, with a summary in English) Utrecht: ICS.

Meijnen, G.W. (1984). Van zes tot twaalf. Een longitudinaal onderzoek naar de milieu- en schooleffecten
van loopbanen in het lager onderwijs (From six to twelve. A longitudinal study into the school
effects and socio-economic background effects in elementary education). Hariingen: Flevodruk.

Mensen, T. & Guidemond, H. (1987). Groepseffecten op individuele leerprestaties (Classroom effects on
individual achievement). Mens en Maatschappij, 62, 176-199.

Oakes, J. (1985), Keeping track. How schools structure inequality. New Haven: Yale University Press.

Prosser, R,, Rashbash, J. & Goldstein, H, (1991), ML3 Software for Three-level Analysis. London: Institute
of Education, University of London,

Rath, J,C. (1991). Minorisering: de sociale contructie van "etnische minderheden" (Minorization: the
construction of "ethnic minorities"; Dissertation with a summary in English). Amsterdam: SUA

Classroom composition and individual achievement 61

Reezigt, G.J. (199.3). Ejfecten van differentiatie op de basisschool. (Effects of within classroom differenda-
tion in eleiuentary schools; Dis.sertation, with a summary in English). Groningen: RION

Resh, N. & Dar, Y. (1992). Learning segregation in junior high-schools in Israel: Causes and Consequences.
School Effectiveness and School Improvement, 3, 272-292.

Rowan, B. & Miracle, A.W. (1983). Systems of ability grouping and the stratification of achievement in
elementary schools. Sociology of Education, 56, 133-144.

Slavin, R.E. (1987). Ability grouping and achievement in elementary schools: a best-evidence synthesis.
Review of Educational Research, 57, 293-336.

Slavin, R.E. (1990). Ability grouping and achievement in secondary schools: a best-evidence synthesis.
Review of Educational Research, 60, 471-499.

Velden, L.F.J, van der (1993). The effects of teachers' attitudes and practices on the achievements of dutch
low SES pupils. Tijdschrift voor Onderwijsresearch, 18, 85-98.

De Vos, H. (1986). Een model van het interactiesysteem van de schoolklas (A model of the interaction
system of the classroom). Mens en Maatschappij, 61, 147-168.

De Vos, H. (1989). A radonal choice explanation of coinposition effects in educational research. Rationality
and Society, 1, 220-239.

De Vries, A.M. (1992). Hoe breder hoe beter? De ejfecten van heterogeen groeperen in het voortgezet
onderwijs in Nederland (The broader the better? The effects of heterogeneous grouping in secon-
dary education in the Netherlands; Dissertation with a summary in English). Groningen: RION.

Weide, M.G. (1993). Effective provisions for ethnic minorities in primary schools. Tijdschrift voor Onder-
wijsresearch, 18, 74-84.

Werf, M.P.C. van der & Weide, M.G. (1991). Effectief onderwijs voor allochtone leedingen (Effective
education for minority students). Tijdschrift voor Onderwijsresearch, 16, 231-243.

Werf, M.P.C. van der, Weide, M.G. & Tesser, P. (1991). Het onderwijsvoorrangsbeleid in de .school en in
de klas. De eerste meting in het basisonderwijs (The Dutch Educational Priority Policy in the
school and in the classroom. The first measurement in elementary education). Groningen/Nijme-
gen: RION/ITS.

Willms, J.D. (1986). Social class segregation and its relationship to pupils'examination results in Scotland.
American Sociological Review, 51, 224-241.

Manuscript submitted: March 21, 1994

Accepted for publication: July 12, 1994

62

H. Luyten and A. van der Hoeven-van Doornum
APPENDIX

Univariate statisdcs at the individual and classroom level

These figures deviate from the ones in table 4. The Figures in table 4. were obtained as follows: The
classroom aggregates were disaggregated to the individual students, whereas in the appendix the figures
relate to the frequency distributions across classes. Example: the average of the class mean IQ in the
appendix is lower than in table 4, because the class mean IQ is lower in small classes. When computing
the .statistics in the appendix that relate to classroom aggregates across all classes, large or small, received
the same weight. In this sense small classes are overrepresented.

Tijdschrift voor Onderwijsresearch, 20 (1995), nr. 2, pp. 63-114

Denominatie en effectiviteit van schoolbesturen

Roelande Hofman, Wijnand Hoeben en Henk Guldemond
RION, Instituut voor Onderwijsonderzoek, Rijksuniversiteit Groningen^

ABSTRACT

This article addresses the reladve influence of schools' denominadon (Catholic, Protestant, Public)
and of schools' boards on school effectiveness. Existing data from a sample of 114 Dutch primary
schools have been analyzed with multilevel variance component analysis to define a school's effects
as its added value in learning gains after controlling for prior knowledge, IQ, SES, gender and
ethnicity of its individual students. Two different regression analyses of the data on school level
- the second analysis including denominadon as a last step - demonstrate that its superficial influ-
ence - appearing in the first analysis using denominadon as a covariate - may be explained by
variables covering the schools' process, input and board. LISREL-analyses demonstrate that all
influences of denomination on the effecdveness of schools are in fact mediated by variables cover-
ing the boards, which influences in turn are direct as well as indirect; their indirect influence is
mediated by the process variable: evaluadon of pupils' attainment.

1. INLEIDING

Begin 1993 is een proefschrift verschenen (Hofman, 1993a) waarin werd aangetoond dat ken-
merken van het bestuur van een school bijdragen aan de schoolresultaten van de leerlingen op de
desbetreffende school. Die addidonele bijdrage bleef bestaan ook nadat is gecontroleerd voor
eerdere prestaties, intelligende, sociaal-economisch milieu en sekse van de leerlingen, nadat is
gecontroleerd voor de invloed van contextvariabelen als denominatie, en nadat is gecontroleerd
voor variabelen van schoolprocessen en van schoolinput. Met name de invloed die aan interne
geledingen op school wordt gegeven op bestuursbeslissingen, heeft na de genoemde controles
een significante invloed op de nettoleerwinsten voor taal en rekenen van de leerlingen. School-
besturen kunnen derhalve effectief zijn.

In perspublicaties en discussies is aandacht besteed aan de rol van de denominatie van de
school in de effectiviteit van het bestuur. Er zijn vragen gesteld waarom scholen met een rooms-
katholieke of een protestants-christelijke signatuur effectiever zijn als het gaat om leerwinsten
bij taal, waarom scholen van rooms-katholieke signatuur effectiever zijn als het gaat om leer-
winsten bij rekenen, en waarom scholen van rooms-katholieke of openbare signatuur effectiever
zijn als het gaat om de schoolbeleving van de leerlingen. In het verlengde van de hypothese van
Dronkers (1992) bestaat bij velen de neiging om antwoorden te geven in termen van bestuurs-
kenmerken.

Dergelijke interpretaties passen niet bij de in het proefschrift gehanteerde analyse-strategie.
In een stapsgewijze regressie zijn de effecten van denominatie immers in een eerste stap met
denominatie als covariaat meegenomen, daarna de effecten van schoolprocesvariabelen en van
schoolinput. De effecten van kenmerken van schoolbesturen zijn als laatste stap in de regressie-
analyse ingevoerd. De effecten van de invloed van interne geledingen op bestuursbeslissingen
gaan dan ook uit boven de effecten van de andere variabelen die in eerdere stappen zijn gecon-
stateerd. De analyse-strategie om effecten van schoolbesturen vast te stellen is zodoende con-
servatief. Dit moet het doel om zeker te zijn dat de geconstateerde effecten inderdaad bestuurs-
effecten zijn in plaats van effecten van samen met bestuurskenmerken variërende andere ken-
merken van scholen.

Adres: Postbus 1286, 9701 BG Groningen.

64 Roelande Hofman et al.

Om na te gaan of invloeden van denominatie op leerwinsten misschien lopen via kenmerken
van schoolbesturen, dan wel via kenmerken van schoolinput of schoolprocessen, zijn andere
analysestrategieën nodig. In deze secundaire analyse van het datamateriaal, waarop het proef-
schrift is gebaseerd, wordt nagegaan of de effecten van denominatie kunnen worden verklaard
via de invloed van dichter bij het primaire proces gelegen variabelen uit het onderzoeksmodel.
Deze variabelen komen overeen met Dronkers (1992) verklaringen met behulp van het acade-
misch klimaat en de gemeenschap van ouders, leraren en schoolbesturen. De probleemstelling
die hier wordt onderzocht, kan als volgt worden geformuleerd:

Is de gevonden samenhang tussen denominatie en effectiviteit van basisscholen te herleiden
tot invloeden van variabelen die dichter bij primaire processen op school liggen, waaronder
ook begrepen de bestuurskenmerken?

2. ONDERZOEKSMODEL, KERNBEGRIPPEN EN STEEKPROEF
Het onderzoeksmodel

In het onderzoek is een model voor de bijdrage van schoolbesturen aan de effectiviteit van
basisscholen ontwikkeld dat een uitwerking is van het integrale schooleffectiviteitsmodel van
Scheerens (1990). In Figuur 1 wordt dit model gepresenteerd.

Figuur 1: Onderzoeksmodel voor bijdrage van schoolbesturen aan schooleffectiviteit.

SCHOOLBESTUUR

- contingcntiefactoreti

- organisatiestructuurkenmerken

- vier soorten van bestuursbeleid

* onderwijsgericht bestuursbeleid

* communicatiegericht beleid

* personeelsbeleid

* financieel/materieel beleid

klasse-niveau

(niet binneo het onderzoek opgenomen)

Denominatie en effectiviteit 65

De kernbegrippen

De kernbegrippen die daarbij zijn gehanteerd zijn betreffen (a) de zogenaamde contingentiefac-
toren. Hierbij gaat het om indicatoren voor drie contingentiefactoren uit de lokale omgeving van
schoolbesturen voor openbaar en voor bijzonder onderwijs namelijk bestuurlijke schaal, omge-
vingsinvloed en externe ondersteuning, die de interne structuur en het functioneren van school-
besturen beïnvloeden. In bijlage I worden de psychometrische statistieken van de gehanteerde
schalen gepresenteerd. De tweede groep factoren betreft (b) de organisatiekenmerken van school-
besturen. Ook hier gaat het om indicatoren die drie centrale begrippen representeren namelijk:
interne bestuursdifferentiatie, deskundigheid en cohesie en tenslotte planmatigheid van het
bestuur. In tabel 2 van de bijlage worden de psychometrische kenmerken van deze indicatoren
gepresenteerd. Het (c) bestuursbeleid is gebaseerd op een factoranalyse over een (uitputtende)
indeling van de mogelijke bestuursactiviteiten. Op basis van beschikbare empirische gegevens
is gekozen voor een indeling naar zes taakgebieden die de realiteit van het handelen van school-
besturen het meest recht doet. Die zes taakgebieden representeren tezamen het bestuursbeleid.
Per taakgebied zijn twee schalen geconstrueerd: een frequendeschaal en een taakopvatting-
schaal (een meer fiatterende of meer beleidsvormende bestuursopvatting per deeltaak). De
resultaten van die schaalconstructie, de psychometrische kenmerken en validiteitsgegevens worden
in bijlage 1 gepresenteerd. De mate van interne consistentie van de schalen is voldoende tot
hoog. De schoolbesturen zijn het meest actief op het terrein van de interne en externe contacten
en op beheersmatige terreinen zoals het financieel-materieel beleid en het personeelsbeleid. De
besturen zijn het minst actief op de onderwijsgerichte taakgebieden zoals het onderwijs- en
organisatiebeleid. Dit komt overeen met uitkomsten uit ander Nederlands onderzoek naar het
functioneren van schoolbesturen (Detering & Kalkman, 1985; Braster & Leune, 1986; Buurke,
1988; Van Esch 1988) èn bevestigt de uitkomsten van een case-study die voorafgaande aan dit
onderzoek is uitgevoerd.

Deze deeltaken zijn aan een factoranalyse onderworpen hetgeen resulteerde in vier bestuurs-
domeinen. In totaal wordt via deze factorstructuur 75% , van de variantie in bestuursbeleid
gebonden. Deze vier bestuursdomeinen representeren in het vervolg tezamen het bestuursbe-
leid.

Bij het cluster schoolinput is de centrale variabele de mate waarin scholen beschikken over
extra formatie. Dit betekent in feite een meting van de leerlinginstroom van de school omdat
scholen met relatief veel leerlingen met een lage sociaal-economische herkomst of van alloch-
tone afkomst binnen het onderwijsvoorrangsbeleid extra formatie krijgen toebedeeld.

Tenslotte het cluster schoolprocesvariabelen. Het betreft hier een zevental indicatoren van
schooleffectiviteit. In bijlage I worden ook daarvan de psychometrische statistieken gepresen-
teerd.

De steekproef

Het onderzoek betreft een databestand waarin scholen en leerlingen zijn onderzocht. Van dat
bestand zijn de besturen benaderd en in totaal 146 besturen gaven hun medewerking. De respons
bedroeg 65%. De data hebben aldus betrekking op ongeveer 2650 leerlingen, 146 scholen en
schoolbesturen. Belangrijk is op te merken dat de informatie van de schoolbesturen telkens is
bevraagd voor één, bij naam genoemde, basisschool van dat bestuur. Het analyseniveau dat is
gehanteerd betreft de school. In de volgende paragraaf wordt daarop nader ingegaan.

3. ANALYSESTRATEGIEËN

Voor het nagaan of invloeden van denominatie op leerwinsten voor rekenen en taal lopen via
kenmerken van schoolbesturen, van schoolinput of van schoolprocessen, zullen twee analyse-
strategieën worden gebruikt: stapsgewijze regressie-analyse en LISREL-analyse.

Bij de toepassing van deze analyse-strategieën moet rekening worden gehouden met de
hiërarchische structuur van de school als organisatie: leerlingen behoren tot een school en deze

66 Roelande Hofman et al.

school valt onder een schoolbestuur. De eenheid van organisationele analyse is in deze studie de
school.

In een stap voorafgaand aan de twee analysestrategieën wordt de effectiviteit van elk van de
scholen bepaald op de gekozen outputmaten namelijk rekenen en taal. Die schooleffectiviteit is
gemeten als de schoolspecifieke afwijking van het steekproefgemiddelde voor taaiprestaties,
rekenprestaties en schoolbeleving in groep 8. Dit nadat is gecontroleerd voor de beginprestaties
in groep 7 en de schoolspecifieke verschillen in de instroom (van de afzonderlijke leerlingen)
met betrekking tot IQ, milieu, etniciteit en sekse. Een bovengemiddelde score op deze effecdvi-
teitsmaat indiceert dat de scholen er beter in slagen hun leerlingen hogere prestaties te laten
behalen dan verwacht mag worden op basis van de individuele achtergrondkenmerken van deze
leerlingen. Deze maat is gebaseerd op geaggregeerde, gestandaardiseerde, individuele leerling-
scores. Deze mate van schooleffecdviteit is berekend met behulp van het multi-level analyse-
programma VARCL (Longford, 1986). Het resultaat van deze variande-componenten-analysc
wordt uitgedrukt in 'posterior means' per school en per outputmaat. De outputmaten geven de
prestaties weer van leerlingen op verschillende door het CITO geconstrueerde toetsen op het
terrein van rekenvaardigheid en taalvaardigheid gecorrigeerd voor de genoemde individuele
leerlingkenmerken en maken zodoende een 'faire' vergelijking van scholen mogelijk, namelijk
een vergelijking van hun toegevoegde waarde.

Omdat in het gebruikte databestand twee prestatiemedngen zijn uitgevoerd is het mogelijk
het 'zuivere' effect van scholing, de leerwinst, vast te stellen (Hofman & Hofman, 1988). Dit
betekent dat bij de uiteindelijke geconstrueerde effecdviteitsmaat op schoolniveau ook rekening
wordt gehouden met de eerdere leerprestades van één schooljaar terug. Bosker (1991) spreekt in
dit verband van de netto leerwinst die leerlingen in één schooljaar boeken. De geconstrueerde
effectiviteitsindices per school - de netto leerwinst voor rekenen en taal als basis voor de
berekening van de toegevoegde waarde van een school - vormen de criterium-variabelen in het
onderzoeksmodel. De resultaten van deze eerste stap worden hier eerst besproken alvorens
wordt ingegaan op de twee analyse-strategiën.

Verdeling van variantie-componenten

Met behulp van VARCL analyses is het mogelijk variandecomponenten op verschillende ni-
veaus (in ons geval leerling en school/bestuur) uiteen te leggen en te presenteren als proporties
van de totale variantie (Aitkin & Longford, 1986, Van Eeden & Meijnen, 1990). In tabel 1 wordt
een overzicht gepresenteerd van de verdeling van de variantie-componenten in het lege model,
in het leerwinstmodel (waarbij de prestades van het schooljaar 1987 als covariabele worden
gehanteerd op de prestaties in 1988) en in het uiteindelijk voor de schooleffecdviteitsindices
gebruikte leerwinst en covariatenmodel. Dit laatste model betreft een verdeling van variantie-
componenten over leerlingniveau en schoolniveau met eerdere schoolprestades en leerlingken-

Tabel 1. Proportieverdeling variande-componenten voor taal en rekenen.

leeg model leerwinst en

model leerwinst covariaten model

Rekenen

variande-component:

leedingniveau .728 .450 .366

schoolniveau .283 .138 .116

Taal

variantie-component

leedingniveau .792 .396 .345

schoolniveau .219 .097 .083

Denominatie en effectiviteit 67

merken als covariaten. De proportie variantie per model wordt voor de criteriumvariabelen
rekenen en taal in Tabel 1 gepresenteerd.

Uit deze muld-level-analyses van de leerwinstscores voor taal en rekenen vallen een aantal
zaken op. Allereerst blijkt voor het leergebied taal dat het netto percentage tussenschoolse
variantie dat resteert na controle voor de taaiprestaties van 1987 en voor de covariabelen, 8%
bedraagt. De tussenschoolse variantie is jgroter voor het leergebied rekenen, namelijk 12%. Een
relatief groot deel van de variantie wordt gebonden door de rekenscore en taaiscore in het
voorgaande jaar. Het verschil in tussenschoolse variantie tussen rekenprestaties en taaipresta-
ties is in overeenstemming met resultaten van ander onderzoek. In de literatuur wordt als
verklaring voor dit verschil veelal gewezen op het schoolgebonden karakter van het leren
rekenen en het sterk milieugebonden karakter van het aanleren van taal (Mortimore, e.a. 1988;
Bosker & Hofman, 1987; Madaus, 1980; Meijnen, 1984). In Nederiand en in het buitenland
vastgestelde percentages tussenschoolse variande voor rekenen en taal stemmen overeen met de
hier gepresenteerde cijfers (vgl. ook Creemers & Scheerens, 1991).

Analysestrategieën ter beantwoording van de probleemstelling

Na deze constructie van de criteriumvariabelen op schoolniveau (rekenen en taal) is de eerste
analysestrategie een stapgewijze strategie voor regressie-analyse, zoals ook in het proefschrift
gehanteerd, maar dan met een andere volgorde van inclusie van de clusters (context, bestuur,
input, proces) uit het onderzoeksmodel. De eerste stap is het invoeren van variabelen van het
schoolproces (let wel: klasse- en instructiekenmerken zijn niet opgenomen in het databestand).
De tweede stap is het invoeren van variabelen van de schoolinput. De derde stap is het invoeren
van variabelen van het schoolbestuur. De laatste stap is het invoeren van overige variabelen van
de schoolcontext, zoals denominatie, schoolgrootte, SES-compositie, urbanisatiegraad e.d.

Er zijn bij een analyse van de rol van denominatie enkele argumenten voor deze, in plaats van
de in het proefschrift gekozen volgorde van stapsgewijze 'inside-out' regressie-analyse. Op
deze manier wordt echt van binnen naar buiten gewerkt,, in plaats van uit overwegingen van
zorgvuldige toetsing eerst covariaten van de context in de regressie-analyse in te voeren. De in
dit artikel gehanteerde analysestrategie werkt zodoende naar analogie van een ui. Een model
van causale ketens, waarbij de buitenste schil van oorzaken van invloed is op factoren in de
volgende schil, die vervolgens weer van invloed zijn op factoren in een verder naar binnen
gelegen schil, enzovoort. Rechtstreekse invloed van variabelen in de buitenste schil op variabe-
len in de kern is een invloed die aanvullend is op of in interactie is met variabelen in meer naar
binnen gelegen schillen.

Een volgend argument voor de hier gehanteerde strategie is dat op deze manier waarschijn-
lijk een grotere bijdrage van variabelen in meer naar binnen gelegen schillen zal worden gevon-
den. Voor een conservatieve vaststelling van het effect van schoolbesturen (zoals in het proef-
schrift beschreven) is zoiets niet handig. Voor een verklaring en interpretatie van de invloed van
denominatie is het echter juist wel nodig. Een dergelijke analyse-strategie kan de effecten van
denominade mogelijk verklaren met behulp van variabelen die dichter bij het primaire leerpro-
ces liggen. Misschien nog belangrijker dan een verklaring op zichzelf is dat dergelijke variabe-
len gemakkelijker beïnvloedbaar zijn dan de denominatie van een school.

De tweede analysestrategie bestaat uit het expliciteren van causale paden die van buiten naar
binnen lopen, dat wil zeggen van contextuele en bestuurskenmerken naar primaire processen op
school en naar leerwinsten. Als de invloed van contextuele en bestuurskenmerken op leerwin-
sten loopt via kenmerken van schoolprocessen, dan wordt dit in LISREL-analyses zichtbaar.
Als de invloed van context- en bestuurskenmerken niet via schoolprocessen verloopt, dan wor-
den de statistische verbanden tussen context- en bestuurskenmerken enerzijds en effectiviteit
anderzijds causaal gezien niet weg verklaard met behulp van deze analyse-strategie.

LISREL-analyses zijn bij uitstek geschikt om een 'inside-out' analyse uit te voeren in een
causale structuur waarbij naar analogie van een ui factoren in een buitenste schil van invloed
zijn op factoren in meer naar binnen gelegen schillen, die op hun beurt weer factoren in de kern
beïnvloeden. Met deze analyses kunnen paden waarlangs oorzakelijkheid verloopt, worden

68 Roelande Hofman et al.

getoetst. De redenen waarom denominatie zoveel invloed heeft op schooleffectiviteit, kunnen
zodoende binnen het databestand worden geanalyseerd. Nagegaan kan worden of deze redenen
terecht worden gelegd bij verschillen in bestuur tussen openbare en confessionele scholen.

4. RESULTATEN VAN DE REGRESSIE-ANALYSES

De regressie-analyses worden in twee varianten gepresenteerd. Variant 1 is de analyse zoals
eerder uitgevoerd (zie Hofman, 1993a). Variant II is de analyse met de hiervoor besproken
andere volgorde van inclusie van variabelenclusters. Het verschil tussen variant 1 en variant 11 is
gelegen in het moment van inclusie van de factor denominatie. Denominatie betreft twee varia-
belen namelijk openbaar versus katholiek en openbaar versus protestants-christelijk. In de eer-
ste variant is de factor denominatie als eerste in de regressie-analyse opgenomen, terwijl in de
tweede variant denominatie juist als laatste factor in de analyse wordt opgenomen. Zoals in
paragraaf 1 al is aangegeven, wordt in variant 1 een analyse-strategie gehanteerd die erop gericht
is netto effecten van schoolbesturen vast te stellen door uitzuivering van andere vanabelen,
waaronder begrepen de covariaten op schoolniveau. Variant 11 is er specifiek op gericht de
effecten van denominatie op leerprestades te verklaren met behulp van variabelen die dichter bij
het primaire proces liggen.

In Tabel 2 worden de resultaten van de vergelijking van variant 1 en variant 11 gepresenteerd
voor netto leerwinst rekenen. De significante predictoren worden per analyse-variant naast
elkaar gepresenteerd met de hoeveelheid variantie die zij verklaren in de 2e criteriumvariabele.
Bij de vergelijking van vanant 1 met variant II valt allereerst op dat de verklaarde variantie van
42% in variant 1 terugloopt naar 40% in variant 11. Verder doen zich in de predictoren van netto
leerwinst rekenen bij een verandering in de inclusie-volgorde voor denominade geen wijzigin-
gen voor.

In samenhang met de verwachtingen vallen enige wijzigingen op in de verklaringskracht van
de predictoren. De verklaringskracht van de schoolproces-variabelen voor de netto leerwinst bij
rekenen is in de tweede variant totaal 24%, terwijl dit in de verklaarde variantie door die
variabelen in de eerste variant 16% bedroeg. De door de factor 'invloed van schoolgeledingen
op bestuursbeslissingen' verklaarde variantie bedroeg in de eerste variant 4% en loopt in de
tweede variant op naar 6%. Het lijkt erop dat de verklaarde variantie van de oorspronkelijke
factor denominade volledig wordt geïntermedieerd door de schoolproces- en de bestuursvaria-
belen. Dit betekent dat het positieve verband tussen katholieke scholen en rekenprestaties ver-
loopt via enerzijds de schoolprocesvariabele 'evaluade van rekenprestaties' en in mindere mate

Tabel 2. Regressie-analy.se variant I en variant II voor rekenen.

VARIANT I VARIANT II

Netto leerwinst rekenen Mult.R R.sq beta Mult.R Rsq beta

1. Covariaten

- denominatie: rooms-katholiek

2. Schoolprocesvariabelen

- evaluatie leerlingprestaties

- nadruk op basisvaardigheden

3. Schoolinput

- extra formatie

4. Schoolbestuur

(a) bestuursbeleid

(b) contingentiefactoren

- invloed interne geledingen
op bestuursbeslissingen

Denominatie en effectiviteit 69

via de 'nadruk op basisvaardigheden' en anderzijds via de bestuursvariabele 'invloed van inter-
ne geledingen op bestuursbeslissingen'.

Dezelfde analyse-strategie is toegepast voor netto leerwinst voor taal. In tabel 3 worden de
resultaten gepresenteerd. Bij vergelijking van de twee varianten is wederom sprake van een
terugloop in verklaarde variantie van 2%. Opmerkelijk is hier echter dat ook een mutatie in
predictoren optreedt. In de tweede variant treedt bij het cluster school-input nu (net als bij
rekenen) de extra formatie als voorspeller van leerwinst in taal op. Verrassend is dat er additio-
neel een contingentiefactor als predictor van leerwinst in taal naar voren komt. Bovendien is het
opmerkelijk dal deze factor (namelijk de mate waarin bestuursvergaderingen worden gehouden
tezamen met reguliere geledingen van de bestuurde school) ook inhoudelijk goed past bij de
contingentiefactor 'invloed van interne geledingen op bestuursbeslissingen'. De invloed van die
interne groeperingen op bestuursbeslissingen verloopt dan gedeeltelijk via die bestuursvergade-
ringen.

De conclusie die kon worden getrokken voor netto leerwinst rekenen, gaat in feite in nog
sterkere mate op voor taal. Het negatieve verband tussen openbare scholen en taaiprestaties
wordt bemiddeld door enerzijds de schoolinput van de openbare school en anderzijds door
bestuursvariabelen. De verklaringskracht van de besluurvariabelen neemt toe van 6% tot 11%.
Opmerkelijk is dat die bestuursvariabelen eenduidig op het vlak van de communicatie tussen
bestuur en school liggen. Op grond van de gehanteerde analyse-strategie lijkt het aannemelijk
tial de bestuursvorm van openbare scholen in enige mate een verklaringsgrond biedt voor het
minder goed presteren van openbare scholen voor taal.

Nu aannemelijk is gemaakt dat de invloeden van denominatie op effectiviteit kennelijk via
andere variabelen verlopen, wordt het interessant om te zien of deze resultaten worden beves-
tigd door de LISREL-analyses, en of die analyses weten aan te wijzen via welke variabelen de
invloeden van denominatie verlopen.

5. CAUSALE MODELLEN: LISREL-ANALYSES

Voor LISREL-analyses van de relatieve invloeden van denominatie en van bestuurskenmerken
zijn causale modellen nodig die de invloed van schoolbesturen van buiten naar binnen gaande
expliciteren in de vorm van causale beïnvloedingspaden. Voor de onderhavige analyses houden
we rekening met de beperkingen van het datamateriaal. Zoals voor integrale schooleffectivi-
leitsmodellen wordt bepleit (Scheerens, 1990), kunnen in de data blokken variabelen worden

70 Roelande Hofman et al.

onderscheiden. Allereerst met betrekking tot de context van een school, vervolgens met betrek-
king tot het bestuur van een school, met betrekking tot de input van een school, met betrekking
tot schoolprocessen, en met betrekking tot de schooloutput. Ten overvloede, schooloutput wil
hier dus zeggen de voor individuele leerlingkenmerken en leerprestaties uitgezuiverde schoolre-
sultaten (zie paragraaf 3). Denominatie is weliswaar onderdeel van de contextvariabelen, maar
wordt voor de doeleinden van de probleemstelling van deze secundaire analyse als een eigen-
standig blok beschouwd.

De fundamentele veronderstelling van een van binnen naar buiten gaande analyse met behulp
van integrale schooleffectiviteitsmodellen is, dat denominatie, context, bestuur en input geen
rechtstreekse invloeden hebben op de schoolresultaten, maar invloeden die worden bemiddeld
door schoolprocessen. Uit deze veronderstelling kunnen twee -meer of minder- complexe cau-
sale modellen worden gedistilleerd.

Het eerste model volgt bij de 'inside-out' analyse, die behoort bij integrale schooleffectivi-
teitsmodellen, strikt de analogie van de ui. Elke schil van kenmerken beïnvloedt slechts die
kenmerken direct, die in de eerstvolgende schil worden onderscheiden. Invloeden op kenmer-
ken in daarop volgende schillen zijn indirect; daarbijbehorende stadsdsche verbanden zijn
causaal gezien spurious (Figuur 2).

Denominatie en effectiviteit 71

Het tweede model volgt minder strikt de gelaagdheid van de causale structuur van een 'inside-
out' analyse. In het tweede model worden de beïnvloedingslijnen uit het eerste model veronder-
steld. Bovendien wordt verondersteld dat denominatie en context niet alleen een indirecte, maar
ook een directe invloed hebben op de procesvariabelen (zie Figuur 3).

Rekening houdend met een ondergespecificeerdheid van deze causale modellen van integra-
le schooleffectiviteit kunnen twee varianten van een causale structuur worden gespecificeerd.
Die staan telkens verder af van de veronderstellingen van een 'inside-out' analyse van integrale
schooleffectiviteit. De eerste is een variant op het eerste model en veronderstelt dat in de data
onvoldoende procesvariabelen zijn gemeten, c.q. dat de procesvariabelen onvoldoende hebben
gemeten waarom het bij schooleffecdviteit gaat. Een gevolgtrekking is dat invloeden van input
en van bestuur op de output niet alleen via de gemeten procesvariabelen verlopen, maar ook via
ongemeten variabelen. In een secundaire analyse worden dan rechtstreekse invloeden van input
en van bestuur op de output zichtbaar (Figuur 4).

De tweede variant, die nog verder af staat van de veronderstellingen van een 'inside-out'
analyse van integrale schooleffecdviteit, veronderstelt dat in de data ook onvoldoende bestuurs-
variabelen zijn gemeten. Een gevolgtrekking is dat invloeden van denominatie en context op de

72 Roelande Hofman et al.

output niet alleen verlopen via de gemeten bestuurs-, input- en procesvariabelen, maar ook via
ongemeten variabelen. In een secundaire analyse worden dan rechtstreekse invloeden van deno-
minade en context op de output zichtbaar. Deze variant is een combinade van het tweede en het
derde model (Figuur 5).

Bij de speurtocht naar passende LISREL-modellen zijn analyses uitgevoerd te beginnen met
het eerste causale model (Figuur 1). De output, het schooleffect, is berekend als een latente
variabele van netto leerwinst taal en netto leerwinst rekenen. Twee gegevenheden compliceer-
den de aanvankelijke analyses. Ten eerste was er het feit dat er een groot aantal indicatoren (in
totaal 37) in het meetmodel was opgenomen, geclusterd rond de vijf blokken in de causale
modellen (figuren 2 t/m 5). Ten tweede was het structurele model opgebouwd uit twee, groten-
deels, van elkaar onafhankelijke 'sporen', respectievelijk het spoor van denominade en bestuur,
en het spoor van context en input. Deze gegevenheden hadden tot gevolg dat de geschatte
vanantie-covariande matrix (Z) een grote mate van discrepantie vertoonde met de geobserveer-
de matrix (S). Met andere woorden, de incongruentie tussen model en data vloeide voort uit de
veronderstelling dat er geen samenhang bestaat tussen de clusters van context- en bestuursvaria-
belen enerzijds en denominade en input-variabelen anderzijds. De 'modification-indices' gaven
geen enkele aanleiding tot de veronderstelling dat er binnen dit model met een Chi-kwadraat
van 429.47 bij 194 vrijheidsgraden ook maar enige verbetering van substantiële omvang te
verwachten was. Ook modeluitbreidingen in de richting van de overige causale modellen zou
geen betere passing opleveren.

In eerste aanleg is onderzocht in hoeverre een reductie per cluster van het aantal variabelen in
het meetmodel uitkomst zou bieden. Per cluster werden de onderling laagste correlerende indi-
catoren verwijderd. Deze procedure leverde echter niet een dermate scherpe daling in de Chi-
kwadraatwaarde op dat dit een duidelijke compensade voor het verlies aan vrijheidsgraden
inhield. Net zoals dat bij het meer uitgebreide meetmodel het geval was, konden ook hier geen
substantiële verbeteringen in de passing van het model worden verwacht. Wel werd uit deze
analyse duidelijk dat het cluster van context-variabelen kon worden aangemerkt als de voor-
naamste veroorzaker van de slechte passing met het model. Gezien de resultaten van de hiervoor
gepresenteerde regressie-analyses wekt dat geen verbazing: ook daar spelen variabelen van de
schoolcontext geen rol. Dit resultaat is niet verrassend omdat de geconstrueerde criteriumvaria-
bele een uitzuivering van context-effecten inhoudt. Een volgende aanpassing van het gehanteer-
de model betreft aldus een volledige verwijdering van alle variabelen in het cluster van de
schoolcontext.

Uit de uitgevoerde analyses blijkt dat het na deze aanpassing wel mogelijk is om een bij het
causale model van figuur 2 passend LISREL-model te vinden (df=21, Chi2=28.57, p=. 125 en de
GFI=.96; zie bijlage II). Inspectie van de modificatie-indices maakt duidelijk dat een verbete-
ring van dit model mogelijk is door een direct pad te trekken van het cluster bestuur naar de
outputmaten (een mengvorm van figuur 2 en figuur 4). Dit leidt tot een lichte verbetering van
het model: de verklaarde variantie in de outputmaat loopt op van 19% tot 25%; de indices van de
passing van het model zien er als volgt uit df=20, Chi2=23.54, p=.263 en de GFI=.96). Dit is
tevens het uiteindelijke model voor de verbanden tussen denominatie, schoolbestuur, procesva-
riabelen en schooleffectiviteit (Figuur 6).

De overall effecten op de outputmaat (leerwinst taal en rekenen) liggen voor denominatie het
contrast van bijzonder versus openbaar in de orde van grootte van: -.88*.30*.34 + -.88*.20=
-.265 en voor het bestuur in de orde van grootte van .30*.34 -i- .20=.302. De input van de schooi
verklaart op schoolniveau nog .19*.I9=.036. De effectgrootte van de procesvariabelen op de
output is het grootst, namelijk .34 + .19=.53. Dit LISREL-model maakt duidelijk dat het effect
van denominatie op de effecdviteit van basisscholen volledig loopt via het directe en het indi-
recte effect van het bestuur.

Bij denominade moet worden opgemerkt dat sprake is van een negatief effect. In deze
context betekent dit, dat sprake is van een negadeve invloed van het openbaar bestuur vergele-
ken met confessionele besturen op de effecdviteit van basisscholen. De bestuurskenmerken die
er toe doen zijn dan naar gewicht (a) de mate waarin sprake is van bestuurvergaderingen tnet

Denominatie en effectiviteit 73

DENOMINATIE

Fig. 6. Het uiteindelijlc LlSREL-modei voor de samenhang van denominatie, bestuur, schoolproces en
schooleffectiviteit.

(Chi2=23.54, df=20, p=.263 en GF1=.96).

reguliere geledingen in de school (vergadering; posidef), (b) het aantal scholen dat onder het
schoolbestuur ressorteert (schaal; negatief) en (c) tenslotte de mate waarin sprake is van invloed
van interne geledingen op bestuursbeslissingen (invloed; positief).

6. CONCLUSIE EN DISCUSSIE

In deze paragraaf worden de resultaten nog eens belicht vanuit een methodische en een inhoude-
lijke invalshoek en vanuit de betekenis voor de praktijk van het besturen van scholen.

In een vergelijking van de regressie-analyses volgens de twee varianten wordt duidelijk dat
het effect van denominatie in het databestand in belangrijke mate verloopt via de kenmerken
van het schoolproces, van de schoolinput en van het bestuur. De gevonden samenhang tussen
denominatie en effectiviteit van basisscholen kan dus grotendeels worden herleid tot dichter bij
de primaire processen gelegen (manipuleerbare) variabelen. De regressie-analyses volgens de
tweede variant verklaren echter wat minder variantie. Wanneer we de resultaten van de regres-
sie-analyses vergelijken met die van de LISREL-analyses valt bovendien op dat bij de regressie-
analyses gemiddeld meer variantie wordt verklaard dan bij de LISREL-analyses: lopend van
20% (18%) voor taal en 42% (40%) voor rekenen in de regressie-analyses naar 25% in het
uiteindelijke LISREL-model. Het samen nemen van taal en rekenen in één outputmaat biedt
minder verklaringskracht.

74 Roelande Hofman et al.

De uitkomsten van de LISREL-analyses specificeren de conclusie over de indirecte effecten
van denominatie. Denominatie heeft in het uiteindelijke model alleen een direct effect op de
bestuurskenmerken. Slechts via deze bestuurskenmerken (en de laatste invloed gedeeltelijk
bemiddeld via evaluatie van leerlingprestaties) heeft denominatie invloed op de effectiviteit van
basisscholen. De bestuurskenmerken die er toe doen zijn dan naar gewicht: (a) positief is de
mate waarin sprake is van bestuursvergaderingen met reguliere geledingen in de school, (b)
negadef is het aantal scholen dat onder het schoolbestuur ressorteert, en (c) positief is tenslotte
de mate waarin sprake is van invloed van interne geledingen op bestuursbeslissingen. Het
indirecte effect van denominatie op de effectiviteit van basisscholen is in overeenstemming met
de oorspronkelijke verwachtingen (zie figuur 1). Het indirecte effect bevestigt de verklaring dat
confessionele scholen gemiddeld effectiever zijn ten gevolge van de gemeenschap van ouders,
leraren en schoolbesturen (Dronkers, 1992).

De overige effecten op de effectiviteit van scholen zijn bescheiden en afkomstig van een
andere procesvariabele - de nadruk op basisvaardigheden - en via deze van de schoolinput. Dit
gedeelte van de oorspronkelijke verwachtingen van figuur 1 is derhalve eveneens bevestigd.

De overige verwachtingen van figuur 2 zijn weerlegd. Zowel uit de regressie-analyses als uit
de LISREL-analyses komt naar voren dat kenmerken van de schoolcontext, c.q. andere context-
kenmerken dan bestuursvariabelen, geen invloed - noch direct, noch indirect - hebben op de
effectiviteit van basisscholen. Al eerder is opgemerkt dat dit goed te verklaren valt door de
wijze waarop de criteriumvariabele zijn geconstrueerd. Het contexteffect is daarmee reeds
uitgezuiverd. Het effect van schoolbesturen op de effectiviteit van basisscholen kent tevens
tegen de - op een strikte 'inside-out' analyse gebaseerde - verwachdng in naast een indirecte
ook een directe invloed op de output. Het directe effect van bestuurskenmerken op de schoolout-
put is in overeenstemming met het causale model van figuur 4. Dat de verwachtingen van figuur
2 niet worden bevestigd, zou het gevolg kunnen zijn van de bij de presentade van het model van
figuur 4 geopperde mogelijkheid dat in het databestand onvoldoende procesvariabelen zijn
gemeten, ofdat de gemeten procesvariabelen onvoldoende hebben gemeten waar het bij schoolef-
fectiviteit om gaat. Zo zijn er in het geanalyseerde databestand bijvoorbeeld geen gegevens op
leraar- en klasniveau.

Een andere verklaring van het directe bestuurseffect is mogelijk vanuit kenmerken van de
schoolpopulatie. De gedachtengang hierbij is dat de bestuurseffecten en de effecten van deno-
minatie op de outputmaat in feite effecten zijn van de schoolpopulade, die in het meetmodel als
rechtstreekse bestuurseffecten op de output zichtbaar worden. In verschillende studies waarin
reeds op individueel niveau voor leerlingkenmerken is gecorrigeerd wordt dit zogenaamd extra
context-effect vastgesteld (vgl. Brandsma, 1993; Knuver, 1993; Hofman, 1993b).

De effecten van denominatie en van de bestuurskenmerken, die zichtbaar werden in de
LISREL-analyses, lopen voornamelijk via één van de twee procesvariabelen die in de regressie-
analyses als predictor voor rekenprestaties naar voren kwamen. Het betreft evaluatie van leer-
lingprestaties op schoolniveau. Daarbij gaat het om (a) in hoeverre de school gestandaardiseer-
de schoolvorderingentoetsten afneemt, (b) in hoeverre deze gebruikt worden om het leerstof-
aanbod te evalueren en (c) of de leerprestades centraal worden geregistreerd. Dit resultaat
bevestigt de verklaring dat confessionele scholen gemiddeld effectiever zijn ten gevolge van
een beter academisch klimaat (Dronkers, 1992).

De veronderstellingen van het tweede en het vierde model voor een causale structuur bleken
niet nodig om het meest passend LISREL-model te vinden. Noch de veronderstelling dat deno-
minatie en context een directe invloed hebben op procesvanabelen (figuur 3), noch de veronder-
stelling dat invloeden van denominatie en context eventueel verlopen via ongemeten procesva-
riabelen (Figuur 5), zijn nodig geweest.

De resultaten van de secundaire analyses kunnen aanzienlijke praktische consequenties heb-
ben. De resultaten bevestigen dat de bestuursvorm van scholen voor openbaar en bijzonder
onderwijs nogal verschilt. Naast de verschillen in schaal en complexiteit is een belangrijk
verschilpunt dat de geledingen in en rond de school binnen het openbaar onderwijs weinig
invloed uitoefenen op het bestuursbeleid.

Denominatie en effectiviteit 75

Uit onderzoek in de Verenigde Staten naar de wenselijke bestuursvorm voor het openbaar
'public' onderwijs komen soortgelijke resultaten naar voren. Chubb en Moe (1991) stellen vast
dat meer dan 60% van de effectieve scholen beschikken over meer dan gemiddelde bestuurlijke
autonomie, tegen slechts een derde deel van de niet-effectieve scholen. De bestuursvorm die
Chubb en Moe daarbij voorstaan betekent eigenlijk dat het bestuur van de openbare school moet
worden losgekoppeld van de publiekrechtelijke overheidssector.

Deze gedachtengang past wonderwel binnen de in Nederland weer opgelaaide discussie
omtrent de wenselijke bestuursvorm voor het openbaar onderwijs. Wijzigingsvoorstellen ko-
men meestal neer op een ontkoppeling van de rol van de gemeente als schoolbestuur van de
algemene verantwoordelijkheid van de gemeentelijke overheid voor het gehele (lokale) onder-
wijs. Vele mogelijkheden zijn naar voren gebracht dan wel in de praktijk gerealiseerd, zoals de
functionele commissie, de samenwerkingsschool, de privaatrechtelijke stichting of vereniging
met het statutair vastgelegd openbaar karakter, de nadonale school, het onderwijsschap en
dergelijke. Alhoewel de discussie over de wenselijke bestuursvorm in laatste instantie niet langs
empirische weg tot een conclusie is te voeren, geven de resultaten van dit onderzoek aanleiding
tot een pleidooi voor een bestuursvorm waarbij de geledingen in en rond de school de beslissin-
gen van het bestuur kunnen beïnvloeden; dit betekent dat er een bestuur noodzakelijk is dat
dicht bij die ene specifieke school staat.

LITERATUUR

Aitkin, M., & Longford, N. (1986). Statistical modelling issues in school effectiveness studies. Journal of
the Royal Statistical Society Series A (General) 149. part 1, 1-43.

Bosker, R.J. (1991). De consistentie van schooleffecten in het basisonderwijs. Tijdschrift voor onderwijsre-
search. 16 (4), 206-218.

Bosker, R.J., & F-Iofman, W.H.A. (1987). Dimensies van schoolkwaliteit: de algemene en milieuspecifieke
invloed van scholen op de prestaties en het keuzegedrag van leedingen. In J. Scheerens & W.G.R.
Stoel, Effectiviteit van onderwijsorganisaties. Lisse: Swets & Zeitlinger.

Brandsma, H.P. (1993). Basisschoolkenmerfcen en de kwaliteit van het onderwijs. Proefschrift. (Monogra-
fieën onderwijsonderzoek 14). Groningen: RION.

Braster, J.F.A., & Leune, J.H.G. (1986). Samenstelling en functioneren van schoolbesturen. Rotterdam:
Erasmus Universiteit, Vakgroep Onderwijssociologie en Onderwijsbeleid.

Buurke, W.J. (1988). Het gemeentebestuur als lokale overheid en als .schoolbestuur. Nijmegen: ITS.

Chubb, J.E., & Moe, T.M. (1991). Politics, markets and America's .schools. Washington D.C.: The Brook-
ings Institutions.

Creemers, B.P.M., & Scheerens, J. (1991). Onderwijseffectiviteit: overwegingen voor een programma van
onderzoek. Tijdschrift voor Onderwijsresearch. 16 (4), 193-206.

Detering, P., & Kalkman, W. (1985). Besturen met beleid. Amsterdam: Universiteit van Amsterdam, Vak-
groep Onderwijskunde.

Dronkers, J. (1992). Blijvende organisatorische onderwijsverzuiling ondanks secularisering: een onbedoeld
effect van overheidsbeleid? Beleid & Maatschappij, 5, 227-237.

Esch, W. van (1988). Schoolbesturen en de vrijheid van onderwijs. Dissertade. Nijmegen: ITS.

Eeden, P. van, & Meijnen, G.W. (1990). Themanummer Multi-niveau onderzoek: uitgangspunten en toepas-
singen. Tijdschrift voor Onderwijsresearch. 15. (5), 259-333.

Hofman, R.H. (1993a). Effectief schoolbestuur. Een studie naar de bijdrage van .school besturen aan
de effectiviteit van basisscholen. Proefschrift. (Monografieën onderwijsonderzoek 13). Gronin-
gen: RION.

Hofman, W.H.A. (1993b). Effectief onderwijs aan allochtone leerlingen. Proefschrift Delft: Eburon.

Hofman, R.H., & Hofman, W.H.A. (1988). Definiëring van onderwijseffectiviteit: kanttekeningen vanuit
het onderwijsonderzoek. In B.P.M. Creemers (Red.), Handboek voor Schoolorganisatie en Onder-
wijsmanagement. Alphen aan den Rijn: Samson, 6310-1 t/m 6310-17.

Knuver, J.W.M. (1993). De relatie tussen klas- en .schoolkenmerken en het affectief functioneren van
leerlingen. Proefschrift. (Monografieën onderwijsonderzoek 15). Groningen: RION.

Longford, N.T. (1986). Statistical modelling of data from hierarchical structures using variance component
analysis. Lancaster University: Centre for Applied Statisdcs.

76 Roelande Hofman et al.

Madaus, G.F. (1980). School effectiveness: a reassessment of the evidence. New York: Mc Graw-Hill.
Meijnen, G.W. (1984). Van zes tot twaalf Den Haag: Stichting voor Onderzoek van het Onderwijs (SVO).
Mortimore, P., Sammons, P., Stoll, L., Lewis, D., & Ecob, R. (1988). The junior school project: technical

appendices. London: ILEA, Research and Statistics Branch.
Scheerens, J. (1990). School effectiveness research and the development of process indicators of school
functioning. School Effectiveness and School Improvement, 1, (1), 61-80.

Manuscript ontvangen 28-7-J993
Definitieve versie ontvangenm J6-8-1994

BIJLAGE I

Psychometrische karakteristieken van contingentiefactoren, structuurkenmerken en schoolpro-
cesvariabelen.

Tabel 1. Psychometrische karakteristieken van drie contingentiefactoren (gemiddelde, standaard deviatie,
aantal items, bereik en Cronbach's alpha).

Deskundigheid en cohesie

(3) Deskundigheid

(4) Vakdeskundigheid

(5) Cohesie

Planmatigheid

(6) Planmatigheid besluitvorming

(7) Planmatigheid beleid

77

Denominatie en effectiviteit
Tabel 3. Resultaten van schaalconstructie taakgebieden.