LUMC participeert in SURFproject over itemconstructie en -beoordeling

Het LUMC, de faculteit Geneeskunde, particpeert samen met Maastricht, Nijmegen en Groningen in het SURF project "VGTogether, Samenwerken in Voortgangstoetsing". Binnen een aantal medische opleidingen in Nederland wordt gezamenlijk voortgangstoetsing toegepast. Deze toetsvorm faciliteert het longitudinaal monitoren van brede kennisontwikkeling en geeft de student de mogelijkheid leeractiviteiten te richten. De voortgangstoets wordt ieder kwartaal in vijf instellingen tegelijk schriftelijk door alle (± 8000) studenten geneeskunde afgenomen.   

Ter ondersteuning van voortgangstoetsing zijn inmiddels het toetsservicesysteem Vosys en het studentfeedbacksysteem ProF beschikbaar, onder beheer van de UM. Toekomstige ontwikkelingen zoals het digitaal adaptief afnemen van de toets, vereisen echter een hogere itemproductie. Om de werkdruk van zowel beheer als itemproductie te verlagen, wordt een centrale generiek te gebruiken infrastructuur voortgangstoetsing opgezet waarin, naast Vosys en ProF, tevens een nieuw systeem voor itemconstructie en itembeoordeling en een omgeving voor kennisuitwisseling zijn voorzien. Hiermee worden de mogelijkheden voor toekomstige digitale afname van de voortgangstoets sterk verbeterd. Bovendien zal de centrale infrastructuur naar behoefte voortgangstoetsing binnen andere domeinen en samenwerkingsverbanden op een efficiënte wijze kunnen ondersteunen.  

(Deze bijdrage is geschreven door: Peter de Jong, LUMC)

Toets, toetste, getoetst – Toetsen bij AGN

Voorgeschiedenis
AGN is een propedeusevak van de opleiding Geschiedenis.
Het vak behandelt de niet-Nederlandse geschiedenis vanaf de Renaissance tot het begin van de negentiende eeuw. Het bestaat uit een hoorcollege en een werkcollege per week gedurende een semester. Tijdens het hoorcollege wordt vooral aandacht geschonken aan de historiografische achtergronden en discussies. Het handboek en de reader worden behandeld tijdens het werkcollege. De tentamenstof bestaat uit de hoorcollegestof, Mckays handboek A history of Western Society en een reader.

Hier ligt een knelpunt. De studenten beheersen de stof niet goed, omdat zij moeite hebben met het handboek. Het is het eerste Engelstalige handboek dat de studenten tijdens hun studie moeten bestuderen. Daarbij komt dat de studenten per week ‘veel’ stof moeten verwerken. Het gevolg is dat zij vaak ‘passief’ de tekst lezen, daardoor moeite hebben het scheiden van hoofd- en bijzaken en dus slecht voorbereid deelnemen aan het werkcollege. Ter verbetering hiervan is het project Toetsen AGN ontwikkeld.  

Doel project
Het doel van het project Toetsen AGN was toetsen te ontwikkelen die de studenten wekelijks moeten maken, zodat zij actiever de stof bestuderen en deze daardoor beter beheersen. Dit zou tevens daartoe moeten leiden dat de uitleg over het handboek tijdens het werkcollege efficiënter kan en de discussies in het werkcollege op een hoger niveau gebracht kunnen worden. Het uiteindelijke doel is het verhogen van het tentamenrendement.
Een nevendoel van het project is het systematisch ontwerpen van een toetsplan en het construeren van de toetsitems.  

Studentenevaluatie 

Algemeen 

  • De toetsvragen werden qua niveau door de studenten als ‘precies goed’ ervaren.
  • De verhouding tussen de verschillende typen vragen per toets werd goed bevonden.
  • De studenten hebben gemiddeld een drie (op een vijf punts-schaal) gegeven op de vragen:
    • ‘De vragen in Blackboard hebben mij geholpen bij het voorbereiden van het werkcollege’
    • ‘Het was prettig dat de docent terugkwam op vragen uit de toets’
  • Het aantal dagen dat de student een toets kon maken werd ruim voldoende bevonden. 

Positieve punten 

  • Toetsen dwingt de studenten om het werkcollege voor te bereiden
  • Handig om te kijken of je de tekst begrepen hebt’  

Verbeterpunten 

  • Toegang van de toetsen (hoe lang en wanneer een toetst openstaat).
  • De vragen werden één voor één getoond, waardoor de studenten veel moesten klikken.
  • Sommige vragen verwezen naar een oudere druk van het boek, waren te makkelijk of het antwoord kon op internet gevonden worden. strong>

Gekozen instellingen
Voor de docent bestaat er voor elke werkgroep een aparte blackboardcursus

  • Binnen deze cursussen staan dezelfde toetsen met dezelfde toetsvragen
  • Deze toetsen bevatten meerkeuze-vragen– De meerkeuze-vragen worden in willekeurige volgorde getoond (randomized)
  • De vragen mogen meerdere keren worden beantwoord (multiple attempt)– De vragen dienen binnen een bepaald tijdsbestek te worden beantwoord– De docent bepaalt de begin- en eindtijd van de toets
  • De score van de student wordt automatisch in Blackboard bijgehouden– De docent kan de prestaties van studenten in Blackboard bekijken– De toets moet met een voldoende worden afgesloten
  • Het beheren van de vragen valt onder de verantwoordelijkheid van de docent
  • Bij technische vragen kunnen docenten en studenten terecht bij de Blackboard Helpdesk  

Aanpak 

1. Toetsmartijs 
Voordat met de ontwikkeling van de toetsen kan worden begonnen, is het nuttig een toetsmatrijs op te stellen. Deze toetsmatrijs bevat de volgende punten:

  • leerdoelen
  • type toetsvragen
  • hoeveelheid toetsvragen
  • niveau van de toetsvragen

Wanneer het leerdoel namelijk ‘feitenkennis’ heet, zijn er hoogstwaarschijnlijk andere soort vragen gewenst, dan wanneer er inzicht verlangd wordt. Door het opstellen van een toetmatrijs worden deze twee elementen op elkaar afgestemd.

2. Opstellen van de vragen

De docent maakt op basis van de toetsmatrijs de vragen. Hierbij adviseert het ICLON, het Interfacultair Centrum voor Lerarenopleiding, Onderwijsontwikkeling en Nascholing, alsmede zijn collega-docenten. 

3. Verwerking Feedback

Het ICLON en collega-docenten hebben feedback gegeven op de opgestelde toets. Dit kan worden verwerkt in de toets.

4. Bepalen van de vorm van de toets

Het bepalen van de vorm van de toets is met name belangrijk wanneer je achteraf niet met al te veel werk geconfronteerd wilt worden. Er wordt namelijk eerst één toets gemaakt, die vervolgens naar de verschillende blackboardcursussen gekopieerd wordt. Het gevolg van een fout(je) in de eerste toets betekent het handmatig aanpassen van de gekopieerde toetsen – een tijdrovende klus.De vorm van de toets houdt in dat over de volgende punten moet worden nagedacht: 

  • eenmalig of meerdere keren beantwoorden van de vragen
  • willekeurige volgorde van tonen van de vragen
  • het al dan niet invoegen van feedback
  • het instellen van de tijdlimiet
  • het bepalen van de scores per vraag
  • het tonen van één of meerdere vragen op één pagina

Alle toetsopties zijn terug te vinden in Bijlage A.

5. Plaatsen van de toets in Blackboard

Nadat de vorm is vastgesteld, kunnen de vragen in Blackboard worden geïmporteerd.

 

6. Controle
De toets moet voordat hij gekopieerd wordt nog eenmaal worden gecontroleerd. 

7. Kopiëren van de toets
De laatste stap is het kopiëren van de toets naar de verschillende Blackboardcursussen. Hierna kunnen zij worden afgenomen. 

8. Instructie docenten

Docenten krijgen voorafgaand aan het semester een instructie van de Blackboard Helpdesk.

 

Bijdrage: Marjana Rhebergen

 

Question Mark Perception?

De Universiteitsbibliotheek wil graag Question Mark Perception gaan gebruiken. We hebben al her en der in de universiteit rondgevraagd en het schijnt niet beschikbaar te zijn. Toch nog een poging via deze weg; je weet maar nooit!

Time on task: Leidt wekelijkse toetsing tot meer zelfstudietijd?

raymond fagelInterview met Raymond Fagel, docent bij de opleiding geschiedenis   

Raymond Fagel is coördinator van het propedeuseonderwijs en docent Algemene Geschiedenis van de Nieuwe Tijd of kortweg AGN. De nieuwe tijd beslaat de periode tussen 1450 en 1850. Het bijzondere in Leiden is dat die tijd niet uitsluitend vanuit Europees perspectief wordt bezien, maar vanuit een wereldwijde invalshoek. De eerste 12 weken van het studiejaar buigen de kersverse studenten geschiedenis zich over het handboek A History of Western Society. Tijdens de wekelijkse hoorcolleges gaan docenten vooral in op de grote lijnen, het handboek wordt behandeld tijdens de wekelijkse werkcolleges. 

Continue reading