Lead generative AI evaluation

Solliciteer via de website: https://algorithmaudit.eu/nl/about/vacancies/

Functietitel: Lead generatieve AI evaluatie (1.0 fte)

Wil jij concreet bijdragen aan de verantwoorde inzet van AI en algoritmes? En wil jij dat doen vanuit een onafhankelijke en maatschappelijke rol? Kom stichting Algorithm Audit versterken als Lead generatieve AI evaluatie en draag bij aan de collectieve kennisopbouw over verantwoorde AI.

Over stichting Algorithm Audit

Stichting Algorithm Audit is een Europees kennisplatform voor verantwoorde AI en AI-evaluatie. We zijn een technisch onderlegde, sterk interdisciplinaire en maatschappelijk betrokken organisatie die zich inspant voor publieke kennis over verantwoorde AI en algoritmes. In enkele jaren zijn we uitgegroeid tot een internationaal erkende kennispartner op het gebied van AI bias testing, non-discriminatie, en de evaluatie van AI-systemen op socio-technische risico’s. We adviseren voornamelijk publieke sector organisaties en zetten ons actief in om kennisuitwisseling tussen overheidsorganisaties aan te jagen. We verrichten projectwerk voor o.a. de AI Office van de Europese Commissie, de Raad van Europa, Nederlandse uitvoeringsorganisaties en gemeenten.

Wat ons als nonprofit drijft is het maatschappelijk belang en niet winstmaximalisatie. Wij publiceren onze adviezen en delen onze kennis via white papers. Door ons businessmodel zijn wij een alternatief voor commerciële consulting, waarin we onze maatschappelijke drive combineren met praktijkervaring. We ontwikkelen open source tools en evaluatiemethodieken: bijvoorbeeld een validatiekader voor taalmodellen die voor publieke informatievoorziening worden ingezet en Nederlandse benchmark datasets voor evaluatie van generatieve AI. Door casusonderzoek en oordeelsvorming door onafhankelijke adviescommissies dragen we bij aan publieke kennisopbouw en normering van concrete use cases. Voor deze werkzaamheden ontvingen we de Brouwer Vertrouwensprijs 2026 van de Koninklijke Hollandsche Maatschappij der Wetenschappen.

Wij zijn een jonge, enthousiaste en snelgroeiende organisatie met een klein kernteam maar met een groot netwerk van academici, beleidsmakers en experts in Nederland en Europa waar we mee samenwerken. Ons kantoor is gevestigd in Den Haag.

Wat zoeken wij?

Als Lead generatieve AI evaluatie bij Algorithm Audit:

* Verricht je projectwerk voor de AI Office van de Europese Commissie met betrekking tot het evalueren van socio-technische risico’s van general purpose (GP)AI-modellen en -toepassingen;

* Ben je een schakel tussen technische en juridische wetenschappers (van onder meer de Universiteit Leiden, Oxford en TNO) en beleidsmakers (van de Europese Commissie en Nederlandse ministeries);

* Beoordeel je de methodologische zuiverheid van evaluatiemethoden voor generatieve AI-systemen en heb je inzicht hoe nieuwe evaluatiemethoden te ontwikkelen;

* Werk je samen met software engineers om evaluatiemethoden voor generatieve AI-systemen te ontwikkelen en draag je bij aan de ontwikkelde code en documentatie voor deze evaluaties;

* Onderzoek je verschillende benchmark datasets (bijv. BBQ, CommonSenseQA) en kun je de vertaalslag maken welke benchmark datasets nodig zijn voor de Nederlandse taal;

* Analyseer je documentatie over generatieve AI-modellen en heb je affiniteit met toepasselijke wet- en regelgeving (AI-verordening, Digitale Dienstenwet);

* Draag je schriftelijk bij aan o.a. technisch en/of juridische analyses, presentaties, beschrijvingen van bevindingen over GPAI-modellen en generatieve AI-systemen;

* Ben je flexibel om het team ook op andere projecten (bijv. bias testing, algoritme-inventarisatie en toetsing) bij te staan;

* Licht je door Algorithm Audit opgedane inzichten in begrijpelijke taal toe, zodat deze met de samenleving, beleidsmakers en juristen kunnen worden gedeeld;

* Zie jij kansen voor nieuwe werkzaamheden op het gebied van de evaluatie van generatieve AI-toepassingen en draag je bij aan business development.

De exacte invulling van de werkzaamheden worden nader met het team afgestemd.

Vaardigheden

* 2-8 jaar werkervaring, waarvan ten minste 1 jaar ervaring met het evalueren van generatieve AI-toepassingen;

* Kennis, kunde en praktijkervaring met specifieke benchmark-frameworks, zoals Hugging Face, Inspect AI, LM Eval, DeepEval, LangSmith, etc;

* Ervaring met het bouwen van RAG-applicaties, foundation models en/of guardrails is een pré;

* Relevante masterstudie afgerond (data science, AI, statistiek, computationele taalwetenschappen etc.);

* Aantoonbare affiniteit met verantwoorde algoritmes en AI;

* Sterk organisatorisch vermogen en inzicht in het snel ontwikkelende vakgebied;

* In staat om in klein team in goede afstemming te werken en ook veel zelfstandig op te pakken;

* Ondernemende en pionierende instelling passend bij een start-up;

* Representatief naar opdrachtgevers en belanghebbenden;

* Uitstekende spreek- en schrijfvaardigheid Engels en Nederlands.

NB: Bovenstaande lijst is het profiel van een ideale kandidaat. Voldoe je aan enkele kenmerken en denk je relatief snel naar dit functieprofiel toe te kunnen groeien, solliciteer en licht dit toe in je brief!

Wat verwachten wij?

* Je werkt 3-5 dagen per week op kantoor in Den Haag

* Bereidheid om binnenlands te reizen en incidenteel Europees (voornamelijk Brussel)

* Nederlandse nationaliteit of werkvergunning.

Arbeidsvoorwaarden

* Bruto maandsalaris op basis van 1.0 fte €4.500-€6.500/maand;

* Excl. vakantietoeslag, 13e maand, pensioenopbouw (6% bruto per maand), thuiswerkvergoeding;

* Het salaris kan worden bijgesteld naar boven bij buitengewone werkervaring;

* 26 vakantiedagen;

* Hybride werkopstelling, waarbij minimaal drie dagen per week aanwezigheid op kantoor wordt verwacht;

* Arbeidsovereenkomst voor één jaar.

Praktische opmerkingen

* Deze vacature staat open tot en met 30-04-2026;

* Op basis van de aangeleverde documenten kun je worden uitgenodigd voor een (online) kennismakingsgesprek;

* Bij een wederzijdse match volgen 1-2 vervolggesprekken op locatie;

* De startdatum wordt in overleg bepaald (voor, na of tijdens de zomer afhankelijk van beschikbaarheid).

Diversiteit en inclusie

Nadenken over verantwoorde AI kunnen we alleen als we ieders perspectief meenemen. We hechten daarom sterk aan diversiteit en inclusie in al onze werkzaamheden, met name in het betrekken van verschillende belanghebbende groepen. Ook als organisatie willen we diversiteit weerspiegelen m.b.t. bijvoorbeeld gender, culturele en disciplinaire achtergrond.

Contact

Vragen over de vacature of de procedure? Stuur een email naar [email protected].