## Eigen materiaal en eerdere projecten - Eigen onderzoek: *The Rise of Silicon Sampling* (Vaznyte & Van Vliet). Interviews met 2 studenten en 2 docenten over de impact van silicon sampling op hun werk, dezelfde vragen ook gesteld aan een LLM via een tool die zich specifiek richt op user research. Conclusie: duidelijke verschillen in inhoud, toon en onderliggende waarden tussen mens en LLM. - Onderzoeksartikel: https://www.researchgate.net/publication/383415728_The_Rise_of_Silicon_Sampling - Publieksanalyse (NL): https://innovationorigins.com/nl/silicon-sampling-ai-personas-bieden-nieuwe-inzichten-voor-marktonderzoek-zij-het-met-beperkingen/ - Publieksanalyse (EN): https://innovationorigins.com/en/silicon-sampling-ai-powered-personas-offer-new-insights-for-market-research-but-have-limitations/ - Eerdere guest lectures: - **Fontys IT-festival** Inspiratie talk, [[Silicon Sampling.pdf]] - **Workshop silicon sampling, 22 en 26 september 2024** — voor tweedejaars studenten vastgoedkunde bij Fontys, rond de campus-mobiliteitscase [[Silicon sampling workshop 22-09-2024]] · [[Silicon sampling workshop 26-09-2024]] - Keynote **"Van AI naar Kennis, Human are you in the loop?**", bredere workshop over divergeren met AI, niet silicon-sampling-specifiek maar met dezelfde prompt-structuur. ## Opzet van de gastles: wat kunnen we proberen? Geen vast lesplan, maar een menu. Ik kies er op de dag zelf uit, afhankelijk van tijd, kennis en energie in de zaal. 1. **De kernoefening: persona-prompting stap voor stap.** Studenten bouwen eerst hun eigen persona-prompt, dan een doelgroep-persona, verrijken die met context (een transcript of documentatie uit hun eigen ondernemersplan), en maken tot slot een tweede variant van dezelfde doelgroep. - Welke informatie geef je aan een AI chatbot en welke niet? 2. **Fan-out als uitbreiding.** In plaats van één voor één persona's doorlopen, meerdere tegelijk laten reageren en de spreiding bespreken: lijken de antwoorden op elkaar, of zit er echt afstand tussen? - Als voorbeeld de toren van overmorgen - https://www.brabantkennis.nl/bibliotheek/toren-van-overmorgen - https://www.brabantkennis.nl/bibliotheek/toekomstgids-brabant-van-overmorgen 3. **Convergerend versus divergerend prompten.** Vraag om 1 antwoord, dan om 5 tegengestelde antwoorden. Laat zien hoe de vraagstelling zelf al bepaalt hoeveel ruimte je krijgt. - Wat is het doel van silicon sampling? Antwoorden krijgen versus eigen perspectief verbreden zodat je betere interviews kan doen 4. **De menselijke check.** Vergelijk een synthetisch antwoord met een echt gesprek, met een medestudent of een vrijwilliger uit de zaal. - Wat zijn de valkuilen van silicon sampling? ## Waar het mis kan gaan: de Illusion of Artificial Inclusion Elke oefening hierboven eindigt met dezelfde vraag: wat heb je nu eigenlijk gemeten, en van wie? Agnew et al. (2024) geven daar een naam aan: *The Illusion of Artificial Inclusion*. Hun punt is niet dat silicon sampling onnauwkeurig is, maar dat het drie waarden ondermijnt die onderzoek juist zou moeten dienen. - **Representatie**: een silicon sample claimt een groep te vertegenwoordigen die nooit is gevraagd of ze zich daarin herkent. - **Inclusie**: juist de mensen die toegang tot onderzoek het hardst nodig hebben, worden vervangen in plaats van uitgenodigd. - **Begrip**: het begrip dat ontstaat dóór het gesprek zelf, de omweg, de verrassing, gaat verloren als je dat gesprek simuleert. Concreet, in de woorden die tijdens de oefeningen zelf zichtbaar worden: - **Het correct-answer-effect** (Sarstedt et al., 2024) — bij herhaling geeft een model soms opvallend uniforme antwoorden zonder spreiding. Dat voelt als consensus, maar is vaak een gebrek aan verbeelding. - **Domeinspecifieke blinde vlekken** — hoe specifieker de doelgroep of de branche, hoe minder betrouwbaar de simulatie. Werkt beter voor algemene consumentenvragen dan voor een niche-doelgroep uit een eigen ondernemingsplan. - **Schijndiversiteit bij fan-out**: tientallen persona's kunnen alsnog dezelfde onderliggende modelbias delen. Meer stemmen bewijst niets vanzelf. De boodschap waarmee ik het college wil afsluiten: silicon sampling is bruikbaar om het speelveld van mogelijke antwoorden te verkennen, vooral vroeg in een onderzoek. Het vervangt nooit het moment waarop je met een echt mens in gesprek gaat, want dat gesprek levert iets op dat geen enkel model kan simuleren: iemand die je tegenspreekt op een manier die je niet had voorzien. ## Aanbevolen literatuur (3 titels) - Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J., Rytting, C., & Wingate, D. (2022). Out of One, Many: Using Language Models to Simulate Human Samples. *ACL 2022*. https://doi.org/10.18653/v1/2022.acl-long.60 — de paper die de term "silicon sampling" muntte, goed startpunt. - Agnew, W., Bergman, A. S., Chien, J., Díaz, M., El-Sayed, S., Pittman, J., Mohamed, S., & McKee, K. R. (2024). The Illusion of Artificial Inclusion. *CHI 2024*. https://doi.org/10.1145/3613904.3642703 — het scherpste tegengeluid: vervanging van deelnemers ondermijnt representatie, inclusie en begrip. Belangrijk om de belofte van de vorige paper meteen kritisch te wegen. - Sarstedt, M., Adler, S., Rau, L., & Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. *Psychology & Marketing, 41*, 1254-1270. https://doi.org/10.1002/mar.21982 — praktisch validiteitskader, leent zich goed als opdrachtmateriaal.