AI begrippenlijst

Temperatuur is een parameter in LLMs, zoals GPT-4. Meestal wordt de optie gegeven om een waarde tussen 0 en 1 te kiezen, waarmee je mate van willekeur in de output bepaalt. - Bij een relatief lage temperatuur zal het model waarschijnlijk voorspelbare, maar samenhangende, tekst produceren en zeer vergelijkbare antwoorden geven als je je vraag herhaalt. - Bij een hogere temperatuur heeft het model de neiging tekst te produceren die minder voorspelbaar is en mogelijk meer fouten bevat. Bij zeer hoge temperaturen produceert een LLM vaak onzin. Voor hulpmiddelen als ChatGPT staat de temperatuurinstelling meestal standaard rond de 0,7: hoog genoeg om onvoorspelbare antwoorden te geven, maar laag genoeg om geen onzin te genereren.

Een token is de basiseenheid van tekst die door een large language model (LLM) wordt verwerkt. Vaak is het een volledig woord, maar het kan ook een deel van een woord zijn, of een leesteken. LLMs produceren tekst door herhaaldelijk te voorspellen welk token als volgende moet komen op basis van patronen die ze op basis van de trainingsdata hebben geleerd. Het is bijvoorbeeld zeer waarschijnlijk dat het volgende token na de tekst “Ik kon afgelopen niet in slaap komen afgelopen …” het woord “nacht” is. LLMs kiezen echter niet altijd het token met de hoogste waarschijnlijkheid, omdat dit een hele repetitieve tekst zou opleveren die niet menselijk lijkt. In plaats daarvan hebben ze een temperatuurinstelling die beïnvloedt hoe waarschijnlijk het is dat ze bijvoorbeeld in elk geval het derde meest waarschijnlijke token kiezen. Daarom kunnen AI-writers verschillende antwoorden geven op één enkele vraag.

De trainingsdata van een AI-systeem zijn de data (e.g., tekst, afbeeldingen) die zijn gebruikt om het systeem te trainen. Bij machine learning (ML) wordt het systeem gewoonlijk getraind op een grote hoeveelheid gegevens om patronen te herkennen en te leren om gewenste reacties te produceren. Gesprekken met gebruikers in tools als ChatGPT kunnen worden gebruikt als trainingsdata voor toekomstige modellen.

De Turing-test (ook wel imitation game genoemd) is een test die is uitgevonden door de computerwetenschapper Alan Turing in 1950. Hij is ontworpen om te testen of een machine in staat is om ogenschijnlijk menselijke intelligentie te vertonen. De test omvat een menselijke beoordelaar die tekstuele gesprekken voert met een machine en een mens, zonder te weten wie wie is. De beoordelaar moet proberen vast te stellen wie een machine is en wie een mens. Als geen betrouwbaar onderscheid kan worden gemaakt tussen de twee, is de machine geslaagd voor de test. Het “slagen voor de Turing-test” is onder liefhebbers van AI een norm geworden waaraan AI-systemen zouden moeten voldoen, maar AI-onderzoekers aanvaarden de test zelf niet als een betrouwbare, wetenschappelijke maatstaf voor intelligentie. Ook wordt de test bekritiseerd in andere gedachte-experimenten, zoals de Chinese kamer.