Kunstmatige intelligentie volgt de logica van wetenschappelijke vooruitgang niet

We hebben in MT vaak geschreven over onderzoekers en professionals die machine learning-systemen verkondigen als "zwarte dozen" (1), zelfs voor degenen die ze bouwen. Dit maakt het moeilijk om resultaten te evalueren en opkomende algoritmen opnieuw te gebruiken.

Neurale netwerken - de techniek die ons intelligente converterende bots en ingenieuze tekstgeneratoren geeft die zelfs poëzie kunnen creëren - blijft een onbegrijpelijk mysterie voor externe waarnemers.

Ze worden groter en complexer, verwerken enorme datasets en gebruiken enorme rekenarrays. Dit maakt replicatie en analyse van de verkregen modellen kostbaar en soms onmogelijk voor andere onderzoekers, behalve voor grote centra met enorme budgetten.

Veel wetenschappers zijn zich terdege bewust van dit probleem. Onder hen is Joel Pino (2), voorzitter van NeurIPS, de belangrijkste conferentie over reproduceerbaarheid. De experts onder haar leiding willen een "checklist reproduceerbaarheid" maken.

Het idee, volgens Pino, is om onderzoekers aan te moedigen anderen een stappenplan aan te bieden, zodat ze het reeds gedane werk kunnen recreëren en gebruiken. Je kunt je verbazen over de welsprekendheid van een nieuwe tekstgenerator of de bovenmenselijke behendigheid van een videogamerobot, maar zelfs de beste experts hebben geen idee hoe deze wonderen werken. Daarom is de reproductie van AI-modellen niet alleen belangrijk voor het identificeren van nieuwe doelen en richtingen voor onderzoek, maar ook als een puur praktische leidraad.

Anderen proberen dit probleem op te lossen. Google-onderzoekers boden "modelkaarten" aan om in detail te beschrijven hoe de systemen werden getest, inclusief resultaten die wijzen op mogelijke bugs. Onderzoekers van het Allen Institute for Artificial Intelligence (AI2) hebben een artikel gepubliceerd dat tot doel heeft de Pinot-reproduceerbaarheidschecklist uit te breiden naar andere stappen in het experimentele proces. "Laat je werk zien", dringen ze aan.

Soms ontbreekt basisinformatie omdat het onderzoeksproject eigendom is, vooral van laboratoria die voor het bedrijf werken. Vaker is het echter een teken van het onvermogen om veranderende en steeds complexere onderzoeksmethoden te beschrijven. Neurale netwerken zijn een zeer complex gebied. Om de beste resultaten te krijgen, is vaak een fijnafstemming van duizenden "knoppen en knoppen" vereist, wat sommigen "zwarte magie" noemen. De keuze van het optimale model gaat vaak gepaard met een groot aantal experimenten. Magie wordt erg duur.

Toen Facebook bijvoorbeeld probeerde het werk van AlphaGo, een systeem ontwikkeld door DeepMind Alphabet, te repliceren, bleek de taak buitengewoon moeilijk. Enorme computervereisten, miljoenen experimenten op duizenden apparaten gedurende vele dagen, gecombineerd met het ontbreken van code, maakten het systeem "erg moeilijk, zo niet onmogelijk, om opnieuw te maken, te testen, te verbeteren en uit te breiden", aldus Facebook-medewerkers.

Het probleem lijkt gespecialiseerd te zijn. Als we echter verder nadenken, ondermijnt het fenomeen van problemen met de reproduceerbaarheid van resultaten en functies tussen het ene onderzoeksteam en het andere alle ons bekende logica van het functioneren van wetenschap en onderzoeksprocessen. In de regel kunnen de resultaten van eerder onderzoek worden gebruikt als basis voor verder onderzoek dat de ontwikkeling van kennis, technologie en algemene vooruitgang stimuleert.