Nieuw testraamwerk helpt autonome voertuigen veiliger te maken

Steeds meer bedrijven ontwikkelen en testen autonome voertuigen. Deze voertuigen rijden geheel automatisch en nemen zelf beslissingen. Gebruikers leggen dan ook in belangrijke mate hun leven in handen van een computer. Om dit op een veilige en verantwoorde wijze te kunnen doen, is het noodzakelijk zeker te stellen dat de algoritmes waarop autonome voertuigen hun beslissingen baseren zo min mogelijk fouten bevatten. Een fout van een autonoom voertuig kan immers in het ergste geval dodelijke gevolgen hebben. Een nieuw testraamwerk genaamd DeepXplore spoort fouten in algoritmes van zelfrijdende auto’s op.

Autonome auto’s maken zelfstandig keuzes, waarbij zij zich baseren op algoritmes. Deze algoritmes worden door computersystemen zelfstandig gecreëerd via een vorm van machine learning dat deep learning wordt genoemd. Hiervoor wordt gebruik gemaakt van een kunstmatig neuraal netwerk, dat is gebaseerd op het menselijk brein. Een dergelijk netwerk bestaat uit verschillende lagen van chips, die neuronen nabootsen. Iedere laag maakt een andere analyse van de data die wordt geanalyseerd en geeft zijn resultaten door aan de volgende laag neuronen. 

Zelfstandig leren

Deep learning-netwerken kunnen hierdoor zelfstandig leren en worden steeds slimmer naarmate zij meer data analyseren. De technologie heeft als belangrijk voordeel dat algoritmes aanzienlijk slimmer kunnen worden dan zij ooit door een menselijke programmeur geprogrammeerd zouden kunnen worden. Een nadeel is echter dat niemand precies weet hoe deze algoritmes zijn geschreven en hoe deze op uitzonderlijke situaties reageren. 

“Kritieke veiligheids- en beveiligingssystemen op basis van deep learning moeten, net als traditionele software, systematisch getest worden op verschillende uitzonderingen om idealiter iedere potentiële fout of ongewenst gedrag te detecteren en verhelpen. Dit presenteert een nieuw probleem, aangezien het geautomatiseerd en systematisch testen van grootschalige deep learning-systemen met duizenden neuronen en miljoenen parameters extreem uitdagend is”, schrijven Kexin Pei, Junfeng Yang en Suman Jana van de Columbia University en Yinzhi Cao van de Lehigh University in een onderzoekspaper. 

Het gaat helaas wel eens fout

De onderzoekers noemen enkele voorbeelden van situaties waarin het al fout is gegaan. Zo wijzen de onderzoekers op een recent ongeluk met een zelfrijdende auto van Google, die ervan uitging dat een bus voorrang zou verlenen. Dit bleek echter niet het geval te zijn, met een ongeluk als gevolg. 

Een ander voorbeeld is een auto van Tesla die in autopilot modus reed en tegen een vrachtwagen is gebotst. Dit ongeluk kon ontstaan doordat het autopilot systeem de trailer niet kon herkennen als obstakel, aangezien de witte kleur van de trailer moeilijk te onderscheiden was. Het systeem bleek niet in staat de witte trailer te onderscheiden van de felverlichte lucht en werd daarnaast in de war gebracht door de hoge rijhoogte van de trailer.

Traditionele testen

Bij traditionele testen voor deep learning-systemen worden twee methoden gehanteerd. Bij de eerste methode worden handmatig gegenereerde testafbeeldingen op willekeurige wijze aan een deep learning-systeem gepresenteerd, net zo lang tot een afbeelding een verkeerde beslissing maakt. De tweede methode maakt gebruik van testafbeeldingen die geautomatiseerd worden gegenereerd. Hierbij wordt een testafbeelding continu in kleine stapjes aangepast, net zolang tot een afbeelding het systeem de fout in laat gaan. De onderzoekers stellen echter dat met deze methoden nooit meer dan een minimale hoeveelheid van alle mogelijke uitzonderingen getest kan worden. 

“De belangrijkste uitdagingen in het geautomatiseerd en systematisch testen van grootschalige deep learning-systemen zijn tweeledig: (1) hoe genereer je voldoende input die verschillende delen van de logica van deep learning-systemen triggert en ontdek je verschillende soorten onjuist gedrag, en (2) hoe identificeer je onjuist gedrag van een deep learning-systeem zonder handmatig labels aan te brengen en controles uit te voeren”, aldus de onderzoekers. 

DeepXplore

Om deze uitdagingen te overwinnen hebben de onderzoekers het nieuwe testraamwerk DeepXplore ontwikkeld. Dit systeem zet het deep learning-netwerk dat wordt getest in om testafbeeldingen te genereren die een grote kans hebben de verschillende lagen met neuronen conflicterende beslissingen te laten nemen. Deze werkwijze maakt het mogelijk veel meer uitzonderingen te testen dan met traditionele testmethoden mogelijk is. 

DeepXplore kan overigens niet alleen fouten in deep learning-systemen opsporen, maar deze ook corrigeren. Indien de verschillende lagen van het neurale netwerk conflicterende beslissingen nemen, gaat DeepXplore aan de slag om deze fout te herstellen. Hierbij wordt het neurale netwerk opnieuw getraind om de foto die tot problemen leidt beter te herkennen. DeepXplore vergroot hiermee de nauwkeurigheid van het systeem en voorkomt dat het systeem opnieuw de fout ingaat. 

Nauwkeurigheid met 3% verhogen

De onderzoekers hebben DeepXplore op de proef gesteld en met behulp van het testraamwerk vijftien deep learning-algoritmes getest die met behulp van vijf datasets zijn getraind. DeepXplore wist in deze test duizenden fouten in de deep learning-algoritmes op te sporen die door eerdere testen met andere technieken niet werden geïdentificeerd. Ook melden de onderzoekers met behulp van DeepXplore de nauwkeurigheid van sommige netwerken met 3% te hebben verhoogd door het netwerk opnieuw te trainen op basis van de input van DeepXplore. 

Overigens is DeepXplore niet zaligmakend. De testmethode kan worden ingezet om het aantal fouten in deep learning-systemen fors terug te dringen, maar het testraamwerk kan niet garanderen dat een deep learning-systeem aan een bepaalde veiligheidsstandaard voldoet. Overigens zijn er al wel systemen beschikbaar die hier wel toe in staat zijn. Deze systemen zijn op dit moment echter alleen in staat kleinschalige deep learning-systemen te controleren en zijn niet geschikt voor de grootschalige netwerken die in autonome auto’s worden gebruikt. 

Auteur: Wouter Hoeffnagel
Bron: Columbia University
Bron: arXiv
Bron: Pixabay / markusspiske