Cruise "richiama" il robotasse dopo l'incidente, ma il richiamo è il meccanismo sbagliato

A giugno, l'unità "Cruise" della General Motor, che sta operando robotasse senza pilota di notte a San Francisco, e in procinto di espandere il servizio, ha avuto un incidente con lievi ferite quando si è fermata nel mezzo di una svolta a sinistra e un'auto in arrivo in velocità colpiscilo di lato. Questo è interessante sia in termini di ciò che è andato storto nell'incidente, ma anche per il modo in cui la correzione del software è stata definita "Richiamo" su richiesta dell'Agenzia nazionale per la sicurezza dei trasporti autostradali.

Cruise ha annunciato questa settimana che lo sarebbero stati espandendo il loro servizio a San Francisco e aprendo anche a Phoenix e Austin Entro la fine di 2022.

È probabile che questo sia il primo incidente che coinvolge nessun guidatore di sicurezza, qualche guasto al sistema di guida e lesioni a terzi (sia passeggeri che nell'altro veicolo). Recentemente sono stati rivelati nuovi dettagli sull'evento.

A proposito dell'incidente

Il veicolo di Cruise ha commesso un errore, ma l'altro veicolo è stato ritenuto "molto colpevole" perché stava andando a 40 in una zona 25 e perché si stava avvicinando sulla corsia di svolta a destra, ma invece di svoltare a destra è passata alla corsia di attraversamento e ha attraversato l'incrocio a velocità. Alcuni dettagli possono essere trovati nel Rapporto CA DMV. Non sono state emesse citazioni, ma l'evento potrebbe essere ancora oggetto di indagine.

Le ricostruzioni dell'evento suggeriscono che l'auto da crociera sperava di fare una svolta a sinistra, la famosa "sinistra non protetta" che molte squadre hanno trovato una sfida. Una Prius si stava avvicinando in una corsia che richiede una svolta a sinistra, ad eccezione di autobus e taxi, e l'auto da crociera presumeva che l'auto stesse davvero per svoltare a destra e che avrebbe potuto svoltare prima che la Prius arrivasse lì. La Prius non era un taxi, ma non si sa se la Cruise ne fosse sicura o se avesse basato le sue decisioni su quello. Sembra probabile che la Cruise abbia previsto che l'auto avrebbe rallentato, lasciandole il tempo di svoltare, e ha iniziato la sua svolta.

La Prius non ha rallentato, quindi il motore di previsione di Cruise ha ritenuto che se l'auto Cruise avesse continuato la sua virata e anche la Prius veloce avesse girato, la Prius si sarebbe imbattuta nella Cruise. Quindi la Cruise ha fatto quella che riteneva fosse la cosa giusta da conservatore, che era fermarsi bruscamente all'incrocio, il che avrebbe permesso alla Prius di fare il suo dovere.

La Prius non l'ha fatto. In effetti, è tornato sulla corsia di passaggio e ha proseguito fino all'incrocio. Si potrebbe presumere che avesse sempre inteso andare dritto e che ora stesse cercando di evitare l'auto ferma all'incrocio. Non è successo e ha colpito la parte posteriore del veicolo Cruise, provocando lievi ferite in entrambe le auto.

Cruise ha ammesso che il loro software ha agito in modo errato in a deposito presso NHTSA, anche se incolpando l'incidente della Prius per la sua alta velocità e per essersi trovata sulla corsia sbagliata. Il Cruise Bolt avrebbe potuto prevenire l'incidente non fermandosi e completando il suo turno, o non tentando il suo turno in primo luogo. La maggior parte dei robocar sono prudenti e non del tutto pronti a evitare incidenti accelerando, poiché ciò può portare ad altri problemi.

Cruise ha rifiutato di rispondere alla maggior parte delle domande su questo evento oltre a ciò che è nei loro documenti. Come dice il deposito, l'auto era in "modalità autonoma senza conducente" e la crociera conferma che ciò significa che non c'era un conducente di sicurezza a bordo. I rapporti della polizia affermano che c'erano 3 passeggeri (che guidavano gratuitamente) nella parte posteriore del Bolt e uno è andato brevemente in ospedale con ferite lievi. C'erano due nella Prius che sono stati curati sulla scena. Poiché questo passeggero non si è fatto avanti alla stampa, è possibile che Cruise abbia offerto incentivi a questa persona per non farlo. Cruise non richiede NDA da parte dei motociclisti.

Cruise ha affermato che questo problema era molto raro e si è verificato solo una volta in oltre 120,000 svolte a sinistra non protette. (Ma vedi sotto per capire se va bene.) 3 giorni dopo, hanno rilasciato un aggiornamento software che credono risolva il problema. Ammettono che è loro dovere fare di più per evitare un incidente, anche quando gli altri utenti della strada si comportano male, e questa è una buona filosofia. La maggior parte dei team di guida autonoma cerca di creare situazioni con altri piloti irregolari nel simulatore e cerca di trovare ogni loro variazione possibile. Questa situazione è sicuramente nel simulatore di Cruise ora, e anche nei simulatori di ogni altro team importante che leggono le notizie se non le hanno già.

A proposito del Richiamo

Curiosamente, Cruise ha descritto questo particolare aggiornamento del software come un "richiamo" e ha presentato un avviso di richiamo effettivo a NHTSA. Cruise e tutti gli altri team operativi eseguono costantemente aggiornamenti software per risolvere i problemi, anche se ovviamente è molto raro risolvere un problema che ha causato un incidente, fortunatamente. Non stanno mettendo questo attraverso il meccanismo di richiamo. Il meccanismo di richiamo sembra inadeguato per molte ragioni:

1. Cruise in realtà non ha richiamato veicoli, ad es. chiedere che vengano restituiti a un centro di assistenza per essere riparati. Ha appena utilizzato il suo normale processo di aggiornamento del software via etere.
2. GM/Cruise non ha mai venduto questi veicoli, li possiede e li gestisce, quindi non può davvero essere richiamato dal cliente.
3. Il processo di richiamo è complicato e burocratico e sicuramente non può essere utilizzato per ogni aggiornamento del software, anche per gli aggiornamenti che risolvono un problema di sicurezza. Quasi tutti gli aggiornamenti software risolvono un problema di sicurezza o un altro, ma non quello che ha effettivamente causato (piuttosto che potrebbe causare) un arresto anomalo.

Ha senso che questi incidenti e le loro correzioni vengano segnalati, e in effetti questo incidente è stato segnalato al DMV della California, alla polizia e all'NHTSA molto prima del richiamo. NHTSA ha richiesto o accettato richiami per alcune altre modifiche al software e deve rivedere e semplificare questo processo. Sebbene la NHTSA abbia l'autorità di regolamentare la sicurezza delle auto vendute negli Stati Uniti, è meno chiaro quale autorità abbia sulle auto che non vengono vendute. Vale la pena notare che proprio il giorno prima di questo incidente, a Cruise è stato concesso il permesso, ma non aveva ancora iniziato, di vendere i veicoli nelle sue auto, e potrebbe avere senso regolamentare le auto in cui vengono vendute le corse (anche se questo potrebbe essere più un materia di stato se non attraversano i confini di stato.)

In precedenza, quando Pony.AI ha avuto un incidente in uno dei loro veicoli senza pilota, il DMV ha ritirato il permesso per operare in quello stato. Nel caso di Pony, è stato un incidente d'auto da solista, chiaramente colpa del loro veicolo. Le diverse circostanze potrebbero aver portato a diverse azioni o inazioni da parte del DMV.

Gli incidenti con Robocar sono diversi

Questo incidente ci dice qualcosa sul diverso modello di incidenti nelle robocar. Le reazioni iniziali mostrano che Cruise potrebbe essere meno maturo di quanto si desideri. Waymo ha avuto un incidente in cui è stato un errore nel 2016, 7 anni dopo l'inizio del loro progetto, anche se senza feriti. Da allora hanno avuto ben poco, anche se solo di recente hanno guidato pesantemente in un territorio come San Francisco. Cruise ha avuto un sacco di bug imbarazzanti negli ultimi tempi, tra cui un'insolita fermata della polizia, gruppi di auto che si sono fermati a causa di un bug di comunicazione del server, un incidente con un camion dei pompieri, lamentele per aver effettuato il ritiro/riconsegna nel mezzo del strada e gelo all'inizio di una corsa per un giornalista del Today Show. Questo è più di quello di cui abbiamo sentito parlare con Waymo e altri, e in quanto tali speriamo che siano solo dolori da dentizione. Ogni squadra avrà problemi, e in effetti ogni squadra avrà incidenti e ciò che conta è la frequenza con cui accadono.

Cruise ha dichiarato il 12 settembre di aver effettuato circa 300,000 miglia di servizio robotaxi senza conducente di sicurezza a San Francisco e che avrebbero fatto meno a giugno. Non è eccezionale, perché i conducenti umani tendono ad avere un incidente per ogni milione di miglia di guida. Sebbene Cruise possa essere giudicato meno colpevole del pilota della Prius, questo non è un record così buono come vorremmo. (Un incidente dopo, diciamo 250,000 miglia non significa che non faranno un milione di miglia prima del prossimo, ma non è di buon auspicio.) D'altra parte, hanno fatto 4 milioni di miglia in generale (con i conducenti di sicurezza Poiché i conducenti di sicurezza sono intervenuti con eventuali problemi nei 4 milioni di miglia, non sappiamo quale fosse il tasso di incidenti reali per quel sistema, che era anche un sistema più vecchio e inferiore rispetto all'ultimo. In confronto, la guida sicura fa bene quella TeslaTSLA
segnala che i suoi clienti hanno guidato in sicurezza per 30 milioni di miglia con il Tesla FSD di pessima qualità e non è emersa alcuna segnalazione di incidenti gravi, in particolare feriti.

L'aspetto unico dei robot, tuttavia, è stato notato sopra. Cruise ha risolto questo problema in 3 giorni e non si ripresenterà più, almeno non in questo modo. Probabilmente le altre aziende lo hanno inserito nei loro simulatori e non succederà nemmeno a loro. Le aziende creano enormi librerie di scenari di simulazione (e persino, in un progetto che ho contribuito a istigare, scambiarli). Quando lo fanno, hanno algoritmi per "confondere" lo scenario, il che significa modificare tutti i parametri in modi diversi. Lo proveranno con l'altra macchina a velocità diverse o cambiando corsia in momenti diversi. Lo proveranno con l'auto da crociera che si comporta in modo diverso. Lo proveranno con i pedoni che fanno cose diverse all'incrocio per verificare che non si verifichino problemi in migliaia di variazioni.

Questo non è come le persone. Se una persona ha avuto questo tipo di incidente - e lo fanno - le lezioni di quella persona non insegneranno a nessuna delle altre. Nella migliore delle ipotesi, nel tempo la città potrebbe migliorare le regole sulle corsie o sulla velocità, ma ciò richiederà molti incidenti. Per qualsiasi errore commettano i robot, generalmente miglioreranno solo.

Le persone peggiorano. Mentre la maggior parte delle persone si aspetta che i giovani conducenti siano i più scatenati e subiscano il maggior numero di incidenti, sono i conducenti di 80 anni che in realtà si uccidono di più: il grafico ha una tragica forma a "U". Ciò è in parte dovuto al fatto che i conducenti più anziani sono più fragili, ma è stato anche scoperto che subiscono più incidenti man mano che le loro facoltà diminuiscono. In particolare, e stranamente, subiscono più incidenti in cui vengono colpiti dall'auto, piuttosto che dall'auto che colpisce, anche se è ancora colpa loro, a causa di situazioni come questa nelle curve a sinistra non protette. I robot dovrebbero essere eccellenti nel giudicare la fisica di queste situazioni, ma il sistema di Cruise ha fatto troppe supposizioni.

Questo è anche un classico esempio del problema della predizione. Mentre si parla sempre di sensori nel mondo delle robocar, il rilevamento non è l'obiettivo, è un mezzo verso il vero obiettivo che è la previsione. Non importa dove sia tutto ora, ciò che conta è dove sarà nel prossimo futuro. Cruise ha valutato male dove potrebbe andare la Prius e anche cosa fare al riguardo quando la situazione è cambiata. Sospetto che l'auto di Cruise non sia programmata per fare cose come correre in avanti per evitare l'incidente, o anche per fare marcia indietro. Non abbiamo dati sul fatto che ci fosse un'auto dietro il Cruise Bolt, ma una cosa che fanno i robot è guardare in tutte le direzioni contemporaneamente, e se fosse stato chiaro dietro, l'auto avrebbe potuto agire molto più velocemente di un essere umano, che avrebbe devo controllare lo specchietto e arrivare al cambio. Un'auto elettrica e accelera molto rapidamente e nel tempo, i veicoli elettrici robotici dovrebbero essere molto agili nell'evitare incidenti, se osano.

Dico se osano perché la maggior parte delle aziende è molto conservatrice. Non vogliono fare mosse improvvise che potrebbero peggiorare una situazione, anche con una visione a 360 gradi. In particolare, molte mosse improvvise di questo tipo sono tecnicamente illegali e non vogliono violare deliberatamente la legge, soprattutto se potrebbe andare storto. Ad esempio, i pedoni possono uscire di sorpresa da dietro le cose in qualsiasi momento. Se saltano davanti a te, non è colpa tua, ma se sei sul marciapiede per evitare un incidente, è un'altra storia. (No, le macchine non cercheranno mai di scegliere chi colpire se devono scegliere tra due persone, questo è un mito comune e una domanda fastidiosa, non qualcosa che accade davvero.)

Col tempo, i robot dovrebbero diventare migliori degli umani in questa situazione. Diventeranno più bravi nel prevedere la gamma di cose che faranno le altre auto. L'auto avrebbe dovuto dire costantemente "cosa farò se questo ragazzo non gira come richiesto dalle regole" e assicurarsi che ci sia un'azione che può essere intrapresa, incluso accelerare in curva o indietreggiare. Se non ci sono azioni che potrebbero funzionare e il rischio ha una probabilità sufficientemente alta, l'auto aspetterebbe, ma idealmente ci sarà un'azione possibile. È necessario tollerare qualche rischio di incidente quando altri agiscono in modo irregolare. La guida difensiva è buona, ma un guidatore totalmente difensivo bloccherà le strade con cautela, il che non risolve il problema.

Leggi / lascia commenti qui