Come ingannare l'algoritmo di intelligenza artificiale e che è pieno di

La finestra 2022 anno. Si guida sulla autogestito piedi, come al solito, per la città. Veicolo adatto al carattere di «stop», davanti al quale passava un sacco di volte, ma questa volta non si ferma davanti a lui. Per voi il segno «stop» a differenza di altri. Ma per l'auto è completamente diverso. Un paio di minuti prima, senza dire niente a nessuno, un utente malintenzionato messo a segno un piccolo cartello, invisibile all'occhio umano, ma che non può non notare la tecnologia. Cioè minuscolo adesivo sul segno trasformato il segnale di «stop» in qualcosa di completamente diverso dal segno «stop».

Tutto questo può sembrare incredibile. Ma la crescente area di ricerca dimostra che l'intelligenza artificiale può essere ingannato circa così, se vede qualcosa di "piccolo" dettaglio, assolutamente impercettibile per gli esseri umani. Poichè gli algoritmi di apprendimento automatico appaiono sempre più spesso sulle nostre strade, le nostre finanze, il nostro sistema sanitario, il computer, gli scienziati sperano di saperne di più su come proteggerli da attacchi di questo tipo — prima che qualcuno tenta di ingannare loro per davvero.

«Questo è causa di crescente preoccupazione in materia di apprendimento e comunità di IA, soprattutto perché questi algoritmi sono utilizzati sempre di più», dice Daniel Лоуд, professore associato, dipartimento di informatica e scienze dell'informazione presso l'Università dell'Oregon. «Se lo spam è o è bloccato un paio di lettere, non è la fine del mondo. Ma se si basano su un sistema di visione del autogestito piedi, che dice automobile, guidare, non sbattere contro, i tassi sono molto più alti.»

Non importa, si rompe la macchina o è compromessa, soffriranno di algoritmi di apprendimento automatico, che «vedono» il mondo. Ed ecco per la macchina panda comincia a guardare come gibbon e scuolabus — come uno struzzo.

In un esperimento, gli scienziati provenienti da Francia e Svizzera hanno dimostrato come tali perturbazioni possono forzare il computer erroneamente a prendere uno scoiattolo per la volpe grigia, e la caffettiera per il pappagallo.

Come è possibile? Pensate a come un bambino che impara a riconoscere i numeri. Guardando i caratteri uno per uno, il bambino comincia a notare alcune caratteristiche comuni: uno più alto e più magro, sei e nove contengono una grande ciclo, e otto — due, e così via. Dopo che vedono abbastanza esempi, si possono riconoscere rapidamente i nuovi numeri in forma di quattro, otto o triple — anche se grazie al tipo di carattere o la scrittura a mano non sarà esattamente lo stesso come gli altri quattro, otto o tre, che hanno mai visto prima.

Gli Algoritmi di machine learning imparare a leggere il mondo attraverso un paio di simile processo. Gli scienziati usano per nutrire computer centinaia o migliaia (di solito contrassegnati) esempi di ciò che vorrebbero rilevare sul tuo computer. Quando la macchina passa al setaccio i dati è un numero, questo no, questo numero non è — si comincia a notare le caratteristiche che portano alla risposta. Presto potrebbe vedere la foto e dire: «Questo è il cinque!» con alta precisione.

In questo modo, come i bambini umani, e i computer possono imparare a riconoscere l'enorme quantità di oggetti da cifre a gatti, dalle barche ai singoli umani.

Ma, a differenza di fanciullo umano, il computer non presta attenzione ai dettagli di alto livello — come soffici orecchie dei gatti o distintivo di forma angolare quartetto. Egli non vede tutto il quadro.

Invece si guarda ai singoli pixel dell'immagine — e il modo più veloce per dividere gli oggetti. Se la stragrande maggioranza di unità avrà un pixel nero a un certo punto e un paio di pixel bianchi in altri punti, la macchina è molto veloce ad imparare la loro identificazione su più pixel.

Ora torniamo al segno «stop». Discretamente fiutando i pixel dell'immagine — gli esperti chiamano questo intervento «пертурбациями» — è possibile ingannare il computer e far pensare che il segno di «stop», in sostanza, e non c'è.

Studi Simili condotti in Laboratorio evolutivo di intelligenza artificiale presso l'Università del Wyoming e presso la Cornell university, hanno piuttosto un sacco di illusioni ottiche per l'intelligenza artificiale. Questi psichedelici immagini di modelli astratti e colori che non sono simili per le persone, ma presto vengono riconosciuti dal computer in forma di serpenti o fucili. Questo suggerisce come AI può guardare qualcosa e non vedere un oggetto, vedere invece qualcosa di diverso.

Questa debolezza diffusa in tutti i tipi di algoritmi di apprendimento automatico. «Ci si aspetterebbe che ogni algoritmo ha una breccia nella corazza», dice Eugenio Vorobeichik, professore associato presso il dipartimento di informatica e ingegneria informatica presso l'Università di Vanderbilt. «Viviamo in un complesso multidimensionale mondo, e gli algoritmi per loro natura riguardano solo una piccola parte di esso».

Vorobeichik «molto fiducioso» che, se queste sono vulnerabilità, qualcuno scopre come approfittare di loro. Probabilmente qualcuno lo ha già fatto.

Si Consideri filtri anti-spam, programmi automatici, che viene escluso qualsiasi goffo e-mail. Gli spammer possono cercare di ovviare a questo screener, modificando le parole di ortografia (invece di viagra — vi@gra) o l'aggiunta di un elenco di «buone parole», che di solito si trovano nei normali lettere: una sorta di «aha», «me», «sono contento». Nel frattempo gli spammer possono cercare di togliere le parole, che spesso appaiono in spam, ad esempio, «mobile» o «vittoria».

Che può arrivare Fino a truffatori in un giorno? Autonoma di auto, ingannato adesivo su un cartello «stop», è un classico scenario che è stato coniato dagli esperti inquesta zona. Ulteriori dati possono aiutare pornografia scivolare attraverso sicure filtri. Altri possono cercare di aumentare il numero di controlli. Gli hacker possono ritoccare il codice software dannoso, per eludere le forze dell'ordine.

I Trasgressori possono capire come creare consentono il passaggio dei dati, se finisse nelle mani una copia di un algoritmo di apprendimento automatico, che vogliono ingannare. Ma per ottenere attraverso un algoritmo, non necessariamente. Si può semplicemente rompere la sua forza bruta, gettando su di lui un po ' di versioni diverse di posta elettronica o di immagini, fino a che non si terranno. Con il tempo si può anche usare per un modello completamente nuovo, che sa che sono alla ricerca di bravi ragazzi, e quali produrre i dati, per ingannare loro.

«le Persone che manipolano i sistemi di apprendimento automatico da allora, come sono stati presentati per la prima volta», dice Patrick Mcdaniel, professore di informatica e ingegneria presso l'università della pennsylvania. «Se le persone usano questi metodi, possiamo anche non sapere».

Questi metodi possono trovare non solo i truffatori — le persone possono nascondersi da occhi a raggi x di moderne tecnologie.

«Se qualche politico dissidente quando репрессивном modalità e volete svolgere attività all'insaputa dei servizi segreti, potrebbe essere necessario evitare di metodi automatici di sorveglianza sulla base di machine learning», dice Лоуд.

In uno dei progetti, pubblicati nel mese di ottobre, i ricercatori dell'Università Carnegie — Mellon university hanno creato un paio di punti che possono leggermente fuorviante sistema di riconoscimento facciale, costringendo il computer erroneamente prendere l'attrice Reese Witherspoon per Russell Crowe. Sembra ridicolo, ma tale tecnologia può essere utile a qualcuno che cerca disperatamente di evitare la censura da parte di chi detiene il potere.

Che cosa fare con tutto questo? «L'unico modo per evitare completamente questo — creare un modello ideale, che sarà sempre corretta», dice Лоуд. Anche se siamo stati in grado di creare l'intelligenza artificiale, che ha superato la gente in tutti i modi, il mondo può ancora scivolare un maiale in un luogo inaspettato.

Gli Algoritmi di apprendimento automatico di solito apprezzano per la loro precisione. Il programma, che riconosce sedie nel 99% dei casi, sarà nettamente migliore di quella che riconosce 6 sedie da 10. Ma alcuni esperti suggeriscono un altro modo per valutare la possibilità di un algoritmo di far fronte con l'attacco: più il migliore.

Un'Altra soluzione potrebbe risiedere nel fatto che, per gli esperti potrebbe definire programmi di un certo tasso. Crea i tuoi esempi di attacchi in laboratorio, sulla base delle opportunità criminali nel tuo sguardo, e poi mostrare loro l'algoritmo di apprendimento automatico. Questo può aiutarlo a diventare più resistente nel tempo — a condizione, naturalmente, che il test di attacco saranno conformi al tipo, che sarà testato nel mondo reale.

«Sistema di apprendimento automatico — strumento per la riflessione. Dobbiamo essere ragionevoli e razionali in relazione a ciò che diamo e che ci dicono», ha detto Mcdaniel. «Non dobbiamo trattarli come perfetto oracolo della verità».