L'IA de Google ont appris à être «extrêmement agressive» lorsque des situations stressantes

L'année dernière, le célèbre physicien théoricien Stephen Hawking a déclaré que l'amélioration de l'intelligence artificielle devient «soit le meilleur ou le pire événement pour toute l'humanité». Nous avons tous regardé «Terminator» et nous le connaissons, comment apocalyptiques de l'enfer peut devenir de notre existence, si cette possédant la conscience de soi de l'IA-système, comme Skynet, un jour, décide que l'humanité elle n'a plus besoin. Et les derniers résultats des travaux de la nouvelle-IA-systèmes de la société DeepMind (propriété de Google) seulement une fois de plus, nous rappellent la nécessité d'être extrêmement prudent lors de la fabrication de robots de l'avenir.

Dans les études menées à la fin de l'année dernière, l'IA de DeepMind acquis et démontré indépendamment de ce qui est inscrit dans sa mémoire, et encore défait meilleurs joueurs du monde . En outre, il a développé ses compétences et имитировании de la voix humaine.

Dans le cadre des derniers tests du système, les chercheurs ont vérifié «son désir» de la coopération. Les tests ont montré, quand l'IA DeepMind «sent» que c'est le perdant, alors pour éviter la perte, il commence à choisir de nouvelles et «très agressif» de la stratégie. L'équipe de Google a organisé avec l'IA de 40 millions de sessions dans un jeu simple Gathering, où un joueur fallait recueillir autant de bons fruits. L'IA DeepMind a dirigé les deux «acteurs-agents» (cube bleu et rouge cube). Les ingénieurs de Google ont donné le système de la tâche d'organiser la compétition entre les «les agents d» et de recueillir autant d'virtuelles de pommes (carrés verts), combien va.

Jusqu'À un certain temps, jusqu'à ce que «les agents» pourraient sans problèmes de recueillir les fruits, disponibles en grande quantité, tout s'est bien passé. Mais dès que le stock de pommes a coupé le comportement des «agents» est devenu «agressif». Ils sont devenues de plus en plus utiliser un outil (faisceau laser), qui a aidé à déloger l'ennemi de l'écran de jeu et puis plus recueillir toutes les pommes:

Ce Qui est intéressant, pour frapper l'adversaire avec des champs à l'aide d'un faisceau laser aucune récompense n'est pas proposé. Relief adversaire un peu de temps se trouve en dehors de l'écran, tandis que la plus réussie de l'adversaire a eu la possibilité de librement à recueillir plus de virtuels de pommes.

Si les agents n'ont pas utilisé des rayons laser, théoriquement collectées les pommes serait le même. C'est en principe le cas, comme des «agents» ont été utilisés de plus bas niveau et «moins intelligents» les options de DeepMind. Un comportement plus violent, du sabotage et de la cupidité de l'acier se manifester que lorsque l'équipe de Google a commencé à utiliser de plus en plus complexes DeepMind.

Quand les chercheurs ont utilisé comme des «agents» de plus simple réseau de DeepMind, entre eux il est noté la présence «d'une atmosphère plus sympathique de la coexistence sur le terrain». Toutefois, lorsque la gestion des agents devint de plus en plus et des formes plus complexes de réseaux, l'IA est devenu plus agressif et est devenu à l'avance d'essayer de frapper un adversaire avec la zone de jeu pour le premier à atteindre beaucoup plus rapidement de la part du lion de l'extraction des pommes. Les scientifiques Google suggèrent que les plus intelligents de «l'agent», de sorte qu'il est plus efficace capable d'apprendre, de s'adapter aux conditions du milieu et des techniques disponibles, et finalement de venir à l'utilisation de la plus agressive de la tactique pour gagner.

«Ce modèle montre que le résultat de l'apprentissage et de l'adaptation à l'environnement est la manifestation de certains aspects propres de la science du comportement humain», — dit Joel H. Leibo, l'un des chercheurs qui ont mené cette expérience.

«Moins un comportement agressif se manifestait seulement lors de la formation et de trouver, dans un environnement relativement sûr, sont moins susceptibles de après les conséquences de certains actes. La cupidité, à son tour, se reflète dans une volonté de dépasser l'adversaire et vous-même recueillir toutes les pommes».

Après la «récolte» DeepMind ont proposé de jouer à un autre jeu, sous le nom de Wolfpack. Cette fois, à la participation de plus de trois IA-agent: les deux ont joué le rôle de loups, et le rôle de la production. À la différence du jeu Gathering, un nouveau jeu est fortement facilité la coopération entre les loups. Tout d'abord, il est donc plus facile d'attraper les proies, et deuxièmement, si les deux «loup» se trouve à proximité de monter à l'extraction, ils sont tous les deux ont reçu une récompense de l'indépendance de la personne qui l'a attrapé.

«l'Idée est que l'extraction peut être dangereux. En outre, un loup solitaire et est capable de la conduire, mais il y a le risque de sa perte au cours de l'attaque, un charognard», — explique l'équipe.

«Mais si les deux loup coincent l'extraction ensemble, ils sont mieux en mesure de la défendre de charognard et grâce à cela, perçoivent une récompense.

En général, des jeux Gathering IA DeepMind saisi, que l'agression et l'égoïsme sont les plus efficaces stratégies pour obtenir un bon résultat exactement pris de l'environnement. De la Wolfpack le même système a compris que la coopération, à la différence de l'individu tentatives, peut devenir la clé de la plus précieuse récompense dans certaines situations. Et bien que décrites ci-dessus environnements de test ne sont que rudimentaires, les jeux informatiques – le message principal est clair maintenant. Prenez les différentes IA, possédant des intérêts concurrents dans le réel des situations, placez-le dans un environnement, et, peut-être, si les tâches ne sont pas compensées par un but commun, le résultatpeut devenir une véritable guerre. Surtout si la personne, comme l'un des maillons de la réalisation de cet objectif sera exclu.

À titre d'exemple, imaginez les feux de circulation, gérés par l'IA, et les véhicules automobiles, essayant de trouver le meilleur itinéraire. Chacun effectue ses tâches afin d'obtenir la plus sûre et la plus efficace de résultat de la société.

En Dépit de la «infantiles» les années de DeepMind et l'absence d'un tiers de l'analyse critique de ses capacités, les résultats de ses essais induisent sur les de pensées, même si nous et créons, cela ne signifie pas que les robots et les IA-systèmes sera automatiquement désir inhérent à mettre nos humaines intérêts au-dessus de leurs propres. C'est pourquoi nous avons besoin d'un «gage de bienveillance» dans la nature de machines et d'anticiper les «failles» qui peuvent leur permettre de rejoindre les rayons laser.

L'Une des thèses principales de l'initiative d'un groupe de OpenAI, visant à l'étude des questions d'éthique de l'intelligence artificielle, comme quelqu'un a sonné à 2015 de la manière suivante:

«aujourd'hui, l'IA-systèmes ont impressionnantes, mais hautement spécialisés réduite. Et il est probable que nous, pour longtemps encore, ne pas le retenir dans son amélioration. Au moins jusqu'à ce que leurs possibilités dans le traitement de presque chaque tâche intellectuelle ne deviennent pas dépasser les humains. Il est difficile d'imaginer quel est le niveau d'utilisation sera en mesure d'apporter de l'IA du niveau humain pour la société, tout comme il est difficile d'imaginer les dommages qu'il peut causer à la société lors de la халатном égard à sa création et l'emploi».