Comment créer un robot qui veut changer le monde?

Informaticien Christophe Солдж essaie d'éliminer le besoin de règles qui contrôlent le comportement des robots. Sa stratégie consiste à leur donner un but: nous rendre plus puissants. Christophe travaille dans le Game Innovation Lab de l'université de New York. Sacha Maslov a interviewé Солджа pour Quanta Magazine, à partir de laquelle nous apprenons que nous, peut-être, n'est pas la peine d'essayer de garder irrépressible de flux de singularité technologique.

Les Fameuses trois lois de la robotique d'Isaac Asimov — limiter le comportement d'androïdes et des machines nécessaires pour assurer la sécurité de l'humanité — ont également été inachevées. Ces lois sont apparus la première fois dans l'histoire de Asimov en 1942, puis dans les travaux classiques comme «i, robot» et sonnent comme ceci:

un Robot ne peut nuire à la personne ou par son inaction, permettre qu'une personne a subi un dommage.

un Robot doit obéir aux ordres, rendu la traite des personnes, si elles ne sont pas contraires à la Première Loi.

le Robot doit protéger son existence, si cette protection n'est pas contraire à la Première ou la Deuxième Loi.

Bien Sûr, dans ces lois, vous pouvez trouver de nombreuses contradictions et les failles (quoi, en fait, se servait lui-même Asimov). Dans notre époque actuelle logiciel avancé avec les machines, la formation et autonome робототехникой, la définition et la mise en œuvre du chemin de l'éthique de l'intelligence artificielle est devenue un problème urgent pour des organisations telles que l'Institut de recherche et intelligence de la machine et OpenAI.

Christophe Солдж a pris une autre approche. Au lieu de «haut en bas» imposer philosophique de la définition de ce que doit ou ne doit pas comporter d'agents artificiels, Солдж et son collègue Daniel Полани explorent la voie «bottom-up», ou «que le robot doit faire d'abord», comme l'ont écrit dans son article «les droits de l'Extension comme le remplacement des trois lois de la robotique». «L'extension des droits», un concept né à la jonction de la cybernétique et de la psychologie, décrit la motivation intrinsèque de l'agent au simultanée de la résistance et de travail dans les conditions de l'environnement. «Comme le corps, il veut survivre. Il veut laisser une trace dans le monde», explique Солдж. Aspirateur Roomba, programmé à la recherche de la station de charge lorsque votre batterie est faible, — c'est rudimentaire exemple «droits étendus»: pour continuer à fonctionner dans le monde, il doit recevoir la charge et de poursuivre sa propre existence, c'est de survivre.

L'Extension des droits peut sembler comme une recette pour obtenir le résultat, redoutée par les partisans de sécurité de l'intelligence artificielle comme Nick Бострома: un puissant système autonome, à l'aise seulement la satisfaction de ses propres intérêts et les étangs de l'esprit dans le processus de le faire. Mais Солдж étudiant de l'homme-machine interaction sociale, pose la question: que sera, si l'agent amélioré «porteront également sur l'extension des droits de l'autre? Il faut pour que le robot ne voulais juste rester dans un état de travail — il a également voulu soutenir son partenaire humain».

Солдж et Полани compris que la théorie de l'information offre un moyen de faire de la mutuelle de l'extension de mathématique de base, qui va adopter les non-философствующий agent artificiel. «L'un des inconvénients des trois lois de la robotique, c'est qu'ils reposent sur le langage et la langue à un haut degré d'ambiguïté», dit Солдж. «Nous essayons de trouver quelque chose qui peut réellement vous sera accomplir».

Certains techniciens estiment que l'IA est grand, même catastrophique de la menace contre l'existence des gens. Et vous?

Je m'abstiens. C'est, je crois vraiment qu'il ya actuellement la peur des robots et de l'influence croissante de l'IA. Mais je pense que, dans le court terme, nous risquons, allons plus préoccupés par la possible changement d'emplois, le processus de prise de décisions, la perte de la démocratie, de la perte de confidentialité. Je ne sais pas quelle est la probabilité de l'apparition de irrépressible de l'IA bientôt. Mais même si l'IA va surveiller le système de la santé et de la délivrance des ordonnances, il nous faut réfléchir sur l'éthique des questions soulevées dans le processus de travail.

Comment le concept de l'extension des droits nous aidera à faire face à ces problèmes?

Je pense que l'idée d'une extension des droits remplit un créneau. Elle ne donnera pas à l'agent de permettre à l'homme de mourir, mais une fois que vous serez en mesure de rester sur ce seuil, il sera en charge de l'intention de créer plus de possibilités pour l'expression de l'homme et de l'influence sur le monde. Dans un des livres Asimov les robots finissent par placeront tous les gens à la sécurité des conteneurs. Il n'est pas souhaitable. Si notre capacité à influencer le monde sera en constante amélioration, je pense qu'il sera beaucoup plus intéressant pour atteindre l'objectif.

avez-Vous vérifié vos idées agents virtuels dans видеоигровой environnement. Qu'est-il arrivé?

L'Agent, motivés par leurs propres privilèges, s'obus et de ne pas tomber dans la fosse, en général, est voué à n'importe quelle situation, ce qui peut conduire à la perte de la mobilité, de la mort ou des dommages par conséquent, pour réduire son операциональность. Il suffit de rester.

En conjonction avec le joueur-l'homme qui est chargé également des privilèges élevés, nous avons vu que le robot virtuel sera de maintenir une certaine distance, afin de ne pas entraver le mouvement de l'homme. Il ne bloquera pas vous, ne sera pas sur le pas de la porte, vous ne pourriez pas passer. Il va rester le plus près possible de vous pour être en mesure de vous aider. Cela conduit à un comportement dans lequel il peut etprendre l'initiative, et de suivre quelqu'un d'autre.

Par exemple, nous avons créé un scénario dans lequel nous avons eu une barrière laser, dangereux pour l'homme, mais la sécurité du robot. Si une personne dans ce jeu se rapproche des lasers, le robot apparaît plus d'une incitation à verrouiller le laser. L'incitation est renforcée lorsque l'homme devient juste devant la barrière, comme son intention de traverser. Et le robot bloque effectivement le laser, en devenant en face de la personne.

Exhib si ces agents quelconque involontaire d'un comportement semblable à ce qui découle de trois lois dans le livre d'Asimov?

D'Abord, le comportement était bon. Par exemple, le robot virtuel intercepté des adversaires qui ont essayé de vous tuer. De temps en temps, il pouvait sauter sous la balle, si c'était le seul moyen de vous sauver. Mais que nous sommes particulièrement surpris, dès le début, qu'il est aussi très peur de l'homme.

La Raison est liée à son «à courte vue» modèle: en fait, il analyse comment la séquence d'actions spécifiques en deux ou trois étapes peuvent influer sur le monde, à la fois pour vous et pour lui. Par conséquent, la première étape nous avons programmé le fait que le joueur fonctionne de façon aléatoire. Mais dans la pratique, cela s'est transformé en ce que l'agent se rapportait à un homme comme à une sorte de психопату, qui pourrait à tout moment, par exemple, le feu de l'agent. Par conséquent, l'agent devait très très prudent de choisir une situation où l'on ne pouvait pas le tuer.

Nous avons besoin d'y remédier, c'est pourquoi nous avons modélisé le soi-disant hypothèse sur la confiance. En effet, le compagnon de l'agent agit, en partant de l'hypothèse que la personne va choisir uniquement les actions qui ne seront pas limiter l'étendue des droits de l'agent — c'est peut-être plus approprié pour un compagnon modèle.

Nous avons également remarqué que si, dans le jeu, vous avez été, disons, 10 points de santé, le compagnon n'est pas particulièrement inquiet si vous avez perdu huit ou neuf de ces points, il pourrait même déclencher en vous une dernière fois, juste pour le plaisir. Et puis nous nous sommes rendus compte qu'il y a un écart entre le monde dans lequel nous vivons, et le modèle dans le jeu. Dès que nous avons modélisé la limitation de la capacité, causée par la perte de la santé, le problème a disparu. Elle peut aussi décider, en créant de ne pas близорукую un modèle qui pourrait compter encore quelques étapes dans l'avenir. Si l'agent pourrait se pencher plus loin dans l'avenir, il aurait vu que pour avoir plus de points de santé peut être utile pour de futurs événements.

Considérant que le changement du nombre de points de santé influe aucunement sur mes les droits étendus, l'agent décide de: «Tire, je lui tire — quelle est la différence?». Et parfois, tire. Ce qui, bien sûr, est un problème. Je ne veux pas aléatoire des tirs de joueurs. Nous avons ajouté un correctif pour le robot virtuel un peu plus inquiet au sujet de votre état, que sur le son.

Comment vous faites ces concepts précis?

Si l'on considère les agents que les systèmes de contrôle, vous pouvez les disposer sur une information composantes: dans le monde quelque chose de se produire et de toute façon te concerne. Nous parlons de l'information n'est pas comme sur les choses que vous percevez, ainsi que sur les influences de toute sorte — c'est peut-être la substance, quelque chose survenue entre le monde et vous. Peut-être la température ou les nutriments dans votre corps. Toute chose qui traverse la frontière entre le monde et l'agent transfère des informations. Exactement la même agent peut influer sur le monde extérieur, de multiples façons, aussi dérivant dans les informations.

Vous Pouvez traiter ce flux comme la bande passante, c'est un concept de la théorie de l'information. Vous avez peut-être de larges pouvoirs, droits étendus, si vous êtes capable de prendre une variété d'actions qui conduisent à des résultats différents. Si quelque chose ne va pas, vous perdrez de ses pouvoirs, parce que la perte de la capacité correspond à quantifier la réduction de la bande passante d'un canal entre vous et l'environnement. C'est l'idée.

Combien doit connaître l'agent, de son avancée agi pleinement?

Les droits Avancés ont l'avantage est que vous pouvez les utiliser même lorsque vous n'avez pas une connaissance complète. L'agent a vraiment besoin d'un modèle de ce que ses actions auront une incidence sur le monde, mais il n'a pas besoin d'une compréhension globale du monde et de toutes ses subtilités. Contrairement à certaines approches qui tentent de modéliser tout le monde, dans la mesure du possible, dans notre cas, il faut seulement savoir comment vos actions influent sur votre perception. Pas besoin de connaître tout sur tout; il vous suffit d'un agent, qui explore le monde. Il fait quelque chose et tente de comprendre comment ses actions affectent le monde. Le modèle de croissance, et l'agent de mieux en mieux compris, où s'étendent les limites de ses pouvoirs.

avez-Vous vérifié dans un environnement virtuel. Pourquoi pas dans le monde réel?

Le Principal obstacle échelle de ce modèle et ce, pour la placer dans un robot réel, est la complexité du calcul de la bande passante de l'agent et de l'homme dans un tel environnement riche, comme le monde réel, longtemps à l'avance. Tous ces processus doivent encore être efficace. Je suis optimiste, mais tant que ce problème reste purement informatique. Par conséquent, nous vérifions le fonctionnement du système dans un jeu d'ordinateur, dans une forme simplifiée.

il Semble que l'extension des droits et des chances, dans l'idéal, fera de nos machines puissantes des chiens.

Je sais même pas certains робототехников qui, sciemment, simulent le comportement d'un compagnon sur la base des chiens. Je pense que si les robots seront à nous traiter comme nos chiens, dans cet avenir,nous serons tous bien s'entendre.