Ігри скінчилися: AlphaGo займеться вирішенням реальних світових проблем

У минулому місяці людство програло важливу битву з штучним інтелектом — тоді AlphaGo обіграв чемпіона з го Ки Дже з рахунком 3:0. AlphaGo — це програма з штучним інтелектом, розроблена DeepMind, частиною батьківської компанії Google Alphabet. У минулому році вона обіграла іншого чемпіона, Чи Седоля, з рахунком 4:1, але з тих пір істотно набрала за очками.

Ки Дже описав AlphaGo як «бога гри в го».

Тепер AlphaGo закінчує грати в ігри, надаючи можливість гравцям, як і раніше, битися між собою. Штучний інтелект придбав статус «гравця з далекого майбутнього», до рівня якого людям доведеться рости дуже довго.

На старт, увага, го

Го — це стародавня гра на двох, де один грає білими фігурами, інший чорними. Завдання — захопити домінацію на дошці, розділеної на 19 горизонтальних і 19 вертикальних ліній. Комп'ютерів грати в го складніше, ніж в шахи, тому що число можливих ходів у кожній позиції набагато більше. Це робить прорахунок можливих ходів наперед — цілком можливий для комп'ютерів у шахах — дуже складним в го.

Проривом DeepMind стала розробка загального алгоритму навчання, який, в принципі, можна направити в соціально орієнтованому напрямку, ніж го. DeepMind каже, що група дослідників AlphaGo намагається вирішити складні проблеми на зразок пошуку нових лікувань для захворювань, радикального зниження енергоспоживання або розробки нових революційних матеріалів.

«Якщо система ШІ доводить, що здатна набувати нові знання і стратегії в цих сферах, прориви будуть просто невимовною. Не можу дочекатися, щоб побачити, що буде далі», - говорить один з учених проекту.

В майбутньому це загрожує безліччю захоплюючих можливостей, але проблеми поки нікуди не поділися.

Нейробіологія і штучний інтелект

AlphaGo поєднує дві потужних ідеї на тему навчання, які отримали розвиток за останні кілька десятиліть: глибоке навчання і навчання з підкріпленням. Що прикметно, обидва напрямки вийшли з біологічної концепції роботи і навчання мозку в процесі набуття досвіду.

В мозку людини сенсорна інформація обробляється в серії шарів. Наприклад, візуальна інформація спершу трансформується в сітківці, потім у середньому мозку, а потім проходить через різні області кори головного мозку.

У результаті з'являється ієрархія представений, де спершу йдуть прості і локалізовані деталі, а потім більш складні і комплексні особливості.

Еквівалент в ІІ називається глибоким навчанням: глибоке, тому що включає безліч шарів обробки простих нейроноподобных обчислювальних одиницях.

Але щоб вижити в цьому світі, тваринам необхідно не тільки розпізнавати сенсорну інформацію, але й діяти відповідно до неї. Покоління науковців і психологів вивчали, як тварини вчаться вживати дії, щоб максимізувати видобуту вигоду і одержувану нагороду.

Все це призвело до математичних теорій навчання з підкріпленням, яке тепер можна імплементувати в системи ШІ. Найважливішою з них є так зване TD-навчання, яке покращує дії за рахунок максимізації очікування майбутньої нагороди.

Кращі ходи

За рахунок поєднання глибокого навчання і навчання з підкріпленням в серії штучних нейронних мереж, AlphaGo спершу навчився грати на рівні професійного гравця в го на основі 30 мільйонів ходів з ігор між людьми.

Але потім він почав грати проти себе, використовуючи результат кожної гри, щоб невблаганно відточувати власні рішення про кращому виконанні кожної позиції на дошці. Система цінностей мережі навчилась прогнозувати ймовірний результат з урахуванням будь-якої позиції, а система розсудливості мережі навчилася приймати найкраще рішення в кожній конкретній ситуації.

Хоча AlphaGo не міг випробувати всі можливі позиції на дошці, нейронні мережі витягли ключові ідеї про стратегії, які добре працюють у будь-якій позиції. Саме ці незліченні години самостійної гри призвели до поліпшення AlphaGo за останній рік.

На жаль, поки ще немає відомого способу з'ясувати у мережі, що це за ключові ідеї. Ми просто можемо вивчати ігри і сподіватися, що щось виймемо з них. Це одна з проблем використання нейронних алгоритмів: вони не пояснюють свої рішення.

Ми як і раніше мало розуміємо про те, як навчаються біологічні мізки, а нейробіологія продовжує надавати нові джерела натхнення для ІІ. Люди можуть стати експертами в грі го, керуючись набагато меншим досвідом, ніж потрібен AlphaGo для досягнення такого рівня, тому простір для поліпшення алгоритмів ще є.

Крім того, велика частина потужності AlphaGo заснована на техніці методу зворотного поширення помилки, яка допомагає їй виправляти помилки. Але зв'язок між нею і навчанням в реальному мозку поки неясна.

Що далі?

Гра го стала зручною платформою розробки для оптимізації цих алгоритмів навчання. Але багато проблем реального світу куди беспорядочнее і мають менше можливостей для самонавчання (наприклад, самокеровані автомобілі).

чи Існують проблеми, до яких ми можемо застосувати наявні алгоритми?

Одним з прикладів може бути оптимізація контрольованих промислових умов. Тут завдання часто полягає в тому, щоб виконати складну серію завдань, задовольнити безліч критеріїв і мінімізувати витрати.

До тих пір, поки умови можна буде точно змоделювати ці алгоритми будуть вчитися і набиратися досвіду і швидшеефективніше, ніж люди. Можна лише повторити слова компанії DeepMind: дуже хочеться подивитися, що ж буде далі.