Що відбувається з штучним інтелектом? Аналіз 16 625 робіт за останні 25 років

Практично все, що ви чуєте про штучний інтелект сьогодні, відбувається завдяки глибокому навчання. Ця категорія алгоритмів працює зі статистикою, щоб знайти закономірності в даних, і показала себе надзвичайно потужною в імітації людських навичок, таких як наша здатність бачити і чути. В дуже вузькій мірою вона навіть може наслідувати нашої здатності міркувати. Такі алгоритми підтримують роботу пошуку Google, новинної стрічки Facebook, механізм рекомендацій Netflix, а також формують такі галузі, як охорона здоров'я та освіта.

Як розвивається глибоке навчання

Незважаючи на те, що глибоке навчання практично поодинці явило штучний інтелект громадськості, воно являє собою лише невелику спалах в історичній завдання людства відтворити власний інтелект. Воно було на передовій цих пошуків менше десятка років. Якщо ж віддалити всю історію цієї області, легко зрозуміти, що незабаром і вона може відійти.

«якби в 2011 році хтось написав, що глибоке навчання виявиться на перших шпальтах газет і журналів через кілька, ми б такі: вау, ну і дурь ти куриш», говорить Педро Домингос, професор комп'ютерних наук Університету Вашингтона і автор книги ‘The Master Algorithm’.

За його словами, раптові злети і падіння різних методів довгий час характеризували дослідження в області ШІ. Кожне десятиліття спостерігається гаряча конкуренція між різними ідеями. Потім, час від часу, перемикач клацає і все співтовариство починає займатися чимось одним.

Наші колеги з MIT Technology Review ці хвилювання і старти. З цією метою вони звернулися до одного з найбільших баз даних відкритих наукових робіт, відомої як arXiv. Вони завантажилися витяги з усього 16 625 статей, доступних у розділі «штучний інтелект» за 18 листопада 2018 року і відстежили слова, згадані за ці роки, щоб побачити, як розвивалася ця область.

Завдяки їх аналізу, виявилося три основні тенденції: зрушення в бік машинного навчання наприкінці 90-х — початку 2000-х, зростання популярності нейронних мереж, який розпочався на початку 2010-х, і зростання навчання з підкріпленням в останні кілька років.

Але спершу кілька застережень. По-перше, секція arXiv з ІІ сходить до 1993 році, а термін «штучний інтелект» відноситься до 1950-х років, тому сама база даних являє собою тільки останні глави історії цієї області. По-друге, документи, які додаються в базу кожен рік, являють собою лише частина роботи, яка проводиться в цій області на даний момент. Тим не менш, arXiv пропонує відмінний ресурс для виявлення деяких великих дослідницьких тенденцій і для того, щоб побачити перетягування каната між різними ідейними таборами.

Парадигма машинного навчання

Найбільший зсув, який виявили дослідники, це відхід від систем, заснованих на знанні, до початку 2000-х років. Такі комп'ютерні системи ґрунтуються на ідеї про те, що можна закодувати всі знання людства в системі правил. Замість цього вчені звернулися до машинного навчання — батьківської категорії алгоритмів, які включають глибоке навчання.

Серед 100 згаданих слів, пов'язані з системами на основі знань — «логіка», «обмеження» і «правило» — зменшувалися більше всіх. А пов'язані з машинним навчанням — «дані», «мережа», «продуктивність» — росли більше за інших.

Причина цієї зміни погоди дуже проста. У 80-х роках системи, засновані на знаннях, набирали популярність серед шанувальників, завдяки хвилювання навколо амбітних проектів, які намагалися відтворити в машинах здоровий глузд. Але коли ці проекти розгорнулися, дослідники зіткнулися з великою проблемою: потрібно було закодувати занадто багато правил, щоб система могла робити щось корисне. Це призводило до збільшення видатків і значно уповільнювало поточні процеси.

Відповіддю на цю проблему стало машинне навчання. Замість того, щоб вимагати від людей ручного кодування сотень тисяч правил, цей підхід програмує машини для автоматичного вилучення цих правил з купи даних. Точно так само ця область відмовилася від систем, заснованих на знаннях, і звернулася до вдосконалення машинного навчання.

Бум нейромереж

У рамках нової парадигми машинного навчання перехід до глибокого навчання стався не відразу. Замість цього, як показав аналіз ключових термінів, вчені протестували безліч методів на додаток до нейронних мереж, основним механізмам глибокого навчання. Серед інших популярних методів були байесовские мережі, метод опорних векторів та еволюційні алгоритми, всі вони використовують різні підходи до пошуку закономірностей в даних.

протягом 1990-х і 2000-х років між цими методами існувала стійка конкуренція. Потім, у 2012 році, кардинальний прорив привів до чергової зміни погоди. Під час щорічного конкурсу ImageNet, покликаного прискорювач прогрес в області комп'ютерного зору, дослідник по імені Джеффрі Хінтон разом зі своїми колегами з Університету Торонто домігся найкращої точності в розпізнаванні зображень з похибкою трохи більше 10%.

Техніка глибокого навчання, яку він використовував, породила нову вільну досліджень — спершу в співтоваристві візуалізаторів, а потім і за його межами. Оскільки все більше і більше вчених починало використовувати її для досягнення вражаючих результатів, популярність цієї техніки, поряд з популярністю нейронних мереж, різкозросла.

Зростання навчання з підкріпленням

Аналіз показав, що через кілька років після розквіту глибокого навчання, відбувся третій і останній зрушення в дослідженнях ШІ.

Крім різних методів машинного навчання, існує три різних типи: навчання контрольоване, неконтрольоване і з підкріпленням. Контрольоване навчання, яке включає в себе згодовування машині позначених даних, використовується найбільш часто, а також має найбільше практичних застосувань на сьогоднішній день. Однак в останні кілька років навчання з підкріпленням, яке імітує процес навчання тварин за допомогою «батога та пряника», покарань і заохочень, призвело до швидкого зростання згадок його роботах.

Сама ідея не нова, але багато десятиліть вона не працювала. «Фахівці по контрольованому навчання сміялися над фахівцями з навчання з підкріпленням», говорить Домингос. Але, як і з глибоким навчанням, один поворотний момент раптово вивів метод на перший план.

Цей момент настав в жовтні 2015 року, коли AlphaGo , навчений з підкріпленням, переміг чемпіона світу в стародавній грі го. Вплив на дослідницьке співтовариство було миттєвим.

Наступні десять років

Аналіз MIT Technology Review забезпечує тільки новітній зліпок конкуренції серед ідей, які характеризують дослідження ІІ. Однак він ілюструє непостійність прагнення до дублювання інтелекту. «Важливо зрозуміти, що ніхто не знає, як вирішити цю проблему», говорить Домингос.

Багато з методів, які використовувалися впродовж 25 років, з'явилися приблизно в один і той же час в 1950-х роках, і не змогли відповідати викликам і успіхам кожного десятиліття. Нейронні мережі, наприклад, досягли свого піку в 60-х і трохи в 80-х, але трохи не померли, перш ніж знову знайти свою популярність, завдяки глибокому навчання.

Кожне десятиліття, іншими словами, бачило панування іншої техніки: нейронні мережі в кінці 50-х і 60-х, різні символічні спроби в 70-х, системи на основі знань у 80-х, байесовские мережі в 90-х, опорні вектори в нульових і нейромережі знову в 2010-х.

2020-е не будуть нічим відрізнятися, каже Домингос. А значить епоха глибокого навчання може скоро закінчитися. Але що буде далі — стара методика в новій славі або ж зовсім нова парадигма — ось це предмет запеклих суперечок у співтоваристві.

«Якщо ви відповісте на це питання», говорить Домингос, «я хочу запатентувати відповідь».

Щоб зловити новини штучного інтелекту за хвіст .