Почему данные нового угля

Опубликованно 20.01.2018 00:21

“Это данные нового масла?” - спросил сторонники больших данных еще в 2012 году в журнале Forbes. К 2016 году, а рост объемов больших данных турбо-работает двоюродный брат глубокого обучения, мы стали более определенное: “данные-это новая нефть”, - сказал Форчун.

Амазонка Нил Лоуренс имеет несколько иную аналогию: сведения, говорит он, является уголь. Не сегодня уголь, но угля в первые дни 18-го века, когда Томас Ньюкомен изобрел паровой двигатель. В Девонских скобарь, Ньюкомен построил свое устройство для откачки воды из многоплодного на юго-западе оловянные рудники.

Проблема, как Лоуренс рассказала повторной работы конференции на глубокое обучение в Лондоне, заключалась в том, что насос был гораздо более полезным для тех, кто много угля, чем те, кто не: это было хорошо, но не достаточно хорош, чтобы купить уголь, чтобы запустить его. Это было настолько верно, что первые паровые машины Ньюкомена не был построен в оловянной шахте, но в уголь работает рядом с Дадли.

Так почему же уголь данных? Проблема схожая: есть много Newcomens в мире глубокого изучения. Стартапы, как Лондонский Волшебный пони и swiftkey придумывают новые революционные способы для обучения машины, чтобы сделать впечатляющие подвиги познания, от реконструкции лица данные зернистость изображения к обучению в стиль написания отдельного пользователя, чтобы лучше предсказать, какие слова они будут Тип в предложении.

Сена котла ньюкомена, который был сделан в 1730-х годах, и был одним из первых, чтобы использовать свой паровой двигатель. Фото: Rischgitz/Getty Изображения

И еще, как у Ньюкомена, их инновации являются гораздо более полезными для людей, которые на самом деле имеют большое количество сырья для работы. И так Магия пони приобретена Twitter, swiftkey является приобретена Microsoft – и сам Лоуренс получает нанят компанией Amazon в университете Шеффилда, где он был три недели назад.

Но есть эпилог истории: 69 лет спустя, Джеймс Ватт сделал хороший укол в сторону паровой двигатель Ньюкомена, добавив конденсатор для дизайна. Что изменится, сказал Лоуренс, “сделал паровой двигатель намного эффективнее, и это вызвало промышленную революцию”.

Есть ли данные, нефть или уголь, то, есть другой способ аналогии держит: много работы идет в попытке убедиться, что мы сможем сделать больше, с меньшими затратами. Это не так впечатляет, как научить компьютер играть в го или PAC-человека лучше, чем любой человек жив, но “эффективность” - это важно, если мы глубоко изучаем отойти от просто сжирают кучу данных и выплевывая лучшей корреляции возможно.

“Если вы посмотрите на всех участках, где глубокое обучение является успешным, они всех областях, где есть много данных”, - отмечает Лоуренс. Это здорово, если вы хотите, чтобы классифицировать изображения кошек, но менее полезно, если вы хотите использовать глубокое обучение для диагностики редких заболеваний. “Обычно считается неэтично заставлять людей заболевают для того, чтобы получить данные.” Машины остаются тупыми

Проблема в том, что несмотря на все успехи организаций, таких как Google АИ исследований глубокая организации разума, компьютеры по-прежнему ужасно на самом деле обучения. Я могу показать вам изображение животного вы никогда не видели раньше в своей жизни – может, Квокка? – и что одно изображение будет предоставить вам достаточно информации, чтобы правильно определить совершенно разных Квокка в совершенно отдельную картину. Показать первое изображение Квокка даже хорошо, предварительно обученной нейронной сети, и вам повезет, если он даже настраивает его на все модели.

Обратная сторона, конечно, заключается в том, что если вы покажете глубокое изучение системы несколько миллионов снимков Квокка, вместе с несколькими миллионами цены всех других сохранившихся млекопитающих, вы могли бы в конечном итоге с млекопитающих система идентификации, которая может победить все, кроме лучших экспертов по классификации мелких пушистых вещей.

“Глубокое изучение требует очень большого количества данных для того, чтобы создать статистическую картину”, - говорит Имперский колледж Мюррей Шанахан. “На самом деле это очень, очень медленной по обучению, тогда как ребенок очень быстро собирается освоить идею”.

Глубокое обучение специалистов предложили несколько способов решения проблемы эффективности обработки данных. Как и большая часть поля, они рассматривают по аналогии с собственным мозгом.

Один из таких подходов включает в себя “прогрессивной нейронных сетей”. Она направлена на преодоление проблемы, много глубоких моделей обучения, когда они переезжают в новое поле: либо игнорировать их уже узнали информацию и начать все сначала, иначе рискуете “забывая”, что они уже узнали, как он получает перезаписаны новой информацией. Представьте, если бы ваши варианты, когда учится определять Quokkas были либо самостоятельно переучиваться всю концепцию головы, тела, ног и мех, или попытаться объединить ваши существующие знания, но и риск забывая, что кошка выглядит.

Шестимесячный Квокка ... мило, но сложно для машины запомнить не потоп данных. Фото: зоопарк Таронга/пр изображения

Раии Хэндселл отвечает за глубокий ум усилий, чтобы реализовать эффективную систему для глубокого обучения – тот, который необходим, если компания будет продолжать к своей долгосрочной цели по созданию искусственного общего интеллекта: машины способен делать один и тот же набор задач, как вы или я.

“Нет модели, нет нейронной сети, в мире, который может быть обучен как идентифицировать объекты, играть космические захватчики, и слушать музыку,” Хэндселл заявил на Повторные работы. “То, что мы хотели бы быть в состоянии сделать, это узнать, задача, сделать, чтобы [это] эксперт [уровень] на эту задачу, а потом большинство на вторую задачу. Потом третий, потом четвертый, потом пятый.

“Мы хотим сделать это, не забывая. И с возможностью перехода от задачи к задаче: если я узнаю одну задачу, я хочу, чтобы помочь мне узнать следующее задание.” Вот какой коллектив хадселла на глубокий ум работает на. Их метод позволяет системе обучения “заморозить” то, что он знает о одна задача – сказать, играть в теннис – и затем перейти к следующей задаче, пока еще в состоянии вернуться к тому, что он узнал о первом.

“Что может быть интересным низкого уровня видения функция” – научиться анализировать отдельные объекты из потока визуальных данных, например – “или политика высокого уровня особенность”, как, например, знание о том, что маленькая белая точка должна оставаться на правильной стороне ракетки. Это легко увидеть, как бывший полезно носить других игр Atari, в то время как последний может быть полезно, если вы пытаетесь дрессировать прорыва. Но если вы пытаетесь тренировать пробитие, это позволяет пропускать какую-то часть обучения.

Видео, снятое на Google самостоятельного вождения автомобиля в сочетании с одной и той же улице сцену, как данные визуализируется на машине. Фото: Элайджа Nouvelage/Рейтер

Очевидно, что глубокий ум по-прежнему в нескольких шагах от фактически используя технику тренировать искусственный интеллект, который означает, что они также в нескольких шагах от случайного развязывания сверхразумных ИИ по всему миру, что позволит перепрофилировать свой мозг в узел на планете суперкомпьютер. Но, сказал Хэндселл, Прогрессивная нейросетевых технологий есть более насущные использует в повышении эффективности передачи данных.

Взять робототехники. “Данные-это проблема для роботов, потому что они ломаются, они нуждаются в нянях, и они очень дорогие”, - сказала она. Одним из подходов является использование грубой силы над проблемой: возьмем, к примеру, 2м миль алфавит самоуправляемые автомобили прошли в своих попытках научиться водить. В начале, это было только безопасным для использования на шоссе, да и то с водителя силы сантиметрах от колеса. Сейчас он водит машину без руля вообще – хотя нет, все же, на дорогах общего пользования, по юридическим причинам.

Другой подход состоит в том, чтобы научить робота с помощью моделирования. Кормить его датчики грубое приближение реального мира, и они все равно в основном правильно учиться: затем вы можете “пополнять” обучение с реальных кадров. И лучший способ сделать это с прогрессивным нейронных сетей, - сказала она.

Принять одну простую задачу: прихватив с плавающим шаром с помощью роботизированной руки. “В день, мы обучены этой задачи робастно в симуляции ... если это было сделано на настоящий робот он бы взял 55 дней на подготовку.” Подключили к реальной руке, был просто еще два часа тренировок все, что нужно, чтобы вернуться на тот же уровень производительности. Научить их думать

Или есть другой подход. Шанахан имперского колледжа работает в АИ достаточно долго, чтобы запомнить первый раз, когда он попал в цикл ажиотажа. Тогда популярный подход не глубокое изучение, метод, который имеет только станет возможно, так как вычислительные мощности, дисковое пространство и, да, доступность данных все возраста. Вместо этого был популярен подход “символический” ИИ: ориентация на построение логической парадигмы, которые могут быть обобщены, а затем поступает информация о реальном мире, чтобы научить их больше. В “символы” в символической ИИ, Шанахан говорит, “немного как предложения на английском языке, что государство факты о мире, или каком-либо домене.”

К сожалению, этот подход не масштаб, а ИИ уже несколько лет в условиях экономического спада. Но Шанахан утверждает, что существуют преимущества гибридного подхода два. Не только это поможет с проблемой эффективности передачи данных, но она также помогает при проблеме прозрачности: “очень трудно извлечь человеческого восприятия объяснения к решениям, которые они принимают”, - говорит он. Вы не можете попросить АИ, почему он решил, что Квокка был Квокка; он только что сделал.

Идея шанахан заключается в том, чтобы создать символический базе стиля не путем ручного кодирования, но, зацепив его с другого подхода, называемого глубокого обучения с подкреплением. Вот когда ИИ учится путем проб и ошибок, а не путем анализа больших объемов данных. Это было ядро, как AlphaGo DeepMind научился играть, например.

Лучшим в мире игроком в ГО и Lee Sedol комментарии матч после четвертого матча в Google DeepMind борьбу AlphaGo в Сеуле. Фото: Рейтер

В доказательство концепции, команда Шанахан построил искусственный интеллект, чтобы играть в простые игры. По сути, система обучается, а не играть в игру напрямую, но учить второй системы правила игры и положение в мире, так что он может думать в более абстрактных терминах о том, что происходит.

Просто нравится подход хадселла, что окупается, когда правила немного изменить. Там где обычная глубокая система обучения в замешательстве, более абстрагированный системы Шанахан может думать вообще о проблеме, видеть сходство с предыдущим подходом, так и продолжают. Думаю, умный

В какой-то степени, проблема эффективности данных может быть переоценена. Это правда, что вы можете узнать что-то намного быстрее, чем обычные системы обучения, например. Но не только вы, начиная с лет опыта, что вы строите – вряд ли небольшое количество данных – у вас тоже слабость, что ничего хорошего глубинного обучения будет мириться с: Вы забыли. Много.

Что может оказаться стоимость эффективного системного мышления. Или вы забыли, как делать вещи, или вы тратите все больше ресурсов просто сортировка между множества вещей, которые вы знаете, вы пытаетесь найти правильный выбор для каждой ситуации. Но если это цена, чтобы заплатить за переезд глубокого изучения из научно-исследовательских центров в крупнейших интернет-компаний, это может быть стоит.

Категория: Статьи