Эта опция сбросит домашнюю страницу этого сайта. Восстановление любых закрытых виджетов или категорий.

Сбросить

Авто-новости

Самое свежее из мира автомобилей

Перейти

Автоспорт

В мире авто и мото спорта

Перейти

Автотехника

Все, что связано с ремонтом и эксплуатацией

Перейти

Франкен-алгоритмы: смертельные последствия непредсказуемы код


Опубликованно 22.09.2018 00:24

Франкен-алгоритмы: смертельные последствия непредсказуемы код

18 марта 2018, был день технические специалисты были в ужасе. В ту ночь, новая Луна добавил почти нет света в плохо освещенном четырехполосная дорога в Темпе, штат Аризона, так как специально адаптированы Убер Вольво XC90 обнаружении объекта впереди. Часть современная золотая лихорадка в разработке самоуправляемых автомобилей, внедорожник ехал самостоятельно, без какого-либо участия водителя резервного копирования человека, 19 минут. Массив радар и светоизлучающих лидаров позволили бортовых алгоритмов расчета, что с учетом постоянной скоростью своего хозяина корабля 43mph, объект был шесть секунд – при условии, чтобы он оставался неподвижным. Но объекты в дорогах редко остаются неподвижными, так еще алгоритмы обхода базу узнаваемый механические и биологические объекты, поиск приступе, из которого, скорее всего, поведение это может быть выведено.

Сначала компьютер нарисовал пустая; через несколько секунд, он решил, что имеет дело с другим автомобилем, ожидая его согнать и не требуют никаких специальных действий. Только в последнюю секунду было четкое определение нашли – женщина с велосипеда, сумки, висит близко от руле, несомненно предполагая, что Вольво будет маршрут по ней, как любой обычный автомобиль. Запрещено маневрирование на свой собственный, компьютер внезапно передал управление обратно в человека мастера, но мастер не обращал внимания. Элейн Герцберга, в возрасте 49 лет, был поражен и убит, оставляя больше отражательная членов технического сообщества с двумя неудобные вопросы: это алгоритмическом трагедия неизбежна? И как раньше такие случаи были у нас, мы должны быть готовы сделать?

“В некотором смысле мы потеряли агентства. Когда программы проходят в код и передает код в алгоритмов и алгоритмов, то начать создавать новые алгоритмы, он становится все дальше и дальше от человека. Программное обеспечение выпустила во Вселенную код, который никто не может полностью понять”.

Когда алгоритмы начинают создавать новые алгоритмы, он становится все дальше и дальше от человека, - говорит Эллен Ульман. Фото: Шон Смит для опекуна

Если эти слова звучат шокирующие, Они должны, хотя бы потому, что Эллен Ульман, кроме того, были выдающийся профессиональный программист с 1970-х годов, является одним из немногих людей, чтобы написать все это красноречиво свидетельствует о процессе кодирования. Там не так много она не знает о программном обеспечении в дикой природе.

“Люди говорят, ‘Хорошо, что о Facebook – их создавать и использовать алгоритмы и они могут изменить их. Но это не как это работает. Они задают алгоритмы и учиться и меняться и работать сами. Facebook периодически вмешиваться в их ход, но они реально не контролируют их. А также отдельные программы не только работать самостоятельно, они призывают библиотек, глубокий операционных систем и так далее ...” Что такое алгоритм?

Несколько предметов больше или постоянно горячо обсуждали сейчас, чем алгоритмы. Но что такое алгоритм? На самом деле, использование изменилось в интересные способы, с появлением интернета и поисковых систем в частности – в середине 1990-х годов. По сути, алгоритм-это небольшая, простая вещь; правило используются для автоматизации обработки данных. Если произойдет, то не в; если нет, то делать с. Это “если/то/иначе” логика классических вычислений. Если пользователь утверждает, что 18, разрешить их на сайте; если нет, печать “к сожалению, вы должны быть 18, чтобы войти”. В ядре, компьютерные программы представляют собой наборы таких алгоритмов. Рецепты для лечения данных. На микроуровне, ничего не может быть проще. Если компьютеры, как представляется, выполняют магия, это потому, что они быстрые, не умный.

В последние годы наблюдается более зловещим и неоднозначным смыслом возникают, при слове “алгоритм” понимается любой крупный, сложный процесс принятия решений программного обеспечения системы; любые средства принимать массив входных данных и оценке его быстро, по заданному набору критериев (или “правила”). Это революционизировало областях медицины, науки, транспорта, связи, что делает его легко понять утопичность вид вычислений, которые властвовали на протяжении многих лет. Алгоритмы сделали нашу жизнь лучше в мириады способов.

Только с 2016 года и более тщательного рассмотрения наших новых алгоритмических реальности начали принимать форму. Если мы продолжаем обсуждать алгоритмы в почти библейские термины, как самостоятельные сущности со живет своей жизнью, это потому, что мы были поощрены думать о них таким образом. Корпорациям вроде Facebook и Google продают и защищали свои алгоритмы на обещание объективности, способности взвешивать набор условий с математической отряда и отсутствие нечетких эмоций. Неудивительно, что таких алгоритмических решений распространился на предоставление кредитов/ поручительство/пособия/колледж местах/собеседованиях и почти все требующее выбор. Оружие уничтожения математике Кэти О'Нил отзыв – проблемы с алгоритмами Подробнее

Мы больше не принимаем тангажу сбываний для этого типа алгоритма так безропотно. В своей книге 2016 оружие уничтожения математике, Кэти О'Нил, бывший математический вундеркинд, который покинул Уолл-Стрит, чтобы научить и писать и запускать отличный блог mathbabe, показало вне всякого сомнения, что далеко от искоренения человеческих погрешностей, алгоритмы могут возвеличить и укрепить их. Ведь программное обеспечение написано преимущественно богатых белых и азиатских мужчин – и это неизбежно отражать свои предположения (Гугл “расистские мыла”, чтобы увидеть, во что это выльется в еще приземленной реальных жизненных ситуациях). Предвзятости не требует злобы, чтобы стать вред, и в отличие от человеческого существа, мы не можем легко задать алгоритм привратника, чтобы объяснить свое решение. О'Нил призвал к “алгоритмические аудит” любых систем, непосредственно затрагивающих общественные, здравая мысль, что ИТ-индустрии будут биться изо всех сил, потому что алгоритмы, какие компании продают; последнее, что они будут добровольно-это прозрачность.

Хорошая новость заключается в том, что эта борьба ведется. Плохая новость заключается в том, что он уже смотрит странный в отношении того, что будет дальше. Так много внимания было сосредоточено на дальних обещаний и угроз, искусственный интеллект, ИИ, что почти никто не заметил, Мы переходим на новый этап алгоритмической революции, которая могла бы быть так же чревато и дезориентирует – не вопрос.

Кэти О'Нил показал, что алгоритмы могут увеличить человеческие предубеждения. Фото: Адам Моргенштерн

Алгоритмы попадает на О'Нил и другие непрозрачные, но предсказуемой: они делают то, что они были запрограммированы. Опытный верстальщик может в принципе рассматривать и оспаривать их основы. Некоторые из нас мечтают о гражданской армии для выполнения этой работы, похожие на сеть астрономов-любителей, которые поддерживают профессионалов в этой области. Законодательство, позволяющее это кажется неизбежным.

Мы можем назвать эти алгоритмы “тупой” в том смысле, что они выполняют свою работу в соответствии с параметрами, определенными людьми. Качество результата зависит от мысли и мастерство, с которым они были запрограммированы. На другом конце спектра находится более или менее отдаленном мечта человека-как искусственного общего интеллекта, или аги. Правильно умные машины могли бы усомниться в качестве его собственные расчеты, основанные на что-то вроде нашей собственной интуиции (которые мы воспринимаем как широкий накопление опыта и знаний). Чтобы поставить это в перспективе, DeepMind отдела компании Google по праву хвалили за создание программы, способной освоения аркадных игр, начиная с не более чем указание на цель на максимально возможный результат. Эта техника называется “обучение с подкреплением” и работает, потому что компьютер может играть миллионы игры быстро для того, чтобы узнать, что генерирует очков. Некоторые называют эту форму возможности “искусственного интеллекта узкий”, но вот слово “интеллигент” используется как Facebook использует слово “друг” – подразумевает что-то безопаснее и лучше понимали, чем это. Почему? Потому что машина не имеет связи за то, что он делает и не может делать ничего другого. Ни, самое главное, может это передача знаний от одной игры к другой (так называемый “перенос обучения”), что делает его менее, как правило, умнее малыша, и даже каракатицы. Мы могли бы также назвать нефтяная вышка или тля “умный”. Компьютеры уже значительно превосходит нас в определенные специализированные задачи, но в день их соперником наши общие способности-это, вероятно, еще далеко, – если это когда-нибудь произойдет. Человеческие существа не может быть много, но мы второй лучший на внушительный ассортимент вещей.

Вот в чем проблема. Между “тупой” фиксированных алгоритмов и правда ИИ лежит проблемный дом на полпути мы уже вошли не думала и практически без обсуждения, гораздо меньше согласия в целях, этике, безопасности, передовой практики. Если алгоритмы вокруг нас еще не разумны, что означает возможность самостоятельно сказать“, что расчет курса действий, не так: я сделаю это снова”, они тем не менее начинают учиться на своих средах. И как только алгоритм обучения, мы уже не знаем к какой-либо степенью уверенности, что ее правила и параметры. В какой момент мы не можем быть уверены, как он будет взаимодействовать с другими алгоритмами, физический мир, или нас. Где “тупой” фиксированные алгоритмы – сложные, непрозрачные и привыкли к мониторинга в реальном времени, поскольку они могут быть – в принципе предсказуемо и interrogable, они не. Через некоторое время в дикой природе, мы уже не знаем, чем они: у них есть потенциал, чтобы стать неустойчивой. Мы может возникнуть соблазн назвать эти “frankenalgos” – хотя Мэри Шелли не мог бы сделать это. Столкновение коды

Алгоритмы начинают учиться у своих средах. Иллюстрации: Марко Горан Романо

Эти алгоритмы не являются новыми сами по себе. Я впервые столкнулся с ними почти пять лет назад, когда готовила материал для статьи в "Гардиан" о высокочастотная торговля (HFT) на фондовом рынке. То, что я нашел, был чрезвычайный: искусственный цифровой экосистемы, распределяется между стойками черных ящиков притаился, как ниндзя в миллиардный данных хозяйств – это то, что фондовые рынки стали. Там, где раньше была физическая торговой площадке, все акции были переданы на центральный сервер, в котором проворные, хищные алгоритмы питался лесопиления институциональные, уговаривать их продать низших и высших купить дурача их, как на состояние рынка. Трейдерам человека ВЧТ (хотя нет человека активно торгуются больше) назвал эти большие, медленные участники “китов”, и в основном они принадлежали взаимных и пенсионных фондов – т. е. общественности. Для большинства ВЧТ магазины, китов теперь являлись основным источником прибыли. По сути, эти алгоритмы пытаются перехитрить друг друга; они делали невидимое сражение со скоростью света, размещения и отмены одного порядка 10000 раз в секунду или хлопнув столько в системе, что весь рынок тряхнул – и все без какого-либо надзора или контроля человека. Быстрые деньги: борьба с высокочастотным трейдерам Подробнее

Никто не может быть удивлен, что эта ситуация была неустойчивой. “Флэш-крэш” произошло в 2010 году, в течение которых рынок шел в свободном падении в течение пяти травматических минут, затем разрядилась в течение еще пяти – без видимых причин. Я поехал в Чикаго, чтобы увидеться с человеком по имени Эрик Hunsader, чьи удивительные навыки программирования, позволили ему видеть рыночные данные в гораздо более подробно, чем регуляторы, и он показал мне, что к 2014 году, “мини флеш сбои” происходили каждую неделю. Даже он не смог доказать, почему именно, но он и его сотрудники начали назвать некоторых “алгос” они увидели, как обрезать кругом охотники назвали образований в английском языке летние поля, назвав их “Дикая штучка”, “Зума”, “щелчок” или “Разрушитель”.

Нил Джонсон, физик, специализирующийся на сложности в Университете Майами, провели исследование волатильности фондового рынка. “Это интересно”, - сказал он мне. “Я имею в виду, люди говорили об экологии компьютерных систем на годы в неопределенном смысле, в плане вирусов, червей и так далее. Но вот реально работающие системы, которые мы изучаем. Большая проблема заключается в том, что мы не знаем, как это работает или что это может породить. И отношение, кажется, ‘с глаз долой, из сердца вон’”. Facebook будет утверждать, что они знают, что происходит на микроуровне ... но то, что происходит на уровне населения? Нил Джонсон

Существенно, Джонсон бумаги на эту тему было опубликовано в журнале Nature и описали фондового рынка в условиях “резкого общесистемного перехода от смешанных человеко-машинных этап новой машины фаза характеризуется частыми Черный лебедь [т. е. весьма необычные события с ультракороткими длительностями”. Сценарий был сложный, по мнению историк науки Джордж Дайсон, тот факт, что некоторые ВЧТ фирмы позволяя алгос, чтобы узнать – “просто позволяя черного ящика попробуйте разные вещи, с небольших сумм денег, а если он работает, закрепляют эти правила. Мы знаем, что это было сделано. Тогда вы на самом деле есть правила, где никто не знает, какие правила являются: алгоритмы создают свои собственные правила – вы позволяете им развиваться таким же образом природа эволюционирует организмов”. Не финансовой индустрии наблюдатели начали постулат катастрофического глобального “всплеск аварии”, в то время как динамично-развивающаяся область рынка стал (и остается) документов, которые прибыли из волатильности. В романе 2011 года индекс страха Роберт Харрис возомнил появление аги – сингулярности, не менее – именно эта цифровая Ил. К моему удивлению, ни один ученый не говорил Я бы категорически исключил такую возможность.

Все это может быть уволен в высоких финансов арканы, если бы не простой факт. Мудрость использована для того чтобы держать, что технология была принята первая в порноиндустрии, а затем все остальные. Но в 21 веке порно-это финансы, поэтому, когда я думал я видел признаки ВЧТ-подобные алгоритмы, вызывающие проблемы в другом месте, я снова позвонил Нил Джонсон.

“Ты прямо в точку:” он сказал мне: новая форма алгоритм двигается в мир, который имеет “возможность переписать бит собственного кода”, в которой точке это будет, как “генетический алгоритм”. Он думает, что он видел свидетельства того, что их на самом деле-поиске набеги на Facebook (“я имел мои счета атакован четыре раза”, - добавляет он). Если так, алгоритмы рыцарские там, и адаптацию, как на фондовом рынке. “В конце концов, Facebook-это просто один большой алгоритм”, - говорит Джонсон.

‘Facebook-это просто один большой алгоритм, - говорит физик Нил Джонсон. Фотографии: Кристоф Морен/ИП3/Getty Изображения

“И я думаю, что это именно тот вопрос, на Facebook есть. Они могут иметь простые алгоритмы, чтобы признать мое лицо на фотографии на чужой странице, взять данные из моего профиля и связать нас вместе. Это очень простой конкретный алгоритм. Но вопрос в том, что эффект от миллиардов таких алгоритмов, работающих вместе на макроуровне? Вы не можете предсказать поведения на уровне населения от микроскопических правил. Так что Facebook станет утверждать, что они точно знают, что происходит на микроуровне, и они, вероятно, были бы правы. Но что происходит на уровне населения? Это вопрос”.

Чтобы подчеркнуть этот момент, Джонсон и коллеги из Университета Майами и Нотр-Дам подготовила документ, появление экстремальных субпопуляций из общей информации и, вероятно, повышение у будущих связующих алгоритмов, предназначенных для математически доказать, что попытки соединить людей в социальных сетях неизбежно поляризует общество в целом. Он думает, что Facebook и другие модели (или модели) последствия их алгоритмы в пути климатологов модель изменения климата или погодных условий. Магическое мышление о машинном обучении не принесет реальность ИИ ближе | Джон Нотон Подробнее

О'Нил говорит, что она сознательно основе этого адаптивного виде алгоритма из оружия разрушения математике. В извитых алгоритмической среде, где ничего не понятно, перекладывая ответственности на определенные сегменты кода будет крайне сложно. Это делает их легче игнорировать или уволить, потому что они и их последствия труднее выявлять, объясняет она, прежде, чем советовать, что если я хочу увидеть их в дикой природе, я должен спросить, что Флэш-аварии на Amazon может выглядеть.

“Я смотрел на эти алгоритмы, слишком,” говорит она, “и я подумал: ‘О-О, большие данные еще не дошли.’ Но совсем недавно друг, который продает книги на Amazon уже рассказывал, как сумасшедшая ценовая ситуация стала для людей, подобных ему. Каждый так часто вы увидите кого-то чирикать ‘Эй, вы можете купить роскошную пряжу на Amazon за $40 000’. И всякий раз, когда я слышу такие вещи, я думаю: - Ах! Это, должно быть, эквивалент флэш-краш!’”

Неподтвержденная информация об аномальных событиях на Amazon в изобилии, в виде нитей из озадаченных продавцов, и не менее одного академического бумаги с 2016 года, которая утверждает: “примеров, возникли случаи, когда конкурирующие части алгоритмическом ценообразование программного обеспечения взаимодействовать самым неожиданным образом и привело к неожиданным цен, а также случаи, когда алгоритмы были специально разработаны для осуществления фиксации цен.” Проблема, повторюсь, заключается в том, как распределить ответственность в хаотичном алгоритмическом условиях, когда простые причины и следствия не применяется или почти невозможно проследить. Как в финансах, отрицание выпекается в систему. Реальных опасностей

Где безопасность стоит на кону, это очень важно. Когда водитель съехал с дороги и погиб в Тойота Камри после появления ускорить дико без видимых на то причин, специалисты НАСА провели шесть месяцев изучал миллионы строк кода в операционную систему, не найдя доказательств, что семья водителя считали, произошло, но производитель упорно отрицал, что автомобиль ускорился по своей собственной воле. Только когда пара встроенных программных эксперты провели 20 месяцев копания в коде они смогли доказать, что дела этой семьи, раскрывая искаженная масса того, что программисты называют “спагетти-код”, полное алгоритмов, которые толкались и боролись, создавая аномальный, непредсказуемый выход. Автономных автомобилей, в настоящее время проводится проверка, может содержать 100 млн строк кода, и, учитывая, что программист не может предусмотреть все возможные обстоятельства, на реальной дороге, они должны учиться и получать постоянные обновления. Как мы можем избежать столкновения в такой среде жидкости код, не в последнюю очередь, когда алгоритмы могут и должны защищать себя от хакеров? У вас есть все эти куски кода, работающего на айфоны людей, и в совокупности она выступает как один многоклеточный организм Джордж Дайсон

Двадцать лет назад, Джордж Дайсон предвосхитил многое из того, что происходит сегодня в своей классической книге "Дарвин среди машин". Проблема, он мне говорит, что мы строим системы, которые находятся за пределами наших интеллектуальных средств управления. Мы считаем, что если система детерминирована (действуя в соответствии с установленными правилами, это определение алгоритма) это предсказуемо – и что, что предсказуем может быть контролируемой. Оба предположения оказываются неверными.

“Это разбирательство самостоятельно, в маленькие биты и куски”, - говорит он. “То, что я был одержим 20 лет назад, что полностью захватили мир сегодня многоклеточные многоклеточные цифровых организмов, точно так же мы видим в биологии, откуда у вас все эти куски кода, работающего на айфоны, и в совокупности она выступает как один многоклеточный организм.

“Есть такой старый закон, который называется Эшби закон, который говорит, что система управления должна быть так же сложна, как система это контролирует, и у нас, что на полной скорости теперь, с этим огромным толчком для создания самоуправляемых автомобилей, где программное обеспечение должно иметь полную модель все, и почти по определению мы не собираемся понять его. Потому что любая модель, мы понимаем, будем делать то, что нравится столкнуться вызвать пожарную машину мы забыли поставить в пожарную машину”.

В отличие от наших старых электро-механических систем, эти новые алгоритмы также невозможно проверить подробнейшим образом. Пока у нас есть супер-умные машины, чтобы сделать это для нас, мы будем ходить по канату.

Федеральные следователи изучают самостоятельного вождения автомобиля Убер, участвующих в ДТП со смертельным исходом в Tempe, Аризона. Фото: Рекламный Проспект/Рейтер

Дайсон вопросы, будем ли мы когда-нибудь самостоятельного вождения автомобилей, бродящих свободно по улицам города, в то время как Тоби Уолш, профессор искусственного интеллекта в Университете Нового Южного Уэльса, который написал свою первую программу в возрасте 13 лет и провел Тиро вычислительной дело его позднем подростковом возрасте, объясняется с технической точки зрения, почему это происходит.

“Никто не знает, как написать кусок кода, чтобы признать знак "Стоп". Мы потратили годы пытается делать такого рода вещи в AI – и провалился! Это было довольно заглох по нашей глупости, потому что мы не достаточно умны, чтобы научиться разбивать задачу. Вы обнаружите, когда вы программируете, что вы должны научиться разбивать задачу на достаточно простые части, что каждый может соответствовать компьютер инструкция [машины]. Мы просто не знаем, как это сделать, что для такой сложной проблемы, как определение знака СТОП или переводить предложение с английского на русский – это за пределами наших возможностей. Все мы знаем, как написать более общий алгоритм назначения, которые могут научиться делать что дал достаточно примеров”.

Следовательно, нынешний акцент на машинном обучении. Теперь мы знаем, что Герцберг, пешеход убит автоматизированной Убер машину в Аризоне, погибли, потому что алгоритмы колебался в правильной классификации ее. Это был результат плохого программирования, недостаточно алгоритмическое обучение или высокомерное нежелание оценить границы наших технологий? Реальная проблема заключается в том, что мы можем никогда не узнать. Как алгоритмы толкают технологических гигантов в опасную зону Подробнее

“И мы в конечном итоге отказаться от алгоритмов написания”, Уолш продолжает: “потому что машины будут в состоянии сделать это гораздо лучше, чем мы когда-либо могли. Программная инженерия-в этом смысле, возможно, умирающей профессии. Это собирается быть взяты на машины, которые будут гораздо лучше, чем мы”.

Уолш считает, что это делает его более, не менее, важно, чтобы общественность узнать о программировании, потому что чем больше мы становимся отчужденными от нее, тем больше кажется, что магия за пределами нашей способности влиять. Когда показано определение понятия “алгоритм”, приведенный ранее в этой части, он счел неполными, комментируя: “я хотел бы предложить, проблема в том, что алгоритм означает, что теперь любой крупный, сложный процесс принятия решений программная система и среда, в которую он встроен, что делает их еще более непредсказуемыми.” Пугает мысль, действительно. Соответственно, он считает, этики, новый рубеж в технологии, предвидя “золотой век философии” – точка зрения, с которой Юджин Спаффорд из Университета Пердью, эксперт по кибербезопасности, согласна.

“Где есть выбор, вот где этика приходит. И мы, как правило, хотят иметь агентство, которое мы можем допросить или обвинять, что очень трудно сделать с помощью алгоритма. Это одно из слабых мест этих систем до сих пор, в том, что невозможно вернуться в прошлое и проанализировать, почему именно некоторые решения принимаются, потому что внутренний выбор настолько велик, что, как мы добрались до этой точки не может быть то, что мы можем когда-либо recreateto доказать виновность сомнений не вызывает.”

Контр-аргумент, что после того, как программа лезла, все население программы могут быть переписаны или изменены, чтобы не повторилось – в отличие от людей, чья склонность повторять ошибок, несомненно, завораживают умные машины будущего. Тем не менее, при автоматизации должны быть безопасными в долгосрочной перспективе, в нашей существующей системе деликтного права, которое требует доказательства намерения или небрежности, должны быть переосмыслены. Собака не несет юридической ответственности за то, что укусил вас, его владельца можно, но только если действия собаки думали обозримом. В алгоритмической среде, много неожиданных результатов может не быть предсказуемой для человека – объект с потенциалом, чтобы стать уставом негодяй, в котором намеренное запутывание сразу становится легче и более полезным. Фармацевтические компании воспользовались охватывают сложности в течение многих лет (см. Дело талидомид), но вот последствия могут быть больше и сложнее обратного. Военные ставки

Коммерция, социальные медиа, финансов и транспорта может выглядеть как небольшой пивной в будущем, однако. Если военные больше не стимулирует инновации, как это было раньше, остается самая весомая техника усыновителя. Нет ничего удивительного в том, что излияние озабоченность среди ученых и технических работников сопровождалось разоблачениями, что автономное оружие ореолы на поле боя, что представляет собой алгоритмическая гонки вооружений. Робот-снайпер в настоящее время политики в демилитаризованной зоне между Северной и Южной Кореей, и в то время как его производитель, Samsung, лишает его самостоятельности, это утверждение широко разуверилась. Россия, Китай и США все претендуют на различных стадиях разработки рои согласованных, боеприпас дронов , а вторые планы ракет, способных парить над полем боя в течение нескольких дней, наблюдая, прежде чем выбрать свои собственные цели. Группа сотрудников компании Google подала в отставку и еще тысячи допрошен техник монолита предоставления машинного обучения программное обеспечение для Пентагона Maven-проекта “алгоритмические войны” и относится к руководство которого в конце концов согласился не продлевать контракт Мэйвен и опубликовать этический кодекс для применения его алгоритмов. На момент написания конкурентов, включая Amazon и Microsoft сопротивлялись следующий костюм.

Сотрудники Google ушел в отставку за предоставление машинного обучения программы Пентагона ‘алгоритмическом войны’. Фотография: Майк Блэйк/Рейтер

Наряду с другими технологическими компаниями, в Google утверждали, что моральные добродетели для своего программного обеспечения Мэйвен: что это помогло бы выбирать цели более эффективно и тем самым спасти жизнь. Вопрос, как менеджеры могут знать, что их алгоритмы будут делать или быть направлены не на месте, особенно учитывая уверенность в том, что все стороны будут развивать адаптивные алгоритмические счетчик-систем, предназначенных, чтобы запутать противника. Как на фондовом рынке, непредсказуемость, вероятно, будет рассматриваться как актив, а не фора, давать оружие больше шансов противостоять попыткам подорвать их. В этих и других мер мы рискуем, по сути, на наших машинах наизнанку, оборачивая нашу повседневную материальном мире в спагетти-код.

Люси Suchman из Ланкастерского университета в Великобритании соавтором открытого письма от исследователей технологии в Google, с просьбой задуматься о Раш милитаризировать свою работу. Мотивация IT-компаний легко понять, она говорит: военные контракты всегда были прибыльным делом. Для Пентагона это часть, обширную сеть датчиков и систем видеонаблюдения бежать впереди любую возможность использовать стяжки из данных, приобретенных.

“Они перегружены данными, потому что они имеют новые способы сбора и хранения, но они не могут его обработать. Так что это в принципе бесполезно – если не произойдет что-то волшебное. И я думаю, что их подбор крупных компаний данных-это форма магического мышления в смысле: ‘здесь какая-то магия, что технология будет иметь смысл всего этого’”. 'Фантастика опережая реальность: как алгоритм Ютуб искажает правду Подробнее

Suchman также предлагает статистические данные, которые проливают свет на леденящие Мэйвен. По данным анализа, проведенного атак беспилотников в Пакистане с 2003-13, менее 2% людей, убитых таким способом, подтверждаемую как “высокие цели”, представляя явную угрозу для Соединенных Штатов. В районе 20% считаются некомбатантами, оставив более 75% неизвестно. Даже если эти цифры были в два – или три, или четыре – они дали бы любой разумный человек делает паузу.

“Итак, мы имеем очень сырой технологии идентификации и что мавен проект предлагает сделать, это автоматизировать, что. В какой момент она становится даже меньше, подотчетным и открытым для допроса. Это очень плохая идея”.

Коллега Suchman Лили Ирани, в Университете Калифорнии, Сан-Диего, напоминает нам, что информация путешествует по алгоритмической системы со скоростью света, без надзора человека. В технических дискуссиях часто используются в качестве дымовой завесы, чтобы избежать ответственности, предполагает она.

“Когда мы говорим об алгоритмах, иногда то, что мы говорим о бюрократии. Алгоритм решения дизайнеров и экспертов в области политики делают преподносятся как объективные, где в прошлом кто-то должен был взять на себя ответственность за них. Технологические компании говорят, что они только повышают точность с Maven – т. е. право людей будут убивать, а не неправильные – и в том, что политическое предположение, что эти люди на другой стороне планеты более убиваемый, и что американские военные получает, чтобы определить, что подозрение, похоже, остаются без внимания. Поэтому вопросы технологии используются чтобы закрыть некоторые вещи, которые на самом деле являются политическими вопросами. Выбор используемых алгоритмов для автоматизации отдельных видов решений слишком политическим”.

Правовых конвенций современной войны, какими бы несовершенными они ни были, предполагают ответственность человека за принимаемые решения. По крайней мере, алгоритмические войны мутит воду в пути мы можем расти, чтобы сожалеть. Группа правительственных экспертов обсуждает этот вопрос в Конвенции ООН о конкретных видах обычного оружия (КНО) встречи в Женеве на этой неделе. Поиск решения

‘В принципе, нам нужна новая наука, - говорит Нил Джонсон. Иллюстрации: Марко Горан Романо

Решения уже существуют или могут быть найдены для большинства проблем, описанных здесь, но не без стимулирования крупных технологичных разместить здоровью общества наравне с их нижней линии. Более серьезными в долгосрочной перспективе растет предположение, что нынешние методы программирования уже не пригодный для целей, учитывая масштабы, сложность и взаимозависимость алгоритмических систем, которые мы все больше полагаются на. Одним из решений, используемых Федеральное управление гражданской авиации в отношении коммерческой авиации, регистрировать и оценивать содержание всех программ и последующего обновления до такого уровня детализации, который алгоритмических взаимодействий хорошо понятны заранее – но это непрактично в больших масштабах. Части авиационно-космической промышленности используют относительно новый подход, называемый модельно-ориентированное программирование, в котором машины делают большую часть работы кодирование и способны проверить, как они идут.

На основе модели программирования не может быть панацеей некоторую надежду, однако. Он не только толкать людей еще дальше от процесса, но Джонсон, физик, провели исследование для Министерства обороны, что нашли “крайнего поведения, которые не могли быть выведены из самого кода” даже в больших, сложных систем, построенных с использованием этой техники. Новый язык программирования под названием тла+ позволяет за математическое доказательство того, что системное программное обеспечение не содержит ошибок, но для этого нужны программисты с математическим навыкам. Много энергии направляется на поиск путей, чтобы отслеживать неожиданные алгоритмическое поведение обратно в определенные строки кода, которые его вызвали. Никто не знает, если решение (или решения) будут найдены, но никто не может работать, где агрессивные алгоритмы предназначены для столкновения и/или адаптации. Новые Темные века Джеймсом комментарий уздечку – технология и конец будущего Подробнее

Пока мы ждем технологический ответ на проблему резкого роста алгоритмическом обвитие, есть меры предосторожности, которые мы можем предпринять. Пол Уилмотт, британский эксперт в области количественного анализа и критик высокочастотной торговле на фондовом рынке, иронично советует “научиться стрелять, варить варенье и вязать”. Более практически, Спаффорд эксперт по безопасности программного обеспечения, советует оформление технологических компаний, ответственных за действия своих продуктов, будь то конкретные строки кода изгоев, или документ, подтверждающий халатность по отношению к ним – могут быть определены или нет. Он отмечает, что почтенный Ассоциации вычислительной техники обновил свой этический кодекс, по аналогии с клятвой Гиппократа в медицине, в вычислительной поручить профессионалам, чтобы не навредить и рассматривать более широкие последствия их работы. Джонсон, в свою очередь, считает наш алгоритмическом дискомфорта, по крайней мере частично, концептуальную; боли роста в новую сферу человеческого опыта. Он смеется, отмечая, что, когда он и я в последний раз говорил об этом несколько лет назад, мои вопросы были ниши проблем, только несколько людей, которые корпели над фондовом рынке в Гоже деталь.

“И теперь, здесь мы – это отразилось даже на выборах. Я имею в виду, какого черта происходит? Я считаю, что глубоко научные, что инженеры обучены, писать программы, делать то, что оптимизировать – и не без оснований, потому что ты часто оптимизация по отношению к вещи, как распределение веса в самолете, или самых экономичных скорость: в обычных, ожидаемых условиях оптимизации имеет смысл. Но в необычных обстоятельствах, это не так, и мы должны спросить: Какое самое худшее, что может случиться в этом алгоритме, как только он начинает взаимодействовать с другими?’ Проблема у нас даже нет слова для этого понятия, значительно меньше науки, изучающие его.”

Он замирает на мгновение, пытаясь обернуть свой мозг вокруг этой проблемы.

“Дело в том, что оптимизация это все о максимизации или минимизации то, что с точки зрения компьютера совпадают. Так что в отличие от оптимизации, т. е. наименее оптимальном случае, и как мы можем определить и измерить? Вопрос, который мы должны спросить, что мы никогда не делаем, заключается в том, что это самый крайний возможного поведения в системе, я думал, что я оптимизировал?’”

Еще одна краткая тишина заканчивается с намеком на удивление в голосе.

“В принципе, нам нужна новая наука”, - говорит он.

Эндрю Смита полностью проводной: взлет и падение Джошуа Харрис и Великой доткомов мошенничество будут опубликованы Роща Атлантики в феврале следующего года



Категория: Статьи


Написать комментарий

* Содержание комментария не должно содержать ненормативную лексику или отклонятся от норм морали и приличия. HTML-теги не поддерживаются. Комментарии, не имеющие отношения к содержанию новости, будут удаляться. Пользователи, злоупотребляющие терпением администрации, будут блокироваться.