Новости

Статьи

Как взломать интеллектуальную машину

На этой неделе Microsoft и Alibaba разожгли новые опасения, что роботы скоро займут нашу работу. Две компании независимо показал что их системы искусственного интеллекта бьют людей при проверке понимания прочитанного. Тест, известный как Стэнфордский набор вопросов и ответов (SQuAD), был разработан, чтобы обучить ИИ отвечать на вопросы о наборе статей из Википедии.

Как и программное обеспечение для распознавания изображений, уже развернутое в коммерческих фото-приложениях, эти системы создают впечатление, что машины становятся все более и более способными воспроизводить человеческое познание: распознавать изображения или звуки, а теперь ускоряют чтение текстовых отрывков и извергают ответы с человеческой точностью.

Умные машины, тем не менее, не всегда являются тем, кем кажутся. Специалисты, разрабатывающие сети глубокого обучения и другие системы искусственного интеллекта, узнают, насколько хрупки их творения, изучая, действительно ли машины что- то знают . Программное обеспечение для стресс-тестирования - например, перед его загрузкой в ​​автомобиль с автоматическим управлением - будет иметь решающее значение для предотвращения грубых ошибок, которые могут привести к катастрофическим авариям. «В некоторых областях нейронные сети на самом деле являются сверхчеловеческими, как будто они бьют человека», - говорит Аниш Аталье, аспирант Массачусетского технологического института, который занимается исследованиями ИИ. «Но у них есть та странная особенность, что кажется, что мы можем обмануть их довольно легко».

Две препринтные статьи Athalye и других студентов из MIT, все вместе известные как LabSix, продемонстрировали, что они могут создать систему глубокого обучения - одну научили распознавать объекты из тысяч примеров - чтобы думать, что изображение лыжника - это собака ( PDF ) а черепаха была винтовкой ( PDF ). Декабрь бумага команда Google Brain Team, исследовательский контингент компании по искусственному интеллекту, использовала другой подход, чтобы обманом заставить систему классифицировать банан как тостер.

Декабрь   бумага   команда Google Brain Team, исследовательский контингент компании по искусственному интеллекту, использовала другой подход, чтобы обманом заставить систему классифицировать банан как тостер

Поместив паттерн противника, напоминающий психоделический тостер, рядом с изображением банана, система распознавания изображений Google определила содержание изображения как тостер, а не как соответствующий фрукт. Кредит: Состязательный патч , Том Браун и др. [cs.CV] 27 декабря 2017

В методе LabSix алгоритм слегка изменяет цвет или яркость каждого пикселя изображения. Хотя картина выглядит одинаково для вас или меня, эти тонкие изменения заставляют систему интерпретировать ее как нечто совершенно иное. По словам Аталье, маскировка модификации изображения «делает его более актуальным для реальной атаки». «Если вы видите, что в реальном мире кто-то ставит дорожный знак, который выглядит психоделически, люди могут подумать:« О, здесь что-то подозрительное », и это будет расследовано. Но если у вас есть что-то, что похоже на знак ограничения скорости, но ваша машина с автоматическим управлением считает, что это что-то совершенно другое, это гораздо более пугающий сценарий ».

С тостером Google Brain выбрал другую тактику. Вместо того, чтобы менять изображения по отдельности, они хотели разработать техническую пленку, которую можно разместить в любой сцене. Это означало создание нового уникального образа - патча противника - который сбивает с толку систему глубокого обучения и отвлекает ее от сосредоточения на других предметах. Вместо того, чтобы смешиваться, патч для тостера должен был выделиться. «Учитывая, что патч контролирует только пиксели в пределах небольшого круга, в котором он находится, оказалось, что лучший способ для патча обмануть классификаторы - стать очень заметным», - написал Гуглер Том Браун в электронном письме. «Традиционная состязательная атака незначительно изменяет все пиксели в одном изображении. Для состязательного патча мы изменили несколько пикселей на большую величину ».

Чтобы работать вне лаборатории, патч также должен был быть устойчивым к визуальному шуму в реальном мире. В более ранних исследованиях, просто изменение ориентации или яркости измененного изображения могло победить противоборствующую технику. Сфокусированное изображение кота, рассматриваемого прямо, классифицируется как гуакамоле, но поверните кота в сторону, и система узнает, что он снова смотрит на кота. Патч для тостера, напротив, может быть представлен при любом освещении или ориентации и все равно саботировать систему. «Это было сложнее разработать, потому что это означало тренировку патча в самых разных смоделированных сценах, чтобы мы могли найти один патч, который будет успешным во всех», - написал Браун.

Хотя примеры глупы, потенциальные последствия в реальном мире смертельно серьезны. Атали предположил, что нападение противника может заставить самодвижущийся автомобиль игнорировать знак остановки. Или что он может скрыть рентгеновское изображение бомбы во время досмотра багажа в аэропорту. Цель исследований Athalye и Brown - помочь выявить слабые места в технологии до ее внедрения.

Гари Маркус, профессор психологии в Нью-Йоркском университете, полагает, что ИИ подвержен подобному обману, потому что «машина не понимает сцену в целом», - сказал он мне. ИИ может распознавать объекты, но он не может понять, что это за объект или для чего он используется. Это не «истинное понимание причинно-следственных связей между вещами, истинное понимание того, кто что делает, с кем и почему».

После заголовков о том, что системы ИИ проводят тесты на понимание прочитанного, Маркус опроверг результаты, сказав, что действия машины не имеют ничего общего с истинным пониманием. Маркус написал в Твиттере: «Тест SQuAD показывает, что машины могут выделять соответствующие фрагменты текста, а не то, что они понимают эти фрагменты».

Вместо того, чтобы обучать систему искусственного интеллекта на сотнях тысяч примеров, Маркус считает, что область должна взять свои подсказки от когнитивной психологии для разработки программного обеспечения с более глубоким пониманием. Принимая во внимание, что глубокое обучение может идентифицировать собаку и даже классифицировать ее породу по изображению, которого она никогда не видела прежде, она не знает, что человек должен выгуливать собаку вместо собаки, которая выгуливает человека. Он не понимает, что на самом деле собака и как она должна взаимодействовать с миром. «Нам нужен другой тип архитектуры ИИ, связанный с объяснением, а не только с распознаванием образов», - говорит Маркус.

Пока это не будет сделано, наша работа безопасна - по крайней мере, на некоторое время.

Похожие

Как записать аудио из Firefox?
Если вы часто играете песни в Интернете, вы обнаружите, что большинство из них закодированы и защищены от прямой загрузки. Затем, что касается радиостанций, шоу - это живой аудиопоток, который не может быть записан музыкальными загрузчиками. В этом случае для сохранения аудио в сети вам предлагается использовать инструмент аудиозаписи. Исходя из вашей привычки, если вы любите использовать Firefox, необходим аудиорекордер для Firefox. Три программы для записи звука на Firefox
Тема выпуска: Температура на страже качества. Agrolog - система измерения температуры в бункерах
... как польских деревень, так и специализированных промышленных предприятий. У них много применений, но чаще всего они используются для хранения сельскохозяйственных продуктов, строительных материалов, а в последнее время и биомассы. Среди сырья, хранящегося в бункерах, зерно является одним из наиболее чувствительных к изменяющимся условиям, а измерение его температуры является одним из ключевых параметров, требующих контроля.
... как выглядит полная дилатация во время родов. "Это ужасно" Отец Рыдзык комментирует фильм Секельского. ...
... как выглядит полная дилатация во время родов. "Это ужасно" Отец Рыдзык комментирует фильм Секельского. Все ждали его речи Водитель грузовика въехал в забор. Он спас жизни велосипедистов-подростков «Иногда я забираю свою 5-летнюю племянницу из детского сада. Мне стыдно
Как добавить гаджеты обратно в Windows 8 и 10 (и почему вы, вероятно, не должны)
Настольные гаджеты и боковая панель Windows были большой отличительной чертой в Windows Vista и Windows 7. Но Microsoft удалила настольные гаджеты, и вы не найдете их в Windows 8 или 10. Гаджеты Windows для настольных ПК были прекращены из-за
Погода
Какая погода? Вы когда-нибудь были под дождем и не имели с собой зонтик? Или твои родители с ног до головы обмазывали тебя солнцезащитным кремом, потому что светило солнце? Конечно, вы знаете, что есть разные типы погоды: дождь, снег или солнце. Дождь также называется осадками. Осадки, температура, влажность, облака и ветер, которые мы связываем с погода
Как конвертировать видео с YouTube
Хотите найти забавное видео на веб-сайте онлайн-видео на YouTube, и вам не терпится скачать и конвертировать видео с YouTube, чтобы получить больше удовольствия? Вот учебник, который поможет вам легко загружать и конвертировать видео с YouTube. Что требуется для конвертации видео с YouTube Сеть, которая позволяет подключаться к сайту YouTube Компьютер с операционной системой Windows (включая Windows 7) Видео конвертер YouTube, который поможет
Как Under Armour планирует стать крупнейшим спортивным брендом в мире - Неделя маркетинга
... как они достигнут суперзвезды. Вместо того, чтобы идти прямо к громким именам, Джатиа говорит, что пожинает плоды «более терпеливой» стратегии. Он также утверждает, что известные спортсмены больше не хотят быть связанными с Nike или Adidas и предпочитают объединяться со спортивными брендами, которые выступают исключительно за производительность. Например, Энди Мюррей покинул Adidas, чтобы подписать четырехлетнее спонсорское
ТЕСТ: Nokia Lumia 530
... как используемые материалы. Вот зеленый игрушечный пластик, который состоит из кнопок и задней крышки. Тем не менее, телефон выглядит солидно и хорошо, и у нас есть обоснованное подозрение, что его сложнее согнуть, чем телефоны в десять раз дороже.
Солнечная фотоэлектрическая установка
Мы сняли инсталляцию солнечных фотоэлектрических панелей, чтобы вы могли увидеть, чего ожидать. Кроме того, выясните, подходит ли ваша недвижимость для солнечных батарей. Рассматриваете покупку солнечных батарей? Посмотрите наше видео, чтобы узнать, что происходит при установке солнечных панелей, и узнать, подходит ли ваш дом для солнечных батарей. Картинка выше показывает, какой? крыша члена подвергается установке солнечной фотоэлектрической
ETSI определение права интеллектуальной собственности (ПИС) в рамках ...
ETSI определение права интеллектуальной собственности (ПИС) в рамках
Micro SD Card Тест и сравнение 2019
Самое главное вкратце Карта microSD - это носитель данных, который популярен для смартфонов, MP3-плееров и цифровых камер. Так как он достаточно компактен с размерами 11 x 15 x 0,7 мм, маленькую SD-карту можно использовать практически везде. Карты MicroSD можно приобрести с объемом памяти от 32 до 256 ГБ (гигабайт). Модели до 64 ГБ доступны в большинстве магазинов и имеют очень хорошее соотношение цены и качества. Если вы хотите использовать карту microSD со своим
Вы когда-нибудь были под дождем и не имели с собой зонтик?
Или твои родители с ног до головы обмазывали тебя солнцезащитным кремом, потому что светило солнце?
Рассматриваете покупку солнечных батарей?
Картинка выше показывает, какой?




Фотография дня Фотография часа
Карта