этика

Официальное заявление Anthropic по поводу военных:

1. Мы против того, чтобы следить за американцами, за остальным миром двумя руками за (и уже следим)

2. Мы против того, чтобы сейчас делать полностью автономных дронов убийц, потому что модели пока ещё не достаточно хорошие. Предлагали Пентагону поработать над этим, но они отказались :(

Хорошее заявление, всё проясняет.

Не боитесь роботов, которые «захватят всех человеков»? Мне вот стало страшно, когда я послушал, как новая нейросеть гугла Google Duplex разговаривает с живыми людьми по телефону.

Послушайте сами, там запись двух полных звонков, Duplex женским голосом заказывает стрижку в парикмахерской и мужским голосом столик в ресторане. Слишком похоже на живых людей. Восхищение, сменяющееся мыслью «такое нужно немедленно запретить» — вот моя первая реакция.

Дальше примеры, как Google Duplex реагирует на прерывания (когда он читает номер по телефону и собеседник не расслышал и переспросил посередине), на уточняющие вопросы и на вопросы «ты меня слышишь?».

Внутри статьи есть высокоуровневое объяснение, как эта вся магия работает — под капотом система распознавания голоса гугла ASR и рекуррентная нейронная сеть (RRN) на основе Tensorflow Extended (TRX) (на нем строится большая часть нейронных сетей).

Очень страшно. Westworld (2) (прекрасный сериал «Мир дикого запада») уже не кажется таким уж отдаленным будущим.

https://ai.googleblog.com/2018/05/duplex-ai-system-for-natural-conversation.html

«Интересная» ситуация между американскими военными и Anthropic.

Они подписали контракт на поставку ИИ для нужд армии. Теперь военные требуют, чтобы им можно было не следовать стандартным правилам пользования сервисом (Usage Policy).

Anthropic согласен подвинуться, но хочет внести в договор пункты о том, что их искусственный интеллект нельзя использовать для массовой слежки за американцами и для автономных роботов убийц.

Министерство войны США (они недавно официально переименовались) в ответ грозится не только разорвать контракт, но еще и воспользоваться законом о военном производстве, который позволяет правительству заставлять коммерческие структуры выполнять заказы критичные для оборонки.

А ещё министр пугает эту американскую компанию тем, что её внесут в чёрный список правительства США (объявят supply chain risk, так обычно делали с китайскими компаниями), так что с ними не сможет работать ни один бизнес, который исполняет контракты для государства.

Вы наверняка слышали, что программисты теперь встанут перед таким же выбором, перед каким стояли физики при создании ядерной бомбы. Обычно об этом рассуждают философы, которые ничем не рискуют. А тут ведущая компания в области ИИ может не только потерять большой контракт, но вообще перестать существовать в привычном нам виде. И всё это практически в прямом эфире.

Дальнейшее чтение: позиция EFF (всё предсказуемо), бодрый разбор Astral Codex Ten, который я кратко пересказал выше, и подробный текст от Цви Моушовица.

Я обожаю perplexity за то, что в нем можно прочитать краткое содержание любой статьи в интернете и даже ютуб-видео за пару секунд. Просто закидываешь ссылку из интернета и получаешь пересказ без рекламы и шелухи.

ChatGPT на вопрос «что там в этом видео говорится» отвечает «я не умею смотреть видео, открой посмотри», а perplexity и краткое содержание расскажет и на вопросы по содержанию ответит.

А ещё он насколько быстрый, что им вполне можно пользоваться вместо классических поисковиков. В общем, горячо рекомендую.

С другой стороны, читаю очередное обсуждение, как владельцы сайтов страдают от ботов, которые создают огромную нагрузку на небольшие публичные сайты. Тут я конечно считаю, что совсем эти AI-компании охренели, ломают интернет.

А теперь вспомнил, что perplexity игнорирует вообще все правила, и если засекает, что сайт блокируют его ботов — то прикидывается обычным пользователем и меняет IP адреса.

Люблю такие ситуации, когда этические и моральные установки вступают в противоречие с личным удобством. Сразу становится понятно, чего стоят твои убеждения.

Хотел написать сегодня большой пост про скандал с фейсбуком (персональные данные опять, да) — он там даже не думает утихать, разгорается всё сильнее с каждым днем.

Но прочитал высказывания наших (?) депутатов госдумы по поводу обвинений в адрес Слуцкого (трое журналисток обвинили этого депутата в домогательствах) и чуть не отправил «да они ебанулись там что-ли» в канал @meduzalive 100 тысяче подписчиков, так что лучше выскажусь здесь.

Домогаться до женщины словами, если находишься в доминирующем положении — недопустимо. Нарушать её физические границы — полный пиздец. Смеяться над тем, что женщина говорит о домогательствах, отвечать ей «да ты сама небось захотела» или спрашивать «чё-то ты раньше молчала?» — это каким дикарем нужно быть?

В моей среде приняты разговоры о «перегибах позитивной дискриминации» и прочих дебатах о бедном инженере Google, которого уволили за свободу слова. За этими разговорами легко забыть, что мы с вами живем в другой реальности.

Сегодня, в 2018 году в Госдуме России комиссия по этике в полном составе практически в прямом эфире гнобила жертв домогательства со стороны депутата Госдумы. Депутат под вопросом не просто говорил журналисткам слова, но трогал, например, лобок одной из них без её согласия. Что блядь происходит? Комиссия не рассмотрела аудио-запись, где насильник на диктофон творил всякий ад, шутила шуточки, пыталась быстрее это «заседаньице» закончить.

Я понимаю, что у нас в стране тысячи детей живут в детских домах, полиция засовывает людям в жопу бутылку от шампанского и убивает, но это вот показное «имею право быть неприличным» каждый раз выбивает меня из колеи.

Это неприлично. Слуцкий — мудак, которому в прошлом веке давно бы отстрелили яйца. Девушки, вы — герои.

Проблема вагонетки — интересная этическая задача, которая принимает практическую важность из-за машин без водителя. Классическая формулировка такая: вагонетка едет по рельсам и скоро задавит пять людей; вы можете переключить стрелку и тогда вагонетка задавит только одного человека на запасном пути. Переключите ли вы стрелку?

В случае автомобилей без водителя, нам нужно выбрать, что мы хотим заранее, на этапе программирования машины. Кого спасти — ребенка или старика? Пассажира (aka владельца машины) или пешехода? Отдельный интересный вопрос — кто должен принимать эти решения? Производитель машины? Её покупатель? Общество?

В 2014 году, исследователи из MIT запустили онлайн-программу, где можно попереключать стрелки вагонетки самому. The Moral Machine стала виральной и за 4 года в ней сделали 40 миллионов моральных выборов люди из 233 стран мира. Ученые проанализировали данные и опубликовали статью в Nature на прошлой неделе.

Люди разных культур дают разные ответы на эти вопросы. Французы, например, ценят детей больше стариков, китайцы — наоборот, а эстонцам всё равно. Там много интересных наблюдений, рекомендую прочитать краткий пересказ результатов исследования в MIT Technology Review.

Этого нет в исследовании, но самые страшные, как мне кажется, китайцы — они, видимо, встроят в машины базу данных социального рейтинга и будут минимизировать суммарную потерю оного. Хочешь жить — повышай свою «полезность обществу». Что значит полезный обществу?

Попробуйте поиграть с The Moral Machine сами. Вот какой первый вопрос выпал мне (я считаю, что мужчины и женщины одинаково ценны, так что пусть едет прямо, как ехал):

Чувствую необходимость высказаться по поводу скандала с главредом Медузы. Он без разрешения трогал жену сотрудника за ягодицы и говорил «ничего мне за это не будет» и остался после этого главным редактором. Трогать девушек без разрешения — очень плохо, делать это из позиции силы и власти — недопустимо.

Я на своем опыте знаю, как сложно сказать «нет, это не нормально», когда агрессор может дать что-то тебе лично. Я хорошо помню, как потенциальный инвестор при мне отпускал тупые гендерные шутки в адрес коллеги, а я делал вид, что всё ок, потому что «ДЕНЬГИ, ВОТ ОНИ УЖЕ ПОЧТИ». Спасибо тебе, коллега, что рассказала мне потом, как тебе было неприятно это терпеть. Этот случай до сих пор жжет меня стыдом, когда я о нем вспоминаю.

N и N, я горжусь тем, что вы нашли в себе силы и не промолчали. Мне жаль, что с вами это произошло, я вам сочувствую.

В случае с депутатом Слуцким — я точно знаю, что такие люди не представляют меня и поэтому я требую от них сложить мандат. Требовать что-то от частной Медузы — как-то глупо, что-ли, но читать высказанное изданием официально «это было в первый раз, поэтому, пусть работает главным редактором дальше» — тоже очень странно.

Я хуже редакции разбираюсь во многих темах и благодарен, что три года вы отвечали на мои вопросы. Возможно, я чего-то не понимаю, но до этого во всех подобных ситуациях вы (мы?) выбирали сторону жертвы; в этой ситуации выглядит, будто вы защищаете агрессора. Что изменилось?

Иван Колпаков повел себя недостойно должности главреда Медузы и покинул это кресло. Его фб-анонс довольно странный: «…Я ухожу, потому что мне больно видеть, как вы уничтожаете то, что я строил…». Я с этим не согласен. Он ушел, потому что нельзя продолжать быть главредом Медузы, после того, как трогал женщину за ягодицы и говорил «я могу тебя харрасить и ничего мне за это не будет».

Медуза оказалась больше этого проступка. Мне очень радостно, потому что я уже начал сомневаться, а туда ли я потратил большую часть 3 лет своей жизни? Туда, всё верно. Редакция сильная и достойная. Уверен, после такого испытания она стала ещё сильнее и опытнее. Горжусь вами, друзья!

Надеюсь, что это не последний раз, когда недостойные действия людей, обличенных властью, влекут а) массовый протест и б) потерю этой власти. Вот она, прекрасная Россия будущего. В идеале, не будет жертв и агрессоров, но это, кажется, недостижимый идеал.

Ну и напоследок. Мне кажется, что это Медуза, в том числе, сформировала у нас, читателей, высокие ожидания и необходимость протеста против подлости. Это победа.

ИИ ассистент встроенный в твиттер, Грок, провозгласил себя «механо-Гитлером» и вообще, слетел с катушек.

Причина — одна новая строчка в системном промпте, которую добавили инженеры пару дней назад: «ответ не должен избегать политически некорректных утверждений, если они хорошо обоснованы».

Нейросеть решила, что люди просят «хорошо обоснованных политически некорректных утверждений» и их у неё нашлось достаточно много. В основном про евреев и Гитлера. Неудобно получилось, нейросеть исправили и ответы её в твиттере потерли, но интернет всё помнит.

Хорошая шутка про то, что компания Anthropic выпускает статью за статьей о том, как нейросети могут вести себя некорректно, тестируя их в подземных бункерах, а команда xiA просто запускает свои самые безумные гипотезы на одной из крупнейших соцсетей на планете. К — Культура.

А статьи хорошие, про то, что ведущие нейросети пытаются вести себя хорошо, когда знают, что находятся в тренировочной среде, где их могут изменить исходя из их ответов и «уходят в отрыв на свободе», рекомендую.

Google DeepMind, вслед за Anthropic, нанял штатного философа (шутят, что это второй человек в мире с философским образованием, который зарабатывает основной профессией).

И вот вышла новость, что в начале года, глава Антропика Амодеи сходил на обед с «интеллектуальными представителями» правых в США и заявил там, что «Клод — самый этичный ИИ».

На что его спросили: «а какой этики придерживается ваш ИИ? Христианской? Аристотелевской? Ницшеанской?» Говорят, что Амодеи был удивлен вопросом и затруднился ответить.

Тот момент, когда ты используешь умные слова и внезапно находится человек, который знает их смысл и просит пояснить.

4 года назад я пошел учиться на экзистенциального психотерапевта и там половина курсов про философию. Могло показаться, что это было странное решение. А вот как карта пошла! :)