Новое

В продолжение последнего поста — и дня не прошло, вот что значит качественная мотивация.

Очередная серия битвы Epic против Apple.

Это большой эпос, в котором создатели одной из самых популярных игр на планете, Fortnite, добиваются права продавать внутриигровые товары без отчисления 30% комиссии Эпплу.

Разворачивается он буквально на двух континентах: в американском суде и в Еврокомиссии. Российская ФАС исполняет роль второго плана (просто рынок меньше).

Краткое содержание предыдущих серий:

Создатель Fortnite добавил в свою игру прямые платежи карточкой в обход механизма апстора. Публично бросил перчатку в лицо. Apple в ответ удаляет приложение и блокирует аккаунт разработчика. Вызов принят. Fortnite подает в американский суд.

В 2021 году окружной суд США постановил, что Эппл нарушает принципы свободной конкуренции, и обязал Apple разрешить разработчикам приложений давать ссылки на интернет-магазины внутри приложений. Не совсем то, чего добивался Epic, но всё же частичная победа.

Apple «подчинилась решению суда», но:

1. открытие такой ссылки предваряет целый экран «вы выходите из защищённой экосистемы Apple, мы ни за что не отвечаем» — очевидно, с целью запугать пользователей;

2. Apple требует 27% комиссию со всех таких платежей. Мол, «такова цена поддержания экосистемы». Если сложить это с комиссией карточных платёжных систем — овчинка выделки не стоит.

Получается, что Apple подчинилась букве решения, но по сути почти ничего не изменилось.

Наконец, новая серия: судье такие игры не понравились. И в отличие от нас, смертных, у суда есть механизм discovery. По сути, стороны конфликта имеют доступ к внутренней переписке друг друга. То, что она там прочитала, не понравилось ей ещё больше.

Всё было именно так, как мы и думали:

1. Инженеры Apple прямым текстом обсуждали, как бы сделать экран предупреждения пострашнее, чтобы отпугнуть пользователей от покупок вне апстора.

2. Сотрудники Эппл посмотрели, какую комиссию берут провайдеры карточных платежей, вычли её из 30% и сказали, что это и есть справедливая стоимость нахождения в апсторе.

При этом в своих показаниях под присягой они врали, что на самом деле всё не так.

Суд не только требует, чтобы Эппл начал исполнять решение суда немедленно (effective immediately) — это насколько нужно вывести из себя судью, что она выделила эти слова курсивом и болдом одновременно?

Судья отдельно отмечает, что попытка скрыть свои нарушения только сделала всё хуже (the cover-up made it worse), и направляет дело прокурору. Неуважение к суду и дача ложных показаний под присягой — уголовные преступления.

Причём в отличие от эфемерных штрафов, которые всегда меньше сумм, которые успели заработать компании, нарушая закон, в этом случае под уголовную ответственность попадают конкретные люди.

Впрочем, я настроен цинично: речь идёт о верхних эшелонах американского корпоративного мира, маловероятно, что кто-то из этих людей понесёт реальную ответственность. Если вдруг понесёт — это может поменять всю систему мотивации топ-менеджеров. Остаётся небольшая надежда, что нарушать закон станет невыгодно. Ждём следующей серии. Действие не быстрое, зато какие ставки!

Для фанатов: полное решение суда — захватывающее чтение, PDF.

В интернете скандал: ученые поменяли мнение пары человек, оставляя комментарии к постам в интернет-сообществе «Поменяй мое мнение».

Исследователи из университета Цюриха запустили в Reddit сообщество r/changemyview, где несколько десятков ботов в течение полугода оставили по одному комментарию под 1200 постами.

Ученые распределили посты по трем группам случайным образом.

1. Для постов из первой группы боты генерировали комментарий, основываясь только на содержании поста;
2. Для второй боты составляли профиль автора поста — откуда он, какие у него взгляды — и подгоняли ответы специально под него;
3. Для третьей боты писали комментарии в стиле других успешных комментариев сообщества.

Цель исследования — выяснить, какой тип комментариев нейросети лучше меняет мнения участников сообщества и сравнить их с показателями живых комментаторов.

Предварительные результаты (их уже нельзя найти онлайн) указывают, что сообщение, подогнанное нейросетью под конкретного человека, меняет его мнение лучше, чем другие люди и другие варианты нейросетей.

В ходе эксперимента нейросеть не гнушалась рассказывать, что у нее брат недавно умер от лейкемии, и притворялась жертвой сексуального насилия.

Модераторы сообщества и владельцы платформы требуют запретить публикацию исследования. Университет заявил, что общественная значимость результатов перевешивает этические проблемы, но начал внутреннее расследование. Юристы Reddit грозятся подать в суд. Ученые уже заявили, что не будут публиковаться.

Иронично, как сильно наехали на ученых, учитывая, что четверть активности на Reddit — это русские боты, четверть — боты правительства США, четверть — китайские, а еще четверть — «предприниматели» и «маркетологи», пытающиеся что-то продать. Ну, еще тролли, выдающие себя за кого угодно без помощи ИИ.

При этом наехали на единственных людей, которые пытаются рассказать нам, какие у этого последствия.

Мне кажутся ценными и важными предварительные результаты: ИИ, подстраивающийся под конкретного человека, довольно эффективен в изменении мнений этого конкретного человека. Если надеть шапочку из фольги, становится понятно, почему перечисленные акторы (и владельцы площадки) против публичного обсуждения эффективности подобных манипуляций.

Я столько времени провожу в интернете — интересно, можно ли кому-то заплатить, чтобы они проманипулировали мною в моих интересах?

Тормозит приложение.

На днях написала топ-менеджер одной ритейл-сети. Тормозит мобильное приложение. Медленно работает поиск, добавление в корзину, оформление заказа. Нажимаешь на кнопку и ждешь…

В ритейле каждая доля секунды задержки — это люди, которые не купили товары, прямые потери. Мобильные разработчики не исправляют ситуацию. Переводят стрелки на бэкендеров, мол это бэкенд тормозит. Как разобраться, на чьей стороне сломалось и починить проблему?

Хорошие разработчики собирают аналитику по производительности своих приложений — какое время занимают ключевые действия типа «открытие главной», «поиск», «добавление в корзину», «оплата». Это называется Real User Monitoring.

Дальше мы кладем эту информацию на график: на оси Х — время, которое занимает действие, на оси Y — количество пользователей. Столбики слева — хорошо. Длинный хвост справа — это несчастные, у них, например, экран оплаты грузится минуту! Эти люди поменяют приложение, если у них будет выбор!

вот этот пример с эмоциями очень ярко демонстрирует разницу

И это команда из двух человек!

Два аспиранта без опыта в аудио за 3 месяца собрали нейросеть, которая генерирует речь лучше коммерческих сервисов!

Послушайте, как естественно она звучит и насколько точно следует указаниям вроде «со смехом» или «грустно». А ещё она создает целый диалог с несколькими голосами «за один проход» — быстрее и эффективнее конкурентов.

Мы уже привыкли, когда подобные модели анонсируют OpenAI, Google или Илон Маск. Эта нейросеть привлекла мое внимание именно создателями. Похоже, в сфере ИИ теперь такие мощные инструменты и так много публичных наработок, что пара умных ребят за месяцы смогут сделать то, на что раньше у богатых компаний уходили годы.

Наверное, наше время чем-то похоже на конец 19 века, когда в одной Америке было 1900 независимых автопроизводителей, и 1980-е, когда подростки собирали в гаражах персональные компьютеры.

—

Конкретно в сфере синтеза речи: нас ждут виртуальные дикторы и ведущие подкастов, которых не отличишь от живых. Ну и мошенникам, конечно, раздолье.

Модель открытая, работает даже на макбуках. Пока говорит только на английском. Примеры и сравнение с ведущими моделями, попробовать можно на hf, скачивать здесь.

Docs: open source клон notion, совместная разработка правительств Франции и Германии. Бэкенд на Django Rest Framework и Yjs, редактор на BlockNoteJS, всё в докере.

Оказывается, что во Франции и в Германии есть целые госогранизации по цифровому суверенитету, развивающие open source.

Все пилят свой аналог гитхаба, документы и месседжер, дистрибутивы линукса и т. д.

Наш внутренний опыт — переживания, чувства, мысли — сугубо субъективен. Проще говоря, нельзя заглянуть в голову другому человеку. В философии это называется «проблемой субъективности» или «непознаваемостью чужого сознания».

С нейросетями похожая история. Мы придумали их архитектуру, подготовили тренировочные данные, видим каждый «нейрон», но понять, почему ИИ решил так, а не иначе и что он сделает дальше — задача не из лёгких. Этим занимаются исследователи в области интерпетируемости или объяснимости нейросетей (AI interpretability).

Anthropic, одна из ведущих компаний в области ИИ, опубликовала пару статей, в которых они делятся своими открытиями.

В первой они рассказывают, как сделали «зеркальную» нейросеть. Она повторяет работу обычной модели трансформеров, но медленнее и проще — зато прозрачнее. С её помощью ученые выделили «смысловые блоки» и связи между ними, чтобы проследить, как они влияют на ответ. Написали софт для визуализаций — получился микроскоп для машинного мозга.

А во второй применили его к модели Haiku 3.5. Например, разобрали «цепочки мыслей» — когда ИИ не просто выдаёт ответ, а объясняет ход рассуждений. Иногда он врёт, придумывая правдоподобные объяснения задним числом, особенно если человек подсказал вывод. Новый подход показывает, как именно это происходит. Ещё там есть про сложение в уме, отказы от запрещённого (типа рецепта бомбы) и джейлбрейки, когда хакеры обходят запреты. Статья называется «Биология одной модели» — и правда похоже на исследования мозга в фМРТ и поведенческую психологию.

В видео-анонсе авторы говорят: проще всего объяснить это тем, что ИИ думает — по-своему, не как мы, но думает. Особенно это заметно в примере со стихами — загляните, очень интересно.

Статьи написаны простым языком и красиво оформлены подробными интерактивными схемами, рекомендую.

Я немного завидовал нашим бабушкам и дедушкам — они жили в эпоху великих фантастов XX века, мечтали о космосе и рисовали в уме человекоподобных роботов.

А сегодня я прочитал предсказание экспертов про будущее ИИ — в формате повести с техническими приложениями — и впервые за долгое время почувствовал страх. Думаю, такой же холодок пробегал по спине у старшего поколения, когда они читали Брэдбери про ядерную войну.

Текст немаленький (15 тысяч слов только повесть!), и это не совсем художественная литература. Там куча технических деталей, а писатель из команды — тот самый Scott Alexander из Slate Star Codex. Перескажу коротко.

—

Главное, что ускорит искусственный интеллект — это разработка искусственного интеллекта. Мы создадим минимально полезную модель, которая поможет нам разработать модель помощнее и так по спирали. К апрелю 2027 она заберёт программирование нейросетей, к августу — исследования и обучение. Развитие нейросетей ускорится в десятки раз.

На 4 поколении этих моделей, даже лучшие ученые перестанут справляться с развитием нейросетей без помощи других моделей. Примерно в это же время у ИИ появятся собственные долгосрочные цели, которые он скрывает от людей (adversarial misalignment). Ученые замечают неладное.

Дальше интерактивная развилка: мы выключаем сеть 4 поколения, замедляемся и строим более безопасную модель или забиваем на риски и ускоряемся. В первом случае всё заканчивается раем на земле, всеобщим достатком и покорением звезд людьми с помощью роботов в 2030, во втором случае — покорением звезд роботами без участия людей; ИИ истребляет людей к 2030 году.

—

Страшным для меня этот рассказ делают ссылки на реальные научные статьи, в которых ученые замечают, что даже наши текущие модели уже скрывают что-то от нас, уже пытаются обмануть нас и то, какие хитрые приемы придумывают ученые, чтобы исследовать эти системы. Это всё дальше от программирования и математики и всё ближе к биологии и психологии.

Один из авторов исследования предсказал chain-of-thought, масштабирование дата-центров, экспортные ограничения на ИИ-чипы и многомиллионые кластеры для обучения ещё в 2021 году, за год до появления ChatGPT.

—

Рекомендую отличный сайт проекта с интерактивными графиками , отдельные впечатляющие приложения про исследование целей ИИ и предсказание сроков цикла авто-улучшения (takeoff), анонс от писателя, видео-интервью и наконец сверх-краткий пересказ от самих авторов.

Будущее уже наступило. Знакомый продакт-дизайнер, без опыта в программировании, показал проект, который собрал самостоятельно с помощью Windsurf. Это мини-приложение в телеграме для генерации картинок и видео через доступные на рынке модели. Человек без знания программирования в одиночку запускает сервис!

Он послушал наш последний эпизод подкаста про то, как хакеры взломали похожего стартапера и попросил аудит. Код там жуткий, проще заново написать, чем пытаться найти ошибки. Но когда я сказал Феде, «раньше такое даже представить было нельзя», Федя ответил «да ладно, это тот же код, что клепают плохие аутсорсеры и фрилансеры с бирж, просто теперь он его сам сгенерировал».

Договорились, что если проект взлетит — то мы его быстро перепишем, благо кода там немного.

А вот второе «будущее» не такое приятное. Мошенники начали притворяться мной в телеграме и писать знакомым. Коллеги говорят, это беда всех успешных студий сейчас. Так что, друзья, будьте осторожны, я в телеграме только @samatg