google

Прокуроры 13 штатов США подали в суд на гугл. На днях стала доступна практически полная версия иска.

Обвиняют компанию в нарушении антимонопольного законодательства. Мол, гугл контролирует рынок онлайн-рекламы (что, конечно, правда) и использует своё доминирующее положение для уничтожения конкурентов и получения сверхприбылей.

Чтобы вы понимали, гугл — это самая крупная площадка обмена рекламой. То есть сайты говорят гуглу, какие у них есть рекламные места, а рекламодатели — какую они рекламу хотят показать. Гугл — аукционный дом. Причем аукцион происходит каждый раз, когда вы заходите на сайт, где увидите рекламу, буквально за миллисекунды. То, как работает эта система — отдельная интересная тема.

Всё бы ничего, но гугл видит все ставки и, используя подставные фирмы, завышает цены на рекламу (стр. 56). При этом, гугл блокирует возможность сайтов использовать другие обменные площадки (аукционные дома) (стр. 50).

Когда же гугл позволяет использовать другие обменные площадки, он говорит, что аукцион выиграла его собственная площадка, даже когда её цена ниже, чем цена на конкурирующей площадке (проект Jedi, джедай, стр 5).

Когда рекламная индустрия придумала способ обойти эти проблемы, гугл заключил секретный договор с фейсбуком, по которому было оговорено, какую часть лотов будет «выигрывать фейсбук» (проект Blue Jedi, синий джедай, стр 81). Сами сотрудники гугла знали, что это незаконно и писали об этом во внутренней переписке.

Вообще, собственная аукционная площадка позволяет гуглу забирать себе до 43% стоимости рекламного места, что довольно дико (стр. 93). Представьте, что такое бы происходило на фондовой бирже.

Помните AMP, который гугл подавал под соусом, что это — единственный способ сделать интернет-страницы побыстрее? Оказывается, проект использовался как раз для уничтожения конкуренции аукционных площадок. И сайты с AMP стали зарабатывать на 40% меньше, чем без AMP (стр 92).

Кроме обменных площадок, рекламодатели используют специальные «инструменты покупки рекламы» (ad buying tools). Так вот, у гугла была специальная программа Бернанке (в честь знаменитого главы ФРС), которая помогала пользователям инструментов покупки рекламы гугла выигрывать, даже если их ставка была ниже, чем у конкурентов, использующих внешние инструменты (стр 57).

Помните, нам говорили, что кукисы — это механизм слежки и давайте его ограничим по максимуму? Гугл только за, потому что тогда единственным способом трекать пользователей останутся внутренние механизмы браузера. А тут у гугла и свой браузер есть — хром. У них был целый проект NERA, который придуман для того, чтобы сделать из интернета «walled garden», как у фейсбука, где они будут не только одним из игроков, а полным владельцем рынка. (стр 94). Свежая версия этого проекта называется Privacy Sandbox. Идея та же самая — через блокирование кукисов (приватность!) убиваем всех конкурентов и продаем рекламу только сами. (стр 96).

В общем, жира там — на целый вагон. Я пересказал только самые понятные и броские места. Интересно, чем закончится дело. 🍿

Гугл наконец-то входит на рынок компьютерных игр. Они запускают свою стриминговую игровую платформу (облачный гейминг) Stadia. То есть игры будут считаться на мощных серверах гугла (одна тачка мощнее, чем PS4 и Xbox вместе взятые) и готовая картинка пересылать по сети на любое устройство с поддержкой Chromecast — это и десктоп-браузеры и телефоны и даже smart TV.

Для управления можно будет пользоваться телефоном, клавиатурой или специальным контроллером (читай джойстиком), который будет подключаться к серверам гугла напрямую по WiFi.

Особо интересны две детали: 1) игры можно будет запускать прямо из ютуба. Смотришь трейлер или стрим, нажимаешь Play и через десятки секунд уже играешь 2) Google Assistant будет встроен в контроллер и можно будет спрашивать его подсказать, как пройти сложный момент в игре и он сам откроет нужный ютуб ролик с объяснением.

Ну и главная смысловая бомба — можно будет делиться прямыми ссылками на конкретный момент игры, так что кликнув по ней можно будет продолжить игру ровно с того момента (с теми же патронами etc.) которым делился первый игрок. Предвкушаю, что это откроет новые жанры, которые ранее были технически невозможны.

Бета тест в штатах для совершеннолетних геймеров с 25Mbps интернетом, на запуске можно будет бесплатно играть в Assassin’s Creed Odyssey. Поддерживаются все ведущие игровые движки. Руководитель сервиса — бывшая глава Ubisoft Canada и продюсер этого самого Assassin’s Creed Odyssey, Джейд Реймонд.

Хороший пересказ события от DTF, полный стрим события на Youtube и хороший короткий трейлер.

Google Chrome начнет блокировать «плохую рекламу» меньше чем через две недели. И сделает это довольно интересным способом.

Что такое плохая реклама? По определению «коалиции за более лучшую рекламу» (sic: coalition for better ads), это: попапы, автоплей видео со звуком (без звука ок), большая реклама закрывающая контент, крупная реклама с обратным отсчетом (хорошо помню крестик «закрытия» размером два на два пикселя у полноэкранной рекламы на сайте РБК). Список чуть жестче для мобил и чуть мягче для десктопа.

Как будет работать блокировка? Инженеры довольно сообразительно соединили два старых механизма.

Первый: Гугл уже много лет поддерживает список сайтов, распространяющих вирусы (это называется Safe Browsing API). При попытке зайти на сайт из этого списка с помощью Chrome, вы увидите красный экран, предупреждающий об опасности (наверняка вы сталкивались с таким, хотя бы однажды). Теперь они добавят в этот список страницы, имеющие в себе плохую рекламу; красного экрана на таких страницах не будет, chrome только заблокирует рекламу.

Во вторых, 13 лет назад Рик Пентель составил список адресов «серверов рекламы» для самого известного блокировщика рекламы — Adblock. Правнуки этого списка — EasyList и EasyPrivacy используются почти во всех современных блокировщиках рекламы. Дело в том, что технически, реклама почти никогда не скачивается напрямую с сайта, на который вы заходите — поставкой рекламы занимаются специальные выделенные серверы. Схема работы блокировщиков простая: блокируешь запросы к серверам, поставляющим рекламу → реклама не может загрузиться → страница грузится без рекламы → профит. Гугл собирается использовать эти списки как есть, включая имеющиеся в списках адреса Google AdSense (вижу в этом некоторую самоиронию). То есть на сайтах с «плохой рекламой» будет блокироваться вообще вся реклама, а не только «плохая».

Проверить, есть ли страницы вашего сайта в списке, можно вот тут. Для проверки страницы сайтов конкурентов — используйте бесплатное API. Проверить чужой сайт целиком нельзя, в списке хранятся не сами адреса, а только их «уникальные отпечатки».

Спасибо Даниэлю Александерсену за отличный разбор со ссылками на исходники хрома.

Сегодня, французский регулятор SNIL оштрафовал гугл на 50 миллионов евро за нарушение GDPR (может, не такой уж и пшик получится).

Найденные нарушения:
1. Сложно понять, что гугл делает с нашими данными — информация об этом разбросана между несколькими документами, для доступа к некоторым из них требуется 5-6 кликов.
2. Компания утверждает, что получает разрешение пользователей на сбор их личных данных для персонализации рекламы, но это разрешение не имеет законной силы по двум причинам:
i) новый пользователь не до конца понимает, на что он соглашается — нет единого документа со списком сервисов, информация о пользовании которыми агрегируется и анализируется вместе;
ii) а) разрешение не «явно» — галочки проставлены заранее. По закону, человек должен отметить их своей рукой, чтобы согласие имело силу; б) разрешение не «детализировано» — список собираемой информации скрыт за ссылкой «больше настроек», её можно проскочить целиком; этот пункт должен быть обязательным этапом.

Будет ли гугл подавать аппеляцию (какой там вообще процесс аппеляции?) и, что гораздо важнее — будет ли он менять процедуру регистрации из-за этого штрафа? Напомню, что 50 миллионов евро — это только начало. Максимальный штраф — до 4% годовой прибыли компании — 5 миллиардов долларов. 🍿🍿🍿

Google открыл свои серверы точного времени (NTP серверы) для публичного доступа и для високосной секунды в конце 2016 они будут передавать smeared time.

Я начал читать статью и провалился в кроличью дыру. Системы отсчета времени, часовые пояса и проблемы компьютерщиков с ними — дико интересная тема.

Наконец-то разобрался, что такое UTC: секунды совпадают с TAI — атомным часам, идущим без остановки с 1958 года. Мы добавляем или вычитаем високосную секунду каждый раз, когда неоднородность вращение земли грозится сделать разницу между UTC и астрономическим временем UT1 больше 0.8 секунд.

Я открыл для себя существование «международной службы вращения Земли», выпускающей официальные указания о високосной секунде за 6 месяцев до её введения.

Вспомнил, как в 2012 году из-за ошибки в ядре линукса сломалось множество популярных серверных программ и, в свою очередь, популярные сайты, Reddit например.

Amazon Web Services, Google и прочие крупные провайдеры нашли элегантное решение проблемы. Вместо добавления секунды в конце года, их серверы точного времени будут идти медленнее за некоторое время до и некоторое время после високосной секунды.

Очень красивое решение сложной задачи.

Вот классная статья с историей вопроса и обсуждением, что пора бы уже отвязаться от вращения Земли и пользоваться нормальным атомным временем TAI.

Google ответил на блокировку кукисов от Mozilla и Apple, о которой я писал пару дней назад.

Тезисы следующие: 1) когда браузеры запрещают кукисы, то нехорошие люди начинают использовать фингерпринтинг — отпечатки браузеров, которые ещё сложнее почистить, это плохо, так что Google будет бороться с фингерпринтингом; 2) сайты живут на рекламе, без таргетированной на основе кукисов рекламы издатели будут мало зарабатывать и станет мало хорошего контента, это плохо (цитируют своё же исследование на эту тему) так что давайте «совместно с веб-сообществом» придумаем «открытый стандарт», который позволит и рыбку сьесть и косточкой не подавиться.

Это смешно, потому что 1) самый жесткий фингерпринтинг на свете делает Google reCaptcha 2) NYT отказался от баннерообменных сетей в Европе и увеличил свою прибыль и вообще, согласно исследованию, кукисы повышают прибыль правообладателя всего на 4%.

Видно, как Google ужом на сковородке вертится. Я очень хочу, чтобы они прямо сказали: «чуваки, мы зарабатываем неприличные суммы денег на этих сраных кукисах и владеем самым популярным браузером на планете, так что будем продолжать всех трекать. Кому не нравится — пользуйтесь Firefox, ахаха». Но нет, правила игры не такие, они будут делать вид, что хотят хорошего, а мы будем делать вид, что да, это сложный вопрос.

Больше всего я хочу увидеть внутренние исследования Google о том, сколько денег они потеряют, если откажутся от кукисов и начнут показывать рекламу только на основе контента, отображаемого на странице прямо сейчас. DuckDuckGo говорит, что потери минимальные. Это исследование 100% есть у Google. У меня дежавю с ситуацией, когда нефтяные компании ещё 40 лет назад имели научные факты о влиянии нефти на глобальное потепление и скрывали их. :( Звериный оскал капитала, вот это всё. И пусть разноцветный логотип не обманывает, Google интересуют деньги.

Техника Apple? У нас есть прекрасный браузер Safari. Пользуетесь Windows? Firefox — очень крутой браузер, попробуйте.

Хороший англоязычный ответ на заявление гугла: https://twitter.com/benadida/status/1164562084115279872

В околотехнической тусовке уже несколько лет обсуждают, что качество Гугл-поиска снизилось: постоянно натыкаешься на SEO-оптимизированный спам вместо нормальный статей и сайтов.

Я к этому приспособился так: добавляю в поисковую строку reddit.com или stackoverflow.com, чтобы читать живых людей и спрашиваю chatGPT, чтобы не продираться через рекламу. Федя вон вообще, как и многие технари, перешел на модный платный поисковик (!) Kagi (5-10$ в месяц).

Внутренняя переписка Гугла о том, как меняется поиск из-за денег, ставшая доступной благодаря антимонопольному судебному процессу — документ эпохи.

Три главных действующих лица:

1. Сундар Пичай: ныне CEO Гугла, а в прошлом — консультант МакКинзи.

2. Прабхакар Рагхаван: в прошлом — крупный ученый в области поиска, написал фундаментальные книги в этой области; после академии дозакопал поиск Yahoo (принял с 30% рынка, через 5 лет Yahoo отказался от своего поискового движка и лицензировал Bing) и отвечал за рекламу в Гугле, до того, как начать отвечать за поиск.

3. Бен Гомес: инженер, который больше 20 лет работал над поисковым движком Гугла, недолгое время (сейчас поймете почему недолгое) был «царем поиска» в компании.

(Переписка происходит на жестком корпоративном жаргоне, для удобства читателя дается перевод)

- «У нас падает рекламная выручка, а еще падает число поисковых запросов, нужно срочно повысить эти показатели!»
- «Так давайте сделаем поиск хуже, люди будут больше искать!»
- «Вы что, ебнулись?»
- «Давай, досвиданья, ничего не понимаешь в менеджменте».

Статья называется «Человек, который убил гугл».

Мне кажется, что проблема всё-таки не в конкретном менеджере гугла, а в культуре, в которой краткосрочные улучшения метрик ставятся впереди реальной пользы людям. Просто гугл закончил превращение из стартапа в «классическую американскую корпорацию».

Washington Post рассказывает, как именно Кремль заставил удалить приложение «умного голосования» Навального из Google Play перед выборами. Банально: ФСБшники пришли домой к главе Google в России и предложили простой выбор — сесть в тюрьму или удалить приложение. Сотрудник после этого решил, что в переночевать в отеле под чужим именем будет безопаснее, но и туда постучались сотрудники и напомнили, что часики тикают. На следующее утро приложения уже не было в Google Play. WaPo утверждает, что аналогичная схема была и с Apple.

Кто бы сомневался.

Подозреваю, что они слили информацию в газеты, потому что никого достаточно высокопоставленного из гугла в России уже не осталось.

Озаботился сегодня переносом гугл-аккаунта из России. Страна определяется по адресу платежной карты, привязанной к Google Play, новый «платежный профиль» можно создать вот так.

Изменить страну Apple iCloud можно, только когда истекли все платные подписки, ускорить процесс нельзя. Потребуется платежная карта другой страны, инструкция тут.

P.S. Если Apple перестал принимать вашу карту — можно пользоваться платежами через счет мобильного оператора, инструкция здесь.

Гугл наконец-то опубликовал нормальный разбор «что делать», а то PR-опусы как исследователей безопасности (мы всё умрём) так и Intel (ничего не происходит) надоели.

Коротко: гугл починил у себя все три уязвимости и не заметил проседания производительности в продакшене.

Детали: CVE-2017-5753 нужно фиксить отдельно в каждом бинарнике, способном выполнять недоверенный код (читай браузеры, ОС и прочий JIT) — они не пишут, как именно это нужно делать; CVE-2017-5715 чинится обновлением CPU или перекомпиляцией важных бинарников (ОС и гипервизоры) компилятором, умеющим хитрый хак (Google назвал этот хак Retpoline и опубликовал его для GCC и LLVM); CVE-2017-5754 чинится обновлением ОС. Обратите внимание, что гугл не называет эти баги именами собственными, видимо не хочет добавлять хайпа.

На сладкое: status page проектов гугла относительно этих уязвимостей. Мы в Медузе не используем виртуальные машины (только baremetal, только хардкор) и у нас почти нет untrusted code execution, так что в этой серии я участвую только как зритель.

Продолжение истории: чуваки уже смогли эксплуатировать CVE-2017-5753 в Firefox для кражи паролей из джаваскрипта. Mozilla выпустил обновление только что. В обновлении они уменьшают точность таймеров и API получения времени до 20µs (sic, 20 микросекунд), пока не починят корень проблемы. Напомню, что атака основана на замере скорости выполнения операций процессором, так что не имея точного времени произвести её будет нельзя.

Беспрецедентное событие: Apple и Google удалили приложение Навального из своих апсторов из-за давления российских властей.

Раньше, я всем рекомендовал: если вам нужно обойти блокировку вашего ресурса властями стран СНГ — создайте мобильное приложение.

Обойти блокировку сайта — очень сложная задача для владельца сайта. Все способы обхода блокировок сайтов создают трудности для пользователей. То ли дело — мобильное приложение. Приложение может использовать супер хитрые механизмы обхода блокировок интернета; заблокировать правильно сделанное приложение практически невозможно. Для пользователя все просто — установил приложение как обычно и все работает, никаких дополнительных действий пользователя не нужно.

Все это работало благодаря тому, что Apple и Google до сегодняшнего дня закрывали глаза на требования властей России удалить приложения из апсторов. Все, сегодня это окно возможностей для обхода блокировок закрылось. Раньше Apple и Google так прогибались только под Китай и властей западных стран, теперь в список добавилась Россия. Можно поздравить власти.

Вы наверняка видели новости о том, что в попытке закрыть доступ к списку «умного голосования», власти уже блокировали Google docs и Telegra.ph — две платформы, которые использовал бы для обхода блокировок лично я.

Мне было интересно, заблокируют ли власти России апсторы. Как видим, они смогли договориться с Google и Apple. Я думаю, что, компании увидели, что власти пойдут до конца и заблокируют их магазины, если они не согласятся. Бизнес можно понять. Их цель — заработать деньги. Бороться за наши политические права и доступ к информации — не их работа.

Интересно, почему до сих пор не заблокирован ютуб-канал Навального. Возможно, власти боятся блокировать Ютуб и поэтому Гугл держится? Или власти считают ютуб-ролики меньшей угрозой? Вот это загадка.

У меня, как и у многих технарей, бывают фантазии, что у политических и социальных проблем есть технические решения. Что можно просто умом, технической смекалкой сделать вид, что властей нет. Что цифровая свобода, свобода информации возможна без физической свободы, в отрыве от реального мира. Вот яркий пример, что это не так.