现在正在 google IO 现场。可能是因为 IO 的原因，坐 shuttle bus 过来的路上堵了，迟到了十几分钟，所以前面有关 AR 和 google len 的部分没听到。现在现场大概是这样:


~以下是边听边写

今年 googleIO 的主题大概是 building a helpful google for everyone。之后各种主题，各种产品最后都会归结到 helpful 上面来，helpful products，helpful home，helpful device，等等。其实这是个很有意思的变化，当一家科技公司不再说自己多牛逼，多想去征服星辰大海，而是将关怀用户作为自己的使命时，我们会觉得这家科技公司更加谦逊接地气了。

从 assistant 说起吧。Speaker 提到了这一代的assistant 是个性化的，"picks for u". 他在现场演示了一个例子，开车去 mom's home，然后assistant 从通讯录找到了对应的地址，分析路况评估用时，并且给他定了个提醒。整体上来说，好多现在的智能语音助手都能做到类似的功能，不过用这么随意的语气，这么实时地得到反馈的，倒真的很让人耳目一新。(而且最关键的，整个对话是相当流畅的，终于不用加唤醒词了——想想每说一句话都要加上 "hi siri" 或者"小爱同学"真的是件又低效又让人觉得很蠢的事儿。)尤其是他还提到了很多功能在 offline 的时候也能用，那看起来 google 在端上的 machine learning 技术又有了很大进步。当然，这里没提多语言支持，只说随今年的 pixel 手机发布，中国用户能不能用上还是个问题。

Assistant 后劈柴上来介绍了所谓的 federated learning:

听下来感觉是 google 的各种服务和组件中都广泛应用机器学习技术，并且各种服务和各用户之间的数据会在一定程度上协同。举例如 maps，gboards，等等。还包括使用 machine learning 技术帮助聋哑人……所谓的 building a helpful google for everyone……

接下来是一位美女高管介绍 andriod 生态(Speaker 的名字我一个也听不清记不住)，先上来就介绍了 android 设备总体已经达到了 2.5 Billion，然后提到一些关键词，折叠屏，5g，on device learning，等等。后面花了好几分钟来介绍在 privacy 和 security 上的进展，这应该是最近 facebook 被搞得灰头土脸之后，所有科技公司都必须要面对的问题。再接下来就是一些产品改进，focus mode，parental control，app specific time control，等等，并没感觉这部分体验有什么特殊的，好像这些玩意在中国手机上算是标配了吧？

再接下来是 google 在硬件上的进展。先是发布了一款小度小度类似的语音助手硬件，google nest hub max.

有前/后 camera，microphones，faceID 解锁及对应的权限控制，10 英寸大屏，内置了 smart scheduler，google photos，youtube TV 之类的各种谷歌全家桶服务。作为 federated learning 的一部分，内置了各种黑科技，例如手势控制等。这里有一张 nest 全家桶实物照：

最左边是 pixel 3a 手机，然后是 nest hub max，一个智能门铃，一个智能密码锁。最后重磅发布价格: 229/129刀(这里听错了，hub max 229刀，原来的 nest hub 定价129刀)。

再接下来的硬件是 pixel 3a，399 刀起。有三种配色，摄像头硬件 & AI 加持，还免不了要把友商拉出来吊打一下:

(雷总:跑个 dxoMark 分试试？

然后接着黑友商，说某些手机升级后变慢，但我们不会。接着公布，当天开始就可以购买 pixel 3a，当然某些地方是买不了的：

再接下来就是 jeff dean 介绍 google 在 AI 方面的进展。也许是因为曲高和寡，这部分得到的掌声和欢呼要比前面几位介绍消费产品时候要少。jeff 主要口水了一下 google 近期提出的一些比较惊艳的技术，例如 transformer，BERT，tensorflow 等。接下来就是介绍一些ai改变世界的例子，智慧医疗，环境治理，之类之类的。讲到这儿掌声倒是热烈些...当然掌声最热烈的应该还是宣布 lunch time 的时候了。

午饭后是 developer keynotes。第一个出场的是android，提到了 privacy features，kotlin和android jetpack，还拿 kotlin 和 java 进行了一个对比，收获了一些掌声和笑声。最后还发布了新的 android studio，说修复了一堆 blabla 的问题：

我对 android 开发一窍不通，接下来发布的的 app bundle，in app updates 之类的就听不懂了。

第二个出场的是 google assistant。主要讲的是，content creater 可以为 assistant 提供更加结构化的内容结果(有点像 onebox 搜索的升级版？)，然后 app 开发者可以向 google assistant 接入各种 app actions。

接下来是 chrome。听了半天只注意到了 image lazy loading 技术，在 chrome 中进行图片懒加载只需要一行代码。再下来提到了 web.dev 和 linux chromebooks。

最后压轴的当然还是 google AI。开箱即用的工具包 MLkit 可以为 59 种语言提供 on device translation；google cloud 则提供了各种与AI的integration，包括 clound autoML 和 cloud TPU，而 tensorflow 则发布了更易用的 tensorflow 2.0 和 on-device 的 tensorflow lite。一位小哥上来演示了 tensorflow lite 在手机上做 body segmentation 的应用：


最后的环节发布了 flutter，不过是 technical preview 版：

developer keynote 结束后，从当地时间2点开始就是各种 session 了。每年都会搞很多个 topics，用地图画出来密密麻麻的：

因为我自己的工作，可能会重点听一听 AI 相关的 session，而 game，andriod，web，design相关的大概率是去不成。在听 AI 相关的 session 时有什么好玩的，可能会在专栏里写一写。

=== 更新一下 GoogleIO 上有关 AI 的消息

在别的答案里有的答主也提到了，以往 GoogleIO 的明星是 Android，今年则是 AI 技术。从 Google Assistant 到 Nest Hub Max，再到 Android 里的各种功能，能引起惊叹的无一不是和 AI 相关的。除了在 Google Keynote 及 Developer Keynote 上提到的各种 AI 进展之外，这次 GoogleIO 还安排了多个 Session 来向参会者介绍 Google 在 AI 上的相关进展。

首先是当地时间 5 月 7 号下午，在 shoreline 的环形剧场，也就是 IO 的主会场，Google 发布了 TensorFlow 2.0 Alpha 版本。相比之前的版本，TensorFlow 2.0 版本主要的变化包括：

  • 将 Eager Execution 作为 TensorFlow 的默认执行模式；
  • 移除了部分重复、过时的 api，让 TensorFlow 对开发者更加友好；
  • 将 tf.keras 作为官方推荐的 high-level API；

当然，2.0a 版本也提供了对 1.x 版本的兼容性。

由于这些消息实际上在半年前就开始陆陆续续露出了，2.0a 的发布会并没有引起太大的波澜，现场甚至不少听到一半就起身离开的。

而 5 月 8 日上午的一个 session（TensorFlow Extended and Model Understanding） 上面，Google 的技术人员介绍了 TensorFlow Extended（TFX）的一些信息。巧得很，我刚在前一天晚上和 Google 的一些朋友吃饭的时候了解到，他们一直在使用 TFX 进行机器学习 pipeline 的设计和维护，而过去其实 TFX 大部分以零散的 runtime library 的方式存在，实际上并不是特别好用。而这次 TFX 作为 TensorFlow 的一套组件正式开源，相信会给 TF Model 的训练、部署、更新等生产环境下的工作带来一些效率提升。现场演示了一个利用 TensorFlow 中 DataValidation、Model Analysis 等功能来分析模型工作情况的一个小 Demo。作为使用者，我觉得，TFX 不是 TensorFlow 的核心功能，但确实是一件非常提高开发者效率的事情（想一想，平常的工作里你花了多少时间来分析自己的模型为什么不 work，又花了多少时间写烂到爆的部署代码？），对 TF 上的开发者来说，无疑是件好事。By the way，TFX 目前已经在 github 开源：https://www.tensorflow.org/tfx

5 月 8 日下午有 Jeff Dean 大神的 Session。预留票在 schedule 上早就订不到了，我提前半个小时到 stage 的门口，发现一大票人在加州的大太阳下晒着……果然大神就是大神。 Jeff Dean 大概讲了 40 多分钟，讲的是 Google 如何应用深度学习技术来解决 challenging problems。开头仍然是自吹的几个例子，Waymo 的无人驾驶，Google 开发的可以完成抓木块、倒水等功能的机械臂，以及将图像识别应用于医疗诊断领域的一个例子。然后 Jeff Dean 提到了 Google 现在在做的一些探索：

  • Single Large Model，sparsely activited。大意是构建一个超大型的 model，来解决尽可能多的问题；对于新增的问题，只需要找到并学习出可以解决该问题的 Pathway 即可。在我看来这可能是期望使用一个非常大的 model 来从各方面模拟大脑的迁移学习功能，同时通过 Sparse Activation 来降低计算复杂度。这里 Jeff 提到了他们的 MoE（Mixture of Experts）方法，而是我们团队刚刚参考他们的这个论文解决了一个多目标学习的问题……也是非常巧合了。
  • AutoML；利用机器学习方式自动搜索可以使用的网络。这个工作 Google 一直在做，并且前段时间开放了 CloudAutoML；
  • 算力问题。Google 解决这个问题的方法是自己造硬件。TPU 已经到了第三代，TPU Pods 也到了第三代（现在公开出来可用的应该还是 v2 版本。）Jeff 在这里放了一张图，对比了 TPU Pods v2 对 nvidia v100 的比较：

然后 Jeff 展望了一下未来，说 Deep Neural Network 和 ML 技术会深度影响科学和人类的未来……其实从 2016 年 Google 的战略从 Mobile First 转向 AI First 之后，这是迟早的事情；而从 MoE 及 AutoML 的进展来看，好像 Google 的大神炼丹师们正在磨砍向渣渣炼丹师们的刀，现在的所谓‘’AI 工程师‘’似乎要准备一下如何过冬了……

————当地时间 5 月 9 日，继续更

5 月 8 日下午有一场 session，题目是 Local Technologies for the Smart Home，本来以为是讲 google assistant 里用到的 on device learning 或者所谓的 federated learning 之类的技术，就去听了。听了几分钟才发现原来说的是 google assistant 会升级一个 Local SDK，让大部分智慧家居的控制功能都在 Local network 中实现，但具体技术细节没讲。在这个 session 上，看出 google 在 andriod 之外，仍试图使用 chromeOS 来抢占非移动场景下的系统份额，提供的大部分 API 都是基于 TypeScript/JavaScript 优先。然后 session 中提到，google 会将智能家居的所有应用——例如，之前要控制灯泡需要用 GE 的 app，控制空调则要用 Midea 的 app ——都整合到一个 app 中。不得不说这个可能是 copy from china 了，我看到的第一反应就是，这难道不是米家么？

5 月 9 日上午，则是本届图灵奖得主、深度学习祖师爷 Goffery Hinton 的 Fireside talk。照例现场人山人海，但讲的倒没有昨天 Jeff Dean 那么干货，大概就是追忆一下自己学术研究中的心路历程，展望一下明天吧。给我印象深刻的是 Hinton 对 nueral network 的未来极其乐观，其中主持人抛了一个问题：你觉得你对神经网络实现我们大脑的所有功能有信心吗？Hinton 回答，他有 99.9% 的信心。然后主持人问，那剩余的 .1 是关于什么？Hinton 开玩笑说，about the possibility that we are in a big simulation。Hinton 大神最近的具体技术产出不多，可能都在思考这些哲学问题憋大招吧。

5 月 9 日下午的 session 基本就没什么了，最后一天会在当地时间下午 4 点半结束。总体感觉，本届 GoogleIO 有两个鲜明的特点：

- AI 技术挑大梁。无疑目前为止，Google 仍然是所有科技公司中，在 AI 方面积累最深厚，也是最有野心的。在生态上，软件硬件通吃，还搞出了一大堆惊艳的业务，同时也同全世界的 AI开发者都建立了紧密的联系。将来 AI 时代真的到来，Google 的市值远不止一万亿。

- 业务凸现用户价值。虽然处处强调 AI，但绝不是空谈技术多么高大上，而是处处展示 AI 应用于各种用户场景，对我们的生活是多么「helpful」。当然这也表明 Google 对自己的技术是多么自信，要知道在突破某个阈值之前，贸然发布 AI 半成品，不是智能而是智障，带给用户的也不是价值而是困扰。从现场的demo上，我相信 Google 仍然是目前最有底气说，可以使用科技让我们的生活变得很美好的公司。