02/19/2023: Pivot

February 18, 2023

本周的主题是 Pivot 转折。

我们正在经历的，可能是多种力量共同加持之下的一次重大转折。技术周期、债务周期和政治周期好巧不巧的叠加到了一起，甚至于让人失去了分析理解的主视角。这种感觉非常实在，我最近经常不知道自己到底应该读一些什么才能缓解这种失焦的迷茫感。

无论选择哪一个角度，总会碰到一个共同的问题：权力的重新分配会走向何处？更进一步，则要问我是不是失去的那一方。在反复盘算和推演中，或许能得到自我安慰的结果，但这可能不是最终答案，转折的力度和速度都可能比预想来得更重大、更迅速，打破预设的平衡，导致意想不到的后果。

Essays

If You’re Not First, You’re Last: How AI Becomes Mission Critical by TJ Nahigian & Luci Fonseca

早期风险投资基金 Base10 发表了一篇对 Generative AI 的分析。文章认为：

We actually expect the “trough of disillusionment” to be shallower than usual, which means the plateau of productivity is quickly approaching for AI and generative AI, in particular; we expect improvements to be exponential and power a transformative platform shift, reinventing the way Elaine and so many like her work.

实际上，我们预计「幻灭的低谷」会比平时更浅，这意味着人工智能和生成性人工智能的生产力高原正在迅速接近；我们预计改进将是指数级的，并为变革性的平台转变提供动力，重新塑造伊莱恩和许多像她一样的人的工作方式。

这里提到的「幻灭的低谷」来自于 [[Gartner Hype Cycles]]。在 Gartner 的官方网站上这样解释：

Trough of Disillusionment: Interest wanes as experiments and implementations fail to deliver. Producers of the technology shake out or fail. Investments continue only if the surviving providers improve their products to the satisfaction of early adopters.

幻灭的低谷：随着实验和实施的失败，人们的兴趣减退。技术的生产者摇身一变，或者失败。只有当幸存的供应商改进他们的产品，使早期采用者满意时，投资才会继续。

Gartner 发布的 AI Hype Cycle 2022 年版如下：

![[Hype Cycle for Artificial Intelligence 2022.png]]

这是一个乐观但也比较实用主义的估计。一方面认为技术尚有未经验证的地方，但另一方面也认为人们走出低谷的速度会比较快，最终达到价值创造的稳定状态。

Base10 认为，在应用层上，有两类基础商业模式：

1. Prompt Engines：产品化一类特定的 prompt 并将其包装为用户体验，举例是 Jasper 和 Copy.ai。
2. Data Pipelines：利用已有的数据集，通过生成式算法，产生有价值的结果，举例是 SecureFrame。

在这一层上，防御性（defensibility）出现在以下几个方面：

1. 社区与品牌
2. 用户教育和用户界面
3. 专有数据
4. 垂直化和工作流
5. 个性化

在基础模型层上，Base10 认为这是一个赢家通吃的市场，2-3 个规模大的玩家将占据 65-70% 的市场。OpenAI、Stability AI 和 Hugging Face 已经显示出强大的早期发展优势。

ChatGPT 的经济账 by Sunyan

本文从成本分析角度入手，对大语言模型未来的经济可行性做出判断。摘要如下：

• LLM 驱动的搜索已经在经济上可行：粗略估计，在现有搜索成本结构的基础上，高性能 LLM 驱动搜索的成本约占当下预估广告收入/查询的 15%。
• 但经济可行并不意味着经济合理：LLM 驱动搜索的单位经济性是有利可图的，但对于拥有超 1000 亿美元搜索收入的现有搜索引擎来说，添加此功能可能意味着超 100 亿美元的额外成本。
• 其他新兴的LLM驱动业务利润很高：比如 Jasper.ai 使用 LLM 生成文案，很可能有 SaaS 服务那样的毛利率（超 75%）。
• 对于大公司而言，训练 LLM（即使是从头开始）的成本并不高：如今，在公有云中训练 GPT-3 仅需花费约 140 万美元，即使是像 PaLM 这样最先进的模型也只需花费约 1120 万美元。
• LLM 的成本可能会显著下降：自 GPT-3 发布的两年半时间里，与 GPT-3 性能相当的模型的训练和推理成本下降了约 80%。
• 数据是 LLM 性能的新瓶颈：与增加高质量训练数据集的大小相比，增加模型参数的数量能获得的边际收益越来越小。

相关阅读：The Inference Cost Of Search Disruption – Large Language Model Cost Analysis (semianalysis.com)

Tyler Cowen on AI and China by Tyler Cowen and Jordan Schneider

这是 ChinaTalk 播客的主持人 Jordan Schneider 与经济学家 Tyler Cowen 的对谈，包含两个主题 AI 和中国。这里仅关注第一个。

Cowen 认为 AI 技术的广泛采用可能会进一步加大两极分化，特别是在较为贫穷的国家，AI 会把大部分智力性的工作都完成，从而限制这些国家的人才成长路径。并认为，写作将成为富人的专利。

In many much poorer countries, I would suspect they'll have free or near free access, and a lot of ordinary intellectual work will be done by the AIs. In an infant-industry argument sort of way, maybe that will limit their ability to produce homegrown intellectuals.

在许多更贫穷的国家，我怀疑他们会有免费或接近免费的访问，许多普通的智力工作将由人工智能完成。从幼稚产业的角度来看，也许这将限制他们培养本土知识分子的能力。

The idea that you get your start by doing four years of journalism and then you write a column, and then you're writing books is a very typical path, especially in poorer countries. That might be harder to do. Maybe there'll be fewer opportunities. Writing will be more the province of the wealthy.

你通过做四年的新闻工作起步，然后写专栏，然后写书，这种想法是非常典型的路径，尤其是在较贫穷的国家。这可能更难做到。也许机会会更少。写作将更多是富人的专利。

在对谈中，Cowen 还提到了 Peter Thiel 更早时候的一个论断：加密货币是自由主义的，人工智能是共产主义的。Cowen 不认同这个论断，他认为 AI 技术正在更快的扩散和民主化，尽管计算能力和模型训练仅仅在少数实体手中，但其应用更加广泛，而加密货币则仍然在庞氏骗局的丑闻中挣扎。

How should AI systems behave, and who should decide? by OpenAI

OpenAI 本周发布了他们对如何处理 AI 系统可能产生的偏见问题的看法，并分享了其内部的相关实践。

OpenAI 在 fine-tune 环节引入了人类审核员（reviewers），OpenAI 团队会提供审核指南，审核员需要根据这份指南来提供对模型输出结果的反馈，模型根据这些反馈进一步学习。OpenAI 分享了一部分审核指南的样本。能够看到，这份指南并不详细，需要审核员自行做出价值判断。

OpenAI 还认为，未来的 AI 系统需要三个组成部分：

1. Improve default behavior. We want as many users as possible to find our AI systems useful to them “out of the box” and to feel that our technology understands and respects their values. 提升基础体验，开盒即用。
2. Define your AI’s values, within broad bounds. We believe that AI should be a useful tool for individual people, and thus customizable by each user up to limits defined by society. Therefore, we are developing an upgrade to ChatGPT to allow users to easily customize its behavior. 定义宽泛的价值观，并可接受用户的定制。
3. Public input on defaults and hard bounds. One way to avoid undue concentration of power is to give people who use or are affected by systems like ChatGPT the ability to influence those systems’ rules. 允许公众向系统提供反馈，以消除偏见。

When Giants Fail by Larissa MacFarquhar

本文发表在 The New Yorker 上，是一篇关于 Clayton Christensen 的「颠覆式创新」理论的长文。相信很多读者都读过他的著作，这里不做展开。

把 Christensen 带上神坛的是彼时 Intel 的 CEO Andy Grove。Grove 在「创新者的窘境」一书出版之前就把 Christensen 请到了公司问道，而 Christensen 则用钢铁业的案例向 Grove 介绍了他的理论。Grove 大受启发，推出了「赛扬」芯片，一年之内，拿下了 35% 的低端电脑市场。

而后，「创新者的窘境」出版，受到包括 Michael Bloomberg 等诸多 CEO 的青睐。文中认为，Christensen 抓住了一个好时机，彼时正是互联网第一次的 dotcom 浪潮最狂热的时候，几乎所有的 CEO 都在担忧自己的生意是不是会被颠覆。而 Christensen 正好用生动形象的故事，提出了一个看似反直觉的解释。

Shortform

@turingou:

我认为，NLP 大模型（例如 GPT ）的应用层 App 最重要的设计要点之一是帮助用户以合适的方式提出问题。

ChatGPT 用一个对话框作为初代 UI，对于有主动思考能力的人来讲，自然是最好的。但对于更广泛的用户来说，提问是一件痛苦的事情。

Longform

本周在读 The Dream Machine，这本书是 Stripe 出版的，讲述了思想和技术先驱 J. C. R. Licklider "Lick" 如何推动了现代计算机的发展，包括图形用户界面和互联网的前身 ARPA 网。

这本书去年读了一个开头，但很快就在第二章的繁复细节中走丢了。作者似乎在那一章了忘记了自己是在写 Lick 的个人传记，而把大量的笔墨泼洒向塑造群像，图灵、香农、诺依曼等等群星闪耀，反而让我找不到线索。

这一次再读，耐下心性，把这些人思想的互相绞缠都抽丝剥茧的梳理清楚，逐渐理解思想的脉络如何生成。

值得注意的是，今天很多围绕 AI 和 AGI 的讨论，在上个世纪 60 年代就已经产生了很多的预判，今天看起来都是正确的，只是当时没有足够的技术能力对那些想象进行实现。今天令人激动的是这些想法都开始变成现实。

← Back to Newsletter Archive