Home

03/05/2023: Fast Horse

本周的主题是 Fast Horse 快马。

一个有趣的问题是：

Are current implementations like ChatGPT and Sydney just a faster horse instead of a brand-new car?
像 ChatGPT 和 Sydney 这样的当前实现只是一匹更快的马，而不是全新的汽车吗？

我的确倾向认为，现在的 Generative AI 在用户界面上是比较原始的状态。这和当下以技术为主要驱动力的阶段有关，在界面和应用上的思考刚刚开始。ChatGPT 和 Bing（Sydney）都需要用户提供大量的文本输入，甚至于需要通过 prompt 来「猜测」机器的心思，才能获得满意的回答。对于一部分人而言，这匹「更快的马」已经足够好了，它已经远远超过了玩具的效用，而可以实现更快的从 A 到 B。

而汽车的出现则会带来高速公路，带来物流、零售和餐饮连锁等，也带来因此而起的能源战争和地缘政治。

在经历了 20 世纪之后，我们理应做出更好的预判。

Essays

AI Platforms, Markets and Open Source by Elad Gil

Elad Gil 在上个月发表的文章，主要提供了对未来行业结构的预判。

首先，他澄清了一下概念，认为现在的 Generative AI 会把 LLM 和 Image Gen（图像生成）混在一起，而实际上两者大不相同。

显而易见的是：LLM 的规模经济要比 Image Gen 强非常多，这意味着前者更加资本密集，更可能在资本雄厚的大公司的支持下产生。而 Image Gen 则出现了开源的 Stable Diffusion 和创业公司 Midjourney。当然，这一点可能很快发生变化——等待搅局者的出现。

关于 Image Gen，Gil 的判断如下：

图像生成模型似乎更容易预测出更高概率的路径 - 最有可能我们将看到专有闭源模型（用于制作迪士尼图像的“迪士尼模型”）和开源模型（如 Stable Diffusion 等），以及通用闭源工具（Midjourney、Dall-E）和特定领域的闭源模型（“平面设计人工智能初创公司”）。这些模型很可能训练成本相对较低（数十万至数千万美元），并且主要通过知识产权或特定用例进行区分（例如，“漫威漫画数据集”与“专业照片设计工具”）。其中一部分合理子集也可以在手机或其他设备上本地运行，而不仅仅是在云中运行，进一步扩大了应用领域。
从短期来看，图像生成最终可能会根据专有数据集和训练方法与资本/计算规模和数据原始规模之间的差异而区别开来。大多数图像生成方法都基于扩散模型，一些人正在探索转向变压器或混合体。其他模型也可能影响这些模型的方法或经济学，并因此影响该行业的发展。然而，在短期内，未来几年内关于图像生成领域的情况还存在较少不确定性。开放源代码很可能会在该领域产品发展过程中持续发挥关键作用。

关于 LLM，Gil 认为可见性还不足够强，但是他提供了几种可能路径：

  1. 出现像台积电这样的规模寡头（可能性降低，最可能的是 OpenAI，其次是 Google）。“TSMC world” - one at scale winner (decreasing probability over time)
  2. 出现像云服务厂商这样的多寡头（可能性最高，OpenAI、Google 及其它厂商构成多寡头结构）。Cloud service provider world - oligopoly market (most likely world)
  3. 细分市场，开源模式获得大量支持。Niche models matter, or a major backer of open source shows up.
  4. 品牌、渠道和产品驱动。Brand, distribution, product matters.

对于 2 的可能性，一个解释是随着基础模型变得越来越复杂，资本投入规模将快速上升，进而限制技术进一步扩散，更多玩家入场变得不经济，最终导致寡头局面。

The reason to argue for a near term oligopoly market, versus likely fragmentation, is due to the capital/compute/data scale costs currently needed for each subsequently better performing LLM model. If GPT-3 at the time cost a few million to ten million or so to train, and GPT-4 from scratch may be estimated at tens of millions to maybe a hundred million, maybe GPT-5 is a few hundred million and GPT-N is a billion. This of course assumes that costs will scale faster than technical breakthroughs or drops in GPU (or specialized hardware cost declines) and these may be false assumptions.
主张近期寡头垄断市场而非可能的分散，原因在于每个后续表现更佳的 LLM 模型所需的资本/计算/数据规模成本。如果 GPT-3 当时训练成本为几百万到一千万美元左右，那么从零开始估计 GPT-4 可能需要数千万甚至上亿美元，也许 GPT-5 需要几亿美元，而 GPT-N 则需要十亿美元。当然，这假设成本上升将比技术突破或 GPU（或专用硬件）的成本下降发生得更快，这些假设可能是错误的。

我相信这个假设可能是错误的，但可能并不会改变结论——即便训练成本快速下降，但是先发优势仍然可能让后来的进入者感到进入市场兴味索然。如果我们相信 LLM 最终将逼近 AGI 的渐近线，那么先发者的 know-how 可能会让后来者的侵扰显得毫无意义。

Gil 认为，LLM 的行业结构演变在短期内可能很像上个世纪 90 年代的半导体行业：Intel 通过持续领先的代差优势引领市场。

In the short run, LLMs are likely to be similar to the microprocessor industry in the 90 s and 2000 s. During that era, Intel had a clear advantage technologically and was always 2-3 years ahead of its competitors such as AMD. This means having an Intel chip created a clear advantage to PC performance.
Each Intel CPU design & fab (on roughly an 18-month iteration timeframes - sound familiar?) cost quite a bit more to build than the prior generation. This, alongside clever sales and marketing deals, enforced a moat behind Intel in its market. This moat lasted from the 1980 s until recently.
在短期内，LLM 可能类似于 90 年代和 2000 年代的微处理器行业。在那个时代，英特尔在技术上拥有明显优势，并始终领先于其竞争对手如 AMD 2-3 年。这意味着拥有英特尔芯片可以为 PC 性能带来明显的优势。
每个英特尔 CPU 设计和制造（大约 18 个月迭代时间）的成本比前一代要高得多。除此之外，聪明的销售和营销交易强化了英特尔市场背后的护城河。这道护城河从 1980 年代持续到最近。”

与之相似的，是云服务行业：

即便在今天看起来显然的市场机会上，大公司的反应周期是以年计算的。

在可能性 3 和 4 上，Gil 的看法趋于保守。

特别对于 3 开源模型，对 LLM 的判断是：

Image Gen 显然不存在这个问题，它所需要的算力规模和资本投入都要小非常多。

由于开源 LLM 很可能会从学术界诞生，因此，企业在模型技术的开放度上将会降低，从而保持和学术界研发的开源 LLM 之间的代差。

本文还讨论了其它的影响因素，比如数据的可得性等，对产业结构的潜在影响，以及价值是否会更倾向于平台还是应用。感兴趣的读者可自行阅读。

Gil 最后说：所有以上，都可能是错误的。

The AI Moment  by Pratyush Buddiga

Buddiga 在本文中探讨了使用人工智能来实现人类繁荣与实现平凡的人类替代之间的争议。本文标题的「AI 时刻」具有深刻的含义，在我们看到 LLM 有机会进一步向 AGI 进军的时刻，AI 对人类智力的替代已经是不可避免的了。Buddiga 没有纠缠在是非问题上，而是承认这种替代的必然性，进而讨论，到底应该让 AI 来替代人类智力的哪些方面。

他在文章写道：

Commoditization of human labor is economically valuable: generalized LLMs could slot into some workflows as replacements entirely or early draft generators that automate hours of work before a human finishes the final edit.
Some examples include: ...
These are all use cases where there is high error tolerance and any mistakes are not super-frustrating to the user leveraging the tools compared to the time saved. Starting with a blank sheet of paper and instantly having a ten-page deck that I can edit quickly for errors is a huge unlock and time-saver versus doing it from scratch. We can also expect these models to continue to improve over the next few years although there will likely be diminishing returns.
人力劳动的商品化具有经济价值：通用 LLMs 可以完全替代某些工作流程，或者作为早期草稿生成器，在人类完成最终编辑之前自动化数小时的工作。
一些例子包括：...
这些都是高容错性的用例，任何错误对于使用工具的用户来说并不会非常令人沮丧，相比节省时间而言。从一张空白纸开始，并立即获得一个十页幻灯片集合以便快速编辑错误是一个巨大的解锁和时间节约，而不必从头开始制作。我们还可以期望这些模型在未来几年继续改进，尽管可能会有递减收益。

他在此提出的「容错性」概念是重要的。但他同时也指出：「高容错性」场景下的用例限制了 AI 的可能性。相对而言，在一些「高精度」（或者是说「低容错性」）的场景下，更可能出现在垂直领域构建护城河的公司。

Comparatively, there are other workflows where high accuracy is mandatory for user happiness or some where you might simply look to push the boundary of what’s possible in solving a problem. These are applications where purpose-built verticalized models could be much more useful.
Some examples include: ...
I’m personally much more interested in companies building in the latter category than the former. It’s not that the former categories won’t exist, but the question of moats is uncertain with most value likely accruing to incumbent. For example, is there a new startup building “Generative AI for design” or does Figma simply integrate with the latest models and win the category?
相比之下，还有其他工作流程需要高精度才能让用户感到满意，或者一些你可能只是想推动解决问题的可能性边界。这些应用程序中，专为特定目的构建的垂直模型可能更加有用。
一些例子包括：...
我个人对于在后者类别中建立公司更感兴趣。并不是说前面几类不存在，但护城河的问题仍然存在，并且大部分价值很可能会累积给现有企业。例如，是否有新创企业正在构建「生成式设计 AI」，或者 Figma 只是集成了最新模型并赢得了该类别？

Buddiga 声称，他已经在后面这一类公司中投资了一家公司，并希望投资更多。他最后举出的 Figma 的例子值得辩论。

在本文的第二部分中，Buddiga 提出了一个新的问题 OpenAI 和 Sam Altman 想要构建什么？

他的回答是：they’re trying to build a machine God, not increase corporate efficiency. 他们想要打造一尊机器的神明，而不是提高企业效率。这意味着，虽然 OpenAI 希望看到基于其基础模型的企业应用越来越多，但这并不是他们的北极星目标——企业应用（比如上面提到的高容错性用例）很可能是在过渡期中带来收入，是手段而非目的。其真正的目标仍然是构建 AGI 能力，一个全能之神。

在数据库那个时代的竞争中，Oracle 用通用数据库技术打败了一众所谓的 best-of-breed 垂直应用公司（详见复杂性战争），最终成为企业数据库的王者。OpenAI 采取的路径或许更像 Oracle，但有一点不同：由于基础模型高昂的训练成本以及 OpenAI 所采用的 API 商业模式，企业需要将其内部数据提供给 OpenAI 才能获得服务，这意味着后者将可以突破隐私之墙，对自身模型能力进行持续不断的训练和微调，而企业客户则需要面临数据安全风险。

Buddiga 认为，更加廉价的开源模型将会成为企业大规模采纳的模式，代码开放、私有部署、可供审计。尽管在效果上略逊于 OpenAI，但能够保证数据安全不出问题（if any）。类似 LangChain 这样的初创公司已经在这个领域崭露头角。

Think of Everything You Hate About the Internet. Now Add A.I. by Ezra Klein

纽约时报的 Ezra Klein 在上周发布了一篇针对 AI 的评论性文章。他在开头引用 Ted Chiang 的话说：

I tend to think that most fears about A.I. are best understood as fears about capitalism. And I think that this is actually true of most fears of technology, too. Most of our fears or anxieties about technology are best understood as fears or anxiety about how capitalism will use technology against us. And technology and capitalism have been so closely intertwined that it’s hard to distinguish the two.
我倾向于认为，大多数关于人工智能的恐惧最好理解为对资本主义的恐惧。我认为这也适用于大多数关于技术的恐惧或焦虑。我们对技术的大部分恐惧或焦虑最好理解为担心资本主义将如何利用技术来反对我们。而且技术和资本主义已经紧密地交织在一起，很难区分两者。

在这个强有力的开头之后，Klein 提出了 Alignment 问题（后用「对齐」指代），其本质就是 How do we get machine learning algorithms to do what we want them to do? 我们如何教会机器学习算法去实现我们想要做的事情？而 Klein 进一步把它简化为：机器将会服务谁？

机器，至少在今天这个阶段，仍然是人的延伸，Alignment 问题的回答也自然是机器要服务人。因此，我们评估模型能力的标准，自然就是「对齐」人类，即便是 OpenAI，也必须请来大量向模型提供反馈的人类标注员以提供矫正式的输入。

回想过去的三个月时间里，令人惊艳的体验无非是 ChatGPT 表现得多么像人，对于技术人员而言，这是一种近似于造物主的体验，而对于普通人而言，则是喜悦和惶恐的想象中不断探索。

Large language models, as they’re called, are built to persuade. They have been trained to convince humans that they are something close to human. They have been programmed to hold conversations, responding with emotion and emoji. They are being turned into friends for the lonely and assistants for the harried. They are being pitched as capable of replacing the work of scores of writers and graphic designers and form-fillers — industries that long thought themselves immune to the ferocious automation that came for farmers and manufacturing workers.
A.I. researchers get annoyed when journalists anthropomorphize their creations, attributing motivations and emotions and desires to the systems that they do not have, but this frustration is misplaced: They are the ones who have anthropomorphized these systems, making them sound like humans rather than keeping them recognizably alien.
“大型语言模型”被用来说服人们。它们经过训练，旨在让人相信它们接近于人类。它们被编程为能够进行对话，并带有情感和表情符号的回应。它们正在成为孤独者的朋友和忙碌者的助手。它们被推销为可以取代数十名作家、平面设计师和表格填写员工作的能力——这些行业曾经认为自己免于农民和制造业工人所遭受到的激烈自动化。
当记者将动机、情感和欲望归因于系统时，A.I. 研究人员会感到恼怒，但这种沮丧是不合适的：他们才是那些赋予了这些系统拟人化特征，使其听起来像是具有人类特征而非保持可识别性外星生物。

然而，今天的模型还在努力的逼近「对齐」的状态。偶尔出现的不符合预期的结果，大大限制了人们对模型适用场景的信心，而这种担忧只是在一小部分人身上存在。学校的经验告诉我们，大部分人是粗心的，是无所谓的。我们即将看到适用范围在这种漫不经心中被扩大，直到无法分辨。到那个时候，「对齐」就不再是一个问题了。

2023 消费如果真的不行，也别全赖经济原因 by 评论尸

离开 AI 一下，一点小小的关于经济的分析：

除了衣服、食物（包括餐饮）这种高频“小宗消费”之外，我们生活中的“中宗消费”集体告别了“从无到有”的消费阶段，进入了“坏了再换”的阶段。这是一个巨大的转变，几乎与互联网行业相同，是从增量市场转向了存量市场。
在这一点上，大宗消费如房产和汽车的命运可能反而比中宗消费要更好，毕竟 40 平米的房换到 80 平米的改善是明显的，结婚要买房仍然是刚需，摇不到燃油车号牌是刚需，从燃油车换到带自动驾驶辅助功能的纯电车体验提升也是明显的。
但反观中宗消费品，也不用反观了……你就打开淘宝、京东、拼多多看看，在 1000-10000 元这个价位段，在不考虑钱的情况下，有什么商品是以前不存在的，突然出现的，缺能特别勾起你消费欲望的？几乎没有。

Shortform

@ sama:

something very strange about people writing bullet points, having ChatGPT expand it to a polite email, sending it, and the sender using ChatGPT to condense it into the key bullet points
人们写出要点，让 ChatGPT 将其扩展为礼貌的电子邮件发送，并使用 ChatGPT 将其压缩为关键要点，这种做法非常奇怪

Longform

本周在继续阅读 The Dream Machine。实际上，上周的 AI 杂记 2 已经用了其中的部分笔记内容。这本书比预想得要长一些，细节的密度非常高。

本周阅读的一个体会是：AI、互联网和个人计算机在上个世纪中叶的发展几乎是同时进行的，但显然 AI 遭遇了更多的挫折。从研究人类进步的角度看（progress studies），这是很值得对比分析的素材。

← Back to Newsletter Archive