与里德·霍夫曼（Reid Hoffman）就人工智能、大型科技和社会进行炉边谈话
输入“/”快速插入内容
与里德·霍夫曼（Reid Hoffman）就人工智能、大型科技和社会进行炉边谈话
与里德·霍夫曼（Reid Hoffman）就人工智能、大型科技和社会进行炉边谈话
Reid Hoffman是Linkedin创始人
Notion 很友善地主持了我和 Reid Hoffman 之间关于 AI 的炉边谈话。下面的文字记录和视频链接。
视频版：
文字版：
埃拉德·吉尔：他还创办了一家名为Reflection的新公司，这是一家人工智能公司。所以他基本上什么都做了。我想象有时在平安夜读书，穿上圣诞老人的衣服，飞向空中，向世界各地的儿童分发玩具和股票证书或其他什么。随着时间的流逝，他真的、真的做到了一切。所以，首先，非常感谢您今天参加我们的会议。 他还创办了一家名为Reflection的新公司，这是一家人工智能公司。所以他基本上什么都做了。我想象有时在平安夜读书，穿上圣诞老人的衣服，飞向空中，向世界各地的儿童分发玩具和股票证书或其他什么。随着时间的流逝，他真的、真的做到了一切。所以，首先，非常感谢您今天参加我们的会议。
里德·霍夫曼：非常高兴。而且您也错过了对 Mixer Labs 的投资。
埃拉德·吉尔：但是，是的，里德支持我现在默默无闻的第一家创业公司。所以谢谢你这样做。那是很久以前的事了。所以首先，我只是喜欢听听你是如何对人工智能感兴趣的。您是什么时候开始涉足这个领域并对此感兴趣，随着时间的推移，您以哪些方式参与该行业。
里德·霍夫曼：这一切都非常有趣，但现在这就像我们看到的主线，因为 Alphazeer 正在做的自我放置的东西与其说是 AI，不如说是定义健身函数的不同方式。我想我们会看到一大堆这样的。这就是让我重新投入其中的原因。当我开始的时候，当我们做那个沙龙时，我真的不确定会不会有创业机会。现在，我显然非常浓缩为一堆创业机会。这就像，好吧，它是否只会是只有少数人才能使用的大规模计算，在这个和所有这一切中会发生什么。我最初的关注点是，你如何塑造它以造福人类？有什么社会影响？通过哪些方式可以在不同的努力中共享这种知识产权和情报，而不会造成任何不良的市场影响或任何其他类型的事情？然后当我接近它时。我说，噢，实际上，事实上，这波浪潮会如此之大，即使是大型计算玩家也无法做到更多。这为初创公司提供了很大的空间，甚至为所有科技公司做某事提供了很大的空间。所以，大概在四年前或五年前，大概是在帮助 Sam 和 Elon 使用开放式 AI 的时候，我对此变得更加紧张。 这一切都非常有趣，但现在这就像我们看到的主线，因为 Alphazeer 正在做的自我放置的东西与其说是 AI，不如说是定义健身函数的不同方式。我想我们会看到一大堆这样的。这就是让我重新投入其中的原因。当我开始的时候，当我们做那个沙龙时，我真的不确定会不会有创业机会。现在，我显然非常浓缩为一堆创业机会。这就像，好吧，它是否只会是只有少数人才能使用的大规模计算，在这个和所有这一切中会发生什么。我最初的关注点是，你如何塑造它以造福人类？有什么社会影响？通过哪些方式可以在不同的努力中共享这种知识产权和情报，而不会造成任何不良的市场影响或任何其他类型的事情？然后当我接近它时。我说，噢，实际上，事实上，这波浪潮会如此之大，即使是大型计算玩家也无法做到更多。这为初创公司提供了很大的空间，甚至为所有科技公司做某事提供了很大的空间。所以，大概在四年前或五年前，大概是在帮助 Sam 和 Elon 使用开放式 AI 的时候，我对此变得更加紧张。
埃拉德·吉尔：然后你能告诉我们更多关于Inflection的信息吗？所以我认为这是自LinkedIn以来你创办或共同创立的第一家公司。那么，你是如何再次创办公司的呢？通常，作为一个创办了两家公司的人，做另一家公司是如此痛苦，我总是带着恐惧，但也知道如何开始，你和谁一起工作，你今天能告诉我们什么？而且我认为它已经安装好了，所以我不知道你能告诉我们多少，但我非常感兴趣。
里德·霍夫曼：是的，所以这绝对是最终你忘记了它有多难，你得到了这个小小的欣快感，你又跳进去了。因为我创办了公司Social Net，创办了LinkedIn，是PayPal创始团队的一部分，看起来，哦，我又跳进了这个领域。因此，部分原因是我一直在思考，好吧，他们将在哪里成为公司的角色，应用程序将构建自己的大型模型。在这个非常阴暗的未来，其他公司将扮演什么角色？因为一切都会变化得非常快。景观、市场、计算、竞争、人才、可用事物，所有这些复杂的变量都在移动。因此，很难看出您可以围绕周围建立公司或建立更长阶段的项目的有趣固定点是什么，但您开始尝试这样做。所以我就这样做了。我正在和许多不同的人交谈。穆斯塔法，他来自Deep Mind and Brain，他显然有一个驾驶座和一些东西，以及什么样的机会去做。关于Inflection，我不能说太多，因为我们还没有公开它。所以我有点，好吧，看，我会成为你们的董事会主席，我会投资。我们正在研究产品，研究产品，研究市场，等等。他说，好吧，我希望你和我一起创立这个。我当时想，你知道，我确实有一份日常工作，对吧？他说，不，就像每周一天，对吧？这就是我想做的。我当时想，哦，是的，我会这样做的。部分原因是出于同样的原因，人工智能对每个行业和整个社会的影响可能是惊人的，巨大的。我们也需要解决一些挑战。 但是，让我对围绕这些东西的一般对话感到沮丧的一件事是，他们说，好吧，Catch BD 在事实性方面存在问题。你会说，好吧，对，我们需要在那里做的事情，但看看它所做的所有其他事情，人们会说，好吧，它有幻觉问题。就像，好吧，好吧，顺便说一句，幻觉问题也是创造力的超能力。我们能用这些创造力、超能力之类的东西做些什么。因此，当穆斯塔法和我在研究这个问题并思考该怎么做时，我们认为我们仍然有一个相当独特、有趣的方法，很快就会出现。然后我期待着能够更多地谈论它。
埃拉德·吉尔：这听起来很棒。这听起来非常有趣，我想你们现在都在招聘还是。
里德·霍夫曼：不，他们正在招聘，是的。
埃拉德·吉尔：所以我想有一个相关的问题，那就是行业的价值在哪里？很多人想知道，OpenAI或其他API等平台在行业中的成功占多大比例？应用层是什么？听听你的观点会很有趣，比如，这个生态系统在三到五年内会是什么样子，无论是从应用还是平台的角度来看，以及平台方面的自然进化路径是什么？
里德·霍夫曼：好吧，在未来看起来很愚蠢的自然方法之一就是在当下做出真正具体的预测。因此，带着这种警告和深深的恐惧和犹豫。所以我认为从根本上说，有两种趋势正在发生。一个趋势是规模计算，其中包括大型语言模型。我不认为这将是规模计算的唯一应用。我认为计算的规模和计算规模将推动一种进步趋势。这种进步趋势的一部分是，例如，额外的 20% 的性能在哪里很重要？所以，如果你认为，好吧，一个虚拟医生，好吧，额外的 20% 真的很重要。也许是律师，也许是工程师，也许是去，好吧，所以在这么大的范围内，比如，好吧，嗯，是的，我们正在创新，我们用这个较小的模型取得了更多的成就。好吧，如果你现在可以在真正重要的事情上大规模地做这个较小的模型，那么大型邮件的成本曲线是超级昂贵的，无论是直接用于大型模型人员正在做的事情，还是作为对初创公司的供应，等等，那会怎么样。然后我认为另一个趋势将是高度优化的、更紧凑的规模计算，无论是大型语言模型、基础模型还是其他东西。也许他们会用非常具体的数据进行调整。也许他们会在运营成本范围内针对非常具体的事情进行调整。我认为你会看到进步，也许其中一些将是开源的。我想我们稍后会详细讨论。现在，就聚合而言，哪些地方有有趣的机会来建立公司，哪些类型的项目将在三到五年内变成伟大的公司，以及其中有多少将是大型语言模型或规模模型提供商等。 那里肯定有很多不确定性。我很确定至少会有多个大型模型提供商，我认为这对整个行业的生态系统都有好处。而且我认为他们也会以不同的方式，比如 OpenAI 是真实有益的，AI 是他们最重要的事情，所以他们无话可说，哦，来在开放的 AI 平台上构建，然后我们将去构建那个应用程序。他们对此有负面兴趣，对做这种事情的程度不到零。因此，这给了很大的创业自由和举办活动的能力，我认为这很好，再加上倍数。所以我认为这很好。我认为另一个领域是说，即使是像 500 亿个参数、1000 亿个参数模型或一个 XFL 模型以正确的方式训练，也会有一堆这些东西是开源的，这对开发人员有好处，对创造力有好处，等等。但是我们必须小心这些东西，对吧？因为例如，我对早期发布的稳定性持怀疑态度，因为各种形式的剥削材料或复仇色情或其他类型的东西。显然，生态系统中的错误信息是我们必须处理的事情之一，当你得到这些监督者时，我们将不得不以各种方式对这种开放模型负责。所以我认为这是很重要的事情之一，但我认为你会有很大的慷慨，然后我认为这实际上有点像老派的规则，就像，你的企业有网络效应吗？ 如果你的企业有网络效应，那么就像你在这两种威胁中的任何一种中配置的任何一种一样，如果你与许多企业集成，那将是很好的，这种集成是业务持久性的另一种形式。如果你是第一个扩大规模的人，而且你是第一个扩大所有闪电战规模的人，那么你就是在做客户、品牌、人才的聚集、资本的聚集以及所有其他可能的事情。所以所有这些旧规则在这里仍然适用。现在，这个问题当然被赋予了如此多的兴趣，并且正在弄清楚如何把它们做好，这是非常具有挑战性的。但这种具有挑战性的手段最终对初创公司有利，因为在你可以进行实验的地方，你可以运行它们而不必担心损害你当前的品牌或地位或客户是一回事，你可以非常快速地运行实验并改变。你可以尝试一些东西，也许这里有一个很大的市场，也许没有，我可以尝试一下，因为不同的创业公司可以追求不同的东西。你可以迅速做出反应，你可以说，好吧，我们尝试了两个月，现在我们正在做一些完全不同的事情，这是大公司做不到的事情之一。无论如何，我认为没有任何大公司可以做到这一点。所以这就是我认为现在要研究的一部分，话虽如此，为了完成对你问题的回答，我认为这是我和我的搭档 Greylock 的 Sam Motometi 写的一件事。在秋天，因为 100% 确定这一点是，在五年内，每个职业都会有相当于副驾驶的副驾驶，并在我处理信息并生成与信息有关的东西时定义一个职业。 就像医生生成处方和诊断一样，就像所有的平面设计师生成图形设计一样。我认为在五年内，一切都会有一些东西，我认为这给了我们慷慨的时间。就像我认为它会比这更快，我认为这几乎是肯定的，这种影响范围和范围是为什么有如此惊人的创业机会的部分原因，即使是目前的创业公司都在努力，看，他们会选择其中的一些，而不是全部。
埃拉德·吉尔：是的，这很有意义。而且，如果你开始考虑创业公司和现有企业价值之间的分歧，那么没有明确现任者的领域可能是很好的创业机会，而那些可能更复杂的领域。因此，就像会计软件一样，这可能是完全开放的，而在医疗领域，它是混合依赖的。
里德·霍夫曼：关于谁玩和监管剩下的一切。
埃拉德·吉尔：是的，没错。我想回到平台问题，因为不同的人对平台世界会是什么样子有不同的看法，我所说的平台是指基础模型和 API，比如开放 AI 正在做的事情。对世界的一种看法是，实际上一切都变成了台积电公司，其中有一个参与者在资本和工艺工程以及其他方面进行迭代。你提到你认为这更有可能至少是一个寡头垄断市场，有多个参与者竞争。目前业界提出的一个论点是，随着每个后续模型的出现，资本和计算规模都会急剧上升。因此，如果 GPT-3 我编造一个数字是几年前用来训练的 1000 万或 2000 万，然后是 GPT 4，因为我编造了 1 亿这个数字，GPT 5 是 50 亿，GPT 6 是 10 亿或等效模型 A。你是否相信这是未来，至少在可预见的未来，B，这是否有效地阻止了新进入者，因为进入的成本如此之高，最终市场只是整合成少数参与者。
里德·霍夫曼：我确实认为这就是为什么在大型模型中将出现寡头垄断的部分原因，据我所知，你也认为像云计算一样，也就是说，不会有那么多的最终云计算提供商，因为你只需要做大量的房地产和电力，以及各种配置和所有其他的东西。因此，云计算的最终规模将受到限制。好吧，云计算将并行，我对寡头垄断持乐观态度的部分原因是因为所有的云计算都会有一种自然的吸引力，说哦，我也应该成为这里的提供者。这就是为什么我倾向于认为它不会只有一个，但它将是 N。话虽如此，资本，就像你正在经历的资本压力一样，我不认为资本在现代全球化网络世界中构建新技术是一个问题。即使有反全球化的趋势，十亿美元也确实不是那么多钱。这不是问题所在。真正的问题在于计算的可用性、智能性和完整性，有点像围绕数据智能安全地处理它，诸如此类。围绕地缘政治和所有其他问题的问题实际上将不仅仅是首都。
埃拉德·吉尔：所以你提到，你认为云提供商将有一种自然的途径，在这个领域作为平台进行竞争。您能从您认为各种大型科技公司将在这个行业中的作用进行更多推断吗？
里德·霍夫曼：我们有寡头垄断和手机供应商。我们有一大堆不同的东西，比如我们有寡头垄断和技术平台。我们可以让它们发挥作用。 我们有寡头垄断和手机供应商。我们有一大堆不同的东西，比如我们有寡头垄断和技术平台。我们可以让它们发挥作用。
埃拉德·吉尔：你觉得怎么样？因此，如果你至少把半导体行业看作一个模拟行业，那么随后发布的每个微处理器确实值得对你的整个系统进行升级，对吧？因此，你有花费数十亿美元制造的晶圆厂，它们变得越来越昂贵，然后随着每一代芯片的推出，每个人都会切换，然后出售上一代芯片的成本是十分之一。它便宜得多，您可以在各种其他应用程序中使用它。你可能会争辩说，在 LLM 或基础模型世界中，可能会发生类似的事情，当 GPT 6 相当于 10 亿美元时，GPT 4 要便宜得多，你可以用一小部分成本训练这样的模型，然后突然间它就可以用于一切。你认为这是开源将要走的道路，还是你认为在不久的将来，开源基础模型将与尖端模型大致相当？
里德·霍夫曼：不，实际上，我认为你的第一个是正确的。这就是我的意思，这两条小径是规模，然后是另一条。我认为另一个将包括一些开源和一些非开源，安全，其他类型的东西作为该条款的一部分，数据保护，诸如此类的东西。然后我认为最大的一个将是，我认为由于许多不同的原因，这些不会是开源的。例如，图像扩散的东西是开源的，这并不让我感到惊讶，因为如果你看一下，它就像，好吧，它是一个 1 到 20 亿参数的模型。这只是一个问题。当我写文章时，我唯一没有做的是研究戴利将如何影响世界工作以及如何思考这个问题等等，我应该在一个月内对开源模型进行预测，因为这样可以做到。然而，当你在这些上时，这些是超级昂贵的，非常计算密集型的。安全考虑是真实的，所以我认为开源在这种威胁上发挥作用的可能性要小得多。