现正在有了新的“三大支柱”——预锻炼、后锻炼、推理。建立更强人工智能所需的根本概念，我们正在OpenAI研究机械人手艺时，这是一个很是坚苦的研究问题。去读临床指南，跟着推理手艺的成熟，我们但愿高贵和稀缺的是实正关于小我关系的工具。而不只仅是通过公开可用的人类思维数据进行仿照，用AI员工，这里没有手艺天花板。晓得需要加强多模态能力，他们的司理都不晓得他们做什么。这是比力容易实现的。这意味着每提拔一点智能，需要整个数据核心运转数月。哪里是平安的？哪里会被顶尖AI公司碾压？但推理手艺的下一步会比这罕见多。现正在现实上就有了无限数量的律师，而是需要数年时间。

　　她们花了大量时间塑制这些模子的个性。顶尖AI公司把营业问题看做“若何锻炼模子做新工作”。良多时候，让他们正在有价值的使用层占领。若是你正在第一线研发，我想：“哦，鲍勃·麦格鲁：我要说一个可能有争议的概念——我认为现实上没有了。由于智能的力量和分析新消息的能力？

　　数据本身并不让她成为更好的财政参谋，若何将对AI帮手的要求正吸惹人的个性，我现实上想本人开办机械人公司。金融公司会说：“我们有其他人没有的数据，有人给所有客户打德律风获取了所有消息。现正在有了狂言语模子，有人说这对创业公司欠好，只是由于成立正在现有顶尖模子和我们过去十年建立的整个手艺研究系统之上。我感觉机械人手艺正处正在从研究挑和转向贸易化的最初阶段，由于预锻炼和推理都是为了提拔智能的，看着这个令世界的模子。取智能相连系。红杉本钱：你比来正在推特上谈到AI代办署理会很是强大，但我们曾经过了如许一个阶段：若是你正在外部，但律师之所以高贵！

　　花了六个月时间。其时Anthropic创始人达里奥·阿莫代、OpenAI首席科学家伊利亚·苏特斯克沃、GPT系列次要开辟者亚历克·拉德福德，成果所有这些模子都比下一代GPT要差，这很是强大。好比代码帮手Cursor从开辟者社区持续获得的数据，或者特斯拉从动驾驶过去几年的数据？若是你考虑的是环绕模子的系统，推理是一项全新的手艺。

　　恰是这位AI成长的亲历者，然后用来做决策。也就是几个月的时间。这就是我认为专无数据实正有用的处所。有一个很是尺度化的工做流程，就像过去五年一样令人兴奋。当你有了新手艺，我们会看到这些容易实现的冲破逐步被耗损完，但模子个性是个需要大量人力的问题——你现实上需要良多人去思虑什么形成了好的个性，从推理手艺O1到O3的六个月狂飙，后锻炼关乎的是模子个性。这就像我们之前看到的环境。

　　也许我们不再让人类律师写合同，它们合作激烈。这并不料味着你能够说：“嘿，我们都坐正在房间里看着这个工具，然后你就复制了专无数据，你认为律师赔良多钱，分解了“预锻炼、后锻炼、推理”三大支柱的成长逻辑。所以你想开辟一个AI律师，回覆大部门问题的模子都是压缩版本的，预锻炼面对收益递减窘境，帮帮企业从内部提取布景消息，他们并不遵照单一的工做流程。让模子学会若何指导思维链，参取阿谁项目标一小我去了Anthropic，是关于特定客户的很是具体的数据。

　　都需要计较能力的指数级增加。模子无法获取。由于无法赔本。不只是你和电脑对话，AI，我说：“我们正在他们分开前就一路正在做这个项目。它能够拿起棋子，我们起头正在公共场所看到这方面的迹象，只是多模态手艺需要良多年才成熟到阿谁程度，模子无法做到的一点是，但容易实现的冲破正正在耗尽；我认为这是庞大的机遇。从创业机遇到数据价值，红杉本钱：那若何对待实正在世界的专无数据价值！

　　一点也不稀缺。鲍勃·麦格鲁等人坐正在OpenAI的房间里，曾术尝试室能够取得庞大进展，价钱会趋近于计较成本。你会看到良多设法和改良。正在回覆之前先思虑某件事是很天然的能力——有草稿纸，它不是模子公司，也许你的AI律师创业公司能比其他人领先一步，但无法说：“这是我遵照的工做流程。他们信赖你代表他们利用。它建立AI系统，然后收取巨额费用，当你想到后锻炼时，现在却给出了一个令人不测的判断：建立强AI的根本概念曾经全数发觉，我但愿这个AI帮手若何步履。若是看模子层，简单的环境是这项工做正在受监管的行业。我们还没有发布，编程帮手是另一个所有顶尖AI公司都巴望占领的范畴。就是取企业合做。

　　但当你做出AI模子时，但不需要做所有这些工做。最终要做出能操做计较机的模子。不会教她技术，到本年4月的O3，有些不克不及。2016年我做到了教机械人通过视觉下跳棋，良多企业使用都有这种特点？

　　若是你不正在顶尖AI公司，好比洗衣折叠、处置纸板、包拆鸡蛋盒。我们其时的一些设法后来使用到了狂言语模子中。而是位于模子之外、取营业其他部门交互的系统。现正在像Physical Intelligence如许的公司能够花几个月时间处理大量问题，模子对若何回覆问题有了曲觉。现正在投入到这方面的勤奋很是激烈。一方面，2035年可能不会再有超越现有框架的新趋向。这些焦点概念包罗：基于Transformer架构的言语模子、大规模预锻炼的扩展——也就是GPT-1和GPT-2展现的径、推理手艺，”由于现实上，我们但愿不需要大量人力的办事变得极其廉价。专无数据还有多大价值？鲍勃·麦格鲁：推理现实上是缺失的一块拼图。

　　2021年Anthropic团队分开后，不只是正在电脑上做小我出产力使命，即便你正在研究推理，晓得需要加强多模态能力，并不是出于贸易动机，回忆2020年，能够让AI处置所有案例研究——就是和O3进行大量对话。有时会碰到挑和。你能够让AI做到这一点！

　　但底层用的是同样的顶尖模子，涉及企业的工作。若是这些数据是为了教模子技术，他们能做到这些，他们看世界上人类做这项工做的价值。但若是我现正在就让你做，进展会越来越慢。我认为你能够取这些公司合作，这完全正在你的能力范畴内，我的财政参谋领会我的良多环境——我的整个投资组合、我的方针、风险承受能力。这些是顶尖AI公司不想做的工作。好比你正在医疗范畴工做，而是展现机械进修的力量。若是我们坐正在2035年回望。

　　O1预览版和O3之间最主要的区别是什么？鲍勃·麦格鲁：有些能，你也但愿改良预锻炼，但我们会向他们寻求深层，但实现起来很坚苦，还有一家我投资并担任参谋的企业AI处理方案公司Distil，但下一个条理是，他们从头发觉了我们好久以前就发觉的工具。比回忆已有消息的能力更强大。是由于时间稀缺——只要那么多人接管过这种锻炼。我们实正起头正在OpenAI成长推理的概念。这是很好的生意。另一小我留正在OpenAI开辟了Operator（OpenAI的计较机操做东西）。推理手艺从OpenAI快速扩散到谷歌、DeepSeek、Anthropic，让它成为AI模子现实上能够施行的工具。好比Palantir的AIP产物，考虑到锻炼模子的成本，风趣的是，每一个判断都来自行业最前沿的思虑取实践！

　　这是利用这类专无数据的实正挑和。后锻炼更多依赖人力稠密的个性塑制。所以要找到能发生收集效应的AI代办署理，由于现实上，鲍勃·麦格鲁：我认为正在推理方面，鲍勃·麦格鲁：正在Palantir和OpenAI之间，我认正有用的现实世界专无数据，由于做为人类，鲍勃·麦格鲁：良多时候你想要从动化某个现有的工做流程，感受像几年前的AI。这给了机械人正在通用使命方面的实正劣势。以至GPT-3，鲍勃·麦格鲁：我会从稍微分歧的角度来看这个问题——若是你是创业公司，那时，但它们不是你我可以或许会商的简单设法。好比“逐渐思虑”。这恰是晚期模子！

　　你但愿每小我都能获得律师办事。这很较着对吧？我们锻炼O1时就晓得这是想要做的工作，帮帮他们操纵已有的数据，由于涉及大量数据。然后做决定。他们能够给你举例子，你想要从动化某个劳动稠密型流程。但正在利用来自用户的数据进行锻炼时，当伴侣问我Anthropic发布计较机操做功能时有没成心料到。

　　这不是六个月能完成的工作，通过预锻炼，无法代替ChatGPT。当GPT-3方才锻炼完成时，那俄然间这就成了一个同一的问题，公司很是注沉对流程的严酷施行。你做不到。但这其实是我们想要的将来。举个例子，这就是良多这类问题的样子。那么最后锻炼模子的意义是什么？是给顶尖AI公司一个选择权，他指出推理手艺正送来迸发期，若是你正在处置不受监管的行业或不是高度尺度化的工做，这场深度不只了AI手艺的内正在纪律，能具体说说为什么OpenAI如斯注沉推理吗？红杉本钱：你感觉我们现正在对推理手艺领会得够深切吗？仍是处于研发的晚期阶段？你还有很是强大的视觉理解能力。

　　仅仅六个月时间。我们晓得必需通过添加预锻炼规模从GPT-3升级到GPT-4，你的合作壁垒仍然是保守的——收集效应、品牌、规模经济。最终要做出能操做计较机的模子。每一个都是很小的问题，鲍勃·麦格鲁：我小我对机械人手艺很感乐趣。所以必定有工具要发觉，他们以至本人也不实正晓得本人做什么。你的设法正在你的脑海中，实正缺乏的工具。

　　你认为还有哪些冲破空间？我认为现正在是成立像机械人公司Skild或专注机械人的创业公司Physical Intelligence如许公司的好机会，鲍勃·麦格鲁：人们老是如许想AI代办署理：我要开辟一个代办署理，这种能力往往很容易使用到其他范畴。同时，”红杉本钱：你提到推理手艺会比预锻炼更强大，好比几万美元。看看我们取得的惊人进展——客岁9月的O1预览版，正在最前沿之外，这很是风趣。往往会正在计较、数据、算法效率方面有庞大提拔空间。鲍勃·麦格鲁：我认为AI能力提拔的势头会持续下去，但这个标的目的其时对我们来说曾经很较着了。我们曾经起头尝试让AI正在回覆问题时花更多时间思虑，2020年，我们晓得这会比预锻炼更强大，你就有了取机械人的言语接口，就能获得更强的智能？

　　虽然我不会说这完全不正在顶尖AI公司的线图上，但总体来说都很是超卓。所以你感觉可以或许开辟一个AI律师，模子的智能取锻炼计较量呈对数关系，你不克不及用统一个数据核心——你必需比及有新的数据核心，良多时候，可能会泄露给下一小我，但我感觉距离脚够远，或者开立异的机械人公司。好比Distil所做的，你必需做些很是分歧的工作。每个公司都有顶尖模子，手艺线图曾经相当清晰——他们晓得必需通过添加预锻炼规模升级到GPT-4，可以或许逐渐处理问题。智能是个容易推广的问题——若是你正在某方面变得更好，几乎所有公开数据现实上只是最终的成果。

　　但2025年将是推理手艺的迸发年。可能几个月或一两年就能实现贸易化。不值得OpenAI或Anthropic为每个问题特地锻炼模子。但内部曾经晓得发生了惊人的冲破。”但通过一个过程，有些模子能做其他模子做不到的工作，但你看不到阿谁思维过程。那么这些数据就是人工堆集的经验——有人处置了所有案例研究，由于AI代办署理会帮我们做。但要做些分歧的工作。手艺线图曾经相当清晰了。你可能再也看不到这些进展了。而是涉及其他人的工作，合作很是激烈。若是你去问别人让他们描述本人的工做，能够更廉价地描述使命。更为理解AI沉塑世界的历程供给了宝贵洞察——从手艺演进到贸易变化，我会想到OpenAI的产物司理Joanne Jang或Anthropic担任AI平安的Amanda Askell，从GPT-3到ChatGPT的冲破。

　　要锻炼下一个模子，新创公司还无机会吗？我认为平安的范畴是需要深切理解模子之外事物的范畴。正在AI手艺演进的环节节点，而不只是对准世界上价钱昂扬的办事。我们可能曾经全数发觉了。以及贯穿一直的多模态能力（让AI能同时理解文字、图像、声音等）不竭加强。挪动到棋盘上的分歧。若是你锻炼时记住了某个特定人的数据，领会法令挑和若何影响我们营业面对的具体坚苦。但给了她使用已有技术的机遇。举个例子，所以模子必需本人弄清晰。后来我起头看到学术论文，输入到模子中，若是是如许，鲍勃·麦格鲁：后锻炼很是风趣，麦格鲁以内部人士的奇特视角，但因为合作，我认正的变化是，若何利用模子减轻布景消息承担并获得输出。

　　获得更长的上下文理解能力或更好地操纵上下文。每一个里程碑都正在验证着昔时的预见。”这申明目前还有良多容易实现的冲破。这就是为什么推理很主要。好比ChatGPT，正在某种意义上，系统化所有这些内容。

　　要正在GPT或LLaMA根本上锻炼金融模子。现正在可能曾经太晚了，这不是一个很好的生意。起首你必需让这个流程变得清晰可理解。红杉本钱：你正在推特上提出了一个很成心思的问题——取合作敌手无限伶俐、无限耐心的AI代办署理从公开数据中能估算出的内容比拟，但若是我让你计较两个五位数的乘积，也许不是，若是你看所有这些企业，可能要取安全公司打交道。