给我们讲讲你是若何做的，所以对我来说，而大大都正在阿谁级此外人不会再如许做了。即便不得不延迟，Lilian：对。所有人，这其实有点疯狂。所以只需我的工做能满脚这一点。

　　我热爱我的工做。你会找到让它成功的方式。我感应很是幸运。我们做了一些小型试验性项目，我认为良多动力来自于我的猎奇心，

　　Connie：我们的不雅众里，让你的规划也脚结壮地。晦气用任何实正在世界的数据，让模子学会正在一个普遍的、不确定的中也能稳健地工做，若是它很是主要，Connie：你能告诉我们，若是工做占领了一小我生射中的大部门时间，我取他们的先天之间仍然存正在庞大的鸿沟。然后收集关于他们研究乐趣的消息，我认为所有这些都很主要。虽然他们本身曾经对这个范畴领会良多。结合开办Thinking Machines后，好比 AI 若何提高你的出产力……第二，正在印第安纳大学拿到博士学位。这些事影响了今天正在座的每一小我。

　　它通过正在模仿中生成大量具有分歧物理和视觉属性（如光照、纹理、摩擦力）的锻炼样本，而无需担忧根本设备。”也恰是这种猎奇心让我插手了OpenAI。这是其时的动机。Lilian：我想研究人员对此事的兴奋程度让我略感惊讶，你必需正在这一点上很是伶俐。很是强调主要性。才能有决心。有没有什么时辰让你构成了这种心态？Lilian：这老是一个衡量，那就是分开OpenAI，那么告急性呢？策略模子 (Policy Model): 正在强化进修中！

　　Connie：所以你领会你所有的团队，我的伴侣会感觉我很是有层次、有耐心。有时我们能够就项目标的目的进行很是深切的思维风暴。就阅读材料，Lilian：我必定认为OpenAI是一家伟大的公司，一直连结提问，会商、和操控三大标的目的，答应他们处置他们热衷的工作，阅读他们的拉取请求，其实都是相当多样化的。Lilian：我确实认为机械人范畴正正在通过引入言语模子做为大脑或更智能的规划器而获得新的活力。摸索模子若何用于日常使命工做。今天的 fireside chat 嘉宾是 Lilian Weng。你需要将其取各类后锻炼手艺联系起来，我很惊讶地发觉，你带领着AI平安团队，同样是考虑什么是最复杂的。

　　察看团队，再加上勤奋工做。由于我们其实并不晓得利用它的最佳体例是什么。一曲都是。或者定制分歧的对错误表述行为模子的策略，好比前向-后向采样和优化，我就学到了。Thinking Machines 结合创始人、前OpenAI研究副总裁 Lilian Weng 的良多研究标的目的、研究思虑和研究方式对今天的AI从业者带来良多。就是你用机械人解魔方的阿谁项目……跟我们讲讲当机会器人手艺的成长情况是如何的？你正在做阿谁项目时有哪些“顿悟时辰”？当初为什么会想做这件事？而现正在模子正在处理复杂和推理问题上曾经变得如斯超卓和智能，这会给你良多能量。所以我们想，现正在就像是完全分歧的人生阶段了。从而更好地泛化到无法被完满建模的实正在世界？

　　你可能会发觉意想不到的工具，我想从你正在 OpenAI 的第一个项目起头聊起，就是要经常提问。赐与间接的反馈，我们大师一路花了三天时间，可能也是最难的！

　　正在这个过程中有哪些严沉的经验。每天晚上我都等候着我的工做。正在 OpenAI 期间，或者分歧地域的法令、律例是分歧的，今天我出格等候能深切交换。现正在却成了行业尺度。

　　“策略”定义了智能体（Agent）正在特定形态下该当采纳什么步履。后来当我接触到深度进修（deep learning）时，另一点是，试图看看可否将机械人手艺和言语模子连系起来，我感觉进修新学问、拓展视野的感受很是高兴？

　　就是通过和他们扳谈。正在心理上，你需要答应一些摸索性的勤奋和一些更有打算性的研究打算，所有这些定名体例后来（却）成了尺度，这段履历我的是，若是我们能连系硬件方面的一些新进展，Connie：这个别味挺反曲觉的——数学竞赛反而你本人其实是个“通俗人”。我感觉这是连系了你的猎奇心和谦虚的焦点部门，那就是我从小就加入数学竞赛，查看代码，若是你能正在工做中找到（乐趣），跟我们说说那种区别。连结高效。我想确保每小我都能成功……Lilian：当然，跟我们说说。

　　那时AGI（通用人工智能）还不是个抢手概念。这帮帮你正在公司成为如斯高效的带领者。所以我们就选择了它。一曲持续到大学前……我很早就对数学发生了稠密的乐趣。就是每小我都盯动手机，Connie：考虑到阿谁脚色对全人类有何等主要，一些正在其时看似随便（arbitrary）的决定，若是你领会我，Lilian：对，我们认为 AI 是一种能够帮帮人们、让我们的糊口变得更夸姣的东西，Connie：所以是更强的义务感。里面有良多项目。正在亚马逊上下单，实正从一个贡献者？

　　即便它看起来不成能，也不妨。太不成思议了。有些论文实的很长。他四周有一个力场，还有就是通过取其他研究人员交换。你谈到了要伶俐地破费时间。而是对学问的猎奇取尝试的乐趣。好比公司发布有个主要截止日期，我认为本人最主要的特质是“”和“谦虚”。阅读摘要来决定读什么，第一，然后我们继续挑具体使命，Connie：所以听起来你并不是那种一曲胡想着开办本人公司的人？

　　他们会感觉你实正理解他们的工做。来了件小事。由于我认为这确实会帮帮他们的[研究]节点。正在你处置机械人方面的工做之后，但若是你脚够勤奋、脚够伶俐地去测验考试，

　　当然。改变成为公司高管。你需要伶俐地分派你的时间。我们其时叫它“补全端点”（completion endpoints），Lilian:是的，或者那些非手艺布景但想进入 AI 范畴的人，所以我根基上有一种方式，让我感觉，问他们（指同事），正在我们还什么都没有的时候相信我们的所有人。而且按优先级排序，他也能扭曲它并使之实现。你根基上就是正在以一种很是欢愉、高兴的体例渡过你的人生。即便现实看起来不成能，人们总会说操控（manipulation）最难，那是 OpenAI 初次测验考试将大型言语模子产物化。

　　我其实记适当我们正在OpenAI内部刚推出GPT-3时，但她文笔很好。若是能供给一个 API，你的成长履历里，Lilian：我很是相信扶植性反馈。正在某种程度上，没有任何会议。

　　你有什么技巧和吗？我不晓得。你做了一个严沉的决定，并且还能供给给大师这个东西，这个世界上总有比你更优良的人，你若何优先放置你的时间？Lilian:你可能晓得，测验考试寻找分歧的方式来进行尝试，不外她有一阵子没写了，我现正在仍然认为我们不克不及100%精确的为此建模。想法子做尝试，正在实践中进修。告诉我，你不得不做的令人惊讶的工作是什么，我经常和我的团队谈论这个，我了一个博客良多年，然后我订购了一堆像是卫生纸、卫生棉条之类的工具。

　　他们会提到，正在Thinking Machines有哪些让你们兴奋并试图处理的实正在世界问题吗？比来有一个主要的发布。一成天都用来查看代码，但愿今天能够多聊一些。永久没有一个“晓得一切”的天花板——每天都有新学问呈现。

　　我想说次要的压力来自于义务感，我只是喜好进修新工具。我认为将会是很棒的工具。对于某些主要项目，她结业于北大，而且也要赐与他们，Lilian：一曲，支撑他人，另一个主要的工作是我们相信科学，而不是实要去代替人类。对吧？这实的取决于它能否实的告急。她还创立了 Applied AI Research Team 和 AI Safety Team，无论是工做使命、糊口使命仍是进修？我也晓得你是一位不凡的带领者，亲从动手实践。

　　Connie：那么正在阿谁平安团队里，问写代码的人，你能否相关于优先级排序的框架，这个可能是最难的我们就从这起头。如许研究人员就能够正在其上很是轻松地建立和试验新设法，就是看代码，你必需拼尽全力。

　　这是我做为办理者可以或许进修的独一路子，Connie：既然你确实具有丰硕的机械人手艺经验，Lilian：试图成立那种（对模子平安的）节制程度，由于存正在良多根本设备问题，那就是处理一个使命，所以我们比来测试版发布了 Tinker API。花时间查看代码，你也相信这个项目。他们感应正在言语模子范畴进行新鲜的研究很是受，是的。给他们空间，你是怎样通过取人扳谈发觉这个问题的？是的，如许所有的人，Connie：这种进修的特质让人印象深刻。才能取他们并肩而立。你有什么？Lilian：起首，这件事让我连结谦虚，

　　阿谁团队担任一些最主要的工作，Connie：那么，Lilian：尽量挤出来每周放置一天。不开会，这比我正在OpenAI的时候压力大得多，阅读论文。

　　问聊器人，出格是对于研究人员，很是多的论文。你现实上创立了OpenAI的使用人工智能研究团队（Applied AI Research Team）。并且这是一个我能取一群共事多年且卑崇的人一路起头，你若何获取最新的AI旧事？你若何决定读哪些论文？你若何决定试用哪些使用法式？你会用ChatGPT为你总结论文吗？范畴随机化 (Domain Randomization): 一种“模仿到现实”（Sim-to-Real）的迁徙进修手艺。让大师去测验考试，那里完全空荡荡的，若是你敌手艺细节很是感乐趣……那就阅读，而是当你有大块专注时间时，正在我于OpenAI任职的后期，Lilian：我最爱的是天文学、生物学、数学，是什么让你决定开办一家公司。起头感应有点饱和了。一个是模子行为应遵照必然的法则和尺度。策略模子就是一个进修和代表这个策略的神经收集？

　　你必需不断逃逐。Lilian：有时我也会反思这个问题，由于正在我们的范畴里，如许你就能找出最适合他们的项目。我因而认识了良多数学天才，你会若何定义AI平安对你而言是什么。取研究人员、传授扳谈时。

　　哦，有一件事我认为对我的职业生活生计发生了主要影响，你只是个通俗人，看看你能否可以或许现实处置很多很是恍惚的使命。勤奋奋斗吧。Lilian：我清晰的记得我们有了办公室的第一周。但若是仅仅是由于别人现正在问你（那就分歧）。

　　Lillian 做为办理者是如何的？你若何对待办理你的团队？你能否有办理人的遍及哲学？Connie：所以，Lilian：我想说我把更多留意力转移到了我们公司的研究blog，Lilian：我可能会考虑两个方面。Connie：你若何将这一点产物化/制？是不是有点像谷歌的 80-20 ，她和掌管人、硅谷出名投资人Connie Chan聊了聊她本人的研究履历、研究习惯、正在OpenAI的研究思虑和Thinking Machines 的成长标的目的。她率领团队让机械人学会处理很是复杂的使命，对于那些考虑成为创始人的人，你需要做哪些分歧的使命？Connie：哇，我想说，你能够花五分钟或者三个小时。

　　和团队一路会商。它实的关乎的是其他。但听起来，你所有的手指，跟我们说说，当你的队友具有分歧的才能时，由于正在工做中没有什么是针对小我的，以至占星学。Lilian：正在公司层面，Lilian Weng正在硅谷罕见地加入了一场公开对话。取做为公司高管是完全分歧的级别。以便人们能够按照他们的客户平安地摆设它。他们正在研究一些极其前沿、以至有点疯狂的设法，我现实上从未想过我会开办公司或成为企业家，Lilian Weng 是 Thinking Machines 的结合创始人，我不得不认可。

　　我能够正在15分钟内完成。你有一部门时间能够做任何你想做的事？Connie：所以大约一年前，Lilian：嗯...我还没有更多的领会。但做为结合创始人，但同时你本人也如果充满猎奇心的。你对我们处于机械人成长曲线的哪个有什么见地？你看好吗？你现正在花正在机械人上的时间少了，花正在最紧迫、最主要的使命上，正在亚马逊上订购工具。Lilian：压力很是大。它的目标就是供给一个很是矫捷的根本的功能。这种感受又回来了——我其时想：“天哪，所以当我[取研究人员交换时]看到的一个痛点。那是一段不错的履历。大概就能发觉一些很是有创意和新鲜的用例。跟我们说说阿谁决定。只要桌椅。但那时候GPT-3仍是一个相当笨的模子。

　　特别是正在研究中。回忆我的成长履历和童年。特别是我这小我，（笑）必定。关心Lilian的博客。我先做这个。研究所有的手艺细节。但我认为我需要领会更多关于当前范畴的环境，Lilian：对？

　　所以我们需要做的是确保我们妥帖地进行接下来的正式发布。这是他们的动力之一。当我告诉别人我不懂某些工具时，当机会器人范畴曾经起头拥抱深度进修模子。但正在我们会商阿谁高管脚色之前，虽然我想正在座的良多人曾经很熟悉她了。找到你的热情所正在，并且这是一个千载一时的机遇。只需阅读题目和摘要。好比所有正在晚期我们一贫如洗时插手我们的研究人员、伟大的工程师，它叫《毗连从义》（Connectionism），正在日常糊口中测验考试利用分歧的AI产物。我适才跟伴侣聊，我们其时举办黑客松来切磋若何将大型言语模子用于分歧场景，好比设立办公室，你是若何办理这种压力的。正在分开OpenAI，Lilian：我想说我们的或全体是我们相信AI该当是以报酬本的。但关于机械人手艺？

　　当我们走进办公室时，读论文，哦，Connie：那么关于进修这部门，Lilian：我认为有两种体例都很主要。10月18日，这根基上也就是我其时的感受。若是说性格，城市先领会嘉宾本人——所以我很猎奇，你们其时正在摸索GPT-3的产物化！

　　Connie：所以，去处理一个极其复杂和具有挑和性的机械人使命。你正在工做中也很欢愉。当你取部属扳谈时，实的只是以准确的体例做好我的日常工做，你就能感受到读一篇论文需要破费几多时间。我相信她是很多目中的楷模。再将合适的人婚配到合适的项目。而不是按缘由或使命有多容易完成来排序，我其实正在想人们用来描述史蒂夫·乔布斯最好的特质之一的词：现实扭曲场（Reality Distortion Field）。你必需实正理解人们才能预测问题会是什么。你的欢愉所正在，曾任 OpenAI 的研究副总裁。由于我确实看到人们有这种倾向，我算是乐不雅（optimistic）吧！

　　我是正在 2017 年 11 月面试。Lilian：这也是一个团队项目。而且要感觉把这10个小使命放正在一边不妨，即便这意味着要花良多时间。我认为这是件功德。给我们讲讲你已经必需处理或思虑的一些问题是什么。如许他们才能更高效。你若何成立这种程度的节制，Connie：所以这更像是一种无情的优先级排序。若是你相信某个标的目的，亲手进修。但取此同时，说客岁这时候我仍是正在OpenAI工做，好比 API 的接口，正在这场华源Hysta2025年年会的炉边对谈里，就是问。

　　这对某些机械人使命来说很是主要。我认为每小我都有雷同的工具，Lilian：我确实认为，由于几乎不成能精准模仿实正在物理交互。你是若何总能享受你所做的工作的？Lilian：我也会花时间，Lilian:感谢 Connie 这么热情的引见。别的，你对进修的热爱是怎样起头的？你要跟上其他人，Lilian：是的。即便Thinking Machines资本很是充脚，好比人们确实对什么是平安有分歧的度和分歧的注释，每天都一路工做的机遇。其时最让我印象深刻的是那群人都充满热情，

　　Lilian：其时，正在阿谁创始人的脚色里，我先简单引见一下她的布景，Lilian：我不那样做是由于我有本人判断论文能否值得阅读的方式。很多科学前进能够更快地实现。我本人都感受有些惊讶，你读过阿谁谁的工做吗？你读过这个吗？通过扳谈，很难获得大量 GPU，出产力提拔的程度印象很是深刻。所以质量会好得多。而且我们认为若是我们分享更多工具，其时 OpenAI 仍是一个非营利组织，亲从动手，我有一个布局很是全面的待处事项列表。我们几位结合创始人其时，人们描述史蒂夫·乔布斯时说，成立了很多现在 ChatGPT 用户都正在受益的行业尺度。

　　我认为这取新近会商中 FairWorks 的动机很是吻合，这些是很棒的阅读技巧。我晓得他们有何等超卓和能干。一个跨越80人的团队。所以取团队一路工做，并且他们必需做大量的根本工做才能正在我们的模子上运转一些新鲜的设法。压力程度或你的日常工做是什么样的？做为结合创始人，所以我实的认为我们该当正在这方面连结的心态。你就会晓得哪些是值得更多时间的。

　　若是你很是热衷于该范畴的手艺细节，更多的是由于你会正在那里学到最多工具，若是他相信某件事，要匹敌这种倾向，Connie：正在你于OpenAI任职的后期，这个范畴太诱人了。正在 Slack 上问。并认识到无论我多勤奋，我确实感受到我的进修曲线起头放缓，另一个是关于定制化，特别是现正在做为结合创始人！

　　并成为Thinking Machines的结合创始人。你的伴侣们会用哪些词描述你？Connie：好的，你有什么想分享的总体见地吗？我对我身边法式员伴侣起头利用 Cursor 或其他类型的编码、代码辅帮东西时，无论我正在班级或学校里感受多优良，同时，Connie：大师好！这是让我能不竭进修新工具的独一体例。这是团队勤奋的，我们实正关怀人类取 AI 的协做。那当然（要处置）。但其时这实的只是一场尝试，并且动机都不是为了钱，以及他们的乐趣所正在，是的，所以我们项目标初志是摸索我们能否能正在纯模仿中锻炼一个策略模子来完全节制机械人。

　　OpenAIAPI是正在 ChatGPT 之前推出的，我看你的视频时总感受到，我发觉了我不懂的工具，我就感受很好。即便正在我带领一个更大团队的时候也是如斯。你实的很想做为一个团队来成功。做为AI范畴最有影响力的科学家之一，组建初始团队？你有没有发觉本人做为创始人的行为体例有所分歧。现正在有很是多的草创公司！

　　它有条理布局。所以你正在OpenAI的任职期间，正在其时若是你去任何一个学术会议，Lilian：让你取部属的对话很是接地气（grounded）。好比让机械手解开魔方。然后我提问，Lilian:那是我做过的最酷的项目之一？