Valuable insights
1.AI时代工程人员面临的挑战: 尽管AI模型能力强大,但技术的快速、持续变化使工程师感到不知所措,难以有效应用现有工具和流程。
2.技术变革速度超越最佳实践: 过去制定的最佳实践和工作流程,在当前技术迭代速度下,保质期极短,需要不断更新对系统的认知。
3.AI并非单一实体看待: 将AI视为一个整体(Monolithic)是理解其局限性的障碍。实际应用中,上下文、提示和工具的组合决定了系统表现。
4.采纳“苦涩的教训”原则: 不应过度依赖预先植入人类“聪明才智”的算法,而应遵循理查德·萨顿的教导,通过扩展计算能力解决问题。
5.计算能力胜过精巧设计: 应优先使用并行计算和迭代来解决问题,而不是花费大量时间设计一次性完美的提示或算法,因为前者更具可扩展性。
6.拥抱AI优先思维框架: 新的工程思维模式是“AI优先”,它侧重于建立一个适应性强的心理框架,而非固定的操作手册。
7.AI优先的三大核心要素: 新的思维框架建立在计算(Compute)、协作(Cooperation)和好奇心(Curiosity)三大要素之上,以应对环境的持续变化。
引言:AI时代的工程困境
在经历了两年模型在编码、推理和写作方面的突破性进展后,尽管技术演示和工具不断涌现,许多工程师仍感到力不从心。当前面临的核心矛盾是,技术前所未有地强大,但应用者却感到前所未有的不知所措。这种现象并非矛盾,而是当前工程环境的根本问题所在,需要一种新的方法论来应对这种持续的疲惫感。
技术快速迭代带来的挑战
工程领域的核心挑战在于一切事物都在不断变化。模型、技术、工具系统和上下文管理流程都在经历根本性的迭代,每一次迭代都可能带来数倍的效率提升。工程师无法在一切都在快速移动时保持工作质量,需要事物相对稳定才能“钉住”关键点。然而,在当前环境下,试图用昨天的工具来处理今天的问题已成为常态。
我们从未拥有过更强大的AI,也从未感觉更不知所措,试图去使用它。
- AI模型能力的提升
- 新颖技术和方法的出现
- 工具系统的改进
- 流程管理和上下文处理方式的优化
过时的计划与代理系统的进化
七个月前,为AI系统规划问题解决方案时,需要提供一个包含零到七个步骤的详细迁移计划,并明确指示AI一次只完成一个步骤,完成后返回更新文档中的检查标记。这种精细化的指令在当时是必要的,因为当时的系统还不具备完全的代理能力,无法自我评估、回溯并修复问题。如今,这些基础代理能力已经成熟,过去那种繁琐的规划步骤已不再是必需,因为模型和工具本身正在承担这些管理工作。
AI优先思维:应对持续变革的框架
面对持续不断的变化,工程师需要采用一种新的、更具适应性的思维模式,即“AI优先”。这不是一套固定的补救措施,而是一种心智框架,用以理解和生活在快速变化的环境中,避免每月都需要重置工作方法。这种框架的核心在于认识到AI的非单一性,即它并非一个铁板一块的实体,而是由特定上下文、提示和工具集构建的系统系列。
AI的非单一性与工程思维
当人们断言“AI可以”或“AI不能”做某事时,往往是陷入了将其视为单一实体的陷阱。工程师习惯于建立明确的系统,因此很容易得出结论:“我应用了最佳实践,但结果不佳,所以AI不适合这项任务。”然而,问题往往出在输入的信息、系统的构建方式或所使用的工具上,而非AI本身的能力边界。这种对AI的刻板印象阻碍了有效应用,因为其底层能力随时都在变化。
- AI的上下文和底层智能可以迅速变化。
- 不能像对待人类群体一样一概而论地看待AI。
- 工程师需要投入时间来理解特定配置下的系统需求。
- 持续的适应性是新秩序的一部分,而非系统缺陷。
过去学习知识的方式是锁定信息,例如认为高中学到的知识是永恒不变的。然而,AI正在以每日的速度使知识过时。因此,工程师必须意识到当前锁定的工作模式或发现的有效模式具有极强的时效性,它们会迅速老化。认识到这一点,新的组件引入时就不再被视为对旧知识的修正,而是全新的事物。
“苦涩的教训”与计算的胜利
接下来的关键概念是理查德·萨顿在2019年提出的“苦涩的教训”。通过研究计算机国际象棋、围棋、语音识别和视觉系统,萨顿发现早期研究人员倾向于构建模仿人类思考方式的精巧算法,试图用更巧妙的逻辑来解决问题。这种方法虽然在初期有效,但很快就会遇到一个陡峭的平台期。
他认为,我们对人类思维的理解不够充分,不应试图去推测它,持续犯下同样的错误。
计算扩展优于人类精巧设计
萨顿得出的“苦涩的教训”是:构建模仿我们认为的思维方式的系统,从长远来看是无效的。最终的突破性进展来自于相反的方法:基于扩展计算能力。这意味着,与其将人类的精巧设计植入算法,不如利用强大的计算资源来驱动解决方案的演进。对于当前的工程实践而言,这意味着需要转向使用并行计算。
- 模仿人类思考的算法会遇到性能瓶颈。
- 真正的突破性进展源于计算能力的规模化扩展。
- 应优先使用计算资源解决复杂问题。
工程实践的转变:并行计算与迭代
并行计算在当前环境下的体现是利用云代码环境,例如CodeX或Google的Jewels,在云端执行桌面端的工作。这使得工程师可以脱离构建过程中的关键路径和瓶颈,同时发起多个变更请求,实现初步的规模化。更重要的是,结合“苦涩的教训”,意味着不再需要构建一次就停止等待人工评估和集成,而是可以利用计算能力进行大规模的并行尝试。
利用云环境实现大规模并行尝试
以ChatGPT为例,付费用户在CodeX环境中已经可以看到生成多个版本的选项,例如直接请求构建四个版本。这表明工具开发者已经理解了“不要只构建一个版本”的理念。未来,工程师将普遍认识到,花费精力去“看管”第一个请求直到完成,本身就是一种效率低下的行为。通过并行计算,可以快速生成多个结果,然后从中挑选最优解,这比人工在每个细微变化点进行集成和调整要高效得多,因为此时工程师的角色是管理者而非瓶颈。
- 无需人工在每个步骤进行集成和优化。
- 可以快速构建并丢弃失败的尝试。
- 将工程师从瓶颈位置解放出来,专注于更高层次的编排。
AI优先的三要素:计算、协作与好奇心
“AI优先”思维的最后一部分是三个关键要素的组合:计算(Compute)、协作(Cooperation)和好奇心(Curiosity)。这三者共同构成了理解和利用AI不断变化环境的关键。计算强调使用计算能力而非人类的精巧设计,协作强调AI是解决方案的一部分而非全部,而好奇心则是探索AI能力边界的驱动力。
计算:使用计算而非精巧性
在构建代理系统时,与其在提示中注入大量精巧的、模仿人类经理思考方式的逻辑,不如退后一步,让计算来解决问题。如果人类的精巧设计是固定的,那么系统的智能上限就被限制住了。相反,如果目标是获得十次答案,然后通过评估器选出最佳结果,那么随着基础智能和推理能力的提升,整体性能也会随之提升,且更容易进行调试和理解。
协作:控制而非控制
协作的核心思想是“协作而非控制”。AI是解决方案的一部分,并非必须完成所有工作,即便它只解决了部分问题,这也是可以接受的。不应采取非黑即白的评判标准。通过协作,可以发现AI在特定步骤上效率达到百分之六十,这仍然比雇佣他人完成全部工作更有效率。重要的是认识到这是一个合作过程,且所有结论都是暂时的,因为环境持续变化。
好奇心:探索能力边界
好奇心是最重要的要素,要求持续关注系统能力边界的变化,以及不同AI版本的能力差异。简单地断言“AI不能做X”是错误的,正确的做法是调整交互方式,探寻其能力极限。这种对边缘的探索并非浪费时间,而是理解当前AI环境能力范围的关键,与理解编程语言或数据库环境的能力边界同等重要。这种好奇心是区分未来工程师的关键销售点。
好消息是,您可以在一天中的任何时候进行这种探索。
工程师应当利用好奇心,将对AI的探索融入日常活动中,例如洗衣服时向ChatGPT询问建议,即使结果质量不高。这利用了计算能力,并且允许在稍后审视这些结果,发现自己未曾想到的角度。最终,理解AI的能力边界,而不是试图完全掌握它,才是应对未来挑战的自由之道。
Questions
Common questions and answers from the video to help you understand the content better.
为何在AI模型能力增强的背景下,工程师反而感到更加不知所措?
这是因为技术(模型、工具、流程)的迭代速度过快,导致传统上依赖稳定流程和最佳实践的工程方法论失效,使人难以跟上变化。
理查德·萨顿的“苦涩的教训”对AI时代的工程有何指导意义?
该教训指出,试图在算法中植入人类的精巧思考方式不如扩展计算能力有效。因此,应优先使用并行计算和迭代来解决问题,而非过度设计一次性的复杂逻辑。
工程师应如何理解AI的“非单一性”?
AI并非一个统一的实体。其性能取决于特定的上下文、提示词、工具链和所使用的模型版本。将AI视为整体会限制对其实际能力边界的理解。
在AI优先思维中,“协作”与“控制”有何区别?
协作意味着将AI视为解决方案的一部分,接受其不完美性,并根据其当前能力分配任务。控制则是期望AI能独立完成所有工作,这在快速变化的环境中是不切实际的。
为什么在AI时代,“好奇心”成为工程师最重要的能力之一?
好奇心是持续探索AI能力边界、了解不同版本或配置下系统能做什么、不能做什么的关键。这种探索性学习是适应持续变革环境的基础。
Useful links
These links were generated based on the content of the video to help you deepen your knowledge about the topics discussed.
