程序员们关于现实的那些错误认知 - Lilly Ryan (PyCon AU 2025)

本次分享由信息安全工程师兼前历史学家Lily Ryan带来，主题聚焦于程序员关于现实的常见误解。演讲者指出，当前安全领域正处于一个快速迭代、频繁出错的周期中，许多产品和项目的失败源于核心人员错误地相信输入系统的数据是以某种客观方式存在的。这种信念假设计算机能够自然地处理现实世界的复杂性，因为人们错误地认为计算机是极其复杂的，而现实相对简单。然而，核心问题在于现实本身不可能被客观捕获，尽管工作需要用数据和模型来代表世界，以便进行观察和假设检验。

“地图不是领土”这一常见格言，表达了处理计算任务时必须找到代表世界的方式。处理计算机相关工作，必然涉及与现实世界中某些片段的关联。因此，必须做出决策，将这些事物转化为数据集、模型和抽象系统，用以替代实际讨论的对象，从而帮助表示它们并检验关于该事物的假设。这些概念并非新鲜事物，其哲学和文学根源深远，但随着我们处理的数据片段日益复杂和细微，这一概念的重要性也随之增加。

地图不是领土，这是我们工作中经常出现的、可引用的常见短语。

本次演讲的标题是一种长期的列表形式，探讨表面看似简单、深入挖掘后却日益复杂的主题。演讲的目的不仅是告知已了解这些概念的听众，更是为所有选择观看的人提供工具，以便与生活中那些陷入“我们可以客观捕获现实”观念的人进行对话，并据此构建产品。由于现实是滑溜的，即便是听众自己或演讲者本人也可能在小事上遗忘这些基本原则。

第一个思考陷阱是：拥有的数据越多，我们就能越完美地表征现实。虽然数据源的增加确实能提供更细致的视角，但最终结果仍是一堆现实切片的模型，上面覆盖着个人的解释。术语“原始数据”本身就是矛盾修饰法，因为它总是测量者选择的结果，包括测量什么、如何测量以及测量的意义。原始数据如同未经巴氏消毒的牛奶，充满了需要处理的“细菌”，以提高其质量以供消费。

真正带来差异的是高质量的数据源。当人们在规模化和持续增长的时代，默认质量可以稍后从模型中提炼出来，认为数据源的数量最重要时，系统会变得非常脆弱。许多人可能熟悉这种糟糕的体验，例如将二十年的SharePoint数据接入LLM试图解决信息查找问题，结果通常只是一阵刺耳的噪音，需要编写极其复杂的提示词来纠正。

许多AI产品公司对LLM的营销方式是这种谬误的绝佳例证。将LLM包装成多功能的“万能机器”，并用闪光表情符号按钮隐藏其复杂性，鼓励用户认为它只是魔法，无需思考。然而，用户需要了解其基本工作原理——数学上预测和输出基于输入标记的下一个标记，而不是像人类一样进行客观或中立的思考和推理。将互联网上所有书面数据视为人类知识的全部，忽略了对书面语言和早期数字访问的偏好。

另一个谬误是假设一切都是可衡量的，但这并非事实。如何衡量正义、安全或爱？这些重要事物无法被量化，人们必须使用代理指标来代表其他事物。安全专家可能发现，修补的漏洞数量并不一定意味着应用更安全，因为核心开发者的GitHub密码被钓鱼可能导致整个构建服务器被控制。我们选择观察或认为我们观察到的事物，决定了我们所见的世界，因为现实对每个人看起来都不同。

人们的观点、历史和感知能力（如色谱）塑造了他们对好与坏的判断，这些观点会不断变化。许多人倾向于认为存在一个被每个人共享的单一现实，这在某种程度上是一种防御机制，因为大脑持续意识到现实的主观性并不利于日常运作。认识到“我画画很差”只是视角和品味问题，虽然具有解放性，但却难以参与更广泛的功能系统，如购物或保持对话。

我们经常陷入一种陷阱，认为每个人所经历的现实只有一个，因为这多少是一种防御机制。

为了在合作层面完成任何事情，我们需要共识，因此我们不断地进行近似，这通常足够好用，例如网络标准。尽管技术上可以编写不推荐的Web应用代码，但其他系统可能不作相同假设，导致混乱。科学的基础也是如此：单个研究只是一个经验的表达，但通过足够多样的实验和广泛的讨论，可以接近科学共识，为进一步构建提供坚实基础。当负责解释现实片段的数据集或模型决策时，了解共享共识变得至关重要。

现实没有内在结构；我们施加的任何结构都是人为强加的，尽管它们在选择菜单或超市布局时非常有用。然而，类别是强大的，但也带有塑造世界的权力。类别在最佳情况下是理解世界的方式，在最坏的情况下，它们会导致压迫和人权侵犯。当人们将类别误认为是客观真理，特别是当它们被用作武器来控制世界时，情况就会变得非常糟糕。

人类学家詹姆斯·C·斯科特在其著作《像国家一样看待世界》中深入探讨了政府和组织如何试图在规模上强加类别，目标是使世界变得清晰易读。为了管理资源分配或规划未来，使世界对政府或计算机清晰易读会扁平化并抹去局部知识和复杂性，这些复杂性在原有环境中可能发挥着重要作用，但在外部则被视为不重要而被丢弃。

当强大的群体创造类别，并且存在强烈的激励去适应这些类别时，人们会开始重塑自身以匹配描述。例如，工业风、回收木材和极简家具构成了特定的美学，这种“Airspace”现象在世界各地出现，因为它们在Instagram等平台上拍照效果好，并被推荐算法所青睐。Spotify的流派类别也以类似方式运作，平台会根据播放列表的氛围生成音乐，并利用分析仪表板引导音乐家调整创作以适应这些类别，以增加曝光和收入。

最后一个陷阱是认为完美地模拟现实是有用或可取的。这种思维方式会导致数据过度捕获、包含低质量数据、决策不佳以及系统僵化。对于开发人员而言，这可能导致项目瘫痪，因为试图设计一个能优雅处理所有潜在未来用例的系统，最终可能导致什么都做不出来。认识到我们正在为特定目的制作世界表征，反而具有解放作用。

抽象是工具，而非镜子；工具旨在有用，而非完美。正如比尔·肯特所言，效用与真理之间存在重要区别。在计算领域，如果工作没有任务可做，就应该反思其目的，将困难的部分留给艺术家。系统设计必须从明确的构建意图开始，明确需要它做什么。达娜·米多斯指出，世界是一个连续体，划分系统边界取决于讨论的目的和需要回答的问题。

承认我们处理的是现实的抽象，并不意味着这些抽象没有后果。我们对测量内容和命名方式的选择会对世界产生影响，涉及技术决策以及影响人们生活、机会和资源获取的决策。因此，设计工具时必须深思熟虑：谁能从中受益？谁可能被排斥或被误传？这种设计倾向于鼓励何种行为？最终目标是构建能够为特定目的有效运作、承认自身局限性并尊重用户的合理抽象。