超人 (Superhuman) 的 Ask AI 产品让用户宣称：“我离不开它了！”

对于每天花费大量时间在电子邮件和日历上的忙碌人士来说，在收件箱中搜索 45,873 封电子邮件，却发现自己无法回忆起正确的关键词或笨拙地使用 Gmail 标签，是一种非常普遍的挫败感。Superhuman 致力于通过其人工智能驱动的搜索助手 Ask AI 来解决这一挑战。Ask AI 旨在改变用户浏览收件箱和日历的方式，即使对于最复杂的查询（例如“我上次和那个 A 轮初创公司的创始人共进午餐是什么时候？”），也能提供即时、感知上下文的答案。

超人 (Superhuman) 注意到用户在一个领域花费了大量时间——电子邮件和日历搜索。用户每周最多花费 35 分钟试图回忆起确切的短语和发件人姓名，使用传统电子邮件客户端中的关键词搜索。

该团队意识到语义搜索体验可以提高工作效率，并帮助用户减少搜索时间。

在 Ask AI 发布后的几个月里，超人 (Superhuman) 已经看到用户每周搜索时间减少了 5 分钟，节省了 14% 的时间。

在最初设计 Ask AI 架构时，超人 (Superhuman) 团队使用了执行检索增强生成 (RAG) 的单提示 LLM。目标是使用户能够查询他们的收件箱和日历，并检索相关的任务、事件或消息。

上面的图表显示了他们的第一个版本，该版本使用 JSON 模式生成检索参数，这些参数通过混合搜索和启发式重排序传递，然后 LLM 生成答案。

然而，单提示设计存在一些缺点。首先，LLM 并不总是可靠地遵循特定任务的指令。他们还发现 LLM 难以准确地推理日期（例如，识别即将到来的截止日期）。他们的系统也只擅长处理某些搜索类型——例如查找航班或总结公司更新——但不擅长处理其他搜索类型，例如日历可用性或复杂的多步骤搜索

这些限制促使超人 (Superhuman) 团队转型为更复杂的认知架构。他们新的代理架构（如下图所示）可以理解用户意图并提供更准确的响应。它的工作原理如下

为了确保响应质量的一致性，超人 (Superhuman) 实施了一些不同的提示工程策略。首先，他们通过添加聊天机器人规则来定义系统行为、特定于任务的指南和语义少样本示例来指导 LLM，从而构建了他们的提示。这种规则的嵌套有助于 LLM 可靠地遵循指令。

超人 (Superhuman) 团队采用的最有趣的技术是“双重浸泡”指令。通过在初始系统提示和最终用户消息中重复关键指令，他们确保严格遵循基本指南。这种指令的双重强化有助于保持清晰度和一致性，从而产生更可靠的输出。

在开始测试 Ask AI 的性能时，超人 (Superhuman) 首先针对问题和答案的静态数据集进行了测试。他们根据此测试集查看了检索准确率，并比较了提示更改如何影响准确率。

该团队还采用了“发布和学习”的方法，系统地向更多用户推出 Ask AI。首先，他们从内部团队利益相关者那里收集了赞/踩反馈。然后，他们使用相同的方法向全公司推出了该功能。

一旦他们收到足够积极的反馈，Ask AI 就被推出给专门的 AI 测试组，然后是他们的社区拥护者，最终是测试等待名单。这种策略使超人 (Superhuman) 团队能够识别最紧迫的用户需求，并相应地优先考虑改进——从而实现了为期四个月的测试过程，最终实现了 GA 发布。

Ask AI 以两种关键方式集成到超人 (Superhuman) 的电子邮件应用程序界面中

1. 在搜索栏内，用户可以在传统搜索和 Ask AI 之间切换。

2. 作为类似聊天的界面，用户可以在其中询问后续问题并查看对话历史记录。

该团队就仅在搜索中、仅作为代理还是两者都集成 Ask AI 进行了大量讨论。最终，通过用户反馈和测试，他们发现用户在这两种选择中都看到了价值——因此他们保留了这两个界面。

借助 Ask AI，用户还可以灵活地在语义搜索或常规搜索之间进行选择，从而更好地控制他们的搜索体验。为了避免不正确的答案，Ask AI 还会在提供最终答案之前向用户验证不确定的结果。因此，超人 (Superhuman) 团队仔细关注响应速度，力求在保持准确性的同时尽可能快地提供答案

超人 (Superhuman) 的 Ask AI 代表了一种通过 AI 改造电子邮件搜索的深思熟虑的方法。通过专注于用户需求、快速迭代以及采用巧妙的提示技术（如双重浸泡指令），他们创建了一个可以缩短搜索时间并改善整体电子邮件体验的工具。

随着 AI 的不断进步，像 Ask AI 这样的工具为更强大的助手铺平了道路，这些助手可以无缝地融入我们的日常工作流程中。