← 返回信息流

LangChain新闻

使用LangSmith预览构建测试代理更改

langchain.com产品AI评分:50/100

LangSmith推出预览构建功能,允许团队在合并前于临时生产环境中测试拉取请求分支的代理更改。该功能为每个PR提供隔离的暂存环境,自动同步最新提交,支持并发预览和自动清理,旨在简化代理开发的测试流程。

预览构建是 LangSmith Deployment 的一项新功能,可让您在合并之前更轻松地测试代理更改。

无需为每个拉取请求创建新的部署,您可以从 PR 分支启动一个临时的、类似生产环境的部署。您的团队可以运行提议的代理、与协作者共享、在同一环境中检查其行为,并在完成后将其拆除。

拉取请求可以更改提示词、工具、模型、依赖项或集成。这些更改的影响通常只有在代理运行时才会变得清晰。本地测试在开发期间有所帮助,但在更改进入生产环境之前,它很少能为团队其他成员提供一个一致的地方来审查行为。

预览构建为每个 PR 提供了自己的代理暂存环境。团队可以在合并之前在 LangSmith Deployment 中测试更改,而无需在其 CI/CD 工作流中添加额外的部署设置。

在部署环境中测试分支

当拉取请求触发预览构建时,LangSmith 会在一个与父部署关联的隔离环境中部署源分支。预览运行正在审查的代码,而不会更新父部署。

这为团队提供了一个测试完整代理的地方。审查者可以尝试提示词、执行工具调用、检查追踪,并查看代理在其配置的依赖项和服务下的行为。他们还可以测试代码审查中可能不会出现的失败路径和边缘情况。

由于预览作为部署运行,协作者无需克隆存储库或重现开发者的本地设置。每个人都在同一环境中审查同一版本的代理。

保持预览与拉取请求同步

LangSmith 会在一个短期的预览部署上构建拉取请求源分支的最新提交。当有人向该分支推送另一个提交时,LangSmith 会自动创建该预览部署的新修订版。

这使预览在整个审查过程中保持有用。开发者可以响应反馈、推送更新,并请协作者再次测试更改,而无需创建另一个环境或合并未完成的工作。拉取请求仍然是代码讨论的地方,而预览则提供了提议更改的运行版本。

  • 每个 PR 都会为针对部署分支打开的每个拉取请求创建一个预览。
  • 仅标签模式会在有人添加配置的 GitHub 标签后创建预览。

当大多数更改需要行为审查时,“每个 PR”模式效果很好。“仅标签”模式让团队在预览应仅针对选定更改运行时拥有更多控制权。

为协作者提供共享的审查环境

代理审查通常涉及编写代码的团队之外的人员。产品经理可能希望检查用户体验,领域专家可能需要验证术语或策略行为,QA 可能希望测试已知的失败案例。

预览部署为这些协作者提供了一个与拉取请求关联的共享工件。他们可以直接测试提议的代理,并在更改仍然易于修改时留下反馈。工程师可以使用相同的预览来检查响应背后的工具调用和追踪。

团队还可以同时运行多个预览部署。单独的拉取请求保持隔离,因此审查者可以比较更改,而无需在分支之间移动共享的暂存部署。

控制预览使用和清理

  • 空闲 TTL 设置预览在其最新修订版之后可以保持不活动状态的时间。LangSmith 在该期限到期后删除预览。
  • 最大并发预览数限制父部署可以同时运行的预览数量。
  • 团队可以随时手动删除预览。删除父部署也会删除其预览部署。

预览部署在创建时会复制父部署的密钥,并保留该初始设置,除非您覆盖它们。对于敏感服务,请使用范围限定为预览工作负载的凭据,而不是生产凭据,特别是如果预览可以由外部或不太受信任的贡献者从拉取请求创建时。

启用预览构建

预览构建在 LangSmith Cloud 上通过 GitHub 集成连接的部署中作为公开测试版提供。

打开部署设置,找到预览构建,并启用该功能。选择“每个 PR”或“仅标签”,配置空闲 TTL 和并发限制,然后保存更改。

下一个符合条件的拉取请求将从其源分支创建预览部署。与审查更改的人员共享,根据需要推送更新,并在代理行为符合预期后合并。

了解您的代理真正在做什么

LangSmith,我们的代理工程平台,帮助开发者调试每个代理决策、评估更改并一键部署。

阅读原文