AI Agent评估运营专家（智能助手方向） - AI数据与安全

岗位职责

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。 1、Agent评测与项目交付：负责手机助手、个人AI Agent及智能硬件相关模型能力评测，独立承接评测需求，完成方案设计、评测执行、数据分析、问题归因及结论交付，保障评测结果的准确性、可比性与交付效率； 2、自动评测体系建设：围绕复杂任务、多轮交互、工具调用、指令遵循等核心能力，设计自动评测集、Rubric和分层评估标准，建立场景化、端到端的Agent评测体系，参与真机自动化、Sandbox环境构造及评测链路建设，提升自动评测效率和稳定性； 3、前沿场景评测探索：面向个人AI助理的记忆生产与消费、真实世界Context、主动服务、跨端任务和硬件Connector等场景，探索评测方法，验证模型能力及硬件融合带来的用户体验增益； 4、模型效果分析与闭环：负责重点模型版本对比、线上回流分析、负面案例挖掘与归因，识别模型能力瓶颈，协同产品研发团队推动问题修复和效果验证。

任职要求

1、本科及以上学历，计算机、人工智能、软件工程等相关专业优先，具有1年及以上AI模型评估、Agent评测相关经验； 2、熟悉大语言模型及Agent基本原理，理解Function Calling、Tool Use、多轮交互、任务规划及工具执行等核心机制； 3、具备完整的模型评测项目经验，熟悉LLM-as-Judge/Agent-as-Judge，能够独立进行评测方案设计、评测集建设、评分标准制定、rubric合成、数据分析及结果交付； 4、能够使用Python、SQL等工具进行数据处理与分析，具备自动化评测脚本或评测工具开发能力； 5、具备较强的问题分析、跨团队沟通和项目推进能力，能够主动识别风险、推动问题解决，并对交付结果负责。

岗位点评0

• 还没有点评，来当第一只嗅狗吧