办公AI效果评测产品经理 - 抖音AI

岗位职责

团队介绍：抖音AI团队主要负责抖音项目以及团队内的AI落地相关基础建设工作。我们的职责是用前沿的AI技术去赋能抖音应用以及抖音团队。我们希望在AI技术的加持下，能够更好的给抖音用户带来更好的信息消费体验，也能够让抖音这个大型组织能够更加高效的运转，从而更加及时的满足用户的各项诉求。团队主要负责抖音AI基础建设，包括但不限于模型训练、Agent相关的工程链路开发、通用Agent工具抽象以及AI Native的各类产品开发工作。AGI信仰强，以发展成为AI Native组织为目标，努力拓展传统协作模式的职责边界，充分给同学们提供自身探索的空间。 1、深入研发工程师、产品经理、测试工程师、设计师、产品运营和数据分析师等角色的真实工作场景，梳理从接收任务到完成交付的典型流程，明确所需背景信息、使用工具、关键步骤和交付标准，并据此建设AI可执行、结果可评价的真实任务评测集； 2、设计科学、系统、可信且高效的评测方案，定位模型能力、上下文理解、任务规划、工具调用及产品流程等环节的关键短板，明确优化方向和优先级； 3、将评测结论转化为模型、Agent和产品的具体优化策略，协同技术团队改进，拿到后验收益。

任职要求

1、本科及以上学历，软件工程、计算机、电子信息工程、人工智能、数据科学、统计学、数学等理工科背景；具备3年以上模型策略或评测产品相关经验者优先； 2、具备结构化分析和复杂问题拆解能力，对数据及指标体系敏感，能够结合实验、日志和线上表现快速定位模型问题，制定合理的验证方案与评测集； 3、持续跟进Agent、Agent Harness及基础模型的最新进展，能够阅读和理解前沿学术论文，识别可落地的评测方向，独立设计策略与效果实验，验证实际增益，并将实验结论转化为评测和产品优化方案； 4、具备较强好奇心、自驱力和结果导向意识，愿意主动承担有挑战性的任务，能够协调多方资源，推动复杂问题落地并取得实际结果。