资深大模型审核产品经理-TikTok Shop

岗位职责

1、负责Agent与Workflow评测及安全发布体系建设，面向内容治理、申诉、标注等场景，设计离线评测、Dry Run、小流量灰度、在线评测与回归评测的全链路机制；搭建评测集、评估器、指标口径、版本对比与准入门槛，支持Agent、Prompt及Workflow的可解释评估，保障模型与流程“敢上线、上得稳”； 2、推动大模型内容治理基建（规则库与案例bank）建设，推动内容治理规则在大模型时代的结构化、精细化升级及配套产品能力落地；同时建设统一案例bank，沉淀高置信案例，推动RAG与多模态案例资产在内容治理研判、Prompt优化迭代中的实际应用； 3、负责LLM质检与智能标注产品设计，面向人审、大模型及生态质检等场景，设计“模型标注为主、人工验证为辅”的生产链路，完善抽样、标注、质检、仲裁与高置信数据沉淀机制，推动结构化标注数据反哺模型迭代与案例bank建设，形成数据飞轮； 4、承担跨团队负责人责任，与算法、工程、策略等及区域团队共同制定目标、路线图与验收标准，管理复杂依赖与交付风险；在多市场、多语言、多场景约束下推动决策，并对最终业务结果负责。

任职要求

1、本科及以上学历，具备产品经理工作经验；拥有AI产品、平台产品、内容安全、风控治理或复杂To B系统的完整负责人经历； 2、深入理解LLM、Agent、Prompt、RAG等基本机制，能够识别模型、数据、规则、编排及系统稳定性问题，并转化为可落地的产品方案； 3、有模型或Agent评测经验，能独立设计评测集、评估器、指标体系、版本对比、灰度实验与发布准入门槛，理解离线指标与线上真实治理质量之间的差距；熟悉准确率、召回率、误伤、漏放等质量指标及抽样、标注、质检、仲裁、RCA完整链路者优先； 4、能从多业务场景中抽象通用对象、配置、流程与权限，设计可复用、可扩展的平台能力而非单点需求；有规则平台、案例库、评测平台、LLM Prompt/Workflow工作台等大模型基建经验，或熟悉电商不同场景的机审、人审与申诉链路者优先； 5、对失败率、SLA、告警、容灾、降级、成本与ROI有清晰判断，能基于数据完成问题发现、归因分析与优先级制定；具备SQL、Excel、Python或BI工具使用经验者优先； 6、能与跨部门团队及全球区域团队建立高效协作机制，在目标冲突、资源受限或信息不完整时做出判断并推动落地；逻辑清晰，擅长结构化表达与文档沉淀，具备良好的英文读写与跨区域项目协作能力。

岗位点评0

• 还没有点评，来当第一只嗅狗吧