沈知遥
138 0000 0000 | shenzhiyao@example.com | 微信：vibe_resume_demo
22 years old · Multimodal Algorithm Engineer · 2027 届应届生
github.com/example （开源多模态工具 Maintainer｜技术博客作者）
东海科技大学 人工智能实验班｜2023.09 - 2027.06 GPA 3.72/4.0｜专业排名 6/120
实习经历
聚焦多模态理解、Agent 工程和训练数据基础设施，累计沉淀 20+ 篇内部技术文档；以下内容均为模板演示用模拟经历与指标。
github.com/example/vision-agent★ 2.4k stars · 310 forks
- 项目简介：面向长视频与图文知识库的开源 Multimodal Agent，支持视觉检索、视频理解、结构化报告生成、可插拔 Skill 与沙箱工具执行。
- 我的职责：作为核心维护者，负责从固定 Pipeline 向 Agent Harness 的架构升级，并建设长上下文与多模态工具链。
- Agent Harness：由 Lead Agent 统一意图识别与任务规划，通过 task 工具按需派生 Researcher / Vision Coder；调度与执行线程池分离，支持 4 路并发、超时熔断与流式结果回传。
- Middleware Chain：将上传解析、媒体采样、工具修复、上下文压缩、长期记忆与人工澄清抽象为 9 层中间件；新增能力只扩展对应层，主推理循环保持稳定。
- Context Engineering：长视频中间结果落盘并建立索引；按 token 预算动态选择历史证据；超限时先裁剪旧工具结果，再调用轻量模型生成结构化摘要；子 Agent 仅接收任务切片，完成后摘要回传。
- Skill System：每个 Skill 由独立目录和说明文件组成，system prompt 只注入能力索引，Agent 在执行到具体任务时再渐进加载全文，避免多模态工具说明一次性占满上下文。
- 可观测性：统一记录 planning、tool call、视觉采样、模型 usage 与错误恢复事件；提供 trace replay 页面复现单步输入输出，并支持按会话比较不同模型和提示词版本。
字节跳动（Mock 模拟经历）· 视觉智能平台
多模态算法实习生｜2026.01 - 2026.06
Video-R1 数据与训练流水线｜Video QA + Grounding Trajectory Synthesis
- 背景与目标：真实视频任务存在时序跨度长、关键帧稀疏和答案证据不可追溯问题；目标是规模化构造带时序证据与推理过程的高质量训练轨迹。
- 多模型统一适配：抽象 Model / Sampler / Verifier 接口，接入 8+ 视觉语言模型；按任务类型动态组合均匀采样、镜头切分和运动感知采样策略。
- 轨迹合成引擎：同一容器内串联 Planner → Frame Selector → VLM → Verifier，失败时携带证据缺口与验证报告重试；通过 checkpoint 持久化采样帧、对话和中间预测，支持断点续跑。
- 多 Scaffold 轨迹：统一接入 ReAct、Plan-and-Execute 与 Toolformer 风格执行器，按任务难度随机组合策略；维护历史轨迹 Archive，从关键中间步骤分叉并恢复现场，避免失败样本全量重跑。
- 上下文压缩：超过预算时先替换旧帧分析和冗长工具输出，再保留任务、失败报告与关键证据生成结构化 handoff；切换模型时只传递可执行计划与现场索引。
- 效果：模拟 Benchmark 中长视频问答准确率提升 18.7%，平均视觉 token 降低 34%，10 万级样本合成任务失败重跑成本降低 41%。
Multimodal Trace Evaluator｜Rubric Eval + Data Wash
- LLM-as-Judge：按事实性、时序定位、视觉证据充分性和工具效率拆分 Rubric；规则项零模型判断，语义项批量请求并支持多模型投票、限流与失败回退。
- Failure Onset 定位：逐步骤评估轨迹，自动识别首次错误帧选择或错误推理节点，过滤后续级联失败，只保留 onset 前的高质量决策片段用于 SFT / RL。
- 轨迹压缩：按文本、图像描述、工具结果和错误栈差异化截断；超限时生成保留首条任务、视觉证据与失败报告的总结，保证 Judge 输入稳定。
- 数据清洗：按 Pass Rate、Evidence Coverage、Effective Action Ratio 多维筛选并导出训练集；增量补全未完成评测，避免重复调用。
- 效果：模拟数据中 Rubric 对高低质量轨迹区分度达到 31%，经 onset 清洗后训练样本人工验收通过率提升 16 个百分点。
MMBench 评测服务化｜接入云端 GPU 容器平台
- 服务链路：spec 配置 → 申请隔离容器 → 挂载数据集与模型 → 执行推理 → 异步轮询 → 汇总结构化指标；支持业务方按模型、数据版本和采样策略发起评测。
- 可靠性：任务状态持久化到数据库，容器异常时自动重建并从样本级 checkpoint 续跑；结果按内容哈希去重，避免重复消耗 GPU。
- 模拟规模：日均执行 2,000+ GPU 样本任务，失败自动恢复率 96%，评测环境准备时间从 30 分钟降低至 4 分钟。
Training Data Lake｜版本化样本、轨迹与多模态特征
- 数据模型：以 dataset / sample / artifact / trajectory 四层对象管理原始媒体、采样帧、模型输出与评测报告；每次洗数保存 lineage 和可复现配置。
- 成本优化：视频、帧特征与文本轨迹分层存储，以内容哈希去重并按访问频率进行冷热迁移；模拟环境中存储量降低 38%，训练数据准备时间降低 52%。
Session & Memory Runtime｜跨会话恢复 + 多层压缩
- Session 管理：将对话、工具事件、中间文件和 token usage 写入同一会话快照；意外中断后按最后已验证步骤恢复，并对工具调用执行幂等检查。
- 多层压缩：分为 Observation 裁剪、Tool Trace 结构化摘要、Episode Memory 合并与 Long-term Profile 固化四层；每层设独立 token 预算和保留规则，避免关键证据被覆盖。
