Saltar al contenido
Global sound
AI 产品经理修炼日记

AI 产品经理修炼日记

de 三水

Último episodio
第38课:离线评测与在线实验配对——一线是怎么把配对跑起来的

Sobre este podcast

三水带你学:从零开始,成为一名真正专业的 AI 产品经理。每天一课,12-15 分钟,附配套练习单。

Episodios

Los 20 episodios más recientes de 38

  • 第38课:离线评测与在线实验配对——一线是怎么把配对跑起来的 · 12 min第38课讲一线是怎么把离线与在线配对跑起来的:配对不是两张表拼在一起,是一条流水线,离线管放行、灰度管对照、在线管验收。 - 离线门分两道:硬门是准确率、幻觉率这些底线指标,软门是风格、长度、语气,可以谈。 - 灰度切百分之五、跑满一个完整周期;在线验收主指标涨、护栏不许掉。 - 两种死法:只看离线是裸奔上线,只看在线是追着噪音改。…
  • 第37课:离线评测与在线实验配对——离线分数与线上信号怎么配对 · 13 min第37课讲离线评测与在线实验配对:离线评测的分数,和线上真实用户的反馈,是两回事,只看一头都会跑偏。 - 离线评测是考卷:便宜快稳可复现,管改之前能不能上;在线信号是用户用脚投票,真实但吵慢贵,管上完之后真变好了吗。 - 选指标有三问:涨了,用户真的变好了吗?一周内看得到变化吗?变了,能定位到是谁的改动吗?…
  • 第36课:Golden dataset——把五十条评测集真正填出来 · 12 min第36课把五十条评测集真正填出来:一张表五十行,每道题写三行,输入、标准答案、判定规则,一个一个填过去。 - 先画格子:场景、难度、类型三层分层,正例三十道、边界例十三道、坏例七道。 - 每道题写三行:输入是什么、标准答案是什么、判定规则是什么,判定写死到换一个人打分分差不离。 - 验收三招:三个模型跑一遍、换两个人打分、留十条不公开。…
  • 第35课:Golden dataset——五十条评测集是怎么挑出来的 · 12 min第35课讲五十条评测集是怎么挑出来的:评测集不是编出来的,是挑出来的,从真实使用里挑,从用户骂过的地方挑,从评审吵起来的地方挑。 - 五步挑法:先分层再抽样,从真实使用记录里抽,脱敏之后才能进评测集。 - 边界例和坏例去翻垃圾:从客服吐槽、用户骂过的记录、评审吵起来的例子里找。 - 答案两个人审,判定写死,换一个人来打分分差不离。…
  • 第34课:Golden dataset——建一套可信的评测集 · 15 min第34课进入第十二个模块 Golden dataset:评测集建得好不好,决定了你测出来的分数能不能信。 - Golden dataset 是一套固定的考卷,每道题配一个标准答案或一条判定规则,答案是人工审过的金标准。 - 考卷里有三类题:占六成的正例、占两成五的边界例、占一成五的坏例,三类缺了哪一类,分数都会骗你。…
  • 第33课:动手写一份完整的"好"定义文档 · 13 min第33课是 M11 的收尾:动手写一份完整的"好"定义文档,五步从第一笔走到最后一笔。 - 第一步选功能、写任务画像,两句话定下标准松紧的依据 - 第二步先找例子再写标准,好例子坏例子各五个,从真实使用记录里来 - 第三步把形容词改成能打钩的检查项,再写三到五个边界例划清灰色地带…
  • 第32课:一线怎么写"好"的定义文档 · 14 minM11 第二课,不讲新标准,讲怎么把四条标准落到纸面,写成一份团队都能照着打分的"好"定义文档。 要点:任务画像先写清功能在真实工作流里的位置,用户拿到结果下一步做什么,决定标准的松紧;形容词全部改成能打钩的检查项,关键数字错一个即不通过,没有"尽量""基本";写三到五个边界例,把灰色地带事先划清楚;评测集从真实使用记录里来,打分规则写死,过线看的是平均…
  • 第31课:定义"好"的标准:先写标准,再动手 · 12 min进入第三阶段「数据与评测」的第一课:一个 AI 功能到底怎么样才算好?好不是感觉,是动手之前就写下来的四条标准。 要点:准确性是答案和事实对得上,错一个关键数字就算失败;来源可追溯是每个关键结论都能找到出处,用户追问三秒内能指出来;完整性是该答的都答了,关键项没漏,漏一项和错一项代价一样大;可审性是换一个人拿同一套标准能打出差不多的分,过程要留痕;四条标…
  • 第30课:动手设计一个三 Agent 协作方案 · 12 minM10 最后一课,不讲新概念,动手把前两课拼成一个能跑的三 Agent 协作方案。 要点:先写目标和验收标准,写进三个 Agent 都能看到的共享文档;按窗口拆,不按职能拆,占窗口又能扔掉的那一步才值得单独开窗口;三种分工模式各配什么任务,并行配独立任务,流水线配环环相扣,主从配判断力够强的主…
  • 第29课:一线是怎么做的:该拆就拆,该合就合 · 12 min第十个模块第二课,不讲新概念,讲一线。真实团队在真实任务里是怎么摆上下文、怎么拆 Agent 的,十月份刚有一组数据给了答案。 - Anthropic 给上下文工程下的定义:窗口有限、信息无限,每一步只给模型最值得看的那一点东西。 - 工具定义按需加载的真实账本:58 个工具的定义从 77K token 压到 8.7K,Opus 4 准确率从 49%…
  • 第28课:上下文是 Agent 的工作台,多 Agent 是分工的团队 · 11 min进入新模块 M10:上下文工程与多 Agent。这一课先讲概念原理:Agent 干活的质量,一半看模型,一半看摆在它眼前的上下文。 - 上下文是模型回答前实际看到的所有东西:系统提示、对话记录、工具结果、文件与记忆的总和。 - 上下文窗口不是越大越好,东西塞太多、夹在中间的信息最容易被漏掉,管上下文要分层、按需加载、定期清理。 - Anthropic…
  • 第27课:亲手接一个工具,跑通一次才算会 · 12 min本期是 M9 模块的第三课:亲手给 Agent 接一个工具,跑通一次要过六关,才算真的会。 任务要挑小,挑每周都要做、结果一眼能验的小事,先看清全链路。 只读先行,验三样:连得上吗,返回的东西对吗,失败了是停下还是瞎猜着往下编。 接工具先验来源,十月二十一号 MCP Inspector 的安全公告就是提醒:连测试工具本身都可能被没验过的服务器攻击。…
  • 第26课:接工具先数可写工具,再谈方法复用 · 11 min本期是 M9 模块的第二课,讲一线团队给 Agent 接工具时的真实做法:接工具先数可写工具,再谈方法复用。 要点一:十月二十六号的一份 MCP 实测里,一百二十个工具、十五组,只有十七个能写东西,产品经理接工具的第一件事是列只读、可写、需审批三栏清单。 要点二:工具与 Skill 说明要写给模型看,第一句用业务原话,方法才有机会在需要时被翻出来。…
  • 第25课:给 Agent 配齐手、方法与记性 · 12 min本期讲 MCP、Skills 与 Memory:Agent 想真正干活,光有脑子不够,还得有手、方法与记性。 要点:MCP 用宿主、客户端、服务器三个角色统一接工具,供给分工具、资源、提示词模板三类,工具权限要卡严。 要点:Skills 是一文件夹的方法,核心是说明文件,按需加载、平时不占上下文,反复做的事才值得写成 Skill。 要点:Memory…
  • 第24课:Agent 练手:把决策链拆出来、跑完能复盘 · 11 min本期是 M8 Agent 基础的 Day3:Agent 练手,练的不是跑一遍流程,而是把决策链拆出来、跑完能说清哪一步对了、哪一步错了。 - 挑任务看三条标准:步骤之间要动脑子、结果要能验、范围要小到半小时能跑完。 - 拆任务用任务卡,每张卡写目标、范围、工具、停下条件、验收五样,卡的粗细看验收:一张卡一个验收标准。…
  • 第23课:真实工作里,Agent 是怎么跑起来的 · 12 min本期讲 Agent 在真实工作里是怎么跑起来的:很少一个人单干,而是一支小分工队在跑。 要点:主 Agent 拆任务、子 Agent 分头干,只读子 Agent 先摸情况、能改子 Agent 再动手。 要点:给子 Agent 交代任务要写清四样:目标、范围、工具、停下来问人的条件。 要点:验收必须来自 Agent…
  • 第22课:Agent 到底是什么,什么时候需要,什么时候不需要 · 12 min本期是 Agent 基础模块的第一课,讲清 Agent 到底是什么,什么时候值得用,什么时候不用。 要点如下: 一、Agent 的一句话定义:给模型一个目标,让它自己想办法,一轮一轮干活,直到把事办成。 二、Agent Loop 每一圈四步:想、动、看、再想,其中看结果再想下一步是循环转起来的关键。 三、两个关键零件:Tool Use…
  • 第21课:原型想法,怎么拆成一步一步能动手的小任务 · 12 min本期是 vibe coding 模块的第三课,讲原型想法怎么拆成一步一步能动手的小任务。 拆的标准有三条:一次坐下来能做完,做完能点一遍验出来,做砸了能退回上一步。 拆的方向是纵切,按用户走通的一小段流程拆,不按技术层拆,每一步都有能跑起来的版本。 任务卡写五样:目标、输入、输出、验收、禁区,缺了验收没法验,缺了禁区容易把上一轮对的地方改没。…
  • 第20课:真实案例里,原型是怎么一轮一轮修出来的 · 12 min本期讲 vibe coding 做原型的真实修法:原型不是一次做出来的,是被一轮一轮修出来的。 先丑后真:第一版别管好看,先让主流程跑通,跑通后问出来的问题才是真问题。 一次只修一个毛病:多处一起改,出了问题算不清是哪一处改坏的。 拿着原型去问人:看行为别只听意见,请人亲手点一遍,卡住的地方就是下一轮要修的地方。…
  • 第19课:vibe coding 做原型——用自然语言把想法变成能点开、能走通的原型 · 12 min本期是新模块第一课,讲 vibe coding 做原型:用自然语言把想法变成能点开、能走通的原型,是 AI 产品经理的新基本功。 要点一:vibe coding 的循环是说清楚、生成、跑起来、看效果、再改说法,核心是把需求说到 AI 能干活的程度。 要点二:描述要写齐四样,背景、目标、步骤、禁区,缺一样 AI 就会自己脑补。…

En directo, última hora: 14.664 canciones en 6.868 emisoras de 140 países

Descubre el mundo a través de la radio

Más formas de descubrir (7)

¿Has oído algo bueno? Guárdalo o ábrelo directamente en Spotify.

★ Artista de la semana El que más sube en la radio esta semana
¿Tu canción aquí? Desde € 9 por semana →
GanGan RadioSeguir escuchando