想转行AI？先弄懂Token

晚上十一点，小林还在改简历。

为了转行做大模型产品经理，他先把自己的工作经历发给聊天工具，又补充了目标岗位、招聘要求和项目数据。

前几轮改得还不错，可聊到第十几轮，对方突然把他已经删除的经历写了回来，还忘了他反复强调的要求：“不要把我包装成技术研发。”

小林有点困惑：AI怎么越用越笨了？

这不是工具突然“变笨”了，而是他在不知不觉中，已经消耗了大量Token。

Token，像超市里的称重计量单位

我们买水果时，看的是几个苹果，超市结账时，算的却是重量；

人类看文字，习惯统计多少字、多少句话，大模型处理文字时，使用的计量单位则是Token。

一段文字进入模型后，会先被拆成一个个Token。它可能是一个汉字、一个词的一部分，也可能是标点、数字或空格。不同模型的拆分方式不同，所以Token并不等于字数，也不存在固定的“一千字等于多少Token”。

你输入的提问要占Token，上传的简历和岗位说明要占Token，之前的聊天记录要占Token，模型生成的回答同样要占Token。

简单来说，Token就是大模型阅读和回答时使用的“文字筹码”。

为什么聊得越久，它越容易忘事？

可以把一次对话想象成出门搬家。

你面前只有一辆容量有限的货车。简历是一个箱子，岗位描述是一个箱子，前十轮聊天记录又是十几个箱子，模型接下来要给出的回答也得预留位置。

车厢没装满时，所有东西都能带走；东西越来越多后，就可能需要压缩、整理，甚至放下一部分旧行李。

这辆“货车”的容量，就是你和AI聊天的上下文窗口；里面能够装下的文字总量，则由Token衡量。

所以，当对话越来越长，模型可能逐渐忽略前面的要求。你最早说“突出运营经验”，后来又反复讨论产品、技术和数据，它最后可能只记住最近的信息，把简历改得越来越偏。

生活中类似的场景并不少见。

你给朋友连续发了五十九条微信，中间夹着一句“明天别带电脑”，对方很可能漏看；你把冰箱里的所有食材都搬到厨师面前，却只说“随便做一道菜”，食材再多，也不代表结果更合心意。

信息越多，不一定越有效。对模型来说，真正重要的是：有限空间里，哪些信息应该被优先看见。

Token为什么还和钱有关？

如果你只使用现成的聊天产品，可能感受不到Token的价格。但企业通过接口把大模型接入自己的产品时，Token往往直接对应成本。

它有点像打车，乘客只关心能不能到目的地，平台却要计算行驶里程和时间。

用户只看到“帮我优化一下简历”，后台实际发送的可能包括个人经历、岗位要求、修改规则、历史对话和参考范例，模型还要生成新的内容。

这些输入和输出，都会产生Token。

假设一家招聘平台每天为十万名用户提供简历优化。如果每次都把用户全部历史记录和几十份岗位信息重新发送一遍，就像司机每接一单，都先绕城一圈再去目的地。单次多花一点看不明显，放大到十万次，就是一笔不小的成本。

因此，一款大模型产品并不是“接上一个模型”就结束了。还要考虑：哪些信息必须发送，哪些可以删掉，长资料怎样提炼，简单任务是否需要昂贵模型，以及怎样在效果、速度和成本之间取舍。

提示词越长，效果越好吗？

很多人为了让模型“听话”，会写下这样的要求：

“请认真分析、深入思考、千万不要敷衍，内容一定要专业、全面、精彩、有逻辑……”

这像去理发店坐下后，反复告诉理发师“剪好看一点”，却始终不说要剪多短、是否保留刘海。

看起来讲了很多，真正有用的信息却很少。

如果换成：“面向大模型产品经理岗位修改简历，重点突出需求分析、项目推进和数据复盘；不虚构经历；每条用‘做了什么＋产生什么结果’表达，控制在50字以内。”模型反而更容易执行。

好的提示词不是长，而是具体。目标、背景、限制条件和输出格式，比重复强调“认真”更有价值。

想转行，这个概念要懂到什么程度？

不是每个求职者都需要计算Token，但想进入相关行业，至少要理解它对三个问题的影响：

第一，影响模型一次能够处理多少信息；第二，影响产品调用成本；第三，影响回答速度和最终效果。

做内容运营，你会知道为什么长资料要先提炼再创作；做产品经理，你会关注上下文、用户体验和调用成本；做应用开发，你还需要进一步了解模型计费、内容切分、缓存和知识库检索。

面试中，如果被问到“怎样降低一款面试助手的使用成本”，也不能只回答“换便宜的模型”。你还可以提出：删掉重复的历史信息，只调取与当前问题有关的资料，先总结长对话，限制无效输出，并为不同难度的任务匹配不同模型。

这才是从“会用工具”走向“理解产品”。

下一次，当它忘记你的要求、漏掉长文中的细节，或者写到一半突然停止时，不妨先别急着怪它。

看看是不是这辆有限容量的货车，已经装了太多东西。

Token看起来只是一个技术名词，背后却藏着大模型最基本的运行逻辑：它一次能读多少、记多少、写多少，以及企业要为此付出多少成本。

对于想转行的人来说，理解Token不是为了背下一道面试题，而是学会从效果、体验和成本三个角度，重新看懂一款智能产品。

本文来自微信公众号 “猎聘”（ID：liepinwang），作者：程叔，36氪经授权发布。