核心思路不是「问一道题看答案对不对」,而是多维交叉验证。因为中转站的作弊方式和正常工程差异混在一起,只有多维度同时偏一致才能定性。
DeepSeek 的分词器是公开的,可以本地精确复算。做法是发一批「只回 1 个 token」的探测请求,用 usage.prompt_tokens 的差值向量和本地复算结果比对:
这一项就能筛掉大部分情况,且几乎不花钱(探测请求只回 1 个 token)。
检查 max_tokens 是否真的被强制、stop 是否生效、logprobs 是否支持、response_format 是否有效、usage 是否自洽。看中转层有没有偷懒不透传参数。
同 prompt、temperature=0、同 seed 重复多次。如果逐字完全一致,可能是缓存回放(但也可能是官方确定性推理,所以只给警告不判死)。
12 道固定题(算术/计数/指令/格式/知识/代码/翻译),官方与中转同题同参数跑一遍,比通过率和输出长度。掉分拐点能区分「小模型」和「旧版本」。
同一模型对格式的偏好高度一致(markdown 标题层级、列表符号、代码块风格、字数)。换模型后风格会立刻变。这是能力题之外的第二重交叉验证。
问「你是谁」,同时查 /models 返回的模型列表。自述可被伪造,所以只作为辅助信号,必须与其他维度交叉。
在长文里埋唯一验证码,末尾提问。逐级加大长度,找「遗忘点」。同时能发现输入是否被静默截断。
模型大小和量化程度直接反映在吞吐上。同时检测假流式:真流式的 chunk 间隔随 token 概率波动,切片式假流式间隔异常均匀。
要求原样回显随机串,检验输出层有没有被改写;要求复述 system 消息,检验有没有中间层注入额外指令。
| 结论 | 含义 |
|---|---|
| 真实转发官方模型 | 关键维度全部与官方一致 |
| 大概率真实 | 主要维度一致,个别非关键项有偏差 |
| 官方模型但版本/能力降级 | 是真 DeepSeek,但可能是旧版本或能力被阉割 |
| 降级档位 | 能力与吞吐同步下降,疑似换了小模型或量化版本 |
| 他厂模型冒名转发 | tokenizer 与能力双重不符,基本可以确定换了模型 |
| 中转计量/协议作弊 | 模型可能没问题,但用量计算或参数透传有问题 |
| 无法判定 | 指标在灰色区间,建议加大档位或换时段复测 |
1. 单次结论不可信。中转站常按时段、key、负载分流,可能这次走官方、下次走便宜货。建议不同时间多测几次,看结论是否稳定。
2. 官方基线有时效性。DeepSeek 官方权重本身在迭代(V3→V3.1→V3.2)。基准跑完会缓存在本机,超过一两个月建议重跑,否则对比会失真。
3. 不填官方 Key 会保守很多。没有基准就只能在绝对指标上判断,误判风险明显更高。有条件强烈建议填官方 Key 做双跑对比。
API Key 只存在你手机浏览器的 localStorage,不上传任何服务器。检测请求经本站服务端中转(为了绕过中转站不支持跨域的限制),该服务端只做透明转发,不记录请求内容、不存储 Key。基准数据同样只存在本机。