Simon Willison短讯
ttok 1.0 发布：默认切换至 GPT-5/6 Tokenizer
simonwillison.net开源AI评分：50/100
开发者发布 ttok 1.0，将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。此举基于对 OpenAI 新模型 tokenization 变化的实验发现，尽管官方尚未正式确认。
我发布了 ttok 0.4，运行了 uv tool upgrade ttok，并将一个文件管道输入到新版本中……然后意识到它默认使用的是 GPT-4 tokenizer，而实际上应该非常明确地默认使用 GPT-5/GPT-6！
我觉得切换默认值是一个合理的理由，终于可以发布 1.0 版本了。
OpenAI 尚未正式确认 GPT-6 是否使用与 GPT-5 系列相同的 tokenizer——关于这一点有一个充满争议的 issue——但我找到了 William Liu 的这段提交记录，其中报告了他进行的一项实验，证实这些 tokenizer 很可能是相同的：
所有七个 GPT 模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）均报告为 44,794 个 token，并在 31 个测试用例中的每一个上都相互匹配。GPT-6 在此语料库上未引入任何输入计数的变化。