老婆问我：“大模型的 Token 究竟是个啥？”

什么是 Token？最近 DeepSeek 很火，老婆又问我：大模型里的 Token 到底是个什么东西？我：所谓 Token，Token，分而治之。“Token 就是模型眼中的‘最小语言单位’。” 它既不是一个完整的字，也不一定是一个完整的词，而是介于两者之间的东西。比如：“我爱吃苹果” → 可能被拆成 ["我", "爱", "吃", "苹果"]“Artificial intelligence”