tf.keras.layers.TextVectorization层将文本特性映射为整数序列,由于它可以作为keras模型层添加,因此可以方便地将模型部署为单个文件,该文件以字符串作为输入并对其进行处理我正在使用一个LSTM模型来预测前面单词中的下一个单词。例如,我的模型需要接受一个字符串“我爱”,并且应该输出可能的下一个单词,如“猫”、“狗”等等。我可以使用这样的tf.keras.preprocessing.text.Tokenizer手动执行这个整数之间的映射字符串:
text = "I l