💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、豆包、星火、月之暗面及文生图、文生视频 广告
# Unique Token Filter(唯一词元过滤器) ## 简述 `唯一词元`过滤器用于在分析期间仅索引唯一的token。 默认情况下,它应用于所有词元流。  如果`only_on_same_position`设置为`true` ,则只会删除相同位置上的重复token。