ประโยคภาษาจีน : 中文句子 |
---|
lǜ 滤 cí 词 qì 器 zài 在 fēn cí 分词 zhī hòu 之后 duì 对 biāo hào 标号 zuò 做 jìn yí bù 进一步 chǔ lǐ 处理 zuì 最 diǎn xíng 典型 de 的 bǐ rú 比如 qù diào 去掉 biāo diǎn fú hào 标点符号 hè 和 yì xiē 一些 cháng jiàn 常见 cí 词 xiàng 像 |
The filters do any post-tokenizing work on the tokens (typically dropping out punctuation and commonly occurring words like "the", "an", "a", etc). |