ประโยคภาษาจีน : 中文句子 |
---|
duì yú 对于 ér yán 而言 tōng guò 通过 shǔ xìng 属性 zhǐ dìng 指定 yào 要 biāo jì 标记 huà 化 de 的 zì fú chuàn 字符串 ér 而 tōng guò 通过 shǔ xìng 属性 tí gōng 提供 yòng yú 用于 shēng chéng 生成 biāo jì 标记 de 的 yī 一 zǔ 组 dìng jiè fú 定界符 |
For , the string to be tokenized is specified through the items attribute, while the set of delimiters used to generate the tokens is provided through the delims attribute. |