ประโยคภาษาจีน : 中文句子 |
---|
zhù yì 注意 lìng pái 令牌 hòu 后 dìng yì 定义 de 的 fēn gé fú 分隔符 kě yǐ 可以 shì 是 yí gè 一个 jù diǎn 句点 jiē 接 yí gè 一个 kòng gé 空格 yě 也 kě yǐ 可以 shì 是 yí gè 一个 pò zhé hào 破折号 jiē 接 yí gè 一个 kòng gé 空格 |
Notice that the delimiter after the token (202) is defined as either a period followed by a space, or as a dash followed by a space. |