ประโยคภาษาจีน : 中文句子 |
---|
rú guǒ 如果 jì hao 记号 fù yǔ 赋予 qì 器 wèi 未 yù dào 遇到 zhè 这 liǎng gè 两个 jì hao 记号 zé 则 fǎn huí 返回 cí fǎ 词法 cuò wù 错误 |
If the tokenizer encounters neither token, it returns a lexical error. |