ประโยคภาษาจีน : 中文句子 |
---|
zài 在 jì hao 记号 fù yǔ 赋予 zhè 这 yì céng 一层 wǒ men 我们 hái 还 bù xiǎng 不想 tǎo lùn 讨论 rú hé 如何 gòu zào 构造 jì hao 记号 ràng 让 tā men 它们 wéi chí 维持 yuán yàng 原样 jiù 就 kě yǐ 可以 le 了 |
At the level of tokenizing, we are not yet interested in how the tokens are structured, just what they are. |