面向印度语言的脚本感知分词器
AdaptTok-Indic结合合字处理、脚本路由与字节边界预测,缓解印度语言过度切分。
推荐理由:方案针对英语主导词表造成的印度文字序列膨胀,在统一码规范化之外显式建模合字和脚本差异;这可直接降低推理长度成本,并缩小不同文字系统的服务差距。
AdaptTok-Indic结合合字处理、脚本路由与字节边界预测,缓解印度语言过度切分。
推荐理由:方案针对英语主导词表造成的印度文字序列膨胀,在统一码规范化之外显式建模合字和脚本差异;这可直接降低推理长度成本,并缩小不同文字系统的服务差距。