utils.py 文件源码

python
阅读 19 收藏 0 点赞 0 评论 0
项目：neural-turkish-morphological-disambiguator 作者: onurgu 项目源码 文件源码 
def tokenize(line):
    tokenizer = RegexpTokenizer('\w+|\$[\d\.]+|\S+')
    return tokenizer.tokenize(line)
您未登录，请先登录后再评论
评论列表
文章目录

提
问题

写
面经

写
文章

微信
公众号

扫码关注公众号