utils.py 文件源码

python
阅读 22 收藏 0 点赞 0 评论 0
项目：LinguisticAnalysis 作者: DucAnhPhi 项目源码 文件源码 
def tokenize(text, tokenizer = TweetTokenizer()):
    return [ tokenizer.tokenize(sentence) for sentence in sent_tokenize(text) ]
您未登录，请先登录后再评论
评论列表
文章目录

提
问题

写
面经

写
文章

微信
公众号

扫码关注公众号