tokenize.py 文件源码

python
阅读 28 收藏 0 点赞 0 评论 0

项目:wende 作者: h404bi 项目源码 文件源码
def tokenize(question, on='jieba'):
    """ ???????????
    :param question: ???????
    :return: ?????????
    """
    if on == 'ltp':
        # LTP ??
        words = segmentor.segment(question.encode('utf-8'))
        rv = _remove_stopwords([i.decode('utf-8') for i in words])
    else:
        # jieba ??
        rv = _remove_stopwords(jieba.lcut(question))
    logging.debug("NLP:tokenize: {}".format(" ".join(rv)))
    return rv
评论列表
文章目录


问题


面经


文章

微信
公众号

扫码关注公众号