def _get_ngrams(self, text, n):
tokens = nltk.word_tokenize(text)
tokens = [ token.lower() for token in tokens if len(token) > 1 ]
return nltk.ngrams(tokens, n)
微信
公众号
扫码关注公众号