def tokenize(self, _text):
if self.regexp:
return RegexpTokenizer(self.regexp).tokenize(_text)
return word_tokenize(_text, language=self.language)
微信
公众号
扫码关注公众号