python nltk.tokenize模块，常用函数和类
下面列出了python nltk.tokenize 模块中定义的常用函数和类，我们从259个开源python项目中，按照使用频率进行了排序。
| 函数和类 | 使用项目数 |
|---|---|
| 1. word_tokenize() | 用在( 128 )个项目中 |
| 2. sent_tokenize() | 用在( 61 )个项目中 |
| 3. RegexpTokenizer() | 用在( 50 )个项目中 |
| 4. TweetTokenizer() | 用在( 35 )个项目中 |
| 5. wordpunct_tokenize() | 用在( 30 )个项目中 |
| 6. WordPunctTokenizer() | 用在( 17 )个项目中 |
| 7. WhitespaceTokenizer() | 用在( 13 )个项目中 |
| 8. TreebankWordTokenizer() | 用在( 13 )个项目中 |
| 9. line_tokenize() | 用在( 8 )个项目中 |
