python tokenize模块，常用函数和类

下面列出了python tokenize 模块中定义的常用函数和类，我们从310个开源python项目中，按照使用频率进行了排序。