preprocessing.py 文件源码

python
阅读 32 收藏 0 点赞 0 评论 0

项目:sbrt2017 作者: igormq 项目源码 文件源码
def _sanitize(self, text):
        # removing duplicated spaces
        text = ' '.join(text.split())

        # removing digits
        text = ''.join([c for c in text if not c.isdigit()])

        # removing accents
        text = unidecode(text)

        # removnig punctuations
        text = text.translate(
            string.maketrans("-'", '  ')).translate(None,
                                                    string.punctuation)

        # remove uppercase
        text = text.lower()

        return text
评论列表
文章目录


问题


面经


文章

微信
公众号

扫码关注公众号