import pytest from pypinyin import pinyin, load_phrases_dict from pypinyin.seg import mmseg seg_test = mmseg.Seg(mmseg.PrefixSet()) # yapf: disable seg_test._prefix_set.train([ 'a', 'ab', 'abc', 'abcd', 'abd', 'ac', 'acd', 'aff', 'agf', 'agfgef', 'asdf', 'bbs' '中国', '中国人', '中国人民', '中国人民银行', '我', '北京', '天安门', '员工', ]) # yapf: enable # yapf: disable @pytest.mark.parametrize( 'input, expect', [ ['', []], ['a', ['a']], ['abc', ['abc']], ['abcefg', ['abc', 'e', 'f', 'g']], ['bbcabce', ['bb', 'c', 'abc', 'e']], ['北京', ['北京']], ['北京,', ['北京', ',']], ['北京abc', ['北京', 'abc']], ['中国人民银行行长', ['中国人民银行', '行', '长']], ['中国人民银行员工', ['中国人民银行', '员工']], [ 'abcadbasfgafgasdabcagfaff我是中国人中国人民我爱北京天安门', [ 'abc', 'a', 'd', 'b', 'as', 'f', 'g', 'af', 'g', 'asd', 'abc', 'agf', 'aff', '我', '是', '中国人', '中国人民', '我', '爱', '北京', '天安门', ], ], ] ) # yapf: enable def test_mmseg(input, expect): assert list(seg_test.cut(input)) == expect @pytest.mark.parametrize('input, default_ret, mmseg_ret', [ [ '一语中的啊', [['yī'], ['yǔ'], ['zhōng'], ['de'], ['a']], [['yī'], ['yǔ'], ['zhòng'], ['dì'], ['a']], ], ]) def test_mmseg_for_pinyin(input, default_ret, mmseg_ret): assert pinyin(input) == mmseg_ret assert pinyin(mmseg.seg.cut(input)) == mmseg_ret @pytest.mark.parametrize('input, jieba_ret, mmseg_ret', [ [ '了局啊', [['le'], ['jú'], ['a']], [['liǎo'], ['jú'], ['a']], ], ]) def test_mmseg_and_jieba_for_pinyin(input, jieba_ret, mmseg_ret): assert pinyin(input) == mmseg_ret assert pinyin(mmseg.seg.cut(input)) == mmseg_ret def test_retrain(): seg = mmseg.seg assert list(seg.cut('啊啊啊')) == ['啊', '啊', '啊'] load_phrases_dict({'啊啊啊': [['a'], ['a'], ['a']]}) mmseg.retrain(seg) assert list(seg.cut('啊啊啊')) == ['啊啊啊'] assert list(seg.cut('男孩儿')) == ['男孩儿'] def test_phrases(): seg = mmseg.seg assert list(seg.cut('你要重新考虑这条建议')) == \ ['你', '要', '重新', '考', '虑', '这', '条', '建', '议'] load_phrases_dict({'在一起': [['zài'], ['yì'], ['qǐ']]}) assert list(seg.cut('在一片')) == ['在', '一片'] # 前缀匹配，后缀是词语 # # 输入头部是另外一个词语的头部，会匹配其他词语的前缀 # 输入尾部是一个词语 # 此时这个尾部词语要被分词出来 assert list(seg.cut('行业')) == ['行业'] assert list(seg.cut('金融行业')) == ['金', '融', '行业'] # 整个是词语 assert list(seg.cut('金融寡头')) == ['金融寡头'] assert list(seg.cut('服务行业')) == ['服务行业'] assert list(seg.cut('人员')) == ['人员'] assert list(seg.cut('服务人员')) == ['服务', '人员'] assert list(seg.cut('银行')) == ['银行'] assert list(seg.cut('浦发银行')) == ['浦', '发', '银行'] assert list(seg.cut('')) == [] # 整个匹配前缀，但是不是词语 assert list(seg.cut('金')) == ['金'] assert list(seg.cut('金融')) == ['金', '融'] # assert list(seg.cut('金融金')) == ['金', '融', '金'] assert list(seg.cut('金融金融')) == ['金', '融', '金', '融'] assert list(seg.cut('金融金融金融金融金融金融')) == [ '金', '融', '金', '融', '金', '融', '金', '融', '金', '融', '金', '融' ] assert list(seg.cut('金融金融金融金融金融金融金')) == [ '金', '融', '金', '融', '金', '融', '金', '融', '金', '融', '金', '融', '金' ] # 没有任何匹配 assert list( seg.cut('以其昏昏，使人昭昭')) == ['以', '其', '昏', '昏', '，', '使', '人', '昭', '昭'] # 前缀无任何匹配， 后缀是词语 assert list(seg.cut('以其昏昏行业')) == ['以', '其', '昏', '昏', '行业'] # 前缀是词语 assert list(seg.cut('行业以其昏昏')) == ['行业', '以', '其', '昏', '昏'] # 中间是词语 assert list(seg.cut('使人昭昭行业以其昏昏')) == [ '使', '人', '昭', '昭', '行业', '以', '其', '昏', '昏' ] # yapf: disable def test_seg_long(): seg = mmseg.seg assert list(seg.cut(''' 真的猛士，敢于直面惨淡的人生，敢于正视淋漓的鲜血。 这是怎样的哀痛者和幸福者？然而造化又常常为庸人设计，以时间的流驶，来洗涤旧迹， 仅使留下淡红的血色和微漠的悲哀。在这淡红的血色和微漠的悲哀中，又给人暂得偷生， 维持着这似人非人的世界。我不知道这样的世界何时是一个尽头！ 　　我们还在这样的世上活着；我也早觉得有写一点东西的必要了。离三月十八日也已有两星期， 忘却的救主快要降临了罢，我正有写一点东西的必要了。''')) == [ ' ', ' ', ' ', ' ', '真', '的', '猛', '士', '，', '敢', '于', '直', '面', '惨', '淡', '的', '人', '生', '，', '敢', '于', '正视', '淋', '漓', '的', '鲜血', '。', '\n', ' ', ' ', ' ', ' ', '这', '是', '怎', '样', '的', '哀', '痛', '者', '和', '幸', '福', '者', '？', '然', '而', '造化', '又', '常', '常', '为', '庸', '人', '设', '计', '，', '以', '时间', '的', '流', '驶', '，', '来', '洗涤', '旧', '迹', '，', '\n', ' ', ' ', ' ', ' ', '仅', '使', '留', '下', '淡', '红', '的', '血色', '和', '微', '漠', '的', '悲', '哀', '。', '在', '这', '淡', '红', '的', '血色', '和', '微', '漠', '的', '悲', '哀', '中', '，', '又', '给', '人', '暂', '得', '偷', '生', '，', '\n', ' ', ' ', ' ', ' ', '维', '持', '着', '这', '似', '人', '非', '人', '的', '世', '界', '。', '我', '不', '知道', '这样', '的', '世', '界', '何时', '是', '一个', '尽头', '！', '\n', '\u3000', '\u3000', '我们', '还', '在', '这样', '的', '世上', '活着', '；', '我', '也', '早', '觉得', '有', '写', '一点', '东', '西', '的', '必要', '了', '。', '离', '三', '月', '十', '八', '日', '也', '已', '有', '两', '星期', '，', '\n', ' ', ' ', ' ', ' ', '忘', '却', '的', '救', '主', '快要', '降临', '了', '罢', '，', '我', '正', '有', '写', '一点', '东', '西', '的', '必要', '了', '。'] assert list(seg.cut( '人们常常把人与自然对立起来，宣称要征服自然。殊不知在大自然面前，' '人类永远只是一个天真幼稚的孩童，而他却要作自然的主人！' '他只是大自然机体上普通的一部分，正像一株小草只是她的普通一部分一样，' '有什么资格与自然对立！ 如果说自然的智慧是大海，那么，' '人类的智慧就只是大海中的一个小水滴，虽然这个水滴也映照着大海，' '但毕竟不是大海。可是，人们竟然不自量力 地宣称要用滴水来代替大海。')) == [ '人们', '常', '常', '把', '人', '与', '自', '然', '对', '立', '起', '来', '，', '宣称', '要', '征服', '自', '然', '。', '殊不知', '在', '大自然', '面', '前', '，', '人', '类', '永', '远', '只是', '一个', '天', '真', '幼', '稚', '的', '孩', '童', '，', '而', '他', '却', '要', '作', '自', '然', '的', '主', '人', '！', '他', '只是', '大自然', '机体', '上', '普', '通', '的', '一', '部分', '，', '正像', '一', '株', '小', '草', '只是', '她', '的', '普', '通', '一', '部分', '一', '样', '，', '有', '什么', '资', '格', '与', '自', '然', '对', '立', '！', ' ', '如', '果', '说', '自', '然', '的', '智', '慧', '是', '大海', '，', '那么', '，', '人', '类', '的', '智', '慧', '就', '只是', '大海', '中的', '一个', '小', '水', '滴', '，', '虽', '然', '这个', '水', '滴', '也', '映', '照', '着', '大海', '，', '但', '毕', '竟', '不是', '大海', '。', '可是', '，', '人们', '竟', '然', '不自量力', ' ', '地', '宣称', '要', '用', '滴', '水', '来', '代', '替', '大海', '。'] assert list(seg.cut( '该负责人表示，银行保险机构具有外部性强、财务杠杆率高、' '信息不对称严重等特征，不同于一般工商企业，对其股东股权必须从严管理。' '总体上，银保监会将坚持“两个不变”。一是坚持鼓励社会资本参与银行保险机构改革、' '优化股东结构的积极取向不变。银保监会将继续畅通社会资本投资入股银行保险机构的渠道，' '优化股东结构、充实机构资本，重点引入注重机构长远发展、资本实力雄厚、管理经验' '丰富的战略性股东。二是坚持严惩股东违法违规行为、规范公司治理的高压态势不变。' '银保监会将继续深入排查整治违法违规股东股权，依法清理规范股权关系，' '对股东严重违法违规行为，将坚决予以惩戒，发现一起、查处一起。')) == [ '该', '负', '责', '人', '表', '示', '，', '银行', '保', '险', '机', '构', '具有', '外', '部', '性', '强', '、', '财', '务', '杠杆', '率', '高', '、', '信息', '不对', '称', '严重', '等', '特', '征', '，', '不同', '于', '一般', '工', '商', '企', '业', '，', '对', '其', '股', '东', '股', '权', '必', '须', '从', '严', '管', '理', '。', '总体', '上', '，', '银', '保', '监', '会', '将', '坚', '持', '“', '两个', '不变', '”', '。', '一', '是', '坚', '持', '鼓', '励', '社会', '资', '本', '参与', '银行', '保', '险', '机', '构', '改', '革', '、', '优化', '股', '东', '结构', '的', '积', '极', '取', '向', '不变', '。', '银', '保', '监', '会', '将', '继', '续', '畅', '通', '社会', '资', '本', '投', '资', '入', '股', '银行', '保', '险', '机', '构', '的', '渠道', '，', '优化', '股', '东', '结构', '、', '充', '实', '机', '构', '资', '本', '，', '重点', '引', '入', '注重', '机', '构', '长远', '发展', '、', '资', '本', '实', '力', '雄', '厚', '、', '管', '理', '经', '验', '丰', '富', '的', '战', '略', '性', '股', '东', '。', '二', '是', '坚', '持', '严', '惩', '股', '东', '违', '法', '违', '规', '行为', '、', '规', '范', '公', '司', '治', '理', '的', '高压', '态', '势', '不变', '。', '银', '保', '监', '会', '将', '继', '续', '深', '入', '排', '查', '整', '治', '违', '法', '违', '规', '股', '东', '股', '权', '，', '依', '法', '清', '理', '规', '范', '股', '权', '关系', '，', '对', '股', '东', '严重', '违', '法', '违', '规', '行为', '，', '将', '坚', '决', '予以', '惩', '戒', '，', '发现', '一起', '、', '查处', '一起', '。'] # yapf: enable if __name__ == '__main__': import pytest pytest.cmdline.main()