# Built TLG wfst ## Input ``` data/local/ ├── dict │ ├── lexicon.txt │ └── units.txt └── lm ├── heldout ├── lm.arpa ├── text ├── text.no_oov ├── train ├── unigram.counts ├── word.counts └── wordlist ``` ``` ==> data/local/dict/lexicon.txt <== 啊啊啊啊啊啊啊啊阿阿阿尔阿尔阿根廷阿根廷阿九阿九阿克阿克阿拉伯数字阿拉伯数字阿拉法特阿拉法特阿拉木图阿拉木图 ==> data/local/dict/units.txt <== A B C D E F G H ==> data/local/lm/heldout <== 而对楼市成交抑制作用最大的限购也成为地方政府的眼中钉自六月底呼和浩特市率先宣布取消限购后各地政府便纷纷跟进仅一个多月的时间里除了北京上海广州深圳四个一线城市和三亚之外四十六个限购城市当中四十一个已正式取消或变相放松了限购财政金融政策紧随其后而来显示出了极强的威力 ==> data/local/lm/lm.arpa <== \data\ ngram 1=129356 ngram 2=504661 ngram 3=123455 \1-grams: -1.531278 -3.828829 -0.1600094 -6.157292 ==> data/local/lm/text <== BAC009S0002W0122 而对楼市成交抑制作用最大的限购 BAC009S0002W0123 也成为地方政府的眼中钉 BAC009S0002W0124 自六月底呼和浩特市率先宣布取消限购后 BAC009S0002W0125 各地政府便纷纷跟进 BAC009S0002W0126 仅一个多月的时间里 BAC009S0002W0127 除了北京上海广州深圳四个一线城市和三亚之外 BAC009S0002W0128 四十六个限购城市当中 BAC009S0002W0129 四十一个已正式取消或变相放松了限购 BAC009S0002W0130 财政金融政策紧随其后而来 BAC009S0002W0131 显示出了极强的威力 ==> data/local/lm/text.no_oov <== 而对楼市成交抑制作用最大的限购也成为地方政府的眼中钉自六月底呼和浩特市率先宣布取消限购后各地政府便纷纷跟进仅一个多月的时间里除了北京上海广州深圳四个一线城市和三亚之外四十六个限购城市当中四十一个已正式取消或变相放松了限购财政 ��融政策紧随其后而来显示出了极强的威力 ==> data/local/lm/train <== 汉莎不得不通过这样的方式寻求新的发展点并计划朝云计算方面发展汉莎的基础设施部门拥有一千四百名员工媒体就曾披露这笔交易虽然双方已经正式签署了外包协议但是这笔交易还需要得到反垄断部门的批准陈黎明一九八九年获得美国康乃尔大学硕士学位并于二零零三年顺利完成美国哈佛商学院高级管理课程曾在多家国际公司任职拥有业务开发商务及企业治理 ==> data/local/lm/unigram.counts <== 57487 的 13099 在 11862 一 11397 了 10998 不 9913 是 7952 有 6250 和 6152 个 5422 将 ==> data/local/lm/word.counts <== 57486 的 13098 在 11861 一 11396 了 10997 不 9912 是 7951 有 6249 和 6151 个 5421 将 ==> data/local/lm/wordlist <== 的在一了不是有和个将 ``` ## Output ``` fstaddselfloops 'echo 4234 |' 'echo 123660 |' Lexicon and Token FSTs compiling succeeded arpa2fst --read-symbol-table=data/lang_test/words.txt --keep-symbols=true - LOG (arpa2fst[5.5.0~1-5a37]:Read():arpa-file-parser.cc:94) Reading \data\ section. LOG (arpa2fst[5.5.0~1-5a37]:Read():arpa-file-parser.cc:149) Reading \1-grams: section. LOG (arpa2fst[5.5.0~1-5a37]:Read():arpa-file-parser.cc:149) Reading \2-grams: section. LOG (arpa2fst[5.5.0~1-5a37]:Read():arpa-file-parser.cc:149) Reading \3-grams: section. Checking how stochastic G is (the first of these numbers should be small): fstisstochastic data/lang_test/G.fst 0 -1.14386 fsttablecompose data/lang_test/L.fst data/lang_test/G.fst fstminimizeencoded fstdeterminizestar --use-log=true fsttablecompose data/lang_test/T.fst data/lang_test/LG.fst Composing decoding graph TLG.fst succeeded Aishell build TLG done. ``` ``` data/ ├── lang_test │ ├── G.fst │ ├── L.fst │ ├── LG.fst │ ├── T.fst │ ├── TLG.fst │ ├── tokens.txt │ ├── units.txt │ └── words.txt └── local ├── lang │ ├── L.fst │ ├── T.fst │ ├── tokens.txt │ ├── units.txt │ └── words.txt └── tmp ├── disambig.list ├── lexiconp_disambig.txt ├── lexiconp.txt └── units.list ```