一、简介
简单且概括的来说，SRILM是一个构建和应用统计语言模型的开源工具包，主要用于语音识别，统计标注和切分，以及机器翻译，可运行在UNIX及Windows平台上。（具体概念都能搜索出来，不再赘述，主讲安装和简单使用。）
SRILM的主要目标是支持语言模型的估计和评测。
二、安装
在此，为解决大家下载版本不一致，导致安装出错的问题，提供压缩包下载链接，如下所示：
SRILM：链接：https://pan.baidu.com/s/18T474NLSqlBL_xhMKEivnA
提取码：adsl
TCL：链接：https://pan.baidu.com/s/1E-0E_IrY5rLnfKAepoY5BA
提取码：adsl
在此，大家肯定会疑问SRILM工具包的安装，为什么还要放一个TCL 的压缩包，这是因为我门SRILM的安装需要依赖在TCL工具上（脚本解释工具），因此在安装过程中需要先安装TCL，再安装SRILM。
获取到的两个压缩包都为tar压缩包，下面我们讲述具体的安装步骤：
1、TCL安装
解压：
tar -xf tcl8.7a5-src.tar.gz
然后进入解压后的目录，进入unix目录（目录结构如下图）：
没有root权限方法：
执行命令 ：./configure
打开Makefile文件，将其中的/usr/local 替换成 /home/个人目录/tcl (以/home/shimengtong/tcl为例)。替换完成后执行命令：make（root权限可以直接运行命令，过程中会出现很多日志，等待运行完。）
运行完成并出现上图所示内容，执行命令：make install
出现上图所示即为成功，/home/个人目录/tcl 目录如下图所示：
2、SRILM安装
在/home/个人目录/ 创建一个srilm的文件夹，在该文件夹下解压SRILM的压缩包。
命令：tar -xf srilm-1.7.1.tar.gz
如图所示
打开Makefile文件，修改参数：
第七行：
修改成：
第十三行：
修改成：
进入common文件夹，如下所示：
找到上述第十三行修改的文件名Makefile.machine.i686-m64 并打开：
该文件第五十四行：
修改成：
回到srilm目录下：
执行命令：make World （接着等待…）
显示上图即编译成功，进行测试：
环境变量：
export PATH=/home/个人目录/srilm/path/bin/:/your/srilm/path/bin:$PATH
测试命令：
make test
测试完成如上图所示。
至此全部安装成功，皆大欢喜。
三、使用方法
（1）小数据训练
估计是从训练数据（训练集）中得到一个模型，包括最大似然估计及相应的平滑算法；而评测则是从测试集中计算其困惑度（MIT自然语言处理概率语言模型有相关介绍）。其最基础和最核心的模块是n-gram模块，这也是最早实现的模块，包括两个工具：ngram-count和ngram，相应的被用来估计语言模型和计算语言模型的困惑度。
1、从语料库中生成n-gram计数文件，即统计词频：
ngram-count -text train.txt -order 3 -write out.count
-text指向输入文件，此处为train.txt；
-order指向生成几元的n-gram,即n,此处为3元；-write指向输出文件，此处为out.count,输出内容为:
第一列为n元词，第二列为相应的频率。一元词one在语料库中的频率统计为9次；二元词one two在语料库中的频率统计为3次；三元one two three在语料库中的频率统计为1次。
2、从上一步生成的计数文件中训练语言模型：
ngram-count -read out.count -order 3 -lm out.lm -interpolate -kndiscount
-read指向输入文件，此处为 out.count
-order与上同
-lm 指向训练好的语言模型输出文件，此处为out.lm
最后两个参数为所采用的平滑方法，-interpolate为插值平滑，-kndiscount为 modified Kneser-Ney 打折法，这两个是联合使用的。
补充：一般我们训练语言模型时，上述两步是合并成一步进行的，上述是为了介绍n-gram语言模型训练细节。
语言模型europarl.en.lm的文件格式如下,为 ARPA文件格式。
注：概率显示为log（概率）以10为底。
3、利用上一步生成的语言模型计算测试集的困惑度：
ngram -ppl dev.txt -order 3 -lm out.lm -debug 2 > out.ppl
测试集dev.txt
参数-ppl为对测试集句子进行评分(logP(T)，其中P(T)为所有句子的概率乘积）和计算测试集困惑度的参数
out.ppl为输出结果文件，其他参数同上。
第15行文件dev.txt 的基本信息：2句，4个单词，0个未登录词；
第16行为评分的基本情况：无0概率；logP(T)=-3.33985，ppl==3.60281, ppl1= 6.83852，均为困惑度。其公式稍有不同，如下：
ppl=10^{-{logP(T)}/{Sen+Word}};
ppl1=10^{-{logP(T)}/Word}
其中Sen和Word分别代表句子和单词数。
注：上述步骤可以解决大部分小数据的训练。
上述简单训练，部分内容借鉴 “我爱自然语言处理”：www.52nlp.cn
（2）大数据（BigLM）
对于大文本的语言模型训练不能使用上面的方法，主要思想是将文本切分，分别计算，然后合并。步骤如下：
1、切分数据
split -l 10000 trainfile.txt filedir/
即每10000行数据为一个新文本存到filedir目录下。
2、对每个文本统计词频
make-bath-counts filepath.txt 1 cat ./counts -order 3
其中filepath.txt为切分文件的全路径，可以用命令实现：ls $(echo $PWD)/ > filepath.txt，将统计的词频结果存放在counts目录下
3、合并counts文本并压缩
merge-batch-counts ./counts
不解释
4、训练语言模型
make-big-lm -read ../counts/.ngrams.gz -lm ../split.lm -order 3
用法同ngram-counts
5、测评（计算困惑度）
ngram -ppl filepath.txt -order 3 -lm split.lm -debug 2 > file.ppl
注：因自有一套训练工具，因此大数据训练部分未曾实验，如有问题请进行详细搜索。
大数据训练部分转自：http://www.leexiang.com/building-a-large-lm-with-srilm
Original: https://www.cnblogs.com/DataBaker/p/15935161.html
Author: DataBaker
Title: srilm的安装与使用（标贝科技）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/714347/
转载文章受原作者版权保护。转载请注明原作者出处！