2.1近红外光谱检测原理
近红外（Near Infrared Spectroscopy，简写为NIR）光是指波长介于可见区与中红外区之间的电磁波，因此它具有光的属性，即具有“波”和“粒”的二重性。当光源发出的红外光线经一定的路径照射到由一种或多种分子组成的物质上，其中的分子会改变自身的振动能态，从而引起跃迁现象，产生近红外光谱吸收，其波长范围约为800～2500nm，波数范围约为12500～4000cm-1。近红外光谱是人们认识的最早的非可见光区域，其在整个电磁波谱中的位置如图21所示。
图2.1近红外光谱在电磁波谱中的位置
近红外谱区的吸收主要是分子或原子振动基频在2000cm-1以上的倍频与合频吸收，主要包括C-H、N-H和O-H等含氢基团的倍频和合频吸收带。因为不同的基团或同一基团在不同的特定化学环境下近红外所吸收的波长与强度有明显差别，所以近红外光谱具有大量而丰富的结构和物化信息。如，食用油脂结构中的-C=C-和-C-H-键的伸缩振动第一组合频在5600～5800cm-1和4400～4800cm-1两个光谱范围的吸收最为明显，即反应了油脂脂肪酸的含量差异，这些吸收特征为近红外光谱定量及定性分析样品的物理化学性质提供了前提。
近红外光谱分析检测技术分为两大类：透射技术和反射技术。透射光谱法是把样品放于光源与检测器之间，用以测定均匀透明的溶液或固体样品。反射光谱分析法是把样品放于光源与检测器的同侧，且用以测定固体或半固体样品。
在透射技术中，若样品是透明真溶液，透射光强与样品中各组分的浓度符合比尔定律，如式2.1所示。A=－lgII0=εbc(2.1)其中：
I0——波长为λ的平行、均匀入射光束强度；
I——透过溶液后的光束强度；
A——吸光度；
ε——待测组分的摩尔吸光系数；
b——光程；
c——待测物质组分的浓度。
若样品是浑浊的，那么由于光散射的原因，光经过样品时的路径不确定，不符合比尔定律，将其称之为漫透射分析测定法。
物体对光的反射分为规则反射和漫反射。应用漫反射进行的分析测定称为漫反射分析测定法，该方法在现代近红外光谱分析中起着非常重要的作用。当样品发生漫反射时，光线将包含有关样品中的大量的物质成分信息，即不同成分在特定波长下吸收了不同能量的光，对样品成分的分析提供了方便。但漫反射并不遵循比尔定律，其遵循Kubelka-Munk方程，如式22所示。A=log1R∞=－log1+KS－KS2+2KS(2.2)其中：
R∞——样本厚度无穷大时的相对漫反射率；
A——吸光度；
K——吸收系数；
S——散射系数。
22近红外光谱分析发展概述
一、化学计量学的发展
近红外光谱分析技术的发展离不开化学计量学方法的发展。化学计量学的应用是近红外光谱技术得以广泛应用的一个关键技术，通常近红外光谱仪都带有化学计量学软件。化学计量学是综合应用数学、统计学和计算机科学方法从化学量测的数据中提取信息的学科。20世纪70年代初首次提出这个名词，同时也为这门学科的发展奠定了基础。随着计算机科学的发展，80年代以后化学计量学的专著及专业期刊大量出现。化学计量学已用于化学学科的各个领域，在分析测试中，广泛用于色谱、电化学、质谱等领域。
化学计量学中的多元校正变成了近红外光谱定量及定性分析时不可缺少的部分。在近红外光谱分析中，常用的化学计量学大致有四个方面。即：（1）光谱数据预处理；（2）定量校正；（3）模式识别定性方法；（4）模型传递。
二、仪器的发展
近红外光谱仪是一种测量物质对近红外辐射的吸收率（或透过率）的分析仪器，它可以利用每种物质的特征吸收谱对被测物质进行定性分析。它同样可以利用物质总量与吸收总量所呈现的线性关系，对被测物质的特征成分进行定量分析。按分光器分类，近红外光谱仪器可分为滤光片型、光栅色散型、傅立叶变换型和声光可调滤光器型。近红外光谱仪器主要由光源、分光系统、样品池、控制系统、检测器、数据采集和分析软件等部分构成。其结构如图22所示。
图2.2近红外光谱仪器的结构
滤光片型近红外光谱仪采用干涉滤光片分光，在农副产品的检测分析中得到了广泛的应用。该类仪器设计简单，成本低，采用速度快，比较坚固，可根据需要在固定的波长下进行测量。但仪器的灵活性差，波长的分辨率和重现性较差，如果客观测量环境发生较大的变化，常会引起较大的测量误差。因此，此类主要用于对一些成熟的特定项目的分析检测作业。如Perten公司的Inframatic系列产品和NDC Infrared Engineering公司的Infralab 710产品。
光栅色散型近红外光谱仪采用棱镜或者光栅作为分光元件，对红外辐射的色散实现分光，是20世纪80—90年代最常见的近红外光谱仪器，成为第二代近红外分析仪。又可分为扫描-单通道检测器和固定光路-阵列检测器两种类型。其基本原理是：光源发出的检测光源经准直和入射狭缝照射到光栅上进行分光，光栅不断的转动，由此使单色光依次通过出射狭缝，照射到样品后，与该样品发生作用，进入检测器检测。这类仪器可进行全谱扫描，价格适中，分辨率高，维修也很容易。在粮食和食品领域得到了广泛的应用。如日本岛津公司的UV-365型分光光度计；北京普析通用公司TU-1800系列和上海棱光技术有限公司的农产品品质分析仪。但其最大的缺点是光栅或反光镜等部件易磨损，部件复杂，抗震性能较差，扫描的速度相对较慢，一般不适合做过程分析仪器。由于测量精度低，需要经常对其进行外部标准校正。值得一提的是，目前已有一些仪器公司针对该类仪器的缺点进行了进一步的改进和完善，其同样具有良好的潜力和发展前景。
傅立叶变换型近红外光谱仪在进入80年代以来便成为近红外光谱仪器的主导产品，其核心部件是迈克尔逊干涉仪。在工作时，需选用合适的光源、分束器与检测器。该类仪器的特点是信噪比高，波长精度高，分辨率好，稳定性好。近年来，国内外涌现出大量较实用的傅立叶近红外光谱仪，如Themo-Nicolet公司的Antaris系列，Bruker公司的VECTOR和MATRIX产品以及我国瑞利分析仪器公司生产的WQF-400N等仪器。
声光可调滤光器型近红外光谱仪是90年代近红外光谱技术最突出的进展，采用声光可调滤光器作为分光系统，通过超声射频的变化扫描光谱。该类仪器物可移动部件，测量速度快，滤光器体积小，可做到光谱仪器的小型化，可长期稳定地工作。但此类仪器的分辨率不如传统的近红外分析仪器高，并且造价相对较贵，比较适合用于在线过程分析。目前，如Brimrose公司的LUMINAR系列产品，Maihak公司的LIMORL产品等近红外光谱仪都采用声光可调滤光器分光原理。
三、应用的发展
20世纪80年代，应用光谱分析领域的相关专家开始关注近红外光谱分析技术的发展。由于光谱界与近红外分析领域人员的共同探讨，进一步采用化学计量学的方法，使近红外光谱分析技术发展为现代近红外光谱分析技术。与此同时，大量相关的文献几乎成指数增长。
进入90年代，由于计算机技术高速迅猛的发展，近红外光谱分析技术逐渐广泛应用到各个领域，并且得到了长足的进步，近红外光谱分析技术开始用于在线分析，从此，该领域进入了一个快速发展，潜力无穷的发展时期。
2.3近红外光谱分析流程
近红外光谱分析过程分为两步：校正模型的建立和未知预测样品的预测。流程图如图23所示。
图2.3近红外光谱分析流程
2.4近红外光谱分析的化学计量学方法
2.4.1定标模型的评价指标
对于建立的定标模型，常用以下几个指标来评价模型的定标效果和预测能力。
一、相关系数R
该评价参数考察样本的预测值与真实值之间的相关程度，有时也用绝对系数R2，R越接近1，说明预测值与真实值之间的相关程度越好。R的计算公式如式2.3所示。R=1－∑ni=1i－yi2∑ni=1yi－2(2.3)yi——样本集中第i个样本的真实值；
i——样本集中第i个样本的预测值；
——样本集中所有样本的真实值的平均值。
二、交互验证均方根误差RMSECV
主要评价某种建模算法的可行性及对内部样本的预测能力。在模型训练过程中通过交互验证的方法来计算。预测均方根误差越小，说明该模型对样本的预测能力越高，反之越低。其计算公式如式24所示。RMSECV=∑ni=11i－yi2n(2.4)yi——校正集中第i个样本的真实值；
1i——校正集中剔除第i个样本后，用余下的样本建模后，该模型对第i个样本的预测值；
n——校正集样本数。
三、预测均方根误差RMSEP
表示模型对预测及集样本的预测均方根误差，评价该模型对外部样品的预测能力。该值越小，则表示模型对外部样品的预测能力越高，反之则预测能力越低。其计算公式如式25所示。RMSEP=∑ni=1yi－i2n(2.5)yi——预测集第i个样本的真实值；
i——预测集第i个样本的预测值；
n——预测集样本数。
2.4.2分析数据预处理方法
对于具有高散射特性的被测样品，原始光谱通常不但包含样品相关化学结构信息，还包含一些与待测样品性质无关的干扰信息。这些干扰信息往往表现为基线漂移，噪音以及光谱的不重复。它们对待测样品组分不具有解释作用，并且降低了模型的可靠性。因此，在建模前，对原始光谱进行预处理是非常必要的，用以过滤噪音，提高信噪比，消除光程变化等。光谱预处理方法主要包括平滑，求导，矢量归一化等。这些技术的目标如图2.4所示。
图2.4近红外光谱信息预处理
一、中心化、标准化或归一化处理
在建立近红外光谱定标分析模型时，需将光谱的特征与待测样品的性质或结构特征相互关联。正是基于如上的特点，在建立NIR定量或定性模型前，往往需要采用一些数据增强算法来降低直至消除一些冗余信息，从而在降低样品间相关性的同时，也能够增大样本之间的差异，进而达到提高模型的重现性和预测能力的效果。常用的算法有均值中心化（mean centering）、标准化（auto scaling）和归一化（normalization）等。这些方法的基本思路是计算每个样品的平均值，将光谱数据减去这些数值，使所有样品的有关数据都分布在零点两侧，充分反映变化信息，这样，温度或人为操作等客观因素所带来的变化对光谱数据造成的影响可以有效地被去除，并且对以后回归运算有一定的简化作用。
二、平滑算法（Smoothing）
经近红外光谱仪器扫描后，样品的光谱数据中在含有有用信息的同时，也包含了一定量的噪声信息，使得信噪比降低。信号平滑算法的本质是对光谱进行低通滤波，去掉高频成分，有效地保留低频信息。因此，平滑算法是一种有效的降低噪声的办法。其基本思路是在平滑点的前后各取若干点来进行“拟合”或“平均”，并且求得平滑点的最佳估计值，这一方法的基本前提是随机噪声在处理“窗口”内的均值为0。常用的信号平滑方法是窗口移动平均法，Savitzky-Golay卷积平滑法。采用移动平均法，其中最为重要的参数是平滑窗口的宽度。若窗口宽度太大，在求平均值计算时，会忽略掉一些有用信息，使得光谱信号产生一定的失真。若窗口宽度太小，噪声不能被有效地去除掉。因此，便出现Savitzky-Golay卷积平滑法这种改进算法，该方法并不是进行简单的求平均计算，而是使用加权平均法通过多项式对移动窗口内的数据进行多项式最小二乘拟合。更加突出了中心点的中心作用。Savitzky-Golay卷积平滑法已经成为最为广泛应用的光谱去噪算法。
三、导数算法（Derivative）
当样品的背景颜色等因素导致所测光谱出现位移或漂移时，在近红外光谱分析中常用导数法来消除基线漂移或平缓背景干扰的影响，从而提供比原始光谱分辨率更高、清晰度更高的光谱轮廓变化。对光谱求导一般有两种方法：直接差分法和Savitzky-Golay求导法。对于分辨率高，波长采样点多的光谱，应用直接差分法得到的光谱与实际相差不大；但对于稀疏波长采样点的光谱，此方法所求的导数则与实际存在很大的误差，这时通常采用Savitzky-Golay卷积求导法计算。导数方法可分辨出重叠峰，快速有效地提高了分辨率和灵敏度。但同时它也会引入噪声信息，从而得不到较高的信噪比。在实际的应用中，差分宽度的选择非常重要：若差分宽度过小，噪声会很大，这样就会影响所建模型的质量；若差分宽度过大，平滑过度，从而丢失大量的有效信息。由经验可知，差分宽度不应大于光谱新手峰半峰宽的1.5倍。
四、多元散射校正（MSC）
多元散射校正是由Martens等人提出，是基于一组样品的光谱阵进行运算。该方法的基本思想是假定散射系数在所有波长处都是相同的，将化学物质的吸收信息与光谱中的散射光信号进行有效的分离。
多元散射的校正过程：
首先，计算所需校正光谱的平均光谱如式26所示。=∑ni=1Ain(2.6)其次，对平均光谱作回归如式2.7所示。Ai=mi+bi(2.7)最后，对每一条光谱作多元散射校正如式2.8所示。Ai校正后=Ai-bimi(2.8)多元散射校正可消除近红外漫反射光谱中由于样品的镜面反射及不均匀造成的噪声，消除光谱的基线漂移现象及光谱的不重复性。但是，由于多元散射校正假定了散射同波长和样品的浓度的变化无关，所以，对于组分性质变化范围较大的样品处理效果并不明显，甚至导致较大误差。
五、傅立叶变换（Fourier Transform）