非线性回归

非线性回归(英文名:nonlinear regression),也称曲线回归,是回归函数关于未知回归系数具有非线性结构的回归。常用的处理方法有回归函数的线性迭代法、分段回归法、迭代最小二乘法等。非线性回归分析的主要内容与线性回归分析相似。

常见的非线性回归模型主要有双曲线模型、多项式模型、对数模型、三角函数模型、指数模型等。非线性回归按自变量的个数也分为一元非线性回归和多元非线性回归。其解法有许多种,常用的有单纯形法、梯度法、插值法、松弛法等。非线性回归的通常原则是力求计算值与观察值误差的平方和最小。根据这个最小二乘原则,可以构造评价函数。

非线性回归广泛应用于自然科学、医学、药学、农业、经济管理、工程技术等领域,用于描述变量间非线性增长、饱和、S形、抛物线、指数/对数关系等。

定义

非线性回归是回归函数关于未知回归系数具有非线性结构的回归。常用的处理方法有回归函数的线性迭代法、分段回归法、迭代最小二乘法等。非线性回归分析的主要内容与线性回归分析相似。

分类

根据非线性回归模型线性化的不同性质,可以分为以下类型。

双曲线模型、多项式模型、对数模型、三角函数模型这几种模型都属于这种类型。该类模型通过简单的变量换元可以直接转化为线性回归模型。由于这类模型的因变量没有变形,所以可以直接采用最小二乘法估计回归系数并进行检验和预测。

指数模型、幂函数模型、罗吉斯曲线模型属于该类。这类模型常常通过对数变形间接代换为线性回归模型,对数变形代换过程中会改变因变量的形态,使得变形后的最小二乘法估计失去了原来模型的残差平方和为最小的意义。因此,可能会造成回归模型与原来数列之间存在一定偏差。

这类属于不可以线性化的非线性模型,比如修正指数增长曲线模型。

回归分析法

所谓回归分析法,是在掌握大量观察数据的基础上,利用数理统计方法建立因变量与自变量之间的回归关系函数表达式(称回归方程式)。回归分析中,当研究的因果关系只涉及因变量和一个自变量时,叫做一元回归分析;当研究的因果关系涉及因变量和两个或两个以上自变量时,叫做多元回归分析。此外,回归分析中,又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的,分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法,遇到非线性回归问题可以借助数学手段化为线性回归问题处理。

常见模型

常见的非线性回归模型有以下几种:

(1)双曲线模型

(2)多项式模型

(3)对数模型

(4)三角函数模型

(5)指数模型

(6)幂函数模型

(7)罗吉斯曲线模型

(8)修正指数增长曲线模型

以上资料来源

解法

非线性回归的解法有许多种,常用的有单纯形法、梯度法、插值法、松弛法等。值得注意的是如果初值选取不当,往往会得到局部最优解,而不是全局最优解。可以尝试用蒙特卡罗、遗传算法等优化方法解非线性回归模型。如果不是刻意要求有显式回归模型,也可以采用人工神经网络和其他高度非线性的算法,如支持向量回归等。许多报道证实人工神经网络和支持向量回归模型的非线性能力和预测能力都很强。

处理方法

处理非线性回归的基本方法是,通过变量变换,将非线性回归化为线性回归,然后用线性回归方法处理。假定根据理论或经验,已获得输出变量与输人变量之间的非线性表达式,但表达式的系数是未知的,要根据输入输出的n次观察结果来确定系数的值。按最小二乘法原理来求出系数值,所得到的模型为非线性回归模型。

可线性化问题

处理可线性化处理的非线性回归的基本方法是,通过变量变换,将非线性回归化为线性回归,然后用线性回归方法处理。假定根据理论或经验,已获得输出变量与输入变量之间的非线性表达式,但表达式的系数是未知的,要根据输入输出的n次观察结果来确定系数的值。按最小二乘法原理来求出系数值,所得到的模型为非线性回归模型。

不可线性化问题

对实际科学研究中常遇到不可线性处理的非线性回归问题,提出了一种新的解决方法。该方法是基于回归问题的最小二乘法,在求误差平方和最小的极值问题上,应用了最优化中对无约束极值问题的一种数学解法——单纯形法。应用结果证明,这种非线性回归的方法算法比较简单,收敛效果和收敛速度都比较理想。

在熟练掌握最小二乘法的情况下,解决上述问题的关键是确定曲线类型和怎样将其转化为线性模型。确定曲线类型一般从两个方面考虑:一是根据专业知识,从理论上推导或凭经验推测、二是在专业知识无能为力的情况下,通过绘制和观测散点图确定曲线大体类型。

应用领域

非线性回归广泛应用于自然科学、医学、药学、农业、经济管理、工程技术等领域,用于描述变量间非线性增长、饱和、S形、抛物线、指数/对数关系等。

例题

【例1】某商店各个时期的商品流通费率和商品零售资料如表10-11所示。选择合适的模型,运用适当方法拟合回归方程

根据以上数据,绘制散点图,如图1所示。

以上散点图显示商品零售额和流通费率的变动关系是一条递减的双曲线。经济理论与实践经验都可说明,流通费率决定于商品零售额,体现着经营的规模效益,因此,拟合一个以商品零售额为自变量(x),流通费率为因变量(y)的双曲线回归模型,其估计的回归方程为:

为了求得模型中的两个参数的估计值a和b,令一=x',使上述方程转换为一次方程:=a+bx',然后用最小二乘法解出a和b。计算过程如表2所示。

将有关数据代入以下方程组:

得到:

解此联立方程,得到:

于是有:

以上参考资料

【例2】医学现象中变量间未必都有线性关系,如服药后血药浓度与时间的关系;疾病疗效与疗程长短的关系;毒物剂量与致死率的关系等常呈非线性关系。当散点图中应变量Y和自变量X间表现出非线性趋势时,可以通过非线性回归方法来阐述两变量间数量上的依存关系。

【例3】医学研究中许多场合下,变量之间并不服从直线(或线性)关系,而是呈曲线关系。如细菌繁殖与培养时间的关系,青少年身高与年龄的关系等均非直线关系。求解变量间曲线关系的曲线方程,可以直接拟合所选择的曲线方程式,但有时也可以通过变量变换的方法,将曲线方程转换成直线方程,再应用直线回归的方法求得所需方程。

【例4】某电器公司生产某种电器,根据生产成本与月产量的数据资料,试分析生产成本与月产量之间的关系,并建立成本对产量的回归方程。从生产边际分析,单位成本与产量之间成比例变动。

【例5】采用常住人口城镇化率和居民人均可支配收入数据,结合散点图各趋势线拟合情况,建立更为合适的回归方程,并解释城镇化率和居民人均可支配收入间的关系。

非线性回归.中国大百科全书.2026-06-11

17.1 Introduction to Non-Linear Regression.Fiveable.2026-06-11