开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

当条件数很大并且矩阵是对称的和不定的时候，有没有ojAlgo求解器？

ojAlgo是一个面向Java的数学优化库，它提供了一系列的求解器来解决各种数学优化问题。然而，ojAlgo主要关注数学优化问题，而不是矩阵求解问题。

当条件数很大且矩阵是对称且不定的时候，可以使用其他专门的矩阵求解库或工具来处理。一种常用的方法是使用稀疏矩阵求解器，例如LAPACK、ARPACK、UMFPACK等。这些求解器能够高效地处理大型稀疏对称矩阵的求解问题。

对于具体的实现，可以使用一些开源的数值计算库，如Apache Commons Math、JAMA等，它们提供了矩阵相关的操作和求解器。这些库可以帮助我们进行矩阵的求解和运算。

总之，如果需要针对大型对称不定矩阵进行求解，可以使用一些专门的数学库和求解器来处理，而ojAlgo主要用于数学优化问题。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

机器学习中的优化算法！

在机器学习中，有很多的问题并没有解析形式的解，或者有解析形式的解但是计算量很大（譬如，超定问题的最小二乘解），对于此类问题，通常我们会选择采用一种迭代的优化方式进行求解。

04

数值优化（5）——信赖域子问题的求解，牛顿法及其拓展

大家好！俗话说得好，DDL是唯一生产力……在DDL的逼迫下，高产自然就来了2333。

01

数值分析读书笔记（2）求解线性代数方程组的直接方法

我们引入一个一般意义上的初等变换矩阵，它把许多常用的线性变换统一在一个框架里面，在数值线性代数中起着重要的意义

03

大规模 3D 重建的Power Bundle Adjustment

Nikolaus Demmel 慕尼黑工业大学 demmeln@in.tum.de

04

机器学习（5）：几个重要矩阵

1 可逆矩阵矩阵A首先是方阵，并且存在另一个矩阵B，使得它们的乘积为单位阵，则称B为A的逆矩阵。如下所示，利用numpy模块求解方阵A的逆矩阵，B，然后再看一下A*B是否等于单位阵E，可以看出等于单位阵E。 python测试代码： import numpy as np '方阵A' A = np.array([[1,2],[3,4]]) A array([[1, 2], [3, 4]]) '逆矩阵B' import numpy.linalg as la B = la.inv(A) B arra

05

凸优化（7）——对偶性延伸：对偶范数，共轭函数，双对偶；再看牛顿法

在这一节，我们会进一步探讨对偶性的应用。我们会说一些更加深层次的内容，并将它们与其他学科联系起来。将这一部分说完之后，我们将回到算法的部分，开始介绍以牛顿法作为先锋的一些常见的二阶方法。当然了因为在《数值优化》第5节（数值优化（5）——信赖域子问题的求解，牛顿法及其拓展）中已经介绍了牛顿法，所以这一节关于牛顿法的部分，更多的像是一个补充。

01

非对称TSP问题（Asymmetric Travelling Salesman Problem）转换为对称TSP问题

小伙伴们有没有这样的经验：在上课10分钟前从寝室骑车奔向教学楼时，寝室到教学楼的路非常拥挤；而这个时候，如果有东西落在寝室，从教学楼往寝室方向的车道却很空。换句话说，在一些场合，从点

03

梯度下降法原理与仿真分析||系列（1）

梯度下降法（Gradient Descent）也称为最速下降法（Steepest Descent），是法国数学家奥古斯丁·路易·柯西 (Augustin Louis Cauchy) 于1847年提出来，它是最优化方法中最经典和最简单的一阶方法之一。梯度下降法由于其较低的复杂度和简单的操作而在很多领域得到广泛研究和应用，如机器学习。由梯度下降法衍生了许多其他算法，如次梯度下降法，近端梯度下降法，随机梯度下降法，回溯梯度发，动量加速梯度法等等。本文只介绍最基础的梯度下降法原理和理论分析，与此同时，通过仿真来说明梯度下降法的优势和缺陷。其他重要的梯度下降衍生方法会持续更新，敬请关注。

02

数值优化（B）——二次规划（上）：Schur补方法，零空间法，激活集方法

这一节我们开始介绍二次规划的相关内容。二次规划也是一类具体的非线性规划的问题，也有对应的方法。

02

机器学习中导数最优化方法(基础篇)

1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇文章主要总结一下使用导数的最优化方法的几个基本方法，梳理相关的数学知识，本人也是一边写一边学，如有问题，欢迎指正，共同学习，一起进步。 2. 几个数学概念 1) 梯度（一阶导数）考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么，某一点的梯度方向是在该点坡度最陡的方向，而梯度的大小告诉我

博客 | 机器学习中的数学基础（线性代数）

正确理解“线性代数”应该将其拆分成2部分：“线性”体现向量，它是静态的研究对象，而“代数”则是施加在向量上的数学结构，代表的是数学运算，具体就是数乘和加法，即映射。因此，线性代数研究的就是向量集合上的各种运算，包括线性空间和线性变换，而矩阵就是将两者联系起来的纽带。

02

大规模稀疏线性规划求解思路梳理

已知现在有M个广告主和N个广告词，其中每个单位流量的（广告主，广告词）收益固定，且每个广告主/广告词均有流量分配限制，问如何给（广告主，广告词）分配流量，使得收益达到最大。

01

凸优化（B）——再看交替方向乘子法（ADMM），Frank-Wolfe方法

这一节我们会介绍目前非常流行的交替方向乘子法（Alternating Direction Method of Multipliers，ADMM），这个方法的应用非常广泛，所以课件上举了非常多的例子来说明它的应用，我们这里自然也不会吝啬于此。如果有空的话，我们还会继续介绍Frank-Wolfe算法，这也是一个设计上比较有意思的优化算法。

01

最速下降法收敛速度快还是慢_最速下降法是全局收敛算法吗

摘自《数值最优化方法》 \qquad 已知设步长为 α \alpha α，下降方向为 d d d， f ( x k + α d ) f(x_{k}+\alpha d) f(xk+αd)在 x k x_{k} xk的 T a y l o r Taylor Taylor展示为 f ( x k + 1 ) = f ( x k + α d ) = f ( x k ) + α g k T d + O ( ∣ ∣ α d ∣ ∣ 2 ) f(x_{k+1})=f(x_{k}+\alpha d)=f(x_{k})+\alpha g_{k}^{T}d+O(||\alpha d||^{2}) f(xk+1)=f(xk+αd)=f(xk)+αgkTd+O(∣∣αd∣∣2)为使函数值下降，下降方向满足 g k T d < 0 g_{k}^{T}d<0 gkTd<0 \qquad 收敛性和收敛速度收敛性算法产生的点阵 { x k } \{x_{k}\} { xk}在某种范数 ∣ ∣ ⋅ ∣ ∣ ||\cdot|| ∣∣⋅∣∣意义下满足 l i m k → ∞ ∣ ∣ x k − x ∗ ∣ ∣ = 0 \mathop{lim}\limits_{k\to\infty}||x_{k}-x^{*}||=0 k→∞lim∣∣xk−x∗∣∣=0称算法是收敛的，当从任意初始点出发时，都能收敛到 x ∗ x^{*} x∗称为具有全局收敛性，仅当初始点与 x ∗ x_{*} x∗充分接近时才能收敛到 x ∗ x^{*} x∗称算法具有局部收敛性。 \qquad 收敛速度(已知收敛)：若 l i m k → ∞ ∣ ∣ x k + 1 − x ∗ ∣ ∣ ∣ ∣ x k − x ∗ ∣ ∣ = a \mathop{lim}\limits_{k\to\infty}\frac{||x_{k+1}-x^{*}||}{||x_{k}-x^{*}||}=a k→∞lim∣∣xk−x∗∣∣∣∣xk+1−x∗∣∣=a \qquad 当 0 < a < 1 0<a<1 0<a<1时，迭代点列 { x k } \{x_{k}\} { xk}的收敛速度是线性的，这时算法称为线性收敛。当 a = 0 a=0 a=0时， { x k } \{x_{k}\} { xk}的收敛速度是超线性的，称为超线性收敛。 \qquad 二阶收敛：若 l i m k → ∞ ∣ ∣ x k + 1 − x ∗ ∣ ∣ ∣ ∣ x k − x ∗ ∣ ∣ 2 = a \mathop{lim}\limits_{k\to\infty}\frac{||x_{k+1}-x^{*}||}{||x_{k}-x^{*}||^{2}}=a k→∞lim∣∣xk−x∗∣∣2∣∣xk+1−x∗∣∣=a \qquad a a a为任意常数，迭代点列 { x k } \{x_{k}\} { xk}的收敛速度是二阶的，这时算法称为二阶收敛。超线性收敛和二阶收敛的收敛速度较快，是理想的收敛速度。 \qquad 负梯度法和牛顿 ( N e w t o n ) (Newton) (Newton)型方法 N e w t o n Newton Newton型方法特殊情形的一种负梯度方法—最速下降法。首先下降方向满足 g k T d < 0 g_{k}^{T}d<0 gkTd<0，为使 ∣ g k d ∣ |g_{k}d| ∣gkd∣达到最大值，则由 C a u c h y − S c h w a r z Cauchy-Schwarz Cauchy−Schwarz不等式 ∣ g k T d ∣ ≤ ∣ ∣ g k ∣ ∣ ∣ ∣ d ∣ ∣ |g_{k}^{T}d|\leq||g_{k}||||d|| ∣gkTd∣≤∣∣gk∣∣∣∣d∣∣知当且仅当 d = d k = − g k / ∣ ∣ g k ∣ ∣ d=d_{k}=-g_{k}/||g_{k}|| d=dk=−gk/∣∣gk∣∣时，等式成立， g k T d g_{k}^{T}d gkTd达到最小。考虑在 d k d_{k} dk方向上的步长，取其负梯度方向即 d k = − g k d_{k}=-g_{k} dk=−gk。 \qquad 收敛性分析 1. 给定 G G G度量下的范数定义，给出 K a n t o r o v i c h Kantorovich Kantorovich不等式。定义设 G ∈ R n × n G\in\mathbb{R}^{n\times n} G∈Rn×n对称正定， u , v ∈ R n u,v\in\mathbb{R}^{n} u,v∈Rn则 u u u与 v v

03

数值优化（7）——限制空间的优化算法：LBFGS，LSR1

大家好！首先跟大家说一件事情，就是受到疫情的影响，我今年将不前往CMU攻读硕士，而开始入职从事偏DS的算法工程师的工作～最近因为这些事情也比较忙，在更新的进度上有了较大的滞后，这里向大家表示抱歉！在这一年专栏的更新会有什么样的一个倾斜，目前我还没有一个头绪。但我相信，这丝毫不会影响大家对于专栏更新的期待哈哈哈。

02

数值优化（6）——拟牛顿法：BFGS，DFP，DM条件

这一节，我们会开始关注拟牛顿法。拟牛顿法是另外一个系列的优化算法，也是无约束优化算法的最后一大块。从这一个部分开始，理论的证明会开始减少，而更多的开始注重于对优化思想的介绍与理解。这是因为一方面方法和问题变得更加的复杂，另一方面也是因为很多内容的理论部分都不完备。不过这样也不是坏事，毕竟优化本来就是一门应用性很强的学科。多花点时间关心下实际的效果也自然是有必要的233。

01

面向对象有限元编程|自定义求解器之共轭梯度法

共轭梯度法是方程组求解的一种迭代方法。这种方法特别适合有限元求解，因为该方法要求系数矩阵为对称正定矩阵，而有限元平衡方程的系数矩阵正好是对称正定矩阵(考虑边界条件)。同时，共轭梯度法也适合并行计算。

03

线性代数--MIT18.06(三十三)

对应于课本（Introduction to Linear Algebra）第六章内容的习题课

02

凸优化（9）——近端牛顿方法；矩阵论/数值线性代数基础：浮点数运算

这一节我们会接着上一节，介绍完近端牛顿方法（Proximal Newton Method），剩下的时间会拿来介绍一些基本的矩阵论和数值计算的知识，用于对之后介绍高阶方法的铺垫～

01

【仿真环境】开源 | 一种基于ROS、Gazebo和PX4的可定制多旋翼无人机仿真平台

在本文中，提出了一种基于ROS、Gazebo和PX4的可定制多旋翼无人机仿真平台。该平台名为XTDrone，集成了动态模型、传感器模型、控制算法、状态估计算法和3D场景。该平台支持多架无人机和其他机器人。平台是模块化的，每个模块都可以进行修改，这意味着用户可以测试自己的算法，如SLAM、目标检测与追踪、视觉惯性导航、运动规划、姿态控制、多机协同等。平台运行是同步的，仿真速度可根据计算机性能进行调整。在本文中，以评价不同视觉SLAM算法和实现无人机编队为例，说明了该平台的工作原理。

02

总体最小二乘（TLS）

可以从多个角度来理解最小二乘方法，譬如从几何方面考虑，利用正交性原理导出。

02

日拱一卒，麻省理工的线性代数课，向量空间

今天我们继续MIT的线性代数专题，这一节课的内容关于向量空间，它非常非常重要，也是线性代数的核心，是后面几乎所有内容的基础。

03

深度学习-数学基础

目前主要有两种度量模型深度的方式。第一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后，计算对应输出的流程图，则可以将这张流程图中的最长路径视为模型的深度。另一种是在深度概率模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。在这种情况下，计算每个概念表示的计算流程图的深度可能比概念本身的图更深。这是因为系统对较简单概念的理解在给出更复杂概念的信息后可以进一步精细化

01

学界 | 小改进，大飞跃：深度学习中的最小牛顿求解器

选自arXiv 作者：João F. Henriques等机器之心编译参与：Huiyuan Zhuo、思源牛顿法等利用二阶梯度信息的方法在深度学习中很少有应用，我们更喜欢直接使用一阶梯度信息求解最优参数。本论文提出了一种新型基于二阶信息的最优化方法，它的内存占用与带动量的 SGD 一样小，但当收敛速度却比只使用一阶信息的最优化方法快。 1 引言随机梯度下降（SGD）和反向传播 [9] 是现今深度网络训练的算法核心。深度学习的成功证明了这种组合的有效性，它已经成功地运用在各种具有大型数据集和极深网络的

04

条件数

数值分析中，函数的条件数衡量的是输入参数的微小变化可以使函数的输出值变化多少，用来测量函数输出对于输入的微小变化的敏感程度，或者说一个问题的条件数是该数量在数值计算中容易程度的衡量。一个低条件数的问题称为良置的，而高条件数的问题称为病态（非良置）的。

03

机器学习与深度学习习题集答案-1

本文是机器学习和深度学习习题集的答案-1，免费提供给大家，也是《机器学习-原理、算法与应用》一书的配套产品。此习题集可用于高校的机器学习与深度学习教学，以及在职人员面试准备时使用。

01

numpy线性代数基础 - Python和MATLAB矩阵处理的不同

http://blog.csdn.net/pipisorry/article/details/39087583

00

深入理解拉普拉斯特征映射

拉普拉斯特征映射(Laplacian Eigenmaps，LE)是一种降维方法，之前有讲过一种比较常见的降维算法：主成分分析。

01

CS229 课程笔记之十：因子分析

。因此我们无法写出该分布的概率密度函数，也就无法对其建模。我们可以将其理解为线性方程组求解，未知数的个数比方程数目多，因而无法完全求出所有未知数。原文使用了仿射空间进行解释，并不是很懂( ⊙ o ⊙ )。

01

数值分析读书笔记（3）求解线性代数方程组的迭代法

考虑方程组Ax=b，其中A属于n*n维的矩阵空间，b和x属于n维向量空间，一般来说我们需要从这个隐式的方程组转变成显示的等价方程，一般具有形式

02

花书第一谈之数值计算

这一章主要讲的是：机器学习的一些问题，有一部分可以通过数学推导的方式直接得到用公式表达的解析解，但对绝大多数的问题来说，解析解是不存在的，需要使用迭代更新的方法求数值解。然而实数的精度是无限的，而计算机能够表达的精度是有限的，这就涉及到许多数值计算方法的问题。因此机器学习中需要大量的数值运算，通常指的是迭代更新求解数学问题。常见的操作包括优化算法和线性方程组的求解。

03

独家解读 | Fisher信息度量下的对抗攻击

论文题目：The Adversarial Attack and Detection under the Fisher Information Metric（AAAI2019）

03

数值优化（2）——线搜索：步长选取条件的收敛性

在上一节，我们简单的介绍了数值优化中线搜索方法的思想和步长条件。那么这一节，我们更多的开始关注这些步长条件的理论性质，学优化最忌知其然，不知其所以然，所以我们需要我们帮助我们理解为什么给定的步长条件可以导出的一些好的，有助于优化的收敛性。

01

理解支持向量机

支持向量机是机器学习中最不易理解的算法之一，它对数学有较高的要求。之前SIGAI微信公众号已经发过“用一张图理解SVM脉络”，“理解SVM的核函数和参数”这两篇文章，今天重启此话题，对SVM的推导做一个清晰而透彻的介绍，帮助大家真正理解SVM，掌握其精髓。市面上有不少讲解支持向量机的文章和书籍，但真正结构清晰、触达精髓的讲解非常少见。

03

理解支持向量机

支持向量机是机器学习中最不易理解的算法之一，它对数学有较高的要求。今天，对SVM的推导做一个清晰而透彻的介绍，帮助大家真正理解SVM，掌握其精髓。市面上有不少讲解支持向量机的文章和书籍，但真正结构清晰、触达精髓的讲解非常少见。

03

太秀了！那个在 GitHub 用文言文编程的小哥，竟从 28 万行唐诗中找出了对称矩阵

余所用之程序，當以gcc編譯之如是 gcc -O3 mgsq5.c -o mgsq5

02

Cholesky分解

Cholesky分解是一种分解矩阵的方法, 在线性代数中有重要的应用。Cholesky分解把矩阵分解为一个下三角矩阵以及它的共轭转置矩阵的乘积（那实数界来类比的话，此分解就好像求平方根）。与一般的矩阵分解求解方程的方法比较，Cholesky分解效率很高。Cholesky是生于19世纪末的法国数学家，曾就读于巴黎综合理工学院。Cholesky分解是他在学术界最重要的贡献。后来，Cholesky参加了法国军队，不久在一战初始阵亡。

03

[机器学习必知必会]凸优化

凸优化问题（OPT，convex optimization problem）指定义在凸集中的凸函数最优化的问题。尽管凸优化的条件比较苛刻，但仍然在机器学习领域有十分广泛的应用。

03

斯坦福助理教授马腾宇：ML非凸优化很难，如何破？

非凸优化在现代机器学习中普遍存在。研究人员设计了非凸目标函数，并使用现成的优化器（例如随机梯度下降及其变体）对其进行了优化，它们利用了局部几何并进行迭代更新。即使在最坏的情况下求解非凸函数都是 NP 困难的，但实践中的优化质量通常也不是问题，人们普遍认为优化器会找到近似全局最小值。

02

人工智能的数学基础 | AI基础

但“数学”二字所包含的内涵与外延太广，到底其中的哪些内容和当前的人工智能技术直接相关呢？

04

鸡兔同笼终于可以靠「猜」了！佐治亚理工学者求解新方法获顶会最佳论文奖

这是《孙子算经》中鸡兔同笼问题的经典描述。我们知道，二元一次方程组可以解决这个问题。求解线性系统有矩阵乘法等多种方法，但或许你不知道，靠「猜」也是可以的。

02

【转】Numpy 数学函数及代数运算

如果你使用 Python 语言进行科学计算，那么一定会接触到 Numpy。Numpy 是支持 Python 语言的数值计算扩充库，其拥有强大的高维度数组处理与矩阵运算能力。除此之外，Numpy 还内建了大量的函数，方便你快速构建数学模型。

02

Numpy 使用教程--Numpy 数学函数及代数运算

如果你使用 Python 语言进行科学计算，那么一定会接触到 Numpy。Numpy 是支持 Python 语言的数值计算扩充库，其拥有强大的高维度数组处理与矩阵运算能力。除此之外，Numpy 还内建了大量的函数，方便你快速构建数学模型。

02

LinearAlgebra_2

列空间和零空间回顾主题例子 AXb 求解AX0 回顾主题 AX0求解的总体思路例子形式化的求解 AXb 什么时候有解有解的话求解特解求出通解 big picture 列满秩行满秩

09

机器学习中的最优化算法（全面总结）

对于几乎所有机器学习算法，无论是有监督学习、无监督学习，还是强化学习，最后一般都归结为求解最优化问题。因此，最优化方法在机器学习算法的推导与实现中占据中心地位。在这篇文章中，小编将对机器学习中所使用的优化算法做一个全面的总结，并理清它们直接的脉络关系，帮你从全局的高度来理解这一部分知识。

01

机器学习最优化算法（全面总结）

对于几乎所有机器学习算法，无论是有监督学习、无监督学习，还是强化学习，最后一般都归结为求解最优化问题。因此，最优化方法在机器学习算法的推导与实现中占据中心地位。在这篇文章中，小编将对机器学习中所使用的优化算法做一个全面的总结，并理清它们直接的脉络关系，帮你从全局的高度来理解这一部分知识。

02

理解牛顿法

牛顿法是数值优化算法中的大家族，她和她的改进型在很多实际问题中得到了应用。在机器学习中，牛顿法是和梯度下降法地位相当的的主要优化算法。在本文中，SIGAI将为大家深入浅出的系统讲述牛顿法的原理与应用。

02

收藏！机器学习与深度学习面试问题总结.....

第一部分：深度学习下载PDF版请点击阅读原文 1、神经网络基础问题（1）BP，Back-propagation（要能推倒）后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法

07

收藏！机器学习与深度学习面试问题总结.....

后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。这里重点强调：要将参数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关，这称为对称失效。大致过程是:

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭