Knowledge

Generalized minimal residual method

Source 📝

1911: 1421: 5580: 1906:{\displaystyle {\begin{aligned}\left\|r_{n}\right\|&=\left\|b-Ax_{n}\right\|\\&=\left\|b-A(x_{0}+Q_{n}y_{n})\right\|\\&=\left\|r_{0}-AQ_{n}y_{n}\right\|\\&=\left\|\beta q_{1}-AQ_{n}y_{n}\right\|\\&=\left\|\beta q_{1}-Q_{n+1}{\tilde {H}}_{n}y_{n}\right\|\\&=\left\|Q_{n+1}(\beta e_{1}-{\tilde {H}}_{n}y_{n})\right\|\\&=\left\|\beta e_{1}-{\tilde {H}}_{n}y_{n}\right\|\end{aligned}}} 5177: 5324: 4946: 4366: 3455: 4617: 5575:{\displaystyle {\begin{aligned}\left\|{\tilde {H}}_{n}y_{n}-\beta e_{1}\right\|&=\left\|{\tilde {R}}_{n}y_{n}-\beta \Omega _{n}e_{1}\right\|\\&=\left\|{\begin{bmatrix}R_{n}\\0\end{bmatrix}}y_{n}-{\begin{bmatrix}g_{n}\\\gamma _{n}\end{bmatrix}}\right\|.\end{aligned}}} 2947: 3569:
The shortcomings of GMRES and restarted GMRES are addressed by the recycling of Krylov subspace in the GCRO type methods such as GCROT and GCRODR. Recycling of Krylov subspaces in GMRES can also speed up convergence when sequences of linear systems need to be solved.
4863: 3612:. These also work with a three-term recurrence relation (hence, without optimality) and they can even terminate prematurely without achieving convergence. The idea behind these methods is to choose the generating polynomials of the iteration sequence suitably. 4500: 4170: 360: 4215: 3214: 3270: 4709: 4505: 5172:{\displaystyle {\begin{aligned}\left\|{\tilde {H}}_{n}y_{n}-\beta e_{1}\right\|&=\left\|\Omega _{n}({\tilde {H}}_{n}y_{n}-\beta e_{1})\right\|\\&=\left\|{\tilde {R}}_{n}y_{n}-\beta \Omega _{n}e_{1}\right\|.\end{aligned}}} 3615:
None of these three classes is the best for all matrices; there are always examples in which one class outperforms the other. Therefore, multiple solvers are tried in practice to see which one is the best for a given problem.
5296: 2775: 3994: 4714: 3724: 3919: 4374: 3601:. These use a three-term recurrence relation, but they do not attain the minimum residual, and hence the residual does not decrease monotonically for these methods. Convergence is not even guaranteed. 58:
method due to Paige and Saunders in 1975. The MINRES method requires that the matrix is symmetric, but has the advantage that it only requires handling of three vectors. GMRES is a special case of the
4938: 4037: 2215: 202: 3075: 5329: 4951: 1426: 1351: 723: 1982: 889: 3590:. It can be shown that there is no Krylov subspace method for general matrices, which is given by a short recurrence relation and yet minimizes the norms of the residuals, as GMRES does. 3035: 2991: 791: 1050: 5645: 5217: 2406: 1008: 7220:
Amritkar, Amit; de Sturler, Eric; Świrydowicz, Katarzyna; Tafti, Danesh; Ahuja, Kapil (2015). "Recycling Krylov subspaces for CFD applications and a new hybrid recycling solver".
945: 593: 4622: 3566:) or Restarted GMRES. For non-positive definite matrices, this method may suffer from stagnation in convergence as the restarted subspace is often close to the earlier subspace. 2064: 1131: 3594: 2021: 3848: 3760: 1232: 3250: 645: 409: 2766: 442: 2340: 5222: 4361:{\displaystyle {\begin{bmatrix}\Omega _{n}&0\\0&1\end{bmatrix}}{\tilde {H}}_{n+1}={\begin{bmatrix}R_{n}&r_{n+1}\\0&\rho \\0&\sigma \end{bmatrix}}} 508: 475: 186: 2473: 2443: 5672: 4021: 3649: 2604: 2561: 2307: 2277: 2137: 2090: 1416: 1378: 1189: 1162: 1077: 818: 134: 102: 2525: 540: 1258: 3059: 2496: 2246: 2110: 1278: 3924: 3450:{\displaystyle {\frac {\|r_{n}\|}{\|b\|}}\leq \inf _{p\in P_{n}}\|p(A)\|\leq \kappa _{2}(V)\inf _{p\in P_{n}}\max _{\lambda \in \sigma (A)}|p(\lambda )|,\,} 4034:
The QR decomposition can be updated cheaply from one iteration to the next, because the Hessenberg matrices differ only by a row of zeros and a column:
7454: 3654: 7206: 4612:{\displaystyle c_{n}={\frac {\rho }{\sqrt {\rho ^{2}+\sigma ^{2}}}}\quad {\text{and}}\quad s_{n}={\frac {\sigma }{\sqrt {\rho ^{2}+\sigma ^{2}}}}.} 3853: 7359:
Eisenstat, Stanley C.; Elman, Howard C.; Schultz, Martin H. (1983). "Variational Iterative Methods for Nonsymmetric Systems of Linear Equations".
3586:
method is the minimal residual method (MinRes) of Paige and Saunders. Unlike the unsymmetric case, the MinRes method is given by a three-term
2142: 7575: 1287: 7600: 2631:
and hence the GMRES method arrives at the exact solution. However, the idea is that after a small number of iterations (relative to
2942:{\displaystyle \|r_{n}\|\leq \left(1-{\frac {\lambda _{\min }^{2}(1/2(A^{T}+A))}{\lambda _{\max }(A^{T}A)}}\right)^{n/2}\|r_{0}\|,} 1916: 7595: 7447: 7132:
Paige and Saunders, "Solution of Sparse Indefinite Systems of Linear Equations", SIAM J. Numer. Anal., vol 12, page 617 (1975)
3921:
The triangular matrix has one more row than it has columns, so its bottom row consists of zero. Hence, it can be decomposed as
3609: 3517:
All these inequalities bound only the residuals instead of the actual error, that is, the distance between the current iterate
2647:
This does not happen in general. Indeed, a theorem of Greenbaum, Pták and Strakoš states that for every nonincreasing sequence
7349: 7330: 7305: 7190: 4868: 5589: 7387: 4858:{\displaystyle \Omega _{n+1}{\tilde {H}}_{n+1}={\begin{bmatrix}R_{n}&r_{n+1}\\0&r_{n+1,n+1}\\0&0\end{bmatrix}}} 2026: 2710:
is the residual defined above. In particular, it is possible to find a matrix for which the residual stays constant for
2218: 653: 7621: 7554: 7440: 3605: 7399:"Numerical Simulation of Multiphase Multicomponent Flow in Porous Media: Efficiency Analysis of Newton-Based Method" 4495:{\displaystyle G_{n}={\begin{bmatrix}I_{n}&0&0\\0&c_{n}&s_{n}\\0&-s_{n}&c_{n}\end{bmatrix}}} 2717:
In practice, though, GMRES often performs well. This can be proven in specific situations. If the symmetric part of
7585: 823: 2996: 2952: 7512: 4165:{\displaystyle {\tilde {H}}_{n+1}={\begin{bmatrix}{\tilde {H}}_{n}&h_{n+1}\\0&h_{n+2,n+1}\end{bmatrix}},} 736: 3479: 1013: 355:{\displaystyle K_{n}=K_{n}(A,r_{0})=\operatorname {span} \,\{r_{0},Ar_{0},A^{2}r_{0},\ldots ,A^{n-1}r_{0}\}.\,} 3209:{\displaystyle \|r_{n}\|\leq \left({\frac {\kappa _{2}(A)^{2}-1}{\kappa _{2}(A)^{2}}}\right)^{n/2}\|r_{0}\|.} 1384:). Note that, for symmetric matrices, a symmetric tri-diagonal matrix is actually achieved, resulting in the 596: 40: 7397:
Imankulov, Timur; Lebedev, Danil; Matkerim, Bazargul; Daribayev, Beimbet; Kassymbek, Nurislam (2021-10-08).
5182: 2348: 950: 7544: 107: 897: 545: 7074: 3598: 1090: 1991: 7498: 32: 3817: 3729: 1201: 7549: 3219: 601: 365: 7463: 4212:, augmented with zeroes and a row with multiplicative identity, yields almost a triangular matrix: 2769: 2724: 414: 2606:. Since every subspace is contained in the next subspace, the residual does not increase. After 2312: 7508: 480: 447: 159: 4704:{\displaystyle \Omega _{n+1}=G_{n}{\begin{bmatrix}\Omega _{n}&0\\0&1\end{bmatrix}}.} 2448: 2418: 7503: 7239: 5650: 3999: 3627: 3495: 2582: 2534: 2285: 2255: 2115: 2068: 1394: 1356: 1167: 1140: 1055: 796: 81: 3549:
is the iteration number. Therefore, the method is sometimes restarted after a number, say
2501: 516: 8: 7482: 7148:
Solveurs performants pour l'optimisation sous contraintes en identification de paramètres
7096:"GMRES: A Generalized Minimal Residual Algorithm for Solving Nonsymmetric Linear Systems" 3587: 1237: 726: 7243: 7255: 7229: 7200: 3044: 2481: 2231: 2095: 1263: 28: 7420: 7376: 7345: 7326: 7301: 7186: 7115: 4943:
Given the QR decomposition, the minimization problem is easily solved by noting that
3812: 3794: 3579: 1281: 730: 141: 44: 7518: 7410: 7390:
Templates for the Solution of Linear Systems: Building Blocks for Iterative Methods
7368: 7278: 7259: 7247: 7153:
Efficient solvers for constrained optimization in parameter identification problems
7107: 3782: 3502:. Roughly speaking, this says that fast convergence occurs when the eigenvalues of 3253: 3069: 62:
method developed by Peter Pulay in 1980. DIIS is applicable to non-linear systems.
24: 7559: 5291:{\displaystyle {\tilde {g}}_{n}={\begin{bmatrix}g_{n}\\\gamma _{n}\end{bmatrix}}} 4369: 3583: 3535: 196: 36: 7477: 5963:% Note: this is not the beta scalar in section "The method" above but 2714: − 1 iterations, and only drops to zero at the last iteration. 2475: 1985: 71: 7282: 7251: 7185:. Philadelphia: Society for Industrial and Applied Mathematics. Theorem 35.2. 7615: 7523: 7424: 7380: 7119: 3511: 2528: 54:
and Martin H. Schultz in 1986. It is a generalization and improvement of the
7095: 6594:% Applying Givens Rotation to H col  % 7432: 7300:. Texts in Applied Mathematics (3rd ed.). New York: Springer. §8.7.2. 7415: 7398: 7146: 4368:
This would be triangular if σ is zero. To remedy this, one needs the
51: 6035:% eliminate the last element in H ith row and update the rotation matrix 3989:{\displaystyle {\tilde {R}}_{n}={\begin{bmatrix}R_{n}\\0\end{bmatrix}},} 6597:%---------------------------------------------------------------------% 6591:%---------------------------------------------------------------------% 3038: 7539: 4206:). This implies that premultiplying the Hessenberg matrix with Ω 7372: 7111: 7234: 7219: 7133: 7396: 7275:
Recycling Krylov subspace methods for sequences of linear systems
6272:% if threshold is not reached, k = m at this point (and not m+1) 3719:{\displaystyle \left\|{\tilde {H}}_{n}y_{n}-\beta e_{1}\right\|.} 104:. Denote the (square) system of linear equations to be solved by 7590: 7580: 3534:
Like other iterative methods, GMRES is usually combined with a
1385: 55: 1191:, which is determined via minimizing the residue as described 3914:{\displaystyle \Omega _{n}{\tilde {H}}_{n}={\tilde {R}}_{n}.} 2139:
can be found by minimizing the Euclidean norm of the residual
16:
Method for numerical solution of certain systems of equations
3770:
matrix, hence it gives an over-constrained linear system of
7168:, Thm 3.3. NB all results for GCR also hold for GMRES, cf. 6380:% Arnoldi Function  % 59: 35:. The method approximates the solution by the vector in a 2579:
th iterate minimizes the residual in the Krylov subspace
1353:
an equality which is used to simplify the calculation of
4933:{\textstyle r_{n+1,n+1}={\sqrt {\rho ^{2}+\sigma ^{2}}}} 2644:
is already a good approximation to the exact solution.
2210:{\displaystyle r_{n}={\tilde {H}}_{n}y_{n}-\beta e_{1}.} 3562:
as initial guess. The resulting method is called GMRES(
6444:% Modified Gram-Schmidt, keeping the Hessenberg matrix 6383:%----------------------------------------------------% 6377:%----------------------------------------------------% 5682: 5525: 5479: 5253: 4871: 4767: 4660: 4396: 4295: 4224: 4074: 3955: 1381: 1192: 7358: 7165: 5653: 5592: 5327: 5225: 5185: 4949: 4717: 4625: 4508: 4377: 4218: 4040: 4002: 3927: 3856: 3820: 3732: 3657: 3630: 3273: 3222: 3078: 3047: 2999: 2955: 2778: 2727: 2585: 2537: 2504: 2484: 2451: 2421: 2351: 2315: 2288: 2258: 2234: 2145: 2118: 2098: 2071: 2029: 1994: 1919: 1424: 1397: 1359: 1290: 1266: 1240: 1204: 1170: 1143: 1093: 1058: 1016: 953: 900: 826: 799: 739: 656: 604: 548: 519: 483: 450: 417: 368: 205: 162: 110: 84: 7100:
SIAM Journal on Scientific and Statistical Computing
3619: 3624:One part of the GMRES method is to find the vector 5666: 5639: 5574: 5290: 5211: 5171: 4932: 4857: 4703: 4611: 4494: 4360: 4164: 4015: 3988: 3913: 3842: 3754: 3718: 3643: 3449: 3244: 3208: 3053: 3029: 2985: 2941: 2760: 2598: 2563:floating-point operations must be computed at the 2555: 2519: 2490: 2467: 2437: 2400: 2334: 2301: 2271: 2240: 2209: 2131: 2104: 2084: 2058: 2015: 1976: 1905: 1410: 1372: 1345: 1272: 1252: 1226: 1183: 1156: 1125: 1071: 1044: 1002: 939: 883: 812: 785: 717: 639: 587: 534: 502: 469: 436: 403: 354: 180: 128: 96: 3466:denotes the set of polynomials of degree at most 7613: 6955:%%----Calculate the Givens rotation matrix----%% 3573: 3397: 3374: 3311: 2874: 2818: 1346:{\displaystyle AQ_{n}=Q_{n+1}{\tilde {H}}_{n}\,} 718:{\displaystyle r_{0},Ar_{0},\ldots A^{n-1}r_{0}} 2411:repeat if the residual is not yet small enough. 2092:being the first trial residual vector (usually 7181:Trefethen, Lloyd N.; Bau, David, III. (1997). 7448: 7295: 6820:% update the next sin cos values for rotation 1977:{\displaystyle e_{1}=(1,0,0,\ldots ,0)^{T}\,} 884:{\displaystyle q_{1}=\|r_{0}\|_{2}^{-1}r_{0}} 7462: 7320: 7205:: CS1 maint: multiple names: authors list ( 7180: 5586:that minimizes this expression is given by 3348: 3333: 3301: 3295: 3290: 3277: 3200: 3187: 3092: 3079: 3030:{\displaystyle \lambda _{\mathrm {max} }(M)} 2986:{\displaystyle \lambda _{\mathrm {min} }(M)} 2933: 2920: 2792: 2779: 2531:. In addition to the matrix-vector product, 2415:At every iteration, a matrix-vector product 2329: 2316: 2049: 2036: 854: 840: 411:is the initial error given an initial guess 345: 258: 169: 163: 91: 85: 7342:Iterative Methods for Sparse Linear Systems 7169: 7093: 7039:% see http://www.netlib.org/eispack/comqr.f 3529: 786:{\displaystyle q_{1},q_{2},\ldots ,q_{n}\,} 21:generalized minimal residual method (GMRES) 7455: 7441: 7321:Meister, Andreas; Vömel, Christof (2005). 3604:The third class is formed by methods like 3582:for symmetric matrices. The corresponding 7414: 7233: 7094:Saad, Youcef; Schultz, Martin H. (1986). 3538:method in order to speed up convergence. 3446: 3072:and positive definite, then we even have 2052: 1997: 1973: 1342: 1137:-th approximation of the solution (i.e., 1045:{\displaystyle y_{n}\in \mathbb {R} ^{n}} 1032: 782: 595:that minimizes the Euclidean norm of the 513:GMRES approximates the exact solution of 351: 257: 1382:§ Solving the least squares problem 7586:Basic Linear Algebra Subprograms (BLAS) 7393:, 2nd Edition, SIAM, Philadelphia, 1994 7296:Stoer, Josef; Bulirsch, Roland (2002). 3593:Another class of methods builds on the 3506:are clustered away from the origin and 31:solution of an indefinite nonsymmetric 7614: 5640:{\displaystyle y_{n}=R_{n}^{-1}g_{n}.} 5212:{\displaystyle \beta \Omega _{n}e_{1}} 2401:{\displaystyle x_{n}=x_{0}+Q_{n}y_{n}} 1003:{\displaystyle x_{n}=x_{0}+Q_{n}y_{n}} 7436: 3578:The Arnoldi iteration reduces to the 3541:The cost of the iterations grow as O( 2228:This yields the GMRES method. On the 7344:(2nd ed.). Philadelphia: SIAM. 7339: 7272: 7144: 3781:The minimum can be computed using a 1198:The Arnoldi process also constructs 940:{\displaystyle x_{n}\in x_{0}+K_{n}} 733:is used to find orthonormal vectors 588:{\displaystyle x_{n}\in x_{0}+K_{n}} 7166:Eisenstat, Elman & Schultz 1983 5683:Regular GMRES (MATLAB / GNU Octave) 4619:With this Givens rotation, we form 2478:for general dense matrices of size 2445:must be computed. This costs about 2059:{\displaystyle \beta =\|r_{0}\|\,,} 1164:) is reduced to finding the vector 1126:{\displaystyle q_{1},\ldots ,q_{n}} 13: 7361:SIAM Journal on Numerical Analysis 7323:Numerik linearer Gleichungssysteme 7298:Introduction to Numerical Analysis 5966:% the beta scalar multiplied by e1 5697:A, b, x, max_iterations, threshold 5435: 5190: 5138: 5022: 4719: 4664: 4627: 4228: 3858: 3267:is not positive definite, we have 3012: 3009: 3006: 2968: 2965: 2962: 2016:{\displaystyle \mathbb {R} ^{n+1}} 152:. Furthermore, it is assumed that 50:The GMRES method was developed by 14: 7633: 4031:(thus square) triangular matrix. 3620:Solving the least squares problem 7222:Journal of Computational Physics 3843:{\displaystyle {\tilde {R}}_{n}} 3755:{\displaystyle {\tilde {H}}_{n}} 3037:denote the smallest and largest 1227:{\displaystyle {\tilde {H}}_{n}} 729:, so instead of this basis, the 7134:https://doi.org/10.1137/0712047 5677: 4560: 4554: 3478:is the matrix appearing in the 2498:, but the cost can decrease to 7289: 7266: 7213: 7174: 7159: 7138: 7126: 7087: 5561: 5470: 5455: 5406: 5395: 5383: 5344: 5333: 5233: 5158: 5109: 5098: 5083: 5079: 5041: 5031: 5017: 5005: 4966: 4955: 4741: 4269: 4084: 4048: 3935: 3896: 3874: 3828: 3740: 3709: 3670: 3659: 3439: 3435: 3429: 3422: 3416: 3410: 3370: 3364: 3345: 3339: 3245:{\displaystyle \kappa _{2}(A)} 3239: 3233: 3157: 3150: 3123: 3116: 3024: 3018: 2980: 2974: 2895: 2879: 2864: 2861: 2842: 2828: 2747: 2728: 2570: 2550: 2541: 2514: 2508: 2166: 1964: 1933: 1895: 1872: 1845: 1830: 1826: 1804: 1778: 1758: 1743: 1720: 1677: 1662: 1618: 1603: 1562: 1547: 1543: 1507: 1494: 1479: 1455: 1443: 1430: 1330: 1212: 1133:. In other words, finding the 640:{\displaystyle r_{n}=b-Ax_{n}} 404:{\displaystyle r_{0}=b-Ax_{0}} 248: 229: 1: 7080: 5732:% use x as the initial vector 3595:unsymmetric Lanczos iteration 3574:Comparison with other solvers 65: 47:is used to find this vector. 6095:% update the residual vector 4865:is a triangular matrix with 7: 7155:] (Thesis) (in French). 7075:Biconjugate gradient method 7068: 5804:% initialize the 1D vectors 3263:In the general case, where 2761:{\displaystyle (A^{T}+A)/2} 2673:= 0, one can find a matrix 1984:is the first vector in the 437:{\displaystyle x_{0}\neq 0} 10: 7638: 7499:System of linear equations 2614:is the size of the matrix 156:is normalized, i.e., that 33:system of linear equations 7568: 7550:Cache-oblivious algorithm 7532: 7491: 7470: 7283:10.14279/depositonce-4147 7252:10.1016/j.jcp.2015.09.040 2476:floating-point operations 2335:{\displaystyle \|r_{n}\|} 7622:Numerical linear algebra 7601:General purpose software 7464:Numerical linear algebra 7183:Numerical Linear Algebra 5686: 3530:Extensions of the method 3526:and the exact solution. 2279:with the Arnoldi method; 1418:are orthonormal, we have 7170:Saad & Schultz 1986 7018:% sn = cs * v2 / v1; 6862:% eliminate H(i + 1, i) 6603:= apply_givens_rotation 3260:in the Euclidean norm. 793:which form a basis for 503:{\displaystyle x_{0}=0} 470:{\displaystyle r_{0}=b} 181:{\displaystyle \|b\|=1} 7145:Nifa, Naoufal (2017). 7015:% cs = abs(v1) / t; 6613:% apply for ith column 6275:% calculate the result 5668: 5641: 5576: 5292: 5213: 5173: 4934: 4859: 4705: 4613: 4496: 4362: 4166: 4017: 3990: 3915: 3844: 3756: 3720: 3645: 3553:, of iterations, with 3480:spectral decomposition 3451: 3246: 3210: 3055: 3031: 2987: 2943: 2762: 2677:such that the ‖ 2600: 2557: 2521: 2492: 2469: 2468:{\displaystyle 2m^{2}} 2439: 2438:{\displaystyle Aq_{n}} 2402: 2336: 2303: 2273: 2242: 2211: 2133: 2106: 2086: 2060: 2017: 1978: 1907: 1412: 1374: 1347: 1274: 1254: 1228: 1185: 1158: 1127: 1073: 1046: 1004: 941: 894:Therefore, the vector 885: 814: 787: 719: 641: 589: 536: 504: 471: 438: 405: 356: 182: 130: 98: 7596:Specialized libraries 7509:Matrix multiplication 7504:Matrix decompositions 7416:10.3390/fluids6100355 7325:. Wiesbaden: Vieweg. 6041:apply_givens_rotation 5669: 5667:{\displaystyle g_{n}} 5642: 5577: 5293: 5214: 5174: 4935: 4860: 4706: 4614: 4497: 4363: 4167: 4018: 4016:{\displaystyle R_{n}} 3991: 3916: 3845: 3757: 3721: 3646: 3644:{\displaystyle y_{n}} 3452: 3247: 3211: 3056: 3032: 2988: 2944: 2763: 2601: 2599:{\displaystyle K_{n}} 2558: 2556:{\displaystyle O(nm)} 2522: 2493: 2470: 2440: 2403: 2337: 2304: 2302:{\displaystyle y_{n}} 2274: 2272:{\displaystyle q_{n}} 2243: 2212: 2134: 2132:{\displaystyle x_{n}} 2107: 2087: 2085:{\displaystyle r_{0}} 2061: 2018: 1979: 1908: 1413: 1411:{\displaystyle Q_{n}} 1375: 1373:{\displaystyle y_{n}} 1348: 1275: 1255: 1229: 1186: 1184:{\displaystyle y_{n}} 1159: 1157:{\displaystyle x_{n}} 1128: 1074: 1072:{\displaystyle Q_{n}} 1047: 1005: 942: 886: 815: 813:{\displaystyle K_{n}} 788: 720: 642: 590: 537: 505: 472: 439: 406: 357: 183: 131: 129:{\displaystyle Ax=b.} 99: 97:{\displaystyle \|v\|} 7277:(Ph.D.). TU Berlin. 7273:Gaul, André (2014). 5674:are easy to update. 5651: 5590: 5325: 5223: 5183: 5179:Denoting the vector 4947: 4869: 4715: 4623: 4506: 4375: 4216: 4038: 4000: 3925: 3854: 3818: 3789: + 1)-by-( 3730: 3655: 3628: 3597:, in particular the 3510:is not too far from 3271: 3220: 3076: 3045: 2997: 2953: 2776: 2725: 2583: 2535: 2520:{\displaystyle O(m)} 2502: 2482: 2449: 2419: 2349: 2313: 2286: 2256: 2232: 2219:linear least squares 2143: 2116: 2096: 2069: 2027: 1992: 1917: 1422: 1395: 1357: 1288: 1264: 1238: 1202: 1168: 1141: 1091: 1056: 1014: 951: 898: 824: 797: 737: 654: 602: 546: 535:{\displaystyle Ax=b} 517: 481: 448: 415: 366: 203: 199:for this problem is 160: 108: 82: 19:In mathematics, the 7483:Numerical stability 7244:2015JCoPh.303..222A 5647:Again, the vectors 5623: 3807: + 1)-by- 3766: + 1)-by- 3588:recurrence relation 2827: 2618:, the Krylov space 1391:Because columns of 1253:{\displaystyle n+1} 870: 5855:%e1 = zeros(n, 1); 5664: 5637: 5606: 5572: 5570: 5554: 5501: 5288: 5282: 5209: 5169: 5167: 4930: 4855: 4849: 4701: 4692: 4609: 4492: 4486: 4358: 4352: 4256: 4162: 4153: 4013: 3986: 3977: 3911: 3840: 3752: 3716: 3641: 3447: 3420: 3395: 3332: 3242: 3206: 3051: 3027: 2983: 2939: 2813: 2758: 2610:iterations, where 2596: 2553: 2517: 2488: 2465: 2435: 2398: 2332: 2299: 2269: 2238: 2207: 2129: 2102: 2082: 2056: 2013: 1974: 1903: 1901: 1408: 1370: 1343: 1270: 1250: 1224: 1181: 1154: 1123: 1069: 1042: 1000: 947:can be written as 937: 881: 853: 810: 783: 727:linearly dependent 725:might be close to 715: 637: 585: 532: 500: 467: 434: 401: 352: 178: 126: 94: 7609: 7608: 7388:Dongarra et al., 7351:978-0-89871-534-7 7340:Saad, Y. (2003). 7332:978-3-528-13135-7 7307:978-0-387-95452-3 7192:978-0-89871-361-9 6961:= givens_rotation 5409: 5347: 5236: 5112: 5044: 4969: 4928: 4744: 4604: 4603: 4558: 4552: 4551: 4272: 4087: 4051: 3938: 3899: 3877: 3831: 3813:triangular matrix 3795:orthogonal matrix 3774:+1 equations for 3743: 3673: 3580:Lanczos iteration 3396: 3373: 3310: 3305: 3167: 3054:{\displaystyle M} 2899: 2770:positive definite 2491:{\displaystyle m} 2241:{\displaystyle n} 2169: 2105:{\displaystyle b} 1875: 1807: 1723: 1333: 1282:Hessenberg matrix 1273:{\displaystyle n} 1215: 1087:matrix formed by 820:. In particular, 731:Arnoldi iteration 140:is assumed to be 45:Arnoldi iteration 7629: 7519:Matrix splitting 7457: 7450: 7443: 7434: 7433: 7428: 7418: 7384: 7355: 7336: 7312: 7311: 7293: 7287: 7286: 7270: 7264: 7263: 7237: 7217: 7211: 7210: 7204: 7196: 7178: 7172: 7163: 7157: 7156: 7142: 7136: 7130: 7124: 7123: 7091: 7064: 7061: 7058: 7055: 7052: 7049: 7046: 7043: 7040: 7037: 7034: 7031: 7028: 7025: 7022: 7019: 7016: 7013: 7010: 7006: 7003: 7000: 6996: 6993: 6990: 6987: 6984: 6981: 6978: 6975: 6972: 6969: 6965: 6962: 6959: 6956: 6953: 6950: 6947: 6944: 6941: 6938: 6935: 6932: 6929: 6926: 6923: 6920: 6917: 6914: 6911: 6908: 6905: 6902: 6899: 6896: 6893: 6890: 6887: 6884: 6881: 6878: 6875: 6872: 6869: 6866: 6863: 6860: 6857: 6854: 6851: 6848: 6845: 6842: 6839: 6836: 6833: 6830: 6827: 6824: 6821: 6818: 6815: 6812: 6809: 6806: 6803: 6800: 6797: 6794: 6791: 6788: 6785: 6782: 6779: 6776: 6773: 6770: 6767: 6764: 6761: 6758: 6755: 6752: 6749: 6746: 6743: 6740: 6737: 6734: 6731: 6728: 6725: 6722: 6719: 6716: 6713: 6710: 6707: 6704: 6701: 6698: 6695: 6692: 6689: 6686: 6683: 6680: 6677: 6674: 6671: 6668: 6665: 6662: 6659: 6656: 6653: 6650: 6647: 6644: 6641: 6638: 6635: 6632: 6629: 6626: 6623: 6620: 6617: 6614: 6611: 6607: 6604: 6601: 6598: 6595: 6592: 6589: 6586: 6583: 6580: 6577: 6574: 6571: 6568: 6565: 6562: 6559: 6556: 6553: 6550: 6547: 6544: 6541: 6538: 6535: 6532: 6529: 6526: 6523: 6520: 6517: 6514: 6511: 6508: 6505: 6502: 6499: 6496: 6493: 6490: 6487: 6484: 6481: 6478: 6475: 6472: 6469: 6466: 6463: 6460: 6457: 6454: 6451: 6448: 6445: 6442: 6439: 6436: 6433: 6430: 6427: 6424: 6421: 6418: 6415: 6412: 6409: 6406: 6403: 6400: 6397: 6393: 6390: 6387: 6384: 6381: 6378: 6375: 6372: 6369: 6366: 6363: 6360: 6357: 6354: 6351: 6348: 6345: 6342: 6339: 6336: 6333: 6330: 6327: 6324: 6321: 6318: 6315: 6312: 6309: 6306: 6303: 6300: 6297: 6294: 6291: 6288: 6285: 6282: 6279: 6276: 6273: 6270: 6267: 6264: 6261: 6258: 6255: 6252: 6249: 6246: 6243: 6240: 6237: 6234: 6231: 6230:% save the error 6228: 6225: 6222: 6219: 6216: 6213: 6210: 6207: 6204: 6201: 6198: 6195: 6192: 6189: 6186: 6183: 6180: 6177: 6174: 6171: 6168: 6165: 6162: 6159: 6156: 6153: 6150: 6147: 6144: 6141: 6138: 6135: 6132: 6129: 6126: 6123: 6120: 6117: 6114: 6111: 6108: 6105: 6102: 6099: 6096: 6093: 6090: 6087: 6084: 6081: 6078: 6075: 6072: 6069: 6066: 6063: 6060: 6057: 6054: 6051: 6048: 6045: 6042: 6039: 6036: 6033: 6030: 6027: 6024: 6021: 6018: 6015: 6012: 6009: 6006: 6003: 6000: 5997: 5994: 5991: 5988: 5985: 5982: 5979: 5976: 5973: 5970: 5967: 5964: 5961: 5958: 5955: 5952: 5949: 5946: 5943: 5940: 5937: 5934: 5931: 5928: 5925: 5922: 5919: 5916: 5913: 5910: 5907: 5904: 5901: 5898: 5895: 5892: 5889: 5886: 5883: 5880: 5877: 5874: 5871: 5868: 5865: 5862: 5859: 5856: 5853: 5850: 5847: 5844: 5841: 5838: 5835: 5832: 5829: 5826: 5823: 5820: 5817: 5814: 5811: 5808: 5805: 5802: 5799: 5796: 5793: 5790: 5787: 5784: 5781: 5778: 5775: 5772: 5769: 5766: 5763: 5760: 5757: 5754: 5751: 5748: 5745: 5742: 5739: 5736: 5733: 5730: 5727: 5724: 5721: 5718: 5715: 5712: 5709: 5706: 5703: 5700: 5696: 5693: 5690: 5673: 5671: 5670: 5665: 5663: 5662: 5646: 5644: 5643: 5638: 5633: 5632: 5622: 5614: 5602: 5601: 5581: 5579: 5578: 5573: 5571: 5564: 5560: 5559: 5558: 5551: 5550: 5537: 5536: 5516: 5515: 5506: 5505: 5491: 5490: 5462: 5458: 5454: 5453: 5452: 5443: 5442: 5427: 5426: 5417: 5416: 5411: 5410: 5402: 5386: 5382: 5381: 5380: 5365: 5364: 5355: 5354: 5349: 5348: 5340: 5297: 5295: 5294: 5289: 5287: 5286: 5279: 5278: 5265: 5264: 5244: 5243: 5238: 5237: 5229: 5218: 5216: 5215: 5210: 5208: 5207: 5198: 5197: 5178: 5176: 5175: 5170: 5168: 5161: 5157: 5156: 5155: 5146: 5145: 5130: 5129: 5120: 5119: 5114: 5113: 5105: 5090: 5086: 5082: 5078: 5077: 5062: 5061: 5052: 5051: 5046: 5045: 5037: 5030: 5029: 5008: 5004: 5003: 5002: 4987: 4986: 4977: 4976: 4971: 4970: 4962: 4939: 4937: 4936: 4931: 4929: 4927: 4926: 4914: 4913: 4904: 4899: 4898: 4864: 4862: 4861: 4856: 4854: 4853: 4834: 4833: 4797: 4796: 4779: 4778: 4758: 4757: 4746: 4745: 4737: 4733: 4732: 4710: 4708: 4707: 4702: 4697: 4696: 4672: 4671: 4654: 4653: 4641: 4640: 4618: 4616: 4615: 4610: 4605: 4602: 4601: 4589: 4588: 4579: 4575: 4570: 4569: 4559: 4556: 4553: 4550: 4549: 4537: 4536: 4527: 4523: 4518: 4517: 4501: 4499: 4498: 4493: 4491: 4490: 4483: 4482: 4471: 4470: 4449: 4448: 4437: 4436: 4408: 4407: 4387: 4386: 4367: 4365: 4364: 4359: 4357: 4356: 4325: 4324: 4307: 4306: 4286: 4285: 4274: 4273: 4265: 4261: 4260: 4236: 4235: 4171: 4169: 4168: 4163: 4158: 4157: 4150: 4149: 4113: 4112: 4095: 4094: 4089: 4088: 4080: 4065: 4064: 4053: 4052: 4044: 4022: 4020: 4019: 4014: 4012: 4011: 3995: 3993: 3992: 3987: 3982: 3981: 3967: 3966: 3946: 3945: 3940: 3939: 3931: 3920: 3918: 3917: 3912: 3907: 3906: 3901: 3900: 3892: 3885: 3884: 3879: 3878: 3870: 3866: 3865: 3849: 3847: 3846: 3841: 3839: 3838: 3833: 3832: 3824: 3793: + 1) 3783:QR decomposition 3761: 3759: 3758: 3753: 3751: 3750: 3745: 3744: 3736: 3725: 3723: 3722: 3717: 3712: 3708: 3707: 3706: 3691: 3690: 3681: 3680: 3675: 3674: 3666: 3651:which minimizes 3650: 3648: 3647: 3642: 3640: 3639: 3456: 3454: 3453: 3448: 3442: 3425: 3419: 3394: 3393: 3392: 3363: 3362: 3331: 3330: 3329: 3306: 3304: 3293: 3289: 3288: 3275: 3254:condition number 3251: 3249: 3248: 3243: 3232: 3231: 3215: 3213: 3212: 3207: 3199: 3198: 3186: 3185: 3181: 3172: 3168: 3166: 3165: 3164: 3149: 3148: 3138: 3131: 3130: 3115: 3114: 3104: 3091: 3090: 3061:, respectively. 3060: 3058: 3057: 3052: 3036: 3034: 3033: 3028: 3017: 3016: 3015: 2992: 2990: 2989: 2984: 2973: 2972: 2971: 2948: 2946: 2945: 2940: 2932: 2931: 2919: 2918: 2914: 2905: 2901: 2900: 2898: 2891: 2890: 2878: 2877: 2867: 2854: 2853: 2838: 2826: 2821: 2811: 2791: 2790: 2767: 2765: 2764: 2759: 2754: 2740: 2739: 2687: 2627:is the whole of 2605: 2603: 2602: 2597: 2595: 2594: 2562: 2560: 2559: 2554: 2526: 2524: 2523: 2518: 2497: 2495: 2494: 2489: 2474: 2472: 2471: 2466: 2464: 2463: 2444: 2442: 2441: 2436: 2434: 2433: 2407: 2405: 2404: 2399: 2397: 2396: 2387: 2386: 2374: 2373: 2361: 2360: 2341: 2339: 2338: 2333: 2328: 2327: 2309:which minimizes 2308: 2306: 2305: 2300: 2298: 2297: 2278: 2276: 2275: 2270: 2268: 2267: 2247: 2245: 2244: 2239: 2221:problem of size 2216: 2214: 2213: 2208: 2203: 2202: 2187: 2186: 2177: 2176: 2171: 2170: 2162: 2155: 2154: 2138: 2136: 2135: 2130: 2128: 2127: 2111: 2109: 2108: 2103: 2091: 2089: 2088: 2083: 2081: 2080: 2065: 2063: 2062: 2057: 2048: 2047: 2022: 2020: 2019: 2014: 2012: 2011: 2000: 1983: 1981: 1980: 1975: 1972: 1971: 1929: 1928: 1912: 1910: 1909: 1904: 1902: 1898: 1894: 1893: 1892: 1883: 1882: 1877: 1876: 1868: 1861: 1860: 1837: 1833: 1829: 1825: 1824: 1815: 1814: 1809: 1808: 1800: 1793: 1792: 1777: 1776: 1750: 1746: 1742: 1741: 1740: 1731: 1730: 1725: 1724: 1716: 1712: 1711: 1693: 1692: 1669: 1665: 1661: 1660: 1659: 1650: 1649: 1634: 1633: 1610: 1606: 1602: 1601: 1600: 1591: 1590: 1575: 1574: 1554: 1550: 1546: 1542: 1541: 1532: 1531: 1519: 1518: 1486: 1482: 1478: 1477: 1476: 1446: 1442: 1441: 1417: 1415: 1414: 1409: 1407: 1406: 1379: 1377: 1376: 1371: 1369: 1368: 1352: 1350: 1349: 1344: 1341: 1340: 1335: 1334: 1326: 1322: 1321: 1303: 1302: 1284:which satisfies 1279: 1277: 1276: 1271: 1259: 1257: 1256: 1251: 1233: 1231: 1230: 1225: 1223: 1222: 1217: 1216: 1208: 1190: 1188: 1187: 1182: 1180: 1179: 1163: 1161: 1160: 1155: 1153: 1152: 1132: 1130: 1129: 1124: 1122: 1121: 1103: 1102: 1078: 1076: 1075: 1070: 1068: 1067: 1051: 1049: 1048: 1043: 1041: 1040: 1035: 1026: 1025: 1009: 1007: 1006: 1001: 999: 998: 989: 988: 976: 975: 963: 962: 946: 944: 943: 938: 936: 935: 923: 922: 910: 909: 890: 888: 887: 882: 880: 879: 869: 861: 852: 851: 836: 835: 819: 817: 816: 811: 809: 808: 792: 790: 789: 784: 781: 780: 762: 761: 749: 748: 724: 722: 721: 716: 714: 713: 704: 703: 682: 681: 666: 665: 646: 644: 643: 638: 636: 635: 614: 613: 594: 592: 591: 586: 584: 583: 571: 570: 558: 557: 541: 539: 538: 533: 509: 507: 506: 501: 493: 492: 476: 474: 473: 468: 460: 459: 443: 441: 440: 435: 427: 426: 410: 408: 407: 402: 400: 399: 378: 377: 361: 359: 358: 353: 344: 343: 334: 333: 309: 308: 299: 298: 286: 285: 270: 269: 247: 246: 228: 227: 215: 214: 187: 185: 184: 179: 135: 133: 132: 127: 103: 101: 100: 95: 25:iterative method 7637: 7636: 7632: 7631: 7630: 7628: 7627: 7626: 7612: 7611: 7610: 7605: 7564: 7560:Multiprocessing 7528: 7524:Sparse problems 7487: 7466: 7461: 7431: 7373:10.1137/0720023 7352: 7333: 7316: 7315: 7308: 7294: 7290: 7271: 7267: 7218: 7214: 7198: 7197: 7193: 7179: 7175: 7164: 7160: 7143: 7139: 7131: 7127: 7112:10.1137/0907058 7092: 7088: 7083: 7071: 7066: 7065: 7062: 7059: 7056: 7053: 7050: 7047: 7044: 7041: 7038: 7035: 7032: 7029: 7026: 7023: 7020: 7017: 7014: 7011: 7008: 7004: 7001: 6998: 6994: 6991: 6988: 6985: 6982: 6979: 6976: 6973: 6971:% if (v1 == 0) 6970: 6967: 6963: 6960: 6957: 6954: 6951: 6948: 6945: 6942: 6939: 6936: 6933: 6930: 6927: 6924: 6921: 6918: 6915: 6912: 6909: 6906: 6903: 6900: 6897: 6894: 6891: 6888: 6885: 6882: 6879: 6876: 6873: 6870: 6867: 6864: 6861: 6858: 6855: 6852: 6849: 6846: 6843: 6840: 6837: 6834: 6831: 6828: 6826:givens_rotation 6825: 6822: 6819: 6816: 6813: 6810: 6807: 6804: 6801: 6798: 6795: 6792: 6789: 6786: 6783: 6780: 6777: 6774: 6771: 6768: 6765: 6762: 6759: 6756: 6753: 6750: 6747: 6744: 6741: 6738: 6735: 6732: 6729: 6726: 6723: 6720: 6717: 6714: 6711: 6708: 6705: 6702: 6699: 6696: 6693: 6690: 6687: 6684: 6681: 6678: 6675: 6672: 6669: 6666: 6663: 6660: 6657: 6654: 6651: 6648: 6645: 6642: 6639: 6636: 6633: 6630: 6627: 6624: 6621: 6618: 6615: 6612: 6609: 6605: 6602: 6599: 6596: 6593: 6590: 6587: 6584: 6581: 6578: 6575: 6572: 6569: 6566: 6563: 6560: 6557: 6554: 6551: 6548: 6545: 6542: 6539: 6536: 6533: 6530: 6527: 6524: 6521: 6518: 6515: 6512: 6509: 6506: 6503: 6500: 6497: 6494: 6491: 6488: 6485: 6482: 6479: 6476: 6473: 6470: 6467: 6464: 6461: 6458: 6455: 6452: 6449: 6446: 6443: 6440: 6437: 6434: 6431: 6428: 6425: 6423:% Krylov Vector 6422: 6419: 6416: 6413: 6410: 6407: 6404: 6401: 6398: 6395: 6391: 6388: 6385: 6382: 6379: 6376: 6373: 6370: 6367: 6364: 6361: 6358: 6355: 6352: 6349: 6346: 6343: 6340: 6337: 6334: 6331: 6328: 6325: 6322: 6319: 6316: 6313: 6310: 6307: 6304: 6301: 6298: 6295: 6292: 6289: 6286: 6283: 6280: 6277: 6274: 6271: 6268: 6265: 6262: 6259: 6256: 6253: 6250: 6247: 6244: 6241: 6238: 6235: 6232: 6229: 6226: 6223: 6220: 6217: 6214: 6211: 6208: 6205: 6202: 6199: 6196: 6193: 6190: 6187: 6184: 6181: 6178: 6175: 6172: 6169: 6166: 6163: 6160: 6157: 6154: 6151: 6148: 6145: 6142: 6139: 6136: 6133: 6130: 6127: 6124: 6121: 6118: 6115: 6112: 6109: 6106: 6103: 6100: 6097: 6094: 6091: 6088: 6085: 6082: 6079: 6076: 6073: 6070: 6067: 6064: 6061: 6058: 6055: 6052: 6049: 6046: 6043: 6040: 6037: 6034: 6031: 6028: 6025: 6022: 6019: 6016: 6013: 6010: 6007: 6004: 6001: 5998: 5995: 5992: 5989: 5986: 5983: 5980: 5977: 5974: 5971: 5968: 5965: 5962: 5959: 5956: 5953: 5950: 5947: 5944: 5941: 5938: 5935: 5932: 5929: 5926: 5923: 5920: 5917: 5914: 5911: 5908: 5905: 5902: 5899: 5896: 5893: 5890: 5887: 5884: 5881: 5878: 5875: 5872: 5869: 5866: 5863: 5860: 5857: 5854: 5851: 5848: 5845: 5842: 5839: 5836: 5833: 5830: 5827: 5824: 5821: 5818: 5815: 5812: 5809: 5806: 5803: 5800: 5797: 5794: 5791: 5788: 5785: 5782: 5779: 5776: 5773: 5770: 5767: 5764: 5761: 5758: 5755: 5752: 5749: 5746: 5743: 5740: 5737: 5734: 5731: 5728: 5725: 5722: 5719: 5716: 5713: 5710: 5707: 5704: 5701: 5698: 5694: 5691: 5688: 5685: 5680: 5658: 5654: 5652: 5649: 5648: 5628: 5624: 5615: 5610: 5597: 5593: 5591: 5588: 5587: 5569: 5568: 5553: 5552: 5546: 5542: 5539: 5538: 5532: 5528: 5521: 5520: 5511: 5507: 5500: 5499: 5493: 5492: 5486: 5482: 5475: 5474: 5473: 5469: 5460: 5459: 5448: 5444: 5438: 5434: 5422: 5418: 5412: 5401: 5400: 5399: 5398: 5394: 5387: 5376: 5372: 5360: 5356: 5350: 5339: 5338: 5337: 5336: 5332: 5328: 5326: 5323: 5322: 5316: 5306: 5281: 5280: 5274: 5270: 5267: 5266: 5260: 5256: 5249: 5248: 5239: 5228: 5227: 5226: 5224: 5221: 5220: 5203: 5199: 5193: 5189: 5184: 5181: 5180: 5166: 5165: 5151: 5147: 5141: 5137: 5125: 5121: 5115: 5104: 5103: 5102: 5101: 5097: 5088: 5087: 5073: 5069: 5057: 5053: 5047: 5036: 5035: 5034: 5025: 5021: 5020: 5016: 5009: 4998: 4994: 4982: 4978: 4972: 4961: 4960: 4959: 4958: 4954: 4950: 4948: 4945: 4944: 4922: 4918: 4909: 4905: 4903: 4876: 4872: 4870: 4867: 4866: 4848: 4847: 4842: 4836: 4835: 4811: 4807: 4805: 4799: 4798: 4786: 4782: 4780: 4774: 4770: 4763: 4762: 4747: 4736: 4735: 4734: 4722: 4718: 4716: 4713: 4712: 4691: 4690: 4685: 4679: 4678: 4673: 4667: 4663: 4656: 4655: 4649: 4645: 4630: 4626: 4624: 4621: 4620: 4597: 4593: 4584: 4580: 4574: 4565: 4561: 4555: 4545: 4541: 4532: 4528: 4522: 4513: 4509: 4507: 4504: 4503: 4485: 4484: 4478: 4474: 4472: 4466: 4462: 4457: 4451: 4450: 4444: 4440: 4438: 4432: 4428: 4426: 4420: 4419: 4414: 4409: 4403: 4399: 4392: 4391: 4382: 4378: 4376: 4373: 4372: 4370:Givens rotation 4351: 4350: 4345: 4339: 4338: 4333: 4327: 4326: 4314: 4310: 4308: 4302: 4298: 4291: 4290: 4275: 4264: 4263: 4262: 4255: 4254: 4249: 4243: 4242: 4237: 4231: 4227: 4220: 4219: 4217: 4214: 4213: 4211: 4205: 4191: 4180: 4152: 4151: 4127: 4123: 4121: 4115: 4114: 4102: 4098: 4096: 4090: 4079: 4078: 4077: 4070: 4069: 4054: 4043: 4042: 4041: 4039: 4036: 4035: 4007: 4003: 4001: 3998: 3997: 3976: 3975: 3969: 3968: 3962: 3958: 3951: 3950: 3941: 3930: 3929: 3928: 3926: 3923: 3922: 3902: 3891: 3890: 3889: 3880: 3869: 3868: 3867: 3861: 3857: 3855: 3852: 3851: 3834: 3823: 3822: 3821: 3819: 3816: 3815: 3802: 3746: 3735: 3734: 3733: 3731: 3728: 3727: 3702: 3698: 3686: 3682: 3676: 3665: 3664: 3663: 3662: 3658: 3656: 3653: 3652: 3635: 3631: 3629: 3626: 3625: 3622: 3584:Krylov subspace 3576: 3561: 3536:preconditioning 3532: 3525: 3465: 3438: 3421: 3400: 3388: 3384: 3377: 3358: 3354: 3325: 3321: 3314: 3294: 3284: 3280: 3276: 3274: 3272: 3269: 3268: 3227: 3223: 3221: 3218: 3217: 3194: 3190: 3177: 3173: 3160: 3156: 3144: 3140: 3139: 3126: 3122: 3110: 3106: 3105: 3103: 3099: 3098: 3086: 3082: 3077: 3074: 3073: 3046: 3043: 3042: 3005: 3004: 3000: 2998: 2995: 2994: 2961: 2960: 2956: 2954: 2951: 2950: 2927: 2923: 2910: 2906: 2886: 2882: 2873: 2869: 2868: 2849: 2845: 2834: 2822: 2817: 2812: 2810: 2803: 2799: 2798: 2786: 2782: 2777: 2774: 2773: 2750: 2735: 2731: 2726: 2723: 2722: 2709: 2696: 2686: 2678: 2672: 2663: 2653: 2643: 2626: 2590: 2586: 2584: 2581: 2580: 2573: 2567:-th iteration. 2536: 2533: 2532: 2529:sparse matrices 2503: 2500: 2499: 2483: 2480: 2479: 2459: 2455: 2450: 2447: 2446: 2429: 2425: 2420: 2417: 2416: 2392: 2388: 2382: 2378: 2369: 2365: 2356: 2352: 2350: 2347: 2346: 2323: 2319: 2314: 2311: 2310: 2293: 2289: 2287: 2284: 2283: 2263: 2259: 2257: 2254: 2253: 2248:-th iteration: 2233: 2230: 2229: 2198: 2194: 2182: 2178: 2172: 2161: 2160: 2159: 2150: 2146: 2144: 2141: 2140: 2123: 2119: 2117: 2114: 2113: 2097: 2094: 2093: 2076: 2072: 2070: 2067: 2066: 2043: 2039: 2028: 2025: 2024: 2001: 1996: 1995: 1993: 1990: 1989: 1967: 1963: 1924: 1920: 1918: 1915: 1914: 1900: 1899: 1888: 1884: 1878: 1867: 1866: 1865: 1856: 1852: 1848: 1844: 1835: 1834: 1820: 1816: 1810: 1799: 1798: 1797: 1788: 1784: 1766: 1762: 1761: 1757: 1748: 1747: 1736: 1732: 1726: 1715: 1714: 1713: 1701: 1697: 1688: 1684: 1680: 1676: 1667: 1666: 1655: 1651: 1645: 1641: 1629: 1625: 1621: 1617: 1608: 1607: 1596: 1592: 1586: 1582: 1570: 1566: 1565: 1561: 1552: 1551: 1537: 1533: 1527: 1523: 1514: 1510: 1497: 1493: 1484: 1483: 1472: 1468: 1458: 1454: 1447: 1437: 1433: 1429: 1425: 1423: 1420: 1419: 1402: 1398: 1396: 1393: 1392: 1364: 1360: 1358: 1355: 1354: 1336: 1325: 1324: 1323: 1311: 1307: 1298: 1294: 1289: 1286: 1285: 1265: 1262: 1261: 1239: 1236: 1235: 1218: 1207: 1206: 1205: 1203: 1200: 1199: 1175: 1171: 1169: 1166: 1165: 1148: 1144: 1142: 1139: 1138: 1117: 1113: 1098: 1094: 1092: 1089: 1088: 1063: 1059: 1057: 1054: 1053: 1036: 1031: 1030: 1021: 1017: 1015: 1012: 1011: 994: 990: 984: 980: 971: 967: 958: 954: 952: 949: 948: 931: 927: 918: 914: 905: 901: 899: 896: 895: 875: 871: 862: 857: 847: 843: 831: 827: 825: 822: 821: 804: 800: 798: 795: 794: 776: 772: 757: 753: 744: 740: 738: 735: 734: 709: 705: 693: 689: 677: 673: 661: 657: 655: 652: 651: 631: 627: 609: 605: 603: 600: 599: 579: 575: 566: 562: 553: 549: 547: 544: 543: 518: 515: 514: 488: 484: 482: 479: 478: 455: 451: 449: 446: 445: 422: 418: 416: 413: 412: 395: 391: 373: 369: 367: 364: 363: 339: 335: 323: 319: 304: 300: 294: 290: 281: 277: 265: 261: 242: 238: 223: 219: 210: 206: 204: 201: 200: 197:Krylov subspace 161: 158: 157: 109: 106: 105: 83: 80: 79: 68: 37:Krylov subspace 17: 12: 11: 5: 7635: 7625: 7624: 7607: 7606: 7604: 7603: 7598: 7593: 7588: 7583: 7578: 7572: 7570: 7566: 7565: 7563: 7562: 7557: 7552: 7547: 7542: 7536: 7534: 7530: 7529: 7527: 7526: 7521: 7516: 7506: 7501: 7495: 7493: 7489: 7488: 7486: 7485: 7480: 7478:Floating point 7474: 7472: 7468: 7467: 7460: 7459: 7452: 7445: 7437: 7430: 7429: 7394: 7385: 7367:(2): 345–357. 7356: 7350: 7337: 7331: 7317: 7314: 7313: 7306: 7288: 7265: 7212: 7191: 7173: 7158: 7137: 7125: 7106:(3): 856–869. 7085: 7084: 7082: 7079: 7078: 7077: 7070: 7067: 5726:max_iterations 5687: 5684: 5681: 5679: 5676: 5661: 5657: 5636: 5631: 5627: 5621: 5618: 5613: 5609: 5605: 5600: 5596: 5567: 5563: 5557: 5549: 5545: 5541: 5540: 5535: 5531: 5527: 5526: 5524: 5519: 5514: 5510: 5504: 5498: 5495: 5494: 5489: 5485: 5481: 5480: 5478: 5472: 5468: 5465: 5463: 5461: 5457: 5451: 5447: 5441: 5437: 5433: 5430: 5425: 5421: 5415: 5408: 5405: 5397: 5393: 5390: 5388: 5385: 5379: 5375: 5371: 5368: 5363: 5359: 5353: 5346: 5343: 5335: 5331: 5330: 5312: 5302: 5285: 5277: 5273: 5269: 5268: 5263: 5259: 5255: 5254: 5252: 5247: 5242: 5235: 5232: 5206: 5202: 5196: 5192: 5188: 5164: 5160: 5154: 5150: 5144: 5140: 5136: 5133: 5128: 5124: 5118: 5111: 5108: 5100: 5096: 5093: 5091: 5089: 5085: 5081: 5076: 5072: 5068: 5065: 5060: 5056: 5050: 5043: 5040: 5033: 5028: 5024: 5019: 5015: 5012: 5010: 5007: 5001: 4997: 4993: 4990: 4985: 4981: 4975: 4968: 4965: 4957: 4953: 4952: 4925: 4921: 4917: 4912: 4908: 4902: 4897: 4894: 4891: 4888: 4885: 4882: 4879: 4875: 4852: 4846: 4843: 4841: 4838: 4837: 4832: 4829: 4826: 4823: 4820: 4817: 4814: 4810: 4806: 4804: 4801: 4800: 4795: 4792: 4789: 4785: 4781: 4777: 4773: 4769: 4768: 4766: 4761: 4756: 4753: 4750: 4743: 4740: 4731: 4728: 4725: 4721: 4700: 4695: 4689: 4686: 4684: 4681: 4680: 4677: 4674: 4670: 4666: 4662: 4661: 4659: 4652: 4648: 4644: 4639: 4636: 4633: 4629: 4608: 4600: 4596: 4592: 4587: 4583: 4578: 4573: 4568: 4564: 4548: 4544: 4540: 4535: 4531: 4526: 4521: 4516: 4512: 4489: 4481: 4477: 4473: 4469: 4465: 4461: 4458: 4456: 4453: 4452: 4447: 4443: 4439: 4435: 4431: 4427: 4425: 4422: 4421: 4418: 4415: 4413: 4410: 4406: 4402: 4398: 4397: 4395: 4390: 4385: 4381: 4355: 4349: 4346: 4344: 4341: 4340: 4337: 4334: 4332: 4329: 4328: 4323: 4320: 4317: 4313: 4309: 4305: 4301: 4297: 4296: 4294: 4289: 4284: 4281: 4278: 4271: 4268: 4259: 4253: 4250: 4248: 4245: 4244: 4241: 4238: 4234: 4230: 4226: 4225: 4223: 4207: 4196: 4185: 4176: 4161: 4156: 4148: 4145: 4142: 4139: 4136: 4133: 4130: 4126: 4122: 4120: 4117: 4116: 4111: 4108: 4105: 4101: 4097: 4093: 4086: 4083: 4076: 4075: 4073: 4068: 4063: 4060: 4057: 4050: 4047: 4010: 4006: 3985: 3980: 3974: 3971: 3970: 3965: 3961: 3957: 3956: 3954: 3949: 3944: 3937: 3934: 3910: 3905: 3898: 3895: 3888: 3883: 3876: 3873: 3864: 3860: 3837: 3830: 3827: 3798: 3749: 3742: 3739: 3715: 3711: 3705: 3701: 3697: 3694: 3689: 3685: 3679: 3672: 3669: 3661: 3638: 3634: 3621: 3618: 3575: 3572: 3557: 3531: 3528: 3521: 3461: 3445: 3441: 3437: 3434: 3431: 3428: 3424: 3418: 3415: 3412: 3409: 3406: 3403: 3399: 3391: 3387: 3383: 3380: 3376: 3372: 3369: 3366: 3361: 3357: 3353: 3350: 3347: 3344: 3341: 3338: 3335: 3328: 3324: 3320: 3317: 3313: 3309: 3303: 3300: 3297: 3292: 3287: 3283: 3279: 3241: 3238: 3235: 3230: 3226: 3205: 3202: 3197: 3193: 3189: 3184: 3180: 3176: 3171: 3163: 3159: 3155: 3152: 3147: 3143: 3137: 3134: 3129: 3125: 3121: 3118: 3113: 3109: 3102: 3097: 3094: 3089: 3085: 3081: 3050: 3041:of the matrix 3026: 3023: 3020: 3014: 3011: 3008: 3003: 2982: 2979: 2976: 2970: 2967: 2964: 2959: 2938: 2935: 2930: 2926: 2922: 2917: 2913: 2909: 2904: 2897: 2894: 2889: 2885: 2881: 2876: 2872: 2866: 2863: 2860: 2857: 2852: 2848: 2844: 2841: 2837: 2833: 2830: 2825: 2820: 2816: 2809: 2806: 2802: 2797: 2794: 2789: 2785: 2781: 2757: 2753: 2749: 2746: 2743: 2738: 2734: 2730: 2705: 2692: 2682: 2668: 2658: 2651: 2639: 2635:), the vector 2622: 2593: 2589: 2572: 2569: 2552: 2549: 2546: 2543: 2540: 2516: 2513: 2510: 2507: 2487: 2462: 2458: 2454: 2432: 2428: 2424: 2413: 2412: 2409: 2395: 2391: 2385: 2381: 2377: 2372: 2368: 2364: 2359: 2355: 2343: 2331: 2326: 2322: 2318: 2296: 2292: 2280: 2266: 2262: 2237: 2206: 2201: 2197: 2193: 2190: 2185: 2181: 2175: 2168: 2165: 2158: 2153: 2149: 2126: 2122: 2101: 2079: 2075: 2055: 2051: 2046: 2042: 2038: 2035: 2032: 2010: 2007: 2004: 1999: 1986:standard basis 1970: 1966: 1962: 1959: 1956: 1953: 1950: 1947: 1944: 1941: 1938: 1935: 1932: 1927: 1923: 1897: 1891: 1887: 1881: 1874: 1871: 1864: 1859: 1855: 1851: 1847: 1843: 1840: 1838: 1836: 1832: 1828: 1823: 1819: 1813: 1806: 1803: 1796: 1791: 1787: 1783: 1780: 1775: 1772: 1769: 1765: 1760: 1756: 1753: 1751: 1749: 1745: 1739: 1735: 1729: 1722: 1719: 1710: 1707: 1704: 1700: 1696: 1691: 1687: 1683: 1679: 1675: 1672: 1670: 1668: 1664: 1658: 1654: 1648: 1644: 1640: 1637: 1632: 1628: 1624: 1620: 1616: 1613: 1611: 1609: 1605: 1599: 1595: 1589: 1585: 1581: 1578: 1573: 1569: 1564: 1560: 1557: 1555: 1553: 1549: 1545: 1540: 1536: 1530: 1526: 1522: 1517: 1513: 1509: 1506: 1503: 1500: 1496: 1492: 1489: 1487: 1485: 1481: 1475: 1471: 1467: 1464: 1461: 1457: 1453: 1450: 1448: 1445: 1440: 1436: 1432: 1428: 1427: 1405: 1401: 1367: 1363: 1339: 1332: 1329: 1320: 1317: 1314: 1310: 1306: 1301: 1297: 1293: 1269: 1249: 1246: 1243: 1221: 1214: 1211: 1178: 1174: 1151: 1147: 1120: 1116: 1112: 1109: 1106: 1101: 1097: 1066: 1062: 1039: 1034: 1029: 1024: 1020: 997: 993: 987: 983: 979: 974: 970: 966: 961: 957: 934: 930: 926: 921: 917: 913: 908: 904: 878: 874: 868: 865: 860: 856: 850: 846: 842: 839: 834: 830: 807: 803: 779: 775: 771: 768: 765: 760: 756: 752: 747: 743: 712: 708: 702: 699: 696: 692: 688: 685: 680: 676: 672: 669: 664: 660: 634: 630: 626: 623: 620: 617: 612: 608: 582: 578: 574: 569: 565: 561: 556: 552: 542:by the vector 531: 528: 525: 522: 499: 496: 491: 487: 466: 463: 458: 454: 433: 430: 425: 421: 398: 394: 390: 387: 384: 381: 376: 372: 350: 347: 342: 338: 332: 329: 326: 322: 318: 315: 312: 307: 303: 297: 293: 289: 284: 280: 276: 273: 268: 264: 260: 256: 253: 250: 245: 241: 237: 234: 231: 226: 222: 218: 213: 209: 177: 174: 171: 168: 165: 125: 122: 119: 116: 113: 93: 90: 87: 74:of any vector 72:Euclidean norm 67: 64: 15: 9: 6: 4: 3: 2: 7634: 7623: 7620: 7619: 7617: 7602: 7599: 7597: 7594: 7592: 7589: 7587: 7584: 7582: 7579: 7577: 7574: 7573: 7571: 7567: 7561: 7558: 7556: 7553: 7551: 7548: 7546: 7543: 7541: 7538: 7537: 7535: 7531: 7525: 7522: 7520: 7517: 7514: 7510: 7507: 7505: 7502: 7500: 7497: 7496: 7494: 7490: 7484: 7481: 7479: 7476: 7475: 7473: 7469: 7465: 7458: 7453: 7451: 7446: 7444: 7439: 7438: 7435: 7426: 7422: 7417: 7412: 7408: 7404: 7400: 7395: 7392: 7391: 7386: 7382: 7378: 7374: 7370: 7366: 7362: 7357: 7353: 7347: 7343: 7338: 7334: 7328: 7324: 7319: 7318: 7309: 7303: 7299: 7292: 7284: 7280: 7276: 7269: 7261: 7257: 7253: 7249: 7245: 7241: 7236: 7231: 7227: 7223: 7216: 7208: 7202: 7194: 7188: 7184: 7177: 7171: 7167: 7162: 7154: 7150: 7149: 7141: 7135: 7129: 7121: 7117: 7113: 7109: 7105: 7101: 7097: 7090: 7086: 7076: 7073: 7072: 6005:% run arnoldi 5675: 5659: 5655: 5634: 5629: 5625: 5619: 5616: 5611: 5607: 5603: 5598: 5594: 5585: 5565: 5555: 5547: 5543: 5533: 5529: 5522: 5517: 5512: 5508: 5502: 5496: 5487: 5483: 5476: 5466: 5464: 5449: 5445: 5439: 5431: 5428: 5423: 5419: 5413: 5403: 5391: 5389: 5377: 5373: 5369: 5366: 5361: 5357: 5351: 5341: 5320: 5315: 5310: 5305: 5301: 5283: 5275: 5271: 5261: 5257: 5250: 5245: 5240: 5230: 5204: 5200: 5194: 5186: 5162: 5152: 5148: 5142: 5134: 5131: 5126: 5122: 5116: 5106: 5094: 5092: 5074: 5070: 5066: 5063: 5058: 5054: 5048: 5038: 5026: 5013: 5011: 4999: 4995: 4991: 4988: 4983: 4979: 4973: 4963: 4941: 4923: 4919: 4915: 4910: 4906: 4900: 4895: 4892: 4889: 4886: 4883: 4880: 4877: 4873: 4850: 4844: 4839: 4830: 4827: 4824: 4821: 4818: 4815: 4812: 4808: 4802: 4793: 4790: 4787: 4783: 4775: 4771: 4764: 4759: 4754: 4751: 4748: 4738: 4729: 4726: 4723: 4698: 4693: 4687: 4682: 4675: 4668: 4657: 4650: 4646: 4642: 4637: 4634: 4631: 4606: 4598: 4594: 4590: 4585: 4581: 4576: 4571: 4566: 4562: 4546: 4542: 4538: 4533: 4529: 4524: 4519: 4514: 4510: 4487: 4479: 4475: 4467: 4463: 4459: 4454: 4445: 4441: 4433: 4429: 4423: 4416: 4411: 4404: 4400: 4393: 4388: 4383: 4379: 4371: 4353: 4347: 4342: 4335: 4330: 4321: 4318: 4315: 4311: 4303: 4299: 4292: 4287: 4282: 4279: 4276: 4266: 4257: 4251: 4246: 4239: 4232: 4221: 4210: 4203: 4199: 4195: 4189: 4184: 4179: 4175: 4159: 4154: 4146: 4143: 4140: 4137: 4134: 4131: 4128: 4124: 4118: 4109: 4106: 4103: 4099: 4091: 4081: 4071: 4066: 4061: 4058: 4055: 4045: 4032: 4030: 4026: 4008: 4004: 3983: 3978: 3972: 3963: 3959: 3952: 3947: 3942: 3932: 3908: 3903: 3893: 3886: 3881: 3871: 3862: 3835: 3825: 3814: 3810: 3806: 3801: 3796: 3792: 3788: 3784: 3779: 3777: 3773: 3769: 3765: 3747: 3737: 3713: 3703: 3699: 3695: 3692: 3687: 3683: 3677: 3667: 3636: 3632: 3617: 3613: 3611: 3607: 3602: 3600: 3596: 3591: 3589: 3585: 3581: 3571: 3567: 3565: 3560: 3556: 3552: 3548: 3544: 3539: 3537: 3527: 3524: 3520: 3515: 3513: 3509: 3505: 3501: 3497: 3493: 3489: 3485: 3481: 3477: 3473: 3469: 3464: 3460: 3443: 3432: 3426: 3413: 3407: 3404: 3401: 3389: 3385: 3381: 3378: 3367: 3359: 3355: 3351: 3342: 3336: 3326: 3322: 3318: 3315: 3307: 3298: 3285: 3281: 3266: 3261: 3259: 3255: 3236: 3228: 3224: 3203: 3195: 3191: 3182: 3178: 3174: 3169: 3161: 3153: 3145: 3141: 3135: 3132: 3127: 3119: 3111: 3107: 3100: 3095: 3087: 3083: 3071: 3067: 3062: 3048: 3040: 3021: 3001: 2977: 2957: 2936: 2928: 2924: 2915: 2911: 2907: 2902: 2892: 2887: 2883: 2870: 2858: 2855: 2850: 2846: 2839: 2835: 2831: 2823: 2814: 2807: 2804: 2800: 2795: 2787: 2783: 2771: 2755: 2751: 2744: 2741: 2736: 2732: 2720: 2715: 2713: 2708: 2704: 2700: 2695: 2691: 2685: 2681: 2676: 2671: 2667: 2661: 2657: 2650: 2645: 2642: 2638: 2634: 2630: 2625: 2621: 2617: 2613: 2609: 2591: 2587: 2578: 2568: 2566: 2547: 2544: 2538: 2530: 2511: 2505: 2485: 2477: 2460: 2456: 2452: 2430: 2426: 2422: 2410: 2393: 2389: 2383: 2379: 2375: 2370: 2366: 2362: 2357: 2353: 2344: 2324: 2320: 2294: 2290: 2281: 2264: 2260: 2251: 2250: 2249: 2235: 2226: 2224: 2220: 2204: 2199: 2195: 2191: 2188: 2183: 2179: 2173: 2163: 2156: 2151: 2147: 2124: 2120: 2099: 2077: 2073: 2053: 2044: 2040: 2033: 2030: 2008: 2005: 2002: 1987: 1968: 1960: 1957: 1954: 1951: 1948: 1945: 1942: 1939: 1936: 1930: 1925: 1921: 1889: 1885: 1879: 1869: 1862: 1857: 1853: 1849: 1841: 1839: 1821: 1817: 1811: 1801: 1794: 1789: 1785: 1781: 1773: 1770: 1767: 1763: 1754: 1752: 1737: 1733: 1727: 1717: 1708: 1705: 1702: 1698: 1694: 1689: 1685: 1681: 1673: 1671: 1656: 1652: 1646: 1642: 1638: 1635: 1630: 1626: 1622: 1614: 1612: 1597: 1593: 1587: 1583: 1579: 1576: 1571: 1567: 1558: 1556: 1538: 1534: 1528: 1524: 1520: 1515: 1511: 1504: 1501: 1498: 1490: 1488: 1473: 1469: 1465: 1462: 1459: 1451: 1449: 1438: 1434: 1403: 1399: 1389: 1387: 1383: 1365: 1361: 1337: 1327: 1318: 1315: 1312: 1308: 1304: 1299: 1295: 1291: 1283: 1267: 1247: 1244: 1241: 1219: 1209: 1196: 1194: 1176: 1172: 1149: 1145: 1136: 1118: 1114: 1110: 1107: 1104: 1099: 1095: 1086: 1082: 1064: 1060: 1037: 1027: 1022: 1018: 995: 991: 985: 981: 977: 972: 968: 964: 959: 955: 932: 928: 924: 919: 915: 911: 906: 902: 892: 876: 872: 866: 863: 858: 848: 844: 837: 832: 828: 805: 801: 777: 773: 769: 766: 763: 758: 754: 750: 745: 741: 732: 728: 710: 706: 700: 697: 694: 690: 686: 683: 678: 674: 670: 667: 662: 658: 648: 632: 628: 624: 621: 618: 615: 610: 606: 598: 580: 576: 572: 567: 563: 559: 554: 550: 529: 526: 523: 520: 511: 497: 494: 489: 485: 464: 461: 456: 452: 431: 428: 423: 419: 396: 392: 388: 385: 382: 379: 374: 370: 348: 340: 336: 330: 327: 324: 320: 316: 313: 310: 305: 301: 295: 291: 287: 282: 278: 274: 271: 266: 262: 254: 251: 243: 239: 235: 232: 224: 220: 216: 211: 207: 198: 194: 189: 175: 172: 166: 155: 151: 147: 143: 139: 123: 120: 117: 114: 111: 88: 77: 73: 63: 61: 57: 53: 48: 46: 42: 39:with minimal 38: 34: 30: 26: 22: 7471:Key concepts 7406: 7402: 7389: 7364: 7360: 7341: 7322: 7297: 7291: 7274: 7268: 7225: 7221: 7215: 7182: 7176: 7161: 7152: 7147: 7140: 7128: 7103: 7099: 7089: 6977:% sn = 1; 6974:% cs = 0; 6608:h, cs, sn, k 5678:Example code 5583: 5318: 5313: 5308: 5303: 5299: 4942: 4208: 4201: 4197: 4193: 4187: 4182: 4177: 4173: 4033: 4028: 4024: 3808: 3804: 3799: 3790: 3786: 3780: 3775: 3771: 3767: 3763: 3623: 3614: 3603: 3592: 3577: 3568: 3563: 3558: 3554: 3550: 3546: 3542: 3540: 3533: 3522: 3518: 3516: 3507: 3503: 3499: 3491: 3487: 3483: 3475: 3471: 3467: 3462: 3458: 3264: 3262: 3257: 3252:denotes the 3065: 3063: 2718: 2716: 2711: 2706: 2702: 2698: 2693: 2689: 2683: 2679: 2674: 2669: 2665: 2659: 2655: 2648: 2646: 2640: 2636: 2632: 2628: 2623: 2619: 2615: 2611: 2607: 2576: 2574: 2564: 2414: 2227: 2222: 1390: 1197: 1134: 1084: 1080: 893: 650:The vectors 649: 512: 192: 190: 153: 149: 145: 137: 136:The matrix 75: 69: 49: 20: 18: 7409:(10): 355. 5582:The vector 3785:: find an ( 3599:BiCG method 2688:‖ = 2571:Convergence 70:Denote the 52:Yousef Saad 7513:algorithms 7235:1501.03358 7081:References 5321:, this is 5311:and γ 3850:such that 3778:unknowns. 3726:Note that 3039:eigenvalue 2721:, that is 2252:calculate 2217:This is a 2112:). Hence, 444:. Clearly 142:invertible 66:The method 7540:CPU cache 7425:2311-5521 7381:0036-1429 7201:cite book 7120:0196-5204 6389:= arnoldi 6254:threshold 5617:− 5544:γ 5518:− 5436:Ω 5432:β 5429:− 5407:~ 5370:β 5367:− 5345:~ 5272:γ 5234:~ 5191:Ω 5187:β 5139:Ω 5135:β 5132:− 5110:~ 5067:β 5064:− 5042:~ 5023:Ω 4992:β 4989:− 4967:~ 4920:σ 4907:ρ 4742:~ 4720:Ω 4665:Ω 4628:Ω 4595:σ 4582:ρ 4577:σ 4543:σ 4530:ρ 4525:ρ 4460:− 4348:σ 4336:ρ 4270:~ 4229:Ω 4085:~ 4049:~ 3936:~ 3897:~ 3875:~ 3859:Ω 3829:~ 3741:~ 3696:β 3693:− 3671:~ 3545:), where 3512:normality 3494:) is the 3474:(0) = 1, 3433:λ 3408:σ 3405:∈ 3402:λ 3382:∈ 3356:κ 3352:≤ 3349:‖ 3334:‖ 3319:∈ 3308:≤ 3302:‖ 3296:‖ 3291:‖ 3278:‖ 3225:κ 3201:‖ 3188:‖ 3142:κ 3133:− 3108:κ 3096:≤ 3093:‖ 3080:‖ 3070:symmetric 3002:λ 2958:λ 2934:‖ 2921:‖ 2871:λ 2815:λ 2808:− 2796:≤ 2793:‖ 2780:‖ 2330:‖ 2317:‖ 2282:find the 2192:β 2189:− 2167:~ 2050:‖ 2037:‖ 2031:β 1955:… 1873:~ 1863:− 1850:β 1805:~ 1795:− 1782:β 1721:~ 1695:− 1682:β 1636:− 1623:β 1577:− 1502:− 1463:− 1331:~ 1213:~ 1108:… 1028:∈ 912:∈ 864:− 855:‖ 841:‖ 767:… 698:− 687:… 622:− 560:∈ 429:≠ 386:− 328:− 314:… 170:‖ 164:‖ 92:‖ 86:‖ 29:numerical 7616:Category 7569:Software 7533:Hardware 7492:Problems 7069:See also 6958:function 6600:function 6386:function 5689:function 5562:‖ 5471:‖ 5456:‖ 5396:‖ 5384:‖ 5334:‖ 5317:∈ 5307:∈ 5159:‖ 5099:‖ 5084:‖ 5018:‖ 5006:‖ 4956:‖ 4711:Indeed, 3803:and an ( 3710:‖ 3660:‖ 3610:BiCGSTAB 3496:spectrum 2701:, where 2697:for all 2662:−1 2345:compute 1896:‖ 1846:‖ 1831:‖ 1759:‖ 1744:‖ 1678:‖ 1663:‖ 1619:‖ 1604:‖ 1563:‖ 1548:‖ 1495:‖ 1480:‖ 1456:‖ 1444:‖ 1431:‖ 1388:method. 1052:, where 597:residual 144:of size 41:residual 27:for the 7260:2933274 7240:Bibcode 7228:: 222. 6980:% else 6394:A, Q, k 6011:arnoldi 5692:= gmres 4192:, ..., 3762:is an ( 2772:, then 2654:, ..., 1079:is the 7591:LAPACK 7581:MATLAB 7423:  7403:Fluids 7379:  7348:  7329:  7304:  7258:  7189:  7118:  7060:% end 6966:v1, v2 6224:b_norm 5975:r_norm 5957:r_norm 5918:r_norm 5798:b_norm 5759:b_norm 5708:length 4502:where 4172:where 4023:is an 3996:where 3811:upper 3797:Ω 3486:, and 3457:where 3216:where 2949:where 1913:where 1386:MINRES 1280:upper 1234:, an ( 362:where 56:MINRES 43:. The 23:is an 7576:ATLAS 7256:S2CID 7230:arXiv 7151:[ 6465:' 6260:break 6251:<= 6248:error 6191:error 5864:zeros 5837:zeros 5813:zeros 5777:error 5298:with 3470:with 2768:, is 2023:, and 1380:(see 1260:)-by- 1193:below 1010:with 7555:SIMD 7421:ISSN 7377:ISSN 7346:ISBN 7327:ISBN 7302:ISBN 7207:link 7187:ISBN 7116:ISSN 6989:sqrt 6901:sn_k 6880:cs_k 6811:temp 6640:temp 6546:norm 6317:beta 6203:beta 6179:beta 6149:beta 6137:beta 6098:beta 5969:beta 5924:norm 5783:norm 5765:norm 4027:-by- 3608:and 2993:and 2575:The 2527:for 1083:-by- 255:span 195:-th 191:The 148:-by- 60:DIIS 7545:TLB 7411:doi 7369:doi 7279:doi 7248:doi 7226:303 7108:doi 7063:end 6952:end 6946:0.0 6859:)); 6817:end 6616:for 6588:end 6522:end 6513:(:, 6474:(:, 6426:for 6414:(:, 6374:end 6350:(:, 6269:end 6266:end 6197:abs 5987:for 5939:(:, 5219:by 4557:and 4200:+1, 4181:= ( 4178:n+1 3606:CGS 3498:of 3482:of 3398:max 3375:inf 3312:inf 3256:of 3068:is 3064:If 2875:max 2819:min 1988:of 477:if 78:by 7618:: 7419:. 7405:. 7401:. 7375:. 7365:20 7363:. 7254:. 7246:. 7238:. 7224:. 7203:}} 7199:{{ 7114:. 7102:. 7098:. 7048:v2 7042:sn 7027:v1 7021:cs 7012:); 7005:v2 6995:v1 6922:); 6841:), 6793:); 6763:cs 6733:sn 6706:); 6676:sn 6646:cs 6585:); 6555:); 6519:); 6480:); 6420:); 6332:); 6242:if 6218:)) 6188:); 6164:cs 6146:); 6122:sn 6092:); 6083:sn 6077:cs 6074:), 6032:); 5981:e1 5933:); 5888:e1 5885:); 5858:e1 5852:); 5831:cs 5828:); 5807:sn 5774:); 5717:); 4940:. 4204:+1 4190:+1 4186:1, 3514:. 2664:, 2225:. 1195:. 891:. 647:. 510:. 188:. 76:v 7515:) 7511:( 7456:e 7449:t 7442:v 7427:. 7413:: 7407:6 7383:. 7371:: 7354:. 7335:. 7310:. 7285:. 7281:: 7262:. 7250:: 7242:: 7232:: 7209:) 7195:. 7122:. 7110:: 7104:7 7057:; 7054:t 7051:/ 7045:= 7036:; 7033:t 7030:/ 7024:= 7009:2 7007:^ 7002:+ 6999:2 6997:^ 6992:( 6986:= 6983:t 6968:) 6964:( 6949:; 6943:= 6940:) 6937:1 6934:+ 6931:k 6928:( 6925:h 6919:1 6916:+ 6913:k 6910:( 6907:h 6904:* 6898:+ 6895:) 6892:k 6889:( 6886:h 6883:* 6877:= 6874:) 6871:k 6868:( 6865:h 6856:1 6853:+ 6850:k 6847:( 6844:h 6838:k 6835:( 6832:h 6829:( 6823:= 6814:; 6808:= 6805:) 6802:i 6799:( 6796:h 6790:1 6787:+ 6784:i 6781:( 6778:h 6775:* 6772:) 6769:i 6766:( 6760:+ 6757:) 6754:i 6751:( 6748:h 6745:* 6742:) 6739:i 6736:( 6730:- 6727:= 6724:) 6721:1 6718:+ 6715:i 6712:( 6709:h 6703:1 6700:+ 6697:i 6694:( 6691:h 6688:* 6685:) 6682:i 6679:( 6673:+ 6670:) 6667:i 6664:( 6661:h 6658:* 6655:) 6652:i 6649:( 6643:= 6637:1 6634:- 6631:k 6628:: 6625:1 6622:= 6619:i 6610:) 6606:( 6582:1 6579:+ 6576:k 6573:( 6570:h 6567:/ 6564:q 6561:= 6558:q 6552:q 6549:( 6543:= 6540:) 6537:1 6534:+ 6531:k 6528:( 6525:h 6516:i 6510:Q 6507:* 6504:) 6501:i 6498:( 6495:h 6492:- 6489:q 6486:= 6483:q 6477:i 6471:Q 6468:* 6462:q 6459:= 6456:) 6453:i 6450:( 6447:h 6441:k 6438:: 6435:1 6432:= 6429:i 6417:k 6411:Q 6408:* 6405:A 6402:= 6399:q 6396:) 6392:( 6371:; 6368:y 6365:* 6362:) 6359:k 6356:: 6353:1 6347:Q 6344:+ 6341:x 6338:= 6335:x 6329:k 6326:: 6323:1 6320:( 6314:\ 6311:) 6308:k 6305:: 6302:1 6299:, 6296:k 6293:: 6290:1 6287:( 6284:H 6281:= 6278:y 6263:; 6257:) 6245:( 6239:; 6236:= 6233:e 6227:; 6221:/ 6215:1 6212:+ 6209:k 6206:( 6200:( 6194:= 6185:k 6182:( 6176:* 6173:) 6170:k 6167:( 6161:= 6158:) 6155:k 6152:( 6143:k 6140:( 6134:* 6131:) 6128:k 6125:( 6119:- 6116:= 6113:) 6110:1 6107:+ 6104:k 6101:( 6089:k 6086:, 6080:, 6071:k 6068:, 6065:1 6062:+ 6059:k 6056:: 6053:1 6050:( 6047:H 6044:( 6038:= 6029:k 6026:, 6023:Q 6020:, 6017:A 6014:( 6008:= 6002:m 5999:: 5996:1 5993:= 5990:k 5984:; 5978:* 5972:= 5960:; 5954:/ 5951:r 5948:= 5945:) 5942:1 5936:Q 5930:r 5927:( 5921:= 5915:; 5912:= 5909:e 5906:; 5903:1 5900:= 5897:) 5894:1 5891:( 5882:1 5879:, 5876:1 5873:+ 5870:m 5867:( 5861:= 5849:1 5846:, 5843:m 5840:( 5834:= 5825:1 5822:, 5819:m 5816:( 5810:= 5801:; 5795:/ 5792:) 5789:r 5786:( 5780:= 5771:b 5768:( 5762:= 5756:; 5753:x 5750:* 5747:A 5744:- 5741:b 5738:= 5735:r 5729:; 5723:= 5720:m 5714:A 5711:( 5705:= 5702:n 5699:) 5695:( 5660:n 5656:g 5635:. 5630:n 5626:g 5620:1 5612:n 5608:R 5604:= 5599:n 5595:y 5584:y 5566:. 5556:] 5548:n 5534:n 5530:g 5523:[ 5513:n 5509:y 5503:] 5497:0 5488:n 5484:R 5477:[ 5467:= 5450:1 5446:e 5440:n 5424:n 5420:y 5414:n 5404:R 5392:= 5378:1 5374:e 5362:n 5358:y 5352:n 5342:H 5319:R 5314:n 5309:R 5304:n 5300:g 5284:] 5276:n 5262:n 5258:g 5251:[ 5246:= 5241:n 5231:g 5205:1 5201:e 5195:n 5163:. 5153:1 5149:e 5143:n 5127:n 5123:y 5117:n 5107:R 5095:= 5080:) 5075:1 5071:e 5059:n 5055:y 5049:n 5039:H 5032:( 5027:n 5014:= 5000:1 4996:e 4984:n 4980:y 4974:n 4964:H 4924:2 4916:+ 4911:2 4901:= 4896:1 4893:+ 4890:n 4887:, 4884:1 4881:+ 4878:n 4874:r 4851:] 4845:0 4840:0 4831:1 4828:+ 4825:n 4822:, 4819:1 4816:+ 4813:n 4809:r 4803:0 4794:1 4791:+ 4788:n 4784:r 4776:n 4772:R 4765:[ 4760:= 4755:1 4752:+ 4749:n 4739:H 4730:1 4727:+ 4724:n 4699:. 4694:] 4688:1 4683:0 4676:0 4669:n 4658:[ 4651:n 4647:G 4643:= 4638:1 4635:+ 4632:n 4607:. 4599:2 4591:+ 4586:2 4572:= 4567:n 4563:s 4547:2 4539:+ 4534:2 4520:= 4515:n 4511:c 4488:] 4480:n 4476:c 4468:n 4464:s 4455:0 4446:n 4442:s 4434:n 4430:c 4424:0 4417:0 4412:0 4405:n 4401:I 4394:[ 4389:= 4384:n 4380:G 4354:] 4343:0 4331:0 4322:1 4319:+ 4316:n 4312:r 4304:n 4300:R 4293:[ 4288:= 4283:1 4280:+ 4277:n 4267:H 4258:] 4252:1 4247:0 4240:0 4233:n 4222:[ 4209:n 4202:n 4198:n 4194:h 4188:n 4183:h 4174:h 4160:, 4155:] 4147:1 4144:+ 4141:n 4138:, 4135:2 4132:+ 4129:n 4125:h 4119:0 4110:1 4107:+ 4104:n 4100:h 4092:n 4082:H 4072:[ 4067:= 4062:1 4059:+ 4056:n 4046:H 4029:n 4025:n 4009:n 4005:R 3984:, 3979:] 3973:0 3964:n 3960:R 3953:[ 3948:= 3943:n 3933:R 3909:. 3904:n 3894:R 3887:= 3882:n 3872:H 3863:n 3836:n 3826:R 3809:n 3805:n 3800:n 3791:n 3787:n 3776:n 3772:n 3768:n 3764:n 3748:n 3738:H 3714:. 3704:1 3700:e 3688:n 3684:y 3678:n 3668:H 3637:n 3633:y 3564:k 3559:k 3555:x 3551:k 3547:n 3543:n 3523:n 3519:x 3508:A 3504:A 3500:A 3492:A 3490:( 3488:σ 3484:A 3476:V 3472:p 3468:n 3463:n 3459:P 3444:, 3440:| 3436:) 3430:( 3427:p 3423:| 3417:) 3414:A 3411:( 3390:n 3386:P 3379:p 3371:) 3368:V 3365:( 3360:2 3346:) 3343:A 3340:( 3337:p 3327:n 3323:P 3316:p 3299:b 3286:n 3282:r 3265:A 3258:A 3240:) 3237:A 3234:( 3229:2 3204:. 3196:0 3192:r 3183:2 3179:/ 3175:n 3170:) 3162:2 3158:) 3154:A 3151:( 3146:2 3136:1 3128:2 3124:) 3120:A 3117:( 3112:2 3101:( 3088:n 3084:r 3066:A 3049:M 3025:) 3022:M 3019:( 3013:x 3010:a 3007:m 2981:) 2978:M 2975:( 2969:n 2966:i 2963:m 2937:, 2929:0 2925:r 2916:2 2912:/ 2908:n 2903:) 2896:) 2893:A 2888:T 2884:A 2880:( 2865:) 2862:) 2859:A 2856:+ 2851:T 2847:A 2843:( 2840:2 2836:/ 2832:1 2829:( 2824:2 2805:1 2801:( 2788:n 2784:r 2756:2 2752:/ 2748:) 2745:A 2742:+ 2737:T 2733:A 2729:( 2719:A 2712:m 2707:n 2703:r 2699:n 2694:n 2690:a 2684:n 2680:r 2675:A 2670:m 2666:a 2660:m 2656:a 2652:1 2649:a 2641:n 2637:x 2633:m 2629:R 2624:m 2620:K 2616:A 2612:m 2608:m 2592:n 2588:K 2577:n 2565:n 2551:) 2548:m 2545:n 2542:( 2539:O 2515:) 2512:m 2509:( 2506:O 2486:m 2461:2 2457:m 2453:2 2431:n 2427:q 2423:A 2408:; 2394:n 2390:y 2384:n 2380:Q 2376:+ 2371:0 2367:x 2363:= 2358:n 2354:x 2342:; 2325:n 2321:r 2295:n 2291:y 2265:n 2261:q 2236:n 2223:n 2205:. 2200:1 2196:e 2184:n 2180:y 2174:n 2164:H 2157:= 2152:n 2148:r 2125:n 2121:x 2100:b 2078:0 2074:r 2054:, 2045:0 2041:r 2034:= 2009:1 2006:+ 2003:n 1998:R 1969:T 1965:) 1961:0 1958:, 1952:, 1949:0 1946:, 1943:0 1940:, 1937:1 1934:( 1931:= 1926:1 1922:e 1890:n 1886:y 1880:n 1870:H 1858:1 1854:e 1842:= 1827:) 1822:n 1818:y 1812:n 1802:H 1790:1 1786:e 1779:( 1774:1 1771:+ 1768:n 1764:Q 1755:= 1738:n 1734:y 1728:n 1718:H 1709:1 1706:+ 1703:n 1699:Q 1690:1 1686:q 1674:= 1657:n 1653:y 1647:n 1643:Q 1639:A 1631:1 1627:q 1615:= 1598:n 1594:y 1588:n 1584:Q 1580:A 1572:0 1568:r 1559:= 1544:) 1539:n 1535:y 1529:n 1525:Q 1521:+ 1516:0 1512:x 1508:( 1505:A 1499:b 1491:= 1474:n 1470:x 1466:A 1460:b 1452:= 1439:n 1435:r 1404:n 1400:Q 1366:n 1362:y 1338:n 1328:H 1319:1 1316:+ 1313:n 1309:Q 1305:= 1300:n 1296:Q 1292:A 1268:n 1248:1 1245:+ 1242:n 1220:n 1210:H 1177:n 1173:y 1150:n 1146:x 1135:n 1119:n 1115:q 1111:, 1105:, 1100:1 1096:q 1085:n 1081:m 1065:n 1061:Q 1038:n 1033:R 1023:n 1019:y 996:n 992:y 986:n 982:Q 978:+ 973:0 969:x 965:= 960:n 956:x 933:n 929:K 925:+ 920:0 916:x 907:n 903:x 877:0 873:r 867:1 859:2 849:0 845:r 838:= 833:1 829:q 806:n 802:K 778:n 774:q 770:, 764:, 759:2 755:q 751:, 746:1 742:q 711:0 707:r 701:1 695:n 691:A 684:, 679:0 675:r 671:A 668:, 663:0 659:r 633:n 629:x 625:A 619:b 616:= 611:n 607:r 581:n 577:K 573:+ 568:0 564:x 555:n 551:x 530:b 527:= 524:x 521:A 498:0 495:= 490:0 486:x 465:b 462:= 457:0 453:r 432:0 424:0 420:x 397:0 393:x 389:A 383:b 380:= 375:0 371:r 349:. 346:} 341:0 337:r 331:1 325:n 321:A 317:, 311:, 306:0 302:r 296:2 292:A 288:, 283:0 279:r 275:A 272:, 267:0 263:r 259:{ 252:= 249:) 244:0 240:r 236:, 233:A 230:( 225:n 221:K 217:= 212:n 208:K 193:n 176:1 173:= 167:b 154:b 150:m 146:m 138:A 124:. 121:b 118:= 115:x 112:A 89:v

Index

iterative method
numerical
system of linear equations
Krylov subspace
residual
Arnoldi iteration
Yousef Saad
MINRES
DIIS
Euclidean norm
invertible
Krylov subspace
residual
linearly dependent
Arnoldi iteration
below
Hessenberg matrix
§ Solving the least squares problem
MINRES
standard basis
linear least squares
floating-point operations
sparse matrices
positive definite
eigenvalue
symmetric
condition number
spectral decomposition
spectrum
normality

Text is available under the Creative Commons Attribution-ShareAlike License. Additional terms may apply.