Linear Algebra - Ch1 Matrices and Systems of Equations

Chapter 1   Matrices and Systems of Equations  

1.1   Systems of Linear Equations

• Consistent：一致的，Ax = b 有解
• Overdetermined：等式量 > 未知數量
• Coefficient matrix：係數矩陣 ，[A]
• Argument matrix：增廣矩陣，[A|b]
• Homogeneous linear system：齊次線性系統，Ax = 0
• Trivial solution：顯然解，Ax = 0 中的0這個解 (因為顯然有0這個解)
• Equivalent：兩系統有相同的Solution set 稱為 (在Matrix版本中稱row equivalent)
• Rank(A)
• 運算至 rref 時非零列的個數
• 幾何意義為這個線性系統的獨立方程式個數
• A : m x n ,  rank(A) <= min { m , n } 
• rank( A ) != rank( [ A|b ] ) ，則 Ax = b 無解
• rank( A ) = rank( [ A|b ] ) = n ，則 Ax = b 具唯一解
• rank( A ) = rank( [ A|b ] ) < n ，則 Ax = b 具無限多解，其中n - rank(A)為自由變數個數 

1.2   Row Echelon Form

• Row echelon form (Gaussian elimination)
• pivot(首非零項)皆為1
• 所有非零列在所有全零列的上面
• 首項係數所在的column，在首項係數下的元素皆為0
• Reduce row echelon form (Gauss - Jordan reduction)
• 是row echelon form
• 首項係數是該行唯一非零列
• 每個矩陣A皆列等價於唯一的rref
• pivot column對應的變數為首項變數，nonpivot column對應的變數為自由變數

1.3   Matrix Algebra

• 相較於傳統數系，矩陣運算性質並不好，以下列出幾個不成立的性質
• AB = BA 未必成立，即矩陣乘法不具交換性
• Aⁿ = O，未必保證A = O  (ex : 嚴格上三角矩陣)
• A² = A，未必保證A = I or O  (3. 4. ex : 投影矩陣)
• A != O , B != O，未必保證 AB != O
• AB = AC 且 A != O，未必保證 B = C，即矩陣乘法不具消去性
• 未知矩陣X滿足方程式Xⁿ = A (A為已知)，未必保證具有n個解，不滿足代數基本定理
• (A + B)² = A² + 2AB + B²未必成立，即二項式定理未必成立
• Algebraic Rule for Transpose
• (A^T)^T = A
• (aA + bB)^T = aA^T + bB^T  (線性組合轉置次序可交換)
• (AB)^{T =} B^TA^T
• 對稱相關的矩陣
• symmetric matrix：A^^T = A
• skew-symmetric matrix：A^^T = - A
• Hermitian matrix：A^^H = A
• skew-Hermitian matrix：A^H = - A
• Algebraic Rule for inverse
• Def : BA = AB = I, 則B為A^^-1 (invertible, nonsingular)
• (A^-1)^-1 = A
• (AB)^-1 = B^-1A^-1
• (A^T)^-1 = (A^-1)^T
• 跡數trace：對角線相加
• tr(AB) = tr(BA)

1.4   Elementary Matrix

1. TYPE 1 : 兩列交換
2. TYPE 2 : 一列乘非零倍
3. TYPE 3 : 一列乘某倍加到另一列

• row equivalent ：B 可在有限的row operation內獲得
• E的操作在A的左側，對row作用，在右側，對col作用
• E 是 nonsingular 且 E^^-1 也是同類型的單位矩陣    

1.5   LU - decomposition

• LU分解：只用E₃操作
• 非每個矩陣都可LU分解，若A不需經列交換可列運算至列梯形形式，則A可做LU分解
• LDU分解：把對角項拆給D，L和U的對角項都變為1
• P^TLU分解：使LU分解可以使用列交換P
• P為Permutation matrix 排列矩陣，每行每列恰一項為1其餘為0
• P^-1 = P^T