[Linear Algebra] Gilbert Strang 課程心得（三）

聽完 MIT 線代課程 Lecture 3 的心得記錄在此：
(Gilbert Strang 的教學，真的有把線代的精隨傳遞出來，這也是我喜歡他的影片的緣故)



1.   兩矩陣相乘：A*B = C，代表把 A 的 column 做 combination 後一個一個 column 排起來變成 C，也可以想成把 B 的 row 做 row operation 後一個一個 row 排列起來變成 C 。

2.   兩個矩陣相乘：A*B = C，也可以視為 A 的 column vector * B 的 row vector 的總和，舉例：

[2  7]                  [2]               [7]

          [3  8]  [1  6]       [3] [1  6] +  [8] [0  0]

[4  9]  [0  0]  =   [4]               [9]

我們觀察一下每一個 column vector 跟 row vector 的相乘，所代表的意義：

舉例來說：

[2]                [2  12]

[3] [1  6]  =  [3  18]

[4]                [4  24]

我們不難發現，右邊的：

[2  12]

[3  18]

[4  24]

的每個 column vector，都是等號左邊的 column vector 延展的 space 內。

同時等號右邊的每個 row vector 也同時都落在等號左邊矩陣的 row vector 延展的 space 內。

3.   兩個矩陣相乘，也可以拆成不同的 Block 做運算，這是很有趣的一個現象：

          [ A1 | A2 ] [B1 | B2]    [ C1 | C2 ]

AB = [ A3 | A4 ] [B3 | B4] = [ C3 | C4 ]

則 C1 = A1*B1 + A2*B3，其餘類推。也就是把 A1~A4, B1~B4 都當成數字，用矩陣乘法的規則計算 C1~C4。

4.   如果有個方陣 A 有 inverse A' (即 non-singular，回想 A 如果是 row operation，則必定是方陣對吧)，則 A'A = I = AA'，Gilbert Strang 說這不太好證明，但我直覺的想法是，如果對一個矩陣做 row 運算然後再逆操作回來，跟先做逆向操作再做 row 運算是同樣的效果。

5.   我們看一下上述第 2 點，可以說明為什麼矩陣沒有 inverse。假如有一個矩陣 A 如下：

       [1   3]

A = [2   6]

為什麼 A 矩陣不可逆？因為我們無法找到一個 B 使得 AB = I。因為我們無論拿什麼 B 來右乘 A ，我們獲得的矩陣每個 column 都會是 A 的 column vector 的展延，不會形成單位矩陣 I ，I 的 column 必須同時有 0 跟非 0 的元素。

同時，我們可以下判別式，如果有非零矩陣的 x，使得 Ax = 0，則 A 必定不可逆。原因是如果 A 可逆，左右乘以 A' 就會得 A'Ax = 0，x = 0，明顯矛盾。

另外 Ax = 0 也代表 A 的所有 column vector 在同一方向上 (矩陣沒有滿秩)，才有可能使得 A 的 column vector 線性組合為 0 向量。

6.   Gauss-Jorden 消去法：

      假設 A 可逆，AA' = I，則對 A 和 I 做相同的 row operation，當 A 變成 I 時，I 也會變成 A'。這是可以預期的，上式左右乘以 A' 就知道了。

Gauss-Jorden 的做法如下：

       [1   3]

A = [3   7]

A'A = I

列出下面的矩陣，A 放左邊，I 放右邊：

[1  3 | 1  0 ]

[3  7 | 0  1 ]

同時將左右兩邊做 row operation，直到左邊變單位矩陣時，右側矩陣就是 A 的 inverse。