Cross Spectrum

Definition

 .

 - The expected value rxy means integral (the area under the curve) or averaging of the magnitude within the frequency range around f above;

 - The averaged value/expectation/the area under the curve between frequency interval is the magnitude of the power spectrum at f as the impulse function;

 - The series of the impulse function creates the power spectrum in given frequency range. 

 - First, here is a signal. We can calculate CORRELATION by shifting the signal by the given LAG. Then we have correlation function at each lag;

 - If the k=0 (no lag), the correlation is equal to 1. As k increases or the shifted signal is little related to the original signal, the correlation becomes smaller up to 0;

 - Secondly, DISCRETE FOURIER TRANSFORM is applied to each correlation E(k). The DFT shows the FOURIER COEFFICIENT which shows which frequencies are blended in the correlation function at lag k as a function of Fourier coefficient (a, b, c...); 

 - Now we would have a series of FOURIER COEFFICIENT (which is shows the magnitude of frequency contents) at each k;

 - The magnitude of each frequency interval can be obtained averaging each column (a, b, c...n);

 - Then we can figure out the magnitude of each frequency content -> Power spectrum.

Convolution

 - related to impulse response function;

 - Let's think about how to calculate the IMPULSE RESPONSE FUNCTION;

 - Output = input signal * impulse response 

Magnitude-squared coherence

Definition

like correlation, coherence is ratio normalised by the PSD of each signal that shows how much two signals are related to each other. the value lies between 0 and 1. 

source: https://youtu.be/2yA9aha3tfE

Why Welch's method?

 - averaging the power spectra of each segment of the signal because averaging process reduces variance.

 - CAUTION!

  in MATLAB function, power/cross spectra is calculated 

 for one signal  : pwelch

 for two signals : cpsd

1. Why the "rank" of the matrix matters in SVD?

 - The number of the diagonal non-zero elements of the singular value matrix obtained SVD determines the rank;

 - In SSI, choosing the dimension (or rank) of the system matrix has to be done by the user;

 - the rank means the number of linearly independent column vectors in the matrix;

 - the size of the system matrix is equal to the size of the eigenvalue (or singular value) matrix. In other words, the user chooses the number of the modes which will be taken into account in the system identification;

2. What on earth is "Rank" in matrix and why does it matter?

 - answered above.

3. Why the "complex conjugate" matters in dynamic identification?

 - The complex number is the product of FFT/DFT;

 - In FDD method, the cross-spectrum is calculated by applying DFT to the cross-correlation of the signals. Thus, the cross-spectrum contains complex terms;

 - The expectation (average) of the PSD/Cross Spectrum density at each frequency interval (df) multiplied by its complex conjugate becomes the amplitude of impulse response. The higher amplitudes (peaks) at corresponding frequency range indicates dominant frequency contents.  The series of the impulse responses form PSD in frequency-domain.  

source: Barry Van Veen, Coherence and the Cross Spectrum ( https://youtu.be/igRrGrxbg-Y )

4. Why correlation matters in the spectral analysis?

 - the correlation is calculated in time-domain. Maybe it might be a key to shift to frequency-domain. 

5. Why is it called "POWER" spectral density?

 - Power means square (제곱).

 - The correlation spectra are multiplied by their own complex conjugates. Thus, it's almost same as square.

6. What does "Coherence" of the signals mean?

 - we use Coherence to assess the 'quality' of the modal parameter?

7. 

Linear time-invariant system의 특징은 여러 현상을 중첩시킬 수 있다는 것이다. 

시간에 따라 변화하는 input을 그림을 나타내면 곡선이 된다. 

그 곡선을 discretise 하면 적분으로 구간처럼 무한개의 bar들로 다시 표현할 수 있다. 이 bar들의 높이는 입력의 크기가 된다. 그 하나 하나의 bar들을 망치로 내려치는 임팩트(Impulse)와 같다고 가정하고 그 임팩트들을 시간축에 따라 나란히 모아놓으면 원래 입력과 같아진다. 

앞서 말한 LTI system의 특징과 같이 입력 뿐만이 아니라 출력 역시 중첩이 가능하다. 낱개의 임팩들이 시스템에 입력되었을 때 발생하는 출력 하나 하나도 서로 중첩시키면 원래의 출력과 거의 유사해 진다. 

이렇게 임팩트에 의한 시스템의 출력으로 변환 시키는 것이 Impulse Response Function이다. 

이 IRF를 통해 미지의 시스템을 추정할 수 있고 다른 입력에 대한 출력도 산정할 수 있다. 

IRF의 복잡한 수식 계산을 더욱 단순하게 할 수 있는 것이 Transfer function이다. 이는 다름이 아니라 Laplace변환이다. 2차 미분방정식을 Laplace변환을 하면 단순한 대수조합이 되기 때문이다. IRF를 Laplace변환한 것이 TF이고 그 결과를 laplace역변환하면 time-domain에서의 응답을 계산할 수 있다. 

Control Systems Lectures - LTI Systems

Control Systems Lectures - Transfer Functions

https://youtu.be/RJleGwXorUk

오랫동안 공식으로만 애매하게 머릿속에 있던 eigen vector와 eigen value의 의미를 오늘 youtube 강의 몇개를 듣고 좀 더 알게되었다. 

잊기전에 복습 차원에서 오늘 알게 된 내용들을 적어본다. 

일단 eigne vector와 Eigen value가 어디에 쓰이는 지 알고 싶었다. 

Eigen vector와 value 모두 어떤 square matrix를 3 부분으로 분해한 것 들의 한 부분들이다. 

분해의 정확한 명칭은 Eigendecomposition. 사실 Sigular Value Decomposition을 찾다가 그 근간인 Eigendecomposition을 배웠다. 

매트릭스를 어떻게 분해할까?

우선 아무 매트릭스나 분해할 순 없고 어떤 조건들을 만족하는 것들만 Eigendecomposition을 적용할 수 있다. 

그 조건이란, 

1) square여야 하고

2) n x n square matrix를 구성하는 n개의 열 (Eigenvector)들이 각각 linearly independent해야 한다. 이말의 뜻은 한 열이 다른 어떤 열의 정수배로 표현될 수 없어야 하다는 의미이다. 예를 들어 한 열 V1 이 [ 1 0 1]인데 이 매트릭스에 다른 한 열 V2이 [2 0 2]로 V1의 2배이면 이 조건을 만족할 수 없다. 

고유값의 정의를 나타내는 식이 이렇다.

v가 왜 양변에 두번이나 들어가 있을까? 뭔가 너무 당연해 보이는 동어반복 같기도 하지만, 어떻게 같은 v에 서로 다른 A와 lambda를 곱하는데 값이 같을 수 있지?하는 생각을 오랫동안했다. 물론 이상하게만 생각했지 거의 10년동안 왜 그런지 알아 보진 않았다. 

일단 이 기호들이 뭘 말하는 지 보자. A는 위에서 말하는 조건을 만족하는 임의의 n X x square matrix. Lambda는 n X n diagonal matrix. v는 n X 1의 벡터다. 

서로 다른 벡터 v 가 n개가 있어야지 이들을 모아 n x n square matrix를 만들 수 있을 것이다. 그래서 그런게 있다고 가정하고 n X n의 coulmn vector v를 모은 matrix를 P라고 부르자.

v를 P로 바꾸기 전에 한가지 살펴보자. 

 와 는 다른 특징이 있다. 전자는 lambda의 대각원소들이 P 행렬의 각 행을 스케일링 해주는 반면, 후자는 P행렬의 각 열을 스케일링 해준다. 만약 P가 열벡터 v를 그대로 1열 부터 n열 까지 배열하여 만든 것이라면, 처럼 각 열을 스케일링 해주는 것을 택해야 한다. 

P의 역행렬을 양변에 곱해주면

만약에 위의 식을 만족하는 P와 lambda가 있다면 임의의 square 행렬 A를 저렇게 3개(실제로는 2개)의 매트릭스의 조합으로 표현할 수 있을 것이다. 다시말해 A를 3부분으로 분해했다. 

저 분해된 각 부분들의 이름을 붙여준다. 

P는 Eigen vector 그리고 lambda는 eigen value. 

이렇게 접근하니깐 저 이름들이 뭘 의미하는 지 더 쉽게 와닿는다. 

기하학적으로 보면 어떤 벡터 P를 lambda만큼 scaling 하는 것이다. 그리고 위를 만족하는 매트릭스 P, lambda는 A에대해 유일한 값을 갖기 때문에 'Eigen 고유'하다는 말을 쓰는 것이었다.