1.1 Acurate¸tea estimatorului

Estimatori în procesarea semnalelor

Conf. dr. habil. Eduard Roten¸stein

1 Considerente asupra m˘arginii inferioare Rao-Cramer (CRLB)

Dup˘a cum am studiat la Metoda verosimilit˘a¸tii maxime, determinarea unei margini inferioare pentru dispersia unui estimator nedeplasat se dovede¸ste a fi foarte important˘a în practic˘a.În cel mai bun caz, se poate stabili dac˘a un estimator nedeplasat este de dispersie minim˘a (estimator MVU-Minimum variance unbiased estimator). În cel mai r˘au caz,furnizeaz˘a un reper în raport cu care putem compara performan¸ta oric˘arui alt estimator nedeplasat pentru parametrul estimat. De¸si exist˘a metode alternative de determinare a unei margini inferioare pentru dispersie (vezi McAulay, Hofstetter [1971], Kendall, Stuart [1979], Seidman [1970], Ziv, Zakai [1969]), marginea inferioar˘a Rao-Cramer (CRLB) este cea mai u¸sor de ob¸tinut. De asemenea, teoria ce conduce la stabilirea sa permite determinarea imediat˘a a existen¸tei unui estimator ce o atinge. Chiar dac˘a nu exist˘a un astfel de estimator, se pot determina estimatori ce ating acea margine într-un sens aproximant.

1.1 Acurate¸tea estimatorului

Cum toate informa¸tiile privitoare la statistica analizat˘a sunt încorporate în e¸santionul observat ¸si în densitatea de reparti¸tie a caracteristicii, este evident c˘a acurate¸tea estim˘arii va depinde în mod direct de reparti¸tia urmat˘a.

Este, prin urmare, clar c˘a nu putem vorbi de acurate¸tea estim˘arii unui parametru dac˘a densitatea nu depinde de acesta sau depinde în mod slab de el.

Exemplul 1.1 Dependen¸ta densit ˘a¸tii de reparti¸tie de parametrul necunoscut.Presupunem c˘a, la o simpl˘a observa¸tie, avem structura variabilei de selec¸tie dat˘a de

X₁=A+W₀; unde W₀ N 0; ²

¸si dorim s˘a estim˘am parametrulA:Desigur, este a¸steptat˘a o estimare cu atât mai bun˘a cu cât dispersia ²este mai mic˘a.

Într-adev˘ar, un estimator nedeplasat bun este A^ = X₀;varian¸ta fiind ²;deci acurate¸tea estimatorului cre¸ste odat˘a cu descre¸sterea cantit˘a¸tii ²: Un mod alternativ, exemplificativ, de a observa aceasta este considerarea a dou˘a densit˘a¸ti de reparti¸tie, corespunz˘atoare la dou˘a dispersii ₁²< ²₂:

f_i(x₀; A) = 1

p2 _i²exp 1

2 ²_i (x₀ A)² ; i2 f1;2g (1) Dac˘a reprezent˘am cele dou˘a grafice pentrux₀ = 3¸si 1 = 1=3;atunci se observ˘a pe reprezentare c˘a valoriA >4 sunt puternic improbabile. Pentru a vedea aceasta,

P(3 =2 X₀ 3 + =2) =

Z 3+ =2 3 =2

f_i(t; A)dt;

care, pentru suficient de mic, estefi(x0= 3; A) :Darf1(x0= 3; A= 4) = 0:10 ;în timp cef1(x0= 3; A= 3) = 1:2 :Valorile parametruluiA >4pot fi deci eliminate din analiz˘a.

Aplicând teoria verosimilit˘a¸tii maxime, consider˘am logaritmul func¸tiei de verosimilitate:

lnf(x0; A) = lnp

2 ² 1

2 ²(x0 A)²; pentru care

@lnf(x0; A)

@A = 1

2(x₀ A) ¸si @²lnf(x0; A)

@A² = 1

2 (2)

Curbura graficului cre¸ste pe m˘asur˘a ce ² descre¸ste. Cum ¸stiam deja c˘a estimatorulA^ = X₀ are dispersia ²; atunci, pentru acest exemplu,

D²( ^A) = 1

@²lnf(x0; A)

@A²

= ²:

De¸si în acest exemplu, derivata secund˘a nu depinde de valoarea empiric˘a observat˘ax0;în general, va depinde. Din acest motiv, o m˘asur˘a mai bun˘a pentru curbura medie a graficului logaritmului func¸tiei de verosimilitate este

E @²lnf(X₀; A)

@A² : (3)

Cu cât este mai mare cantitatea dat˘a de (3), cu atât va fi mai mic˘a dispersia estimatorului.

Revenind la aspectele teoretice prezentate la metoda verosimilit˘a¸tii maxime, reamintim c˘a, dac˘a densitatea de repartitie a caracteristicii studiateX estef(x; );atunci dispersia oric˘arui estimator nedeplasat ^satisface rela¸tia

D²(^) E @²lnf(X; )

@ ²

1

(4) În plus, orice estimator nedeplasat care î¸si atinge marginea (dispersiei) pentru toate valorile lui trebuie s˘a satisfac˘a, ca ¸si rezultat de caracterizare, rela¸tia:

@lnf(x; )

@ =I( ) (g(x) ); (5)

pentru func¸tiile convenabil aleseg ¸siI:Acest estimator, care este un estimatorMVU este de fapt ^ =g(X);iar dispersia minim˘a atins˘a este1=I( ):

Exemplul 1.2 CRLB pentru Exemplul1.1. Din formulele (2) ¸si (4) ob¸tinem c˘aD²( ^A) ²;pentru toate valorile para- metruluiA:Prin urmare, nu poate exista niciun estimator nedeplasat a c˘arui dispersie s˘a fie mai mic˘a decât ²;nici m˘acar pentru o singur˘a valoare a parametruluiA:DarA^=X₀¸si atunciD²( ^A) = ²:CumX₀este nedeplasat ¸si atinge CRLB, va fi un estimator MVU. Din (2) ¸si (5) facem identific˘arile:

=A; I( ) = 1

2 ¸si g(X0) =X0:

Prin urmare,A^ =g(X₀) =X₀;deci este estimator MVU. De asemenea,D²( ^A) = ² = 1=I( )¸si, în conformitate cu (4), avem

I( ) = E @²lnf(X; )

@ ² :

Exemplul 1.3 M ˘arimea (amplitudinea) curentului continuu în prezen¸ta zgomotului alb Gaussian (WGN, White Gaussian Noise).Generaliz˘am Exemplul1.1considerând cazul observa¸tiilor multiple date de variabilele de selec¸tie:

Xi=A+Wi; i2 f0;1; :::; n 1g; unde Wieste WGN de dispersie ²: Pentru determinarea CRLB pentru parametrulA;consider˘am func¸tia de verosimilitate

L(V; A) =L(X0; :::; Xn 1; A) =

nY1 i=0

p 1

2 ²exp 1

2 ²(Xi A)² = 1

(2 ²)ⁿ⁼²exp 1 2 ²

nX1 i=0

(Xi A)²

!

;

pentru care ob¸tinem

@lnL(V; A)

@A = @

@A ln 2 ^{2 n=2} 1

2 ²

n 1

X

i=0

(Xi A)²

!

= 1

2 nX1

i=0

(Xi A) = n

2 X A ; (6)

iar derivata secund˘a este constant˘a@²lnL(V; A)=@ ² = n= ²: Formula (4) conduce la urm˘atoarea cantitate pentru CRLB:

D²( ^A) =D²(X)

2

n; (7)

iar media de selec¸tie este un estimator ce atinge acest prag minim, ¸si deci, prin urmare, este un estimator MVU.

Reamintim, de asemenea, c˘a atunci cândCRLBeste atins˘a, are loc egalitatea D²(^) = 1

I( ); unde I( ) = E @²lnL(V; )

@ ² :

Urm˘atorul exemplu arat˘a c˘a, condi¸tia de margine inferioar˘aCRLBpentru dispersie nu este întotdeauna satisf˘a- cut˘a.

Exemplul 1.4 Estimarea fazei unui curent de tip sinusoidal într-un WGN.Consider˘am problema determin˘arii unui estimator pentru parametrul fazei unui curent sinusoidal, aflat˘a într-un WGN:

Xi=Acos (2 f0i+ ) +Wi; i2 f0;1; :::; n 1g: (8)

AmplitudineaA¸si frecven¸taf₀se presupun a fi cunoscute. Densitatea de reparti¸tie a vectorului datelor este:

L(V; ) = 1

(2 ²)ⁿ⁼²exp 1 2 ²

n 1

X

i=0

(Xi Acos (2 f0i+ ))²

! :

Derivatele logaritmului func¸tiei de verosimilitate sunt:

8>

>>

>>

>>

>>

><

>>

>>

>>

>>

>>

:

@lnL(V; )

@ = 1

2 n 1

X

i=0

(Xi Acos (2 f0i+ ))Asin (2 f0i+ )

= A

2 n 1

X

i=0

X_isin (2 f₀i+ ) A

2 sin (4 f₀i+ 2 )

@²lnL(V; )

@ ² = A

2 n 1

X

i=0

(Xicos (2 f0i+ ) Acos (4 f0i+ 2 )): Ob¸tinem astfel:

E @²lnL(V; )

@ ² = A

2 n 1

X

i=0

Acos²(2 f0i+ ) Acos (4 f0i+ 2 )

= A²

2 n 1

X

i=0

1 2+1

2cos (4 f0i+ 2 ) cos (4 f0i+ 2 ) ' nA² 2 ²; deoarece

1 n

nX1 i=0

cos (4 f0i+ 2 )'0 pentru f0neapropiat de0sau1=2:

Prin urmare,

D²( ^) 2 ² nA²:

În acest exemplu, condi¸tia pentru existen¸ta marginii inferioare nu este satisf˘acut˘a. În consecin¸t˘a, nu exist˘a un estima- tor pentru faz˘a care s˘a fie nedeplasat ¸si care s˘a ating˘a CRLB. Este deci posibil ca s˘a nu existe un estimator MVU. Nu putem, pentru moment, s˘a stabilim dac˘a un estimator MVU pentru parametru exist˘a sau nu, iar dac˘a el exist˘a, cum s˘a îl determin˘am. Teoria Statisticilor suficiente ne va permite s˘a g˘asim r˘aspunsuri la aceste întreb˘ari.

A¸sa cum am v˘azut, un estimator nedeplasat care atingeCRLBeste un estimator eficient. Un estimatorMVU nu este, neap˘arat, ¸si eficient. Prin urmare, dac˘a margineaCRLB este atins˘a, dispersia estimatorului este inversa informa¸tiei Fisher. Intuitiv, cu cât avem la dispozi¸tie mai multe informa¸tii, cu atât marginea inferioar˘a a dis- persiei estimatorului este mai mic˘a. Pentru observa¸tii ne-independente, este de a¸steptat ca informa¸tia Fisher s˘a fie mai mic˘a decâtnI1( ):Pentru observa¸tii complet dependente,In( ) =I1( );adic˘a observa¸tii suplimentare nu vor aduce informa¸tii noi, ceea ce va face caCRLB s˘a nu descreasc˘a odat˘a cu cre¸sterea num˘arului de date noi observate.

Exemplul anterior poate fi extins la situa¸tia general˘a a determin˘arii marginii inferioare a estimatorului ^ pentru semnale electrice de tipul

X_i=s_i( ) +W_i; i2 f0;1; :::; n 1g; prin ob¸tinerea rela¸tiei

D²(^) ²= X^{n 1}

i=0

@si( )

@

2!

: (9)

În particular, dac˘a semnalul curentului sinusoidal este reprezentat˘a de (8), cus_i(f₀) :=Acos (2 f₀i+ ); f₀ 2 (1;1=2);amplitudinea ¸si faza fiind cunoscute, atunci estimatorul frecven¸tei curentului are margineaCRLB:

D²( ^f₀)

2

A²X^{n 1}

i=0 (2 isin (2 f₀i+ ))² :

Men¸tion˘am c˘a, dac˘af0!0;CRLB tinde la+1:Aceasta se datoreaz˘a faptului c˘a, pentru o frecven¸t˘af0suficient de mic˘a (neglijabil˘a), o modificare a sa nu va altera semnalul într-o manier˘a semnificativ˘a.

1.2 Transformarea parametrilor

De multe ori, în practic˘a, se întâmpl˘a ca parametrii pe care dorim s˘a îi estim˘am s˘a depind˘a, sub forma unei func¸tii de al¸ti parametri. De exemplu, putem fi interesa¸ti nu de estimarea nivelului curentuluiA;ci de puterea semnalului,A²:În general, dac˘a dorim s˘a estim˘am parametrul =g( );atunciCRLB este:

D²( ^)

@g

@

2

E @²lnL(V; )

@ ²

: (10)

Particularizând, pentru =g(A) =A²;

D² Ac² (2A)²

n= ² = 4A^{2 2}

n : (11)

În Exemplul1.3, media de selec¸tie era un estimator eficient pentruA:Am putea presupune c˘aX²este, de aseme- nea, un estimator eficient ¸si pentruA²:Pentru a evita aceast˘a eroare de ra¸tionament ar˘at˘am, pentru început, c˘a X²nu este nici m˘acar un estimator nedeplasat. DeoareceX N A; ²=n ;avem:

E(X²) =E²(X) +D²(X) =A²+

2

n 6=A²: (12)

Putem deci afirma imediat c˘aeficien¸ta unui estimator este distrus˘a de o transformare neliniar˘a a sa.Eficien¸ta se p˘astreaz˘a îns˘a în cazul transform˘arilor liniare. Pentru a verifica aceast˘a ultim˘a afirma¸tie, presupunem c˘a exist˘a un estimator eficient ^;pentru parametrul :Ne propunem acum s˘a estim˘am noul parametrug( ) = a +b;

a; b2R:Alegem drept estimator statisticagd( ) :=g(^) =a^ +b:Avem astfel:

E gd( ) =E(a^ +b) =aE(^) +b=a +b=g( ); decigd( )este nedeplasat;

D² gd( )

@g

@

2

I( ) = @g

@

2

D²(^) =a²D²(^) =D²(a^ +b) =D² gd( ) ; ceea ce implic˘a faptul c˘a are loc egalitate în ultima rela¸tie, adic˘aCRLBeste atins˘a.

De¸si eficien¸ta se conserv˘a în cazul transform˘arilor liniare ale parametrilor, ea este p˘astrat˘a aproximativ

¸si în cazul transform˘arilor neliniare dac˘a e¸santionul considerat este suficient de mare. Aceasta are semnifi- ca¸tie din punct de vedere practic deoarece se dore¸ste frecvent estimarea unor func¸tii generale dependente de parametrul de baz˘a. Pentru a vizualiza afirma¸tia anterioar˘a revenim la exemplul estim˘arii luiA²cu ajutorul sta- tisticiiX²:Cu toate c˘a aceasta este deplasat˘a, din (12) se poate observa c˘a, asimptotic, este de fapt un estimator nedeplasat (atunci cândn!+1). În plus, cumX N A; ²=n ;putem evalua dispersia

D²(X²) =E X⁴ E² X² =4A^{2 2} n +2 ⁴

n² : (13)

Pentru ultima egalitate, am folosit faptul c˘a, dac˘a N ; ² ;atunciE ² = ²+ ²;E ⁴ = ⁴+ 6 ^{2 2}+ 3 ⁴;ceea ce conduce laD²( ²) =E ⁴ E^{2 2} = 4 ^{2 2}+ 2 ⁴:

Se observ˘a c˘a al doilea termen din (13) converge la zero mai repede decât primul, ceea ce face ca, asimptotic, s˘a reg˘asimCRLBdin inegalitatea (11). Pentru un volum de selec¸tie mare, media de selec¸tie este concentrat˘a în vecin˘atatea mediei teoreticeA;iar pe acest interval mic transformarea neliniar˘a este aproximativ liniar˘a. De fapt, dac˘a aproxim˘am func¸tiagîn vecin˘atatea luiA;ob¸tinem:

g(x)'g(A) +g⁰(A)(x A); iar E(g(x)) =g(A) =A²; estimatorul fiind deci nedeplasat. De asemenea,

D²(g(x)) = (g⁰(A))²D²(x) =(2A)^{2 2}

n = 4A^{2 2} n ; adic˘a estimatorul atinge, într-adev˘ar, asimptotic,CRLB.

1.3 Cazul parametrilor multipli (vectoriali)

Extindem analiza la cazul în care caracteristica studiat˘a este dependent˘a de mai mul¸ti parametri, vectorul aces- tora fiind notat cu = ( ₁; 2; :::; p)^t:Presupunem, de asemenea, c˘a estimatorul ^este nedeplasat. Marginea inferioar˘a a dispersiei va fi un vectorCRLBce impune o limitare inferioar˘a a fiec˘arei componente. Vom ob¸tine

D²(^_i) (I ¹( ))ii; unde I( )2 M^{p p}(R) este matricea informa¸tiei Fisher: (14) (I( ))_ij = E @²lnL(V; )

@ i@ j

; pentrui; j2 f1;2; :::; pg:

Exemplul 1.5 Analiza curentului continuu bi-parametrizat în WGN.Revenim la Exemplul1.3¸si presupunem c˘a, atât A; cât ¸si ² sunt necunoscute. Vectorul parametrilor este deci = (A; ²)^t; p = 2:Matricea informa¸tiei Fisher asociate are forma:

I( ) = 0 BB B@

E @²lnL(V; )

@A² E @²lnL(V; )

@A@ ² E @²lnL(V; )

@ ²@A E @²lnL(V; )

@( ²)²

1 CC CA

Logaritmul func¸tiei de verosimilitate ¸si derivatele par¸tiale ale acestuia sunt:

lnL(V; ) = n

2 ln (2 ) n

2ln ² 1 2 ²

n 1

X

i=0

(Xi A)²

@lnL(V; )

@A = 1

2 nX1

i=0

(Xi A); @lnL(V; )

@ ² = n

2 ² + 1 2 ⁴

nX1 i=0

(Xi A)²; @lnL(V; )

@A² = n

2;

@lnL(V; )

@A@ ² = 1

4 n 1

X

i=0

(Xi A); @lnL(V; )

@( ²)² = n 2 ⁴

1

6 nX1

i=0

(Xi A)²: Matricea informa¸tiei Fisher devine:

I( ) = n=( ²) 0

0 n=(2 ⁴)

! :

Din forma anterioar˘a determin˘am marginile D²( ^A) ²=n ¸siD²(c²) 2 ⁴=n:Chiar dac˘a, pentru acest exemplu, matriceaI( )este de tip diagonal, în cazul general ea nu are aceast˘a proprietate. Remarc˘am, de asemenea, c˘a CRLB pentru estimatorulA^ este acela¸si ca ¸si cazul în care ² era cunosut. Acest lucru se întâmpl˘a doar datorit˘a formei diagonale a matriceiI( ):În absen¸ta acestei propriet˘a¸ti, nici identificarea anterioar˘a nu mai este posibil˘a, dup˘a cum vedem în exemplul urm˘ator.

Exemplul 1.6 Aproximarea dreptei de regresie (line fitting). Consider˘am observa¸tiile date de urm˘atoarele variabile aleatoare de selec¸tie:

X_i=A+Bi+W_i; unde W_isunt WGN, i2 f0;1; :::; n 1g:

Ne propunem s˘a determin˘am CRLB pentruA¸siB;vectorul parametrilor fiind = (A; B)^t:Func¸tia de verosimilitate ¸si derivatele par¸tiale ale logaritmului s˘au sunt:

L(V; ) = 1

(2 ²)ⁿ⁼²exp 1 2 ²

nX1 i=0

(Xi A Bi)²

!

@lnL(V; )

@A = 1

2 nX1

i=0

(Xi A Bi); @lnL(V; )

@B = 1

2 nX1

i=0

(Xi A Bi)i; @lnL(V; )

@A² = n

2;

@lnL(V; )

@A@B = 1

2 nX1

i=0

i; @lnL(V; )

@B² = 1

2 n 1

X

i=0

i²:

Matricea informa¸tiei Fisher are forma:

I( ) = 1

2

0 BB BB B@

n

nX1 i=0

i

nX1 i=0

i

n 1

X

i=0

i² 1 CC CC CA

= 1

2

0 BB

@

n n(n 1)

2 n(n 1)

2

n(n 1) (2n 1) 6

1 CC A:

Inversa acestei matrici este:

I ¹( ) = ² 0 BB

@

2 (2n 1) n(n+ 1)

6 n(n+ 1) 6

n(n+ 1)

12 n(n² 1)

1 CC A:

Formula (14) arat˘a c˘a CRLB sunt date de inegalit˘a¸tile

D²( ^A) 2 (2n 1) ²

n(n+ 1) ¸si D²( ^B) 12 ² n(n² 1):

Remarc˘am faptul c˘a CRLB pentru estimatorulA^cre¸ste fa¸t˘a de situa¸tia în care parametrulBera cunoscut, deoarece, pentru n 2;

D²( ^A) 2 (2n 1) n+ 1

2

n 1

2

n = 1

E @²lnL(V; A)

@A²

;

ultimul termen identificându-se chiar cu CRLB ob¸tinut˘a pentruA, când^ B era cunoscut. Anticip˘am astfel un rezultat general valabil, ¸si anume faptul CRLB întotdeauna cre¸ste odat˘a cu cre¸sterea num˘arului de parametri estima¸ti.

În alt˘a ordine de idei,

CRLB( ^A)

CRLB( ^B) =(2n 1) (n 1)

6 1; pentrun 3:

Prin urmare, parametrulBeste mai u¸sor de estimat, marginea sa inferioar˘a CRLB având o descre¸stere de ordinul lui1=n³; în compara¸tie cu dependen¸ta de ordinul 1=n a marginii CRLB a celuilalt parametru. Aceast˘a diferen¸ta de magnitudine indic˘a faptul c˘aX_ieste mai senzitiv˘a la modific˘ari ale parametruluiBfa¸t˘a de modific˘ari ale parametruluiA:Observ˘am, de asemenea, c˘a

X_i' @X_i

@A A= A ¸si X_i' @X_i

@B B =i B;

adic˘a modific˘arile luiBse resimt multiplicate în evolu¸tia variabilelor de selec¸tieX_i:

Prezent˘am acum varianta vectorial˘a a Teoremei Rao-Cramer pentru marginea inferioar˘a.

Teorema 1 Presupunem c˘a densitatea de reparti¸tie a vectorului aleator de selec¸tieL(V; )satisface urm˘atoarele condi¸tii de regularitate:

E @lnL(V; )

@ = 0; pentru to¸ti parametrii : Atunci, matricea de covarian¸t˘a a oric˘arui estimator nedeplasat^satisface inegalitatea

C_^ I ¹(^) 0; (15)

inegalitatea fiind în¸teleas˘a în sensul c˘a matricea din membrul stâng este pozitiv semi-definit˘a. Informa¸tia Fisher este matricea

(I( ))_ij = E @²lnL(V; )

@ _i@ _j :

În plus, un estimator nedeplasat atinge marginea inferioar˘a în sensul c˘aC_^=I ¹(^)dac˘a ¸si numai dac˘a

@lnL(V; )

@ =I( ) (g(V) ); (16)

pentru o func¸tieg:Rⁿ !R^p ¸si o matriceI 2 M^{p p}:Estimatorul, care este estimator MVU este^=g(V);iar matricea sa de covarian¸t˘a esteI ¹( ):

Demonstra¸tie. Consider˘am vectorul parametrilor =g( );densitatea de reparti¸tie a caracteristicii fiind depen- dent˘a de vectorul al parametrilor. Fie estimatorii nedeplasa¸ti astfel încât

E( ^_i) = i= (g( ))_i; i2 f1;2; :::; rg: Condi¸tiile de regularitate conduc la

Z

Rⁿ

( ^i i)@lnL(v; )

@ i L(v; )dv= @(g( ))_i

@ i

; i2 f1;2; :::; pg: (17) Pentruj6=i;

R

Rⁿ( ^i i)@lnL(v; )

@ _j L(v; )dv= Z

Rⁿ

( ^i i)@L(v; )

@ _j dv

= @

@ _j Z

Rⁿ

^_iL(v; )dv _iE @lnL(v; )

@ _j =@ i

@ _j =@(g( ))_i

@ _j

(18a)

Scriind (17) ¸si (18a) sub form˘a matriceal˘a ob¸tinem Z

Rⁿ

( ^ )@lnL(v; )^t

@ L(v; )dv=@g( )

@ :

Consider˘am acum vectoriia2 M^{r 1} ¸sib2 M^{p 1}:Multiplicând în pozi¸tiile convenabile, g˘asim:

Z

Rⁿ

a^t( ^ )@lnL(v; )^t

@ bL(v; )dv=a^t@g( )

@ b:

Not˘am

w(v) =L(v; ); g(v) =a^t( ^ ); h(v) = @lnL(v; )^t

@

¸si, aplicând inegalitatea Cauchy Schwarz, avem:

a^t@g( )

@ b

2 Z

Rⁿ

a^t( ^ )( ^ )^taL(v; )dv Z t

Rⁿ

b^t@lnL(v; )

@

@lnL(v; )^t

@ bL(v; )dv=a^tC_^ab^tI( )b;

deoarece, similar cazului scalar,

E @lnL(v; )

@ _i

@lnL(v; )^t

@ _j

!

= E @²lnL(v; )

@ _i@ _j = (I( ))ij: Cumbeste arbitrar ales, fie

b=I ¹( )@g( )^t

@ a

¸si ob¸tinem

a^t@g( )

@ I ¹( )@g( )^t

@ a

!2

a^tC^a a^t@g( )

@ I ¹( )@g( )^t

@ a

! :

DeoareceI( )este pozitiv definit˘a, aceea¸si proprietate o are ¸siI ¹( );iar^{@g( )}_@ I ¹( )^{@g( )}_@ ^t este, cel pu¸tin, pozitiv semi-definit˘a. Prin urmare, termenul din parantezele anterioare este ne-negativ ¸si deducem c˘a

a^t C_^ @g( )

@ I ¹( )@g( )^t

@

! a 0:

Reamintim c˘a ¸siaeste ales arbitrar, ceea ce conduce la C_^ @g( )

@ I ¹( )@g( )^t

@ 0:

Dac˘a =g( ) = ;atunci ^{@g( )}_@ =I, iar inegalitatea (15) este satisf˘acut˘a. Condi¸tia pentru egalitate esteg(v) = c h(v);undeceste o constant˘a independent˘a dev:Aceast˘a condi¸tie devine:

a^t( ^ ) =c @lnL(v; )^t

@ b=c @lnL(v; )^t

@ I ¹( )@g( )^t

@ a:

Cum vectorulaeste arbitrar ales,

@g( )

@ I ¹( )@lnL(v; )

@ =1

c( ^ ): Dac˘a consider˘am =g( ) = ;atunci

@lnL(v; )

@ = 1

cI( )(^ ):

Cumcpoate depinde de vectorul parametrilor ;

@lnL(v; )

@ i

= Xp k=1

(I( ))_ik

c( ) (^_{k k}); de unde, diferen¸tiind înc˘a o dat˘a,

@²lnL(v; )

@ i@ j

= Xp k=1

0 BB

@

(I( ))_ik

c( ) ( _kj) +

@ (I( ))_ik c( )

@ j

(^_{k k}) 1 CC A:

În final,

(I( ))_ij= E @²lnL(v; )

@ _i@ _j = (I( ))ij

c( ) ; deoarece E(^k) = k:

Evident,c( ) = 1, iar condi¸tia pentru egalitate rezult˘a imediat. Demonstra¸tia este, în acest moment, încheiat˘a.

Faptul c˘a rela¸tia (14) rezult˘a din (15) se justific˘a remarcând c˘a pentru o matrice pozitiv semi-definit˘a ele- mentele diagonale sunt ne-negative. Prin urmare,(C^ I ¹( ))ii 0¸si, în consecin¸t˘a,

D²(^i) (C^)ii (I ¹( ))ii; pentru oricei: (19) Când are loc egalitatea (C^= I ¹( )), atunci ¸si (19) are loc cu egalitate. Estimatorul ^=g(V)este eficient ¸si, prin urmare, este un estimatorMVU. Un caz privind egalitatea am ob¸tinut in Exemplul1.6. Am determinat

@lnL(v; )

@ =

0 B@

@lnL(v; )

@A

@lnL(v; )

@B 1 CA=

0 BB BB

@ 1

2 nX1

i=0

(X_i A Bi) 1

2 n 1

X

i=0

(Xi A Bi)i 1 CC CC

A: (20)

Putem scrie (20) sub caracterizarea echivalent˘a

@lnL(v; )

@ =

0 BB

@ n

2

n(n 1) 2 ² n(n 1)

2 ²

n(n 1) (2n 1) 6 ²

1 CC A

A^ A

B^ B ; (21)

unde

A^= 2 (2n 1) n(n+ 1)

nX1 i=0

Xi

6 n(n+ 1)

nX1 i=0

iXi ¸si B^ = 6 n(n+ 1)

n 1

X

i=0

Xi+ 12 n(n² 1)

nX1 i=0

iXi:

Condi¸tiile pentru egalitate sunt satisf˘acute, iar estimatorul ^ = ( ^A;B)^ ^t este eficient ¸si, prin urmare, este un estimatorMVU.Matricea din (21) este inversa matricei de covarian¸t˘a.

Dac˘a condi¸tia de egalitate are loc, atunci, întotdeauna, estimatorul^este nedeplasat. Într-adev˘ar, condi¸tia de regularitate, aplicat˘a reprezent˘arii (16) implic˘aE(g(V)) = E(^) = :Pentru determinarea estimatorilorMVU pentru un parametru vectorial, TeoremaCRLBeste un instrument recomandat. În general, metoda este folosit˘a în aplica¸tii practice, pentru modele liniare, Exemplul1.6fiind doar un caz particular.

1.4 Transformarea parametrilor vectoriali

Dorim s˘a estim˘am parametrul vectorial =g( ); gfiind o func¸tier dimensional˘a,g:R^p!R^r. Dup˘a cum am demonstrat în Teorema1,

C^

@g( )

@ I ¹( )@g( )^t

@ 0: (22)

Prin@g( )=@ am în¸teles, desigur, matricea Jacobian˘ar pdimensional˘a

@g( )

@ =

0 BB BB BB BB BB

@

@g1( )

@ 1

@g1( )

@ 2

@g1( )

@ p

@g2( )

@ ₁

@g2( )

@ ₂

@g2( )

@ _p

... ... . .. ...

@g_r( )

@ 1

@g_r( )

@ 2

@g_r( )

@ p

1 CC CC CC CC CC A :

Consider˘am acum un curent continuu într-un WGN, ce are parametriiA¸si ² necunoscu¸ti ¸si ne propunem s˘a estim˘am parametrul :=A²= ²;care poate fi considerat propor¸tia semnal-zgomot (SNR, Signal-to-Noise Ratio).

Vectorul parametrilor este = (A; ²)^t;iarg( ) = ²₁= ₂=A²= ²:Determin˘am, prin calcul imediat:

8>

>>

>>

>>

>>

>>

>>

><

>>

>>

>>

>>

>>

>>

>>

:

I( ) = n= ² 0

0 n=(2 ⁴)

!

; iar Jacobianul este

@g( )

@ = @g( )

@ ₁

@g( )

@ ₁ = @g( )

@A

@g( )

@ ² = 2A

2

A²

4 ;

@g( )

@ I ¹( )@g( )^t

@ = 2A

2

A²

4

2=n 0 0 2 ⁴=n

!0 B@

2A

2

A²

4

1 CA=4A²

n ² +2A⁴

n ⁴ = 4 + 2 ²

n :

Cum este scalar,

D²( ^) 4 + 2 ²

n :

A¸sa cum deja am discutat, eficien¸ta estimatorului se p˘astreaz˘a în urma transform˘arilor liniare de tipul

=g( ) =A +b; A2 Mr p(R); b2Mr 1(R):

Dac˘a ^ =A^+b, iar^este un estimator eficient (adic˘aC^=I ¹( )), atunciE( ^) =A +b= (adic˘a ^este nedeplasat) ¸si avem:

C^=AC^A^t=AI ¹( )A^t=@g( )

@ I ¹( )@g( )^t

@ =CRLB:

Pentru transform˘arile neliniare, eficien¸ta este men¸tinut˘a doar pentrun!+1:Aceasta înseamn˘a c˘a, pentru un volum de selec¸tie suficient de mare, densitatea de reparti¸tie a estimatorului ^este concentrat˘a în jurul valorii reale, teoretice, a parametrului ;adic˘a estimatorul este consistent.

1.5 CRLB în cazul Gaussian general

În cazul în care observa¸tiile sunt de tip Gaussian, putem deduce o formul˘a pentruCRLBcare s˘a generalizeze (9).

Presupunem, pentru aceasta, c˘a

V N( ( ); C( )); unde ( )2 M^{n 1}(R) ¸si C( )2 M^{n n}(R): Informa¸tia Fisher va fi:

(I( ))_ij = @ ( )

@ _i

t

C ¹( ) @ ( )

@ _j +1

2tr C ¹( )@C( )

@ _i C ¹( )@C( )

@ _j ; unde (23)

@ ( )

@ _i = 0 BB BB BB BB BB

@

@( ( ))₁

@ _i

@( ( ))₂

@ _i ...

@( ( ))_n

@ _i 1 CC CC CC CC CC A

¸si @C( )

@ _i = 0 BB BB BB BB BB

@

@(C( ))₁₁

@ _i

@(C( ))₁₂

@ _i

@(C( ))_1n

@ _i

@(C( ))₂₁

@ _i

@(C( ))₂₂

@ _i

@(C( ))_2n

@ _i

... ... . .. ...

@(C( ))_n1

@ _i

@(C( ))_n2

@ _i

@(C( ))_nn

@ _i 1 CC CC CC CC CC A :

Pentru situa¸tiaV N( ( ); C( ));aceasta se reduce la:

I( ) = @ ( )

@

t

C ¹( ) @ ( )

@ +1

2tr C ¹( )@C( )

@ i 2!

; (24)

dup˘a cum vedem în cele ce urmeaz˘a.

Densitatea de reparti¸tie a vectorului aleator de selec¸tie este:

f(v; ) = 1

(2 )ⁿ⁼²p

det (C( ))exp 1

2(v ( ))^tC ¹( ) (v ( )) : Vom utiliza urm˘atoarele identit˘a¸ti:

@ln (det (C( )))

@ k

= tr C ¹( )@C( )

@ k ¸si @C ¹( )

@ k

= C ¹( )@C( )

@ k

C ¹( ); (25) unde@C( )=@ _keste matricea de tipuln n;al c˘arei element de pe pozi¸tia(i; j)este@(C( ))_ij=@ _k:Pentru a ob¸tine prima formula din (25), observ˘am, pentru început c˘a

@ln (det (C( )))

@ k

= 1

det (C( ))

@det (C( ))

@ k

: (26)

Cumdet (C( ))depinde de toate elementele matriceiC( );

@det (C( ))

@ k

= Xn i=1

Xn j=1

@det (C( ))

@(C( ))_ij

@(C( ))_ij

@ k

= tr @det (C( ))

@C( )

@C( )^t

@ k

; (27)

unde@det (C( ))=@C( )este o matrice de tipn n;al c˘arei element de pe pozi¸tia(i; j)este@det (C( ))=@(C( ))_ij: Am ¸tinut cont ¸si de identitatea matriceal˘atr (AB^t) =Pn

i=1

Pn

j=1AijBij:Din defini¸tia determinantului, det (C( )) =

Xn i=1

(C( ))_ijM_ij; M 2 Mn n(R) este matricea cofactor ¸sijeste arbitrar înf1;2; :::; ng: Prin urmare,

@det (C( ))

@(C( ))_ij =Mij; sau, echivalent, @det (C( ))

@C( ) =M:

Pe de alt˘a parte,

C ¹( ) = M^t

det (C( )) ¸si deci @det (C( ))

@C( ) =C ¹( ) det (C( )) Folosim acum (26) ¸si (27) ¸si ob¸tinem rezultatul dorit:

@ln (det (C( )))

@ k

= 1

det (C( ))tr C ¹( ) det (C( ))@C( )

@ k

= tr C ¹( )@C( )

@ k

:

Pentru cea de a doua identitate din (25), plec˘am de la egalitatea evident˘aC ¹( )C( ) =I:Diferen¸tiind compo- nentele matricelor ¸si scriind sub form˘a matriceal˘a, ob¸tinem:

C ¹( )@C( )

@ _k +@C ¹( )

@ _k C( ) =0;

iar concluzia rezult˘a imediat.

Ne preocup˘am acum de determinareaCRLB. Derivatele par¸tiale în raport cu parametrii conduc la urm˘atoarea form˘a a func¸tiei de verosimilitate:

@lnf(V; )

@ k

= 1

2

@ln det (C( ))

@ k

1 2

@

@ k

(V ( ))^tC ¹( ) (V ( )) : Cum primul termen a fost evaluat în (25), ne vom ocupa de cel de al doilea:

@

@ k

(V ( ))^tC ¹( ) (V ( )) = @

@ k

Xn i=1

Xn j=1

(X_i ( ( ))_i) C ¹( )

ij X_j ( ( ))_j

= Xn i=1

Xn j=1

(

(X_i ( ( ))_i)

"

C ¹( ) _ij @( ( ))_j

@ _k +@ C ¹( ) _ij

@ _k X_j ( ( ))_j

#

+ @( ( ))_i

@ _k C ¹( ) _ij Xj ( ( ))_j

= (V ( ))^tC ¹( )@ ( )

@ k

+ (V ( ))^t@C ¹( )

@ k

(V ( )) @ ( )^t

@ k

C ¹( ) (V ( ))

= 2@ ( )^t

@ _k C ¹( ) (V ( )) + (V ( ))^t@C ¹( )

@ _k (V ( )): Folosind (25) împreun˘a cu precedentul rezultat ob¸tinem:

@lnf(V; )

@ k

= 1

2tr C ¹( )@C( )

@ k

+@ ( )^t

@ k

C ¹( ) (V ( )) 1

2(V ( ))^t@C ¹( )

@ k

(V ( )): (28) Not˘am acumY :=V ( ). Pentru a determinaCRLBtrebuies˘a evalu˘am elementele

(I( ))_kl=E @lnf(V; )

@ k

@lnf(V; )

@ l

; k; l2 f1;2; :::; pg: Avem, astfel,

(I( ))_kl = 1

4tr C ¹( )@C( )

@ _k tr C ¹( )@C( )

@ _l +1

2tr C ¹( )@C( )

@ _k E Y^t@C ¹( )

@ _l Y +@ ( )^t

@ k

C ¹( )E(Y Y^t)C ¹( )@ ( )

@ l

+1

4E Y^t@C ¹( )

@ k

Y Y^t@C ¹( )

@ l

Y ;

toate momentele de ordin impar fiind zero. Continuând evaluarea, (I( ))_kl = 1

4tr C ¹( )@C( )

@ k

tr C ¹( )@C( )

@ l

1

2tr C ¹( )@C( )

@ k

tr C ¹( )@C( )

@ l

+@ ( )^t

@ k

C ¹( )@ ( )

@ l

+1

4E Y^t@C ¹( )

@ k

Y Y^t@C ¹( )

@ l

Y :

(29)

Am utilizat (25) ¸si faptul c˘aE(Y^tZ) = tr (E(ZY^t));pentruY; Z 2 Mn 1(R):Pentru estimarea ultimului ter- men, folosim un rezultat furnizat de Porat, Friedlander, 1986:

E Y^tAY Y^tBY = tr (AC) tr (BC) + 2 tr (ACBC); undeC:=E Y Y^t ;

iar matriceleA¸siBsunt simetrice. În virtutea rela¸tiei anterioare ¸si, folosind din nou rela¸tia (25), ultimul termen din reprezentarea (29) devine:

1

4tr @C ¹( )

@ _k C( ) tr @C ¹( )

@ _l C( ) +1

2tr @C ¹( )

@ _k C( )@C ¹( )

@ _l C( )

=1

4tr C ¹( )@C( )

@ _k tr C ¹( )@C( )

@ _l +1

2tr C ¹( )@C( )

@ _k C ¹( )@C( )

@ _l :

(30)

Inser˘am (30) în (29) ¸si ob¸tinem rezultatul dorit.

Exemplul 1.7 Parametrii unui semnal în WGN.

I.Presupunem c˘a dorim s˘a estim˘am un parametru scalar ²pentru setul de date

X_i =s_i( ) +W_i; undeW_ieste WGN, i2 f0;1; :::; n 1g:

Matricea de covarian¸t˘a esteC = I ¸si este independent˘a de parametrul ;ceea ce face ca al doilea termen din (24) s˘a fie zero. Ob¸tinem astfel:

I( ) = 1

2

@ ( )

@

t @ ( )

@

!

= 1

2 n 1

X

i=0

@( ( ))_i

@

2

= 1

2 nX1

i=0

@s_i( )

@

2

;

ceea ce este în concordan¸t˘a cu (9). Dac˘a dorim s˘a generaliz˘am la cazul unui parametru vectorial al semnalului, din (23) ob¸tinem:

(I( ))_ij = 1

2 n 1

X

k=0

@s_k( )

@ _i

@s_k( )

@ _j :

II.Dac˘a observ˘amX_i=W_i;undeW_ieste WGN cu dispersia = ²,i2 f0;1; :::; n 1g;atunci, în conformitate cu (24), deoareceC( ²) = ²I;avem:

I( ) = 1

2tr C ¹( ²)@C( ²)

@ ²

2!

=1

2tr 1

2I

2!

= 1

2 ⁴tr (I) = n 2 ⁴; ceea ce este în concordan¸t˘a cu Exemplul1.5.

III. Presupunem datele:

X_i=A+W_i; undeW_ieste WGN, i2 f0;1; :::; n 1g;

iarA;m˘arimea (amplitudinea) curentului continuu, este o variabil˘a aleatoare Gaussian˘a, de medie0¸si dispersie _A²;inde- pendent˘a dei 2 f0;1; :::; n 1g:Puterea semnalului (dispersia ²_A) se presupune a fi parametrul necunoscut. Vectorul de selec¸tieV = (X0; X1; :::; Xn 1)^tva fi, prin urmare, un vector repartizat tot normal, de medie0¸si având matricea de covarian¸t˘a de tipuln n;ale c˘arei elemente sunt:

(C( _A²))ij=E(XiXj) =E((A+Wi) (A+Wj)) = ²_A+ ² ij: Aceasta înseamn˘a, sub form˘a vectorial˘a,

C( ²_A) = ²_A1 1^t+ ²I; unde 1= (1;1; :::;1)^t2 M^{n 1}(R):

Aplic˘am acum identitatea Woodbury privind inversa unei matrice având o anumit˘a structur˘a (vezi Kay [2, Annex A1.1.3, Matrix Manipulation and Formulas]): dac˘aA2 M^{n n}(R)¸siu2 M^{n 1}(R);atunci are loc rela¸tia:

A+uu^{t 1}=A ¹ A ¹uu^tA ¹ 1 +u^tA ¹u: Ob¸tinem astfel:

C ¹( _A²) = 1

2 I

A2

2+n ²_A1 1^t : Deoarece

@C( ²_A)

@ ²_A =1 1^t; deducem C ¹( _A²)@C( ²_A)

@ ²_A = 1

2+n _A²1 1^t: Înlocuim în (24) ¸si avem:

I( _A²) =1

2tr 1

2+n ²_A

2

1 1^t 1 1^t

!

=n 2

1

2+n ²_A

2

tr 1 1^t =1 2

n

2+n _A²

2

;

adic˘a CRLB este

D² c²

A 2 _A² +

2

n

2

:

Observ˘am c˘a, chiar ¸si pentrun!+1, CRLB ob¸tinut nu poate descre¸ste sub valoarea2 _A⁴:Aceasta se întâmpl˘a datorit˘a faptului c˘a fiecare dat˘a suplimentar˘a în e¸santion vine cu aceea¸si valoare pentruA:

1.6 CRLB asimptotic˘a pentru procese aleatoare Gaussiene sta¸tionare în sens larg

Uneori, în practic˘a, pote fi mai dificil de determinatCRLBfolosind (23) datorit˘a necesit˘a¸tii determin˘arii inversei matricei de covarian¸t˘a. De¸si aceasta se poate determina numeric, folosind un software matematic, exist˘a ¸si o abordare alternativ˘a, dar care poate fi aplicat˘a doar proceselor Gaussiene sta¸tionare în sens larg (WSS, Wide Sense Stationary). Pentru aceasta, volumul de selec¸tien!+1:Pentru procese cu densitatea spectral˘a de putere (PSD, Power Spectral Density) larg˘a, aproximarea va fi bun˘a pentru înregistr˘ari de date de lungime moderat˘a, în timp ce procese cu band˘a îngust˘a trebuiesc înregistr˘ari de date de lungime sporit˘a.

Elementele matricei informa¸tiei Fisher sunt, asimptotic, pentrun!+1; (I( ))_ij= n

2 Z 1=2

1=2

@lnP_xx(f; )

@ i

@lnP_xx(f; )

@ j

df; (31)

undePxx(f; )este indicatorulPSDal procesului, cu dependen¸ta explicit˘a de parametrul vectorial (vezi Kay [2,Appendix 3D]). Presupunem c˘aE(Xi) = 0;pentru fiecarei:

Exemplul 1.8 Frecven¸ta central ˘a a procesului. O problem˘a uzual˘a const˘a în estimarea frecven¸tei centralefc a unei PSD, care, de altfel, este cunoscut˘a. Presupunem c˘a este dat˘a:

P_xx(f; f_c) =Q(f f_c) +Q( f f_c) + ²

¸si dorim s˘a determin˘am CRLB pentrufc;în ipoteza c˘aQ(f)¸si ² sunt cunoscute. Putem percepe procesul ca fiind un semnal aleator aflat într-un WGN. Frecven¸tele centrale posibile sunt constrânse a fi situate în intervalul[f1;1=2 f2]:

Pentru aceste frecven¸te centrale, PSD-ul semnalului, pentruf 0;se va situa în intervalul[0;1=2]:Atunci, cum =f_c este un scalar, din (31), ob¸tinem:

D²( ^fc) 1 n

2 Z 1=2

1=2

@lnPxx(f; fc)

@fc

2

df :

Dar,

@lnP_xx(f; f_c)

@fc

= @ln Q(f fc) +Q( f fc) + ²

@fc

=

@Q(f f_c)

@fc

+@Q( f f_c)

@fc

Q(f fc) +Q( f fc) + ²; care, fiind o func¸tie impar˘a în raport cuf;conduce la:

Z 1=2 1=2

@lnPxx(f; fc)

@fc

2

df= 2 Z 1=2

0

@lnPxx(f; fc)

@fc

2

df:

De asemenea, pentru f 0; Q( f fc) = 0; iar derivata sa va fi egal˘a cu zero în virtutea celor discutate privind restric¸tiile. Rezult˘a c˘a:

D²( ^fc) 1

n Z 1=2

0

@Q(f fc)=@fc

Q(f f_c) + ²

2

df

= 1

n Z 1=2

0

@Q(f fc)=@(f fc) Q(f f_c) + ²

2

df

= 1

n

Z 1=2 fc

fc

@Q(f⁰)=@f⁰) Q(f⁰) + ²

2

df⁰

; unde f⁰=f fc:

Dar1=2 f_c 1=2 f_cmax = f₂ ¸si f_c f_cmin = f₁;putând astfel schimba capetele de integrare în intervalul [ 1=2;1=2]:Ob¸tinem:

D²( ^fc) 1 n

Z 1=2 1=2

@Q(f)=@f Q(f) + ²

2

df

= 1

n Z 1=2

1=2

@ln Q(f) + ²

@f

!2

df :

Dac˘a consider˘am, ca un caz particular,

Q(f) := exp 1 2

f

f 2!

; unde f 1=2;

atunciQ(f) ²¸si avem, asimptotic,

D²( ^fc) 1 n

Z 1=2 1=2

f²

4 f

df

=12 ⁴_f n :

L˘a¸timi de band˘a mai mici decât ⁴_fvor conduce la limite inferioare de m˘arginire mai joase pentru frecven¸ta central˘a deoarece PSD-ul se modific˘a mai rapid odat˘a cu schimb˘arile luifc:

1.6.1 Exemple privind procesarea semnalelor

Aplic˘am teoria deduceriiCRLBpentru câteva probleme de interes privind procesarea semnalelor:estimarea ariei de acoperire, estimarea pozi¸tiei ¸tintei (sonar, radar, robotic˘a),estimarea frecven¸tei (sonar, radar, econometrie, spec- trometrie),estimarea parametrilor autoregresivi(teoria limbajului, econometrie).

Exemplul 1.9 Estimarea range-ului (raza de ac¸tiune).Un radar emite un semnal de tip puls. Timpul total al traseului semnalului de la emi¸t˘ator la ¸tint˘a ¸si înapoi va fi notat cu 0¸si este dependent de range (R) prin formula 0= 2R=c;undec este viteza sa de propagare. Estimarea range-ului este deci echivalent˘a cu estimarea timpului de întoarcere a semnalului la sursa emitent˘a. Dac˘as(t)este semnalul transmis, un model simplu pentru unda continu˘a recep¸tionat˘a este:

x(t) =s(t 0) +W(t); t2[0; T]:

Presupunem c˘a pulsul transmis este diferit de zero pe[0; Ts]¸si este limitat la o l˘a¸time de band˘a deBHz. Dac˘a întârzierea de timp pân˘a la recep¸tionarea semnalului revenit este 0max;atunci intervalul de observare trebuie ales astfel încât s˘a includ˘a întregul semnal, adic˘aT = Ts+ 0max:Zgomotul pe sistem este de tip Gaussian, cu PSD-ul ¸si autocorela¸tia (ACF-ul - corela¸tia unui semnal cu o copie întârziat˘a a sa, ca func¸tie de întârziere. Informal, este similaritatea dintre observa¸tii, în func¸tie de intervalul de timp dintre ele) ca în Figura 3.

Limitarea de band˘a a zgomotului rezult˘a prin filtrarea undei la l˘a¸timea de band˘a a semnalului deBHz. Pentru e¸santioanare, consider˘am := 1=(2B), iar datele observate vor fi:

X_i =s(i ₀) +W(i ); i2 f0;1; :::; n 1g: Not˘am cuXi¸siWielementele selec¸tiei ¸si construim ¸sirul de date discret:

Xi=s(i 0) +Wi: (32)

Men¸tion˘am c˘a, pentru fiecarei; Wi sunt WGN deoarece observa¸tiile sunt separate dek = k=(2B), care corespunde zerourilor func¸tiei ACF a luiW(t);dup˘a cum se observ˘a în Figura 3. De asemenea,

D²(Wi) = ²(=rW W(0)) =N0B:

Deoarece semnalul este nenul doar pe intervalul 0 t 0+Ts;modelul (32) se reduce la:

X_i = 8>

>>

<

>>

>:

Wi; 1 i i0 1;

s(i 0) +Wi; i0 i i0+M 1;

Wi; i0+M i n;

(33)

undeM este lungimea semnalului e¸santionat, iari0 = 0= reprezint˘a întârzierea, în e¸santioane. Pentru simplitate, se presupune mic astfel încât 0= s˘a poat˘a fi aproximat cu un întreg. Cu aceast˘a formulare, putem aplica (9) pentru evaluarea CRLB:

D²(^₀)

2 nX1

i=0

@s(i; ₀)

@ 0

2 =

2 i0+MX 1

i=i0

@s(i 0)

@ ₀

2 =

2 i0+MX 1

i=i0

ds(t)

dt jt=i 0

2 =

2 MX1

i=0

ds(t) dt j^t=i

2;

deoarece 0=i0 :Cum este suficient de mic, aproxim˘am suma cu o integral˘a ¸si ob¸tinem:

D²(^0)

2

1Z Ts

0

ds(t) dt

2

dt

= N0=2 Z Ts

0

(s⁰(t))²dt

; deoarece = 1=(2B) ¸si ²=N0B: (34)

Cum energia poate fi reprezentat˘a integral,E=RTs

0 s²(t)dt;inegalitatea (34) se poate scrie, sub form˘a echivalent˘a,

D²(^₀) 1 E N₀=2F²

; unde F²= Z Ts

0

(s⁰(t))²dt Z Ts

0

s²(t)dt :

F²este o m˘asur˘a a l˘a¸timii de band˘a a semnalului. Cu cât este mai mare aceast˘a cantitate, cu atât mai mic˘a va fi CRLB.

Exemplul 1.10 Estimarea parametrului vectorial al semnalului sinusoidal. În multe aplica¸tii se pune problema estim˘arii parametrilor unui semnal de tip sinusoidal. Sonarele ¸si mecanismele de tip radar pot cataloga semnalul observat ca fiind unul de tip sinusoidal. Ne punem problema determin˘arii CRLB pentru amplitudineaA;frecven¸taf₀ ¸si faza a unui curent sinusoidal într-un WGN. Datele sunt de tipul:

X_i =Acos (2 f₀i+ ) +W_i; i= 0;1; :::; n 1;

undeA >0¸si0< f0<1=2:Deoarece avem mai mul¸ti parametri necunoscu¸ti, folosim formula:

(I( ))_ij = 1

2 n 1

X

k=0

@s_k( )

@ i

@s_k( )

@ j

; pentru = (A; f₀; )^t:

Pentru evaluarea CRLB, presupunem c˘af0nu este în vecin˘atatea lui0sau1=2;fapt ce ne permite s˘a utiliz˘am aproxim˘arile urm˘atoare (vezi Stoica, P.; R.L. Moses; B. Friedlander; T. Soderstrom, Maximum Likelihood Estimation of the Parameters of Multiple Sinusoids from Noisy Measurements, IEEE Trans. Acoust., Speech, Signal Process., Vol. 37, pp. 378-392, March 1989):

1 nⁱ⁺¹

n 1

X

k=0

kⁱsin (4 f₀k+ 2 ) 0 ¸si 1 nⁱ⁺¹

n 1

X

k=0

kⁱcos (4 f₀k+ 2 ) 0; i2 f0;1;2g:

Folosind aceste aproxim˘ari ¸si notând := 2 f₀i+ ;avem:

8>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

<

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>>

>:

(I( ))₁₁ = 1

2 nX1 k=0

cos² = 1

2 nX1 k=0

1 2 +1

2cos 2 n

2 ²; (I( ))₁₂ = 1

2 n 1

X

k=0

2A kcos sin = A

2ksin 2 0;

(I( ))₁₃ = 1

2 n 1

X

k=0

Acos sin = A 2 ²

n 1

X

k=0

sin 2 0;

(I( ))₂₂ = 1

2 nX1 k=0

A²(2 k)²sin² = (2 A)²

2 n 1

X

k=0

k² 1 2

1

2cos 2 (2 A)² 2 ²

n 1

X

k=0

k²;

(I( ))₂₃ = 1

2 nX1 k=0

A²2 ksin² A²

2 n 1

X

k=0

k;

(I( ))₃₃ = 1

2 nX1 k=0

A²sin² nA² 2 ²: Matricea informa¸tiei Fisher este:

I( ) = 1

2

0 BB BB BB BB B@

n

2 0 0

0 2 ²A²

nX1 k=0

k² A²

n 1

X

k=0

k

0 A²

nX1 k=0

k nA²

2 1 CC CC CC CC CA :

Ob¸tinem astfel marginile inferioare:

D²( ^A) 2 ²

n ; D²( ^f0) 12

(2 )² n(n² 1) ¸si D²( ^) 2 (2n 1)

n(n+ 1); (35) unde :=A²= 2 ² este coeficientul SNR (signal-to-noise ratio) al semnalului.

Exemplul 1.11 Estimarea men¸tinerii ¸tintei semnalului.În problemele de localizare, este important˘a estimarea modului în care este identificat˘a pozi¸tia unei ¸tinte. Presupunem câmpul acustic de presiune fiind format dintr-un ¸sir de senzori plasa¸ti echidistant ¸si c˘a ¸tinta radiaz˘a un semnal de tip sinusoidal de formaAcos (2 F₀t+ ):Semnalul recep¸tionat de senzorul cu indiceleiesteAcos (2 F₀(t t_i) + );undet_ieste timpul de propagare pân˘a la senzorul indicelei:A¸sa cum se observ˘a în Figura 4, distan¸ta temporal˘a a frontul de und˘a la senzorul marcat cui 1difer˘a fa¸t˘a de cea de la senzorul marcat cuiprindcos =c;datorit˘a distan¸tei suplimentare de propagare.