Zadanu jednadžbu možemo zapisati u obliku:
x2+(2−2k)x+(k2+k−2)=0.
Kako bi ova jednadžba imala realna i različita rješenja njena diskriminanta treba biti pozitivna. Vrijedi:
D=(2−2k)2−4(k2+k−2)=4(k−1)2−4(k2+k−2)=−12k+12.
Stoga vrijedi
D>0⟺−12k+12>0⟺k<1.
Neka su x1, x2 rješenja jednadžbe. Po Vieteovim formulama vrijedi
x1+x2=−(2−2k)=2k−2,x1x2=k2+k−2.
Zbroj kvadrata je
x12+x22=(x1+x2)2−2x1x2=(2k−2)2−2(k2+k−2)=2k2−10k+8.
Prema uvjetu zadatka dobivamo nejednadžbu
x12+x22<20⟺2k2−10k+8<20⟺2k2−10k−12<0⟺k2−5k−6<0,
čije rješenje je
−1<k<6.
Konačno, uz uvjet k<1 (realna i različita rješenja) dobivamo rješenje
−1<k<1,
odnosno k∈⟨−1,1⟩.