Prvo rješenje.
Nazivnici 1+a2, 1+b2 i 1+ab su pozitivni pa je početna nejednakost ekvivalentna s
(1+b2)(1+ab)+(1+a2)(1+ab)≤2(1+a2)(1+b2).
Sređivanjem ovog izraza dobivamo
1+ab+b2+ab3+1+ab+a2+a3b−2−2a2b2−2a2−2b2≤0
odnosno
ab3+2ab+a3b−2a2b2−a2−b2≤0
ab(b−a)2−(b−a)2≤0
(b−a)2(ab−1)≤0.
Očito vrijedi (b−a)2≥0.
Također, primjenom nejednakosti između geometrijske i aritmetičke sredine dobivamo
ab≤41(a+b)2.
Prema uvjetu zadatka slijedi ab≤41(a+b)2≤41⋅22=1.
Time je nejednakost (b−a)2(ab−1)≤0 dokazana, a ona je ekvivalentna zadanoj nejednakosti, pa smo dokazali da vrijedi nejednakost iz zadatka.
Jednakost u početnoj nejednakosti vrijedi ako i samo ako je (b−a)2(ab−1)=0, odnosno a=b ili ab=1. Iz dokaza nejednakosti ab≤1 vidimo da se jednakost ab=1 postiže samo ako je a=b i a+b=2, odakle je a=b=1. Time smo dokazali da se jednakost postiže ako i samo ako je 0≤a=b≤1.
Napomena: Umjesto nejednakosti između geometrijske i aritmetičke sredine možemo koristiti
0≤(a−b)2⟺0≤a2−2ab+b2⟺4ab≤a2+2ab+b2⟺4ab≤(a+b)2.
Drugo rješenje.
Imamo
1+a21+1+b21=(1+a2)(1+b2)2+a2+b2=1+(1+a2)(1+b2)1−a2b2.
Uočimo da vrijedi (1+ab)2≤(1+a2)(1+b2) jer je
(1+ab)2≤(1+a2)(1+b2)⟺1+2ab+a2b2≤1+a2+b2+a2b2⟺0≤(a−b)2.
Kao u prvom rješenju pokazujemo da je ab≤1, tj. 1−a2b2≥0.
Zbog toga je
1+(1+a2)(1+b2)1−a2b2≤1+(1+ab)21−a2b2=1+1+ab1−ab=1+ab2.
Time smo dokazali traženu nejednakost.
Kao u prvom rješenju vidimo da se jednakost postiže ako i samo ako je a=b, te su a,b∈[0,1].