Prvo rješenje
Vrijedi
x2+y2+z2=(x2+y2+z2)⋅1=(x2+y2+z2)(x3+y3+z3)=x5+y5+z5+x2y3+x2z3+y2x3+y2z3+z2x3+z2y3.
Koristeći elementarne nejednakosti
x2+y2≥2xy,y2+z2≥2yz,z2+x2≥2zx
dobivamo
x2y3+x2z3+y2x3+y2z3+z2x3+z2y3=x3(y2+z2)+y3(x2+z2)+z3(x2+y2)≥x3⋅2yz+y3⋅2xz+z3⋅2xy=2xyz(x2+y2+z2).
Potrebno je još pokazati
x2+y2+z2≥xyz(x+y+z).
Primijetimo da iz uvjeta zadatka slijedi da su x, y, z iz intervala (0,1). Stoga vrijedi 0<yz<1 pa je x2>x2yz. Slično je i y2>y2xz, z2>z2xy, pa imamo
x2+y2+z2>x2yz+xy2z+xyz2=xyz(x+y+z),
što je i trebalo dokazati.
Drugo rješenje
Treba dokazati da je
A=x2+y2+z2−x5−y5−z5−2x2y2z2(x+y+z)>0.
Računamo
A=(x2+y2+z2)⋅1−x5−y5−z5−2x2y2z2(x+y+z)=(x2+y2+z2)(x3+y3+z3)−x5−y5−z5−2x2y2z2(x+y+z)=x2y3+x2z3+y2x3+y2z3+z2x3+z2y3−2x3y2z2−2x2y3z2−2x2y2z3=x3(y2+z2−2y2z2)+y3(x2+z2−2x2z2)+z3(x2+y2−2x2y2).
Vrijedi
y2+z2−2y2z2=y2−y2z2+z2−y2z2=y2(1−z2)+z2(1−y2).
Primijetimo da iz uvjeta zadatka slijedi da su x, y, z iz intervala (0,1) pa vrijedi i 1−y2>0, 1−z2>0, odnosno
y2+z2−2y2z2>0.
Analogno, z2+x2−2z2x2>0 i x2+y2−2x2y2>0, te konačno dobivamo A>0.
Napomena. Nejednakost y2+z2−2y2z2>0 možemo dokazati i ovako:
y2+z2−2y2z2=1−(1−y2)(1−z2).
Kako je zbog uvjeta zadatka 0<x,y,z<1, vrijedi 1−y2<1 i 1−z2<1 pa je (1−y2)(1−z2)<1 i konačno
y2+z2−2y2z2=1−(1−y2)(1−z2)>0.