Prvo rješenje.
Pomnožimo danu jednakost s 4:
4n2−24n=4m2+4m−40,
te grupirajmo izraze na lijevoj i desnoj strani:
(4n2−24n+36)−36=(4m2+4m+1)−41,
tako da možemo uočiti potpune kvadrate:
(2n−6)2+5=(2m+1)2.
Prebacimo li konstantu na jednu stranu te primijenimo formulu za razliku kvadrata, dobivamo
5=(2m+1−2n+6)(2m+1+2n−6)=(2m−2n+7)(2m+2n−5).
Sada možemo promotriti četiri linearna sustava dviju jednadžbi s varijablama m i n, jer broj 5 možemo prikazati kao umnožak cijelih brojeva na četiri načina: 1⋅5, 5⋅1, (−1)⋅(−5) i (−5)⋅(−1).
Ako je
2m−2n+7=a,2m+2n−5=b,
rješenje tog sustava je
m=4a+b−2,n=4b−a+12.
Uvrštavanjem mogućnosti (a,b)=(1,5),(5,1),(−1,−5),(−5,−1) dobivamo rješenja
(m,n)=(1,4),(1,2),(−2,2),(−2,4).
Drugo rješenje.
Danu jednakost možemo zapisati kao
n2−6n+9=m2+m−1,odnosno(n−3)2=m2+m−1.
Pretpostavimo najprije da je m>0, tada je m2+m−1≥m2. Također je
m2+m−1<m2+2m+1=(m+1)2.
Dakle, ako je m>0, broj m2+m−1 je potpun kvadrat ako i samo ako je m=1. Uvrštavanjem dobivamo da je (n−3)2=1, pa time dobivamo dva rješenja (m,n)=(1,2) i (m,n)=(1,4).
Pretpostavimo sada da je m≤0, neka je m=−k, gdje je k≥0. Dobivamo jednadžbu
(n−3)2=k2−k−1.
Opet, primijetimo da je k2−k−1<k2. Za k=0 i k=1 dobivamo (n−3)2=−1, što je nemoguće, a za k≥2 je
k2−k−1≥k2−2k+1=(k−1)2.
Dakle, broj k2−k−1 je potpun kvadrat ako i samo ako je k=2. Uvrštavanjem dobivamo kao i prije da je (n−3)2=1, time dobivamo još dva rješenja (m,n)=(−2,2) i (m,n)=(−2,4).
Treće rješenje.
Zapišimo jednakost na sljedeći način:
n2−6n+8=m2+m−2
i faktorizirajmo obje strane:
(n−4)(n−2)=(m−1)(m+2).
Ako su obje strane jednakosti jednake 0, dobivamo četiri rješenja:
(m,n)∈{(1,4),(1,2),(−2,2),(−2,4)}.
Pretpostavimo da nijedna strana jednakosti nije 0. Lijeva strana je negativna ako je n=3, a desna ako je m=0 ili m=−1, no to ne daje rješenje. Zato možemo pretpostaviti da su obje strane jednakosti pozitivne.
Prvi slučaj. Pretpostavimo da je m−1<n−4. Tada je m−1≤n−5, tj. m+2≤n−2. Ako su brojevi n−4,n−2,m−1 i m+2 pozitivni, onda je
(m−1)(m+2)<(n−4)(n−2),
a ako su svi negativni onda je
(n−4)(n−2)<(m−1)(m+2),
što je kontradikcija.
Pretpostavimo da su m−1 i m+2 negativni, a n−4 i n−2 pozitivni brojevi. Ako je −m−2<n−4, onda je −m+1≤n−2. Iz toga slijedi
(m−1)(m+2)<(n−4)(n−2),
što je nemoguće. Ako je −m−2≥n−4, onda je −m+1≥n−1>n−2, pa je
(m−1)(m+2)>(n−4)(n−2),
što je također nemoguće.
Drugi slučaj. Pretpostavimo da je m−1≥n−4, onda je m+2>n−2. Analogno kao u prvom slučaju možemo razlikovati slučajeve jesu li svi brojevi istog predznaka i slučaj kad su brojevi n−2 i n−4 negativni, a m−1 i m+2 pozitivni. U svim slučajevima dobivamo kontradikciju kao u prvom slučaju.