Prvo rješenje.
Primijetimo da vrijedi m∣(2m+3)(4n+1). Kako je D(m,2m+3)=D(m,3), razlikujemo mogućnosti D(m,3)=1 i D(m,3)=3 (odnosno 3∣m).
Pretpostavimo prvo da je D(m,3)=1. Zato m nužno dijeli 4n+1. Slično, kako n∣(2m+3)(4n+1) te kako su n i 4n+1 relativno prosti brojevi, vrijedi n∣2m+3.
Početnu jednakost možemo zapisati kao
n2m+3⋅m4n+1=p,
gdje je na lijevoj strani dan umnožak dvaju prirodnih brojeva. Kako je p prost broj, imamo dvije mogućnosti: prvi od njih je 1, a drugi p ili obratno.
U prvom slučaju imamo 2m+3=np i 4n+1=m. Uvrštavanjem imamo 2(4n+1)+3=np, odnosno (p−8)n=5. Ne može vrijediti p−8=1 jer p ne bi bio prost broj, pa je jedino moguće rješenje n=1, p−8=5, odnosno p=13 i m=5.
U drugom slučaju je 2m+3=n i 4n+1=mp. Uvrštavanjem imamo 4(2m+3)+1=mp, odnosno m(p−8)=13. Iz p−8=1 i p−8=13 slijedilo bi p=9 ili p=21 što nisu prosti brojevi, pa ovaj slučaj nema rješenja.
Pretpostavimo sada da 3∣m. Dakle, m možemo zapisati u obliku m=3k, k∈N. Sada uvrštavanjem u početnu jednakost i sređivanjem dobivamo (2k+1)(4n+1)=pkn.
Kako je D(2k+1,k)=1 i D(4n+1,n)=1, slično kao ranije zaključujemo k∣4n+1 i n∣2k+1.
Zato početnu jednakost možemo zapisati u obliku
n2k+1⋅k4n+1=p,
gdje je na lijevoj strani dan umnožak dvaju prirodnih brojeva, te razlikujemo dva slučaja: prvi od njih je jednak 1, a drugi p ili obratno.
U prvom slučaju je 2k+1=np i 4n+1=k. Uvrštavanjem slijedi 2(4n+1)+1=np odnosno n(p−8)=3. Jedino rješenje je n=1, p−8=3, odnosno p=11, k=5, m=15.
U drugom slučaju je 2k+1=n i 4n+1=kp, odnosno 4(2k+1)+1=kp, k(p−8)=5. Slijedi k=1, p−8=5, odnosno p=13, m=3, n=3.
Prema tome, sva rješenja su (m,n,p)=(5,1,13),(15,1,11) i (3,3,13).
Drugo rješenje.
Iz početne jednakosti redom dobivamo
(2m+3)(4n+1)2m+12n+8mn+32m+12n+3m=pmn,=pmn,=(p−8)mn,=(p−8)n−212n+3.
Početnu jednakost možemo također zapisati kao
p=m2m+3⋅n4n+1=(2+m3)(4+n1).
Kako recipročna vrijednost prirodnog broja nije veća od 1 niti manja od 0, desna strana gornje jednakosti može se ograničiti između (2+0)⋅(4+0)=8 i (2+3)⋅(4+1)=25. Zaključujemo da je p između 8 i 25. Kako je prost, mogućnosti su p=11,13,17,19,23.
Ako je p=11, uvrštavanjem imamo m=3n−212n+3=4+3n−211. Nužno vrijedi 3n−2=1 ili 3n−2=11. U prvom slučaju dobivamo n=1, m=5, a u drugom slučaju nema rješenja.
Ako je p=13, uvrštavanjem imamo m=5n−212n+3=2+5n−22n+7. Primijetimo da je za n≥4 nazivnik veći od brojnika pa rezultat nije cijeli broj. Za n=1 slijedi m=15, za n=2 rezultat nije cijeli broj, a za n=3 dobivamo m=3.
Ako je p=17, slijedi m=9n−212n+3=1+9n−23n+5. Za n=1 rezultat nije cijeli broj, a uza n≥2 nazivnik je veći od brojnika, pa ovaj slučaj nema rješenja.
Ako je p=19, imamo m=11n−212n+3=1+11n−2n+5, pa ovaj slučaj nema rješenja jer je nazivnik veći od brojnika za sve n∈N. Slično, ako je p=23, uvrštavanjem imamo m=15n−212n+3=1−15n−23n−5, pa iz istog razloga nema rješenja.
Prema tome, sva rješenja su (m,n,p)=(15,1,11),(5,1,13) i (3,3,13).