Присмотрись к подкоренному выражению: это полный квадрат, его можно свернуть по формуле сокращённого умножения a^2 \pm 2ab + b^2 = (a \pm b)^2.

\sqrt{a^2-10ab+25b^2} = \sqrt{\left(a - 5 b\right)^{2}}

Квадратный корень из квадрата — это модуль выражения: \sqrt{t^2} = |t|. Модуль нужен, потому что корень не может быть отрицательным.

Подставим a = 7, b = 2 в выражение под модулем.

\left|a - 5 b\right| = \left|-3\right| = 3

Выражение под модулем получилось отрицательным (-3), поэтому модуль меняет знак: ответ 3.