Присмотрись к подкоренному выражению: это полный квадрат, его можно свернуть по формуле сокращённого умножения a^2 \pm 2ab + b^2 = (a \pm b)^2.

\sqrt{9a^2 + 6ab + b^2} = \sqrt{\left(3 a + b\right)^{2}}

Квадратный корень из квадрата — это модуль выражения: \sqrt{t^2} = |t|. Модуль нужен, потому что корень не может быть отрицательным.

Подставим a = \dfrac{5}{13}, b = \dfrac{89}{13} в выражение под модулем.

\left|3 a + b\right| = \left|8\right| = 8

Выражение под модулем неотрицательно, модуль ничего не меняет: ответ 8.