Подставим y=a(x+1) из второго уравнения в первое: (x^2-5x-y+3)\sqrt{x-y+3}=0. Цель — ровно два решения. ОДЗ: x-y+3\ge0.

Два типа решений. Первый: \sqrt{x-y+3}=0 — это точка пересечения прямой y=a(x+1) с прямой y=x+3 (одно решение, если прямые не параллельны).

Второй: скобка x^2-5x-y+3=0 при y=a(x+1) — квадратное уравнение по x; берём корни с x-y+3\ge0.

А вот тонкость, из-за которой готовый «красивый» ответ неверен. Граничная точка (\sqrt{\dots}=0) лежит далеко: её x=\dfrac{a-3}{a-1} может стать ОЧЕНЬ большим. И в узкой зоне a\in\left(1;\dfrac97\right) эта граничная точка добавляется к двум корням параболы — получается ТРИ решения, а не два.

Поэтому, аккуратно посчитав, получаем: ровно два решения — это отдельные точки a=-1, a=1 и интервал \left(\dfrac97;3\right) (а «карман» \left(1;\dfrac97\right) выпадает, там три решения).

Ответ: \{-1\}\cup\{1\}\cup\left(\dfrac97;3\right).