Второе уравнение xy+1=x+y переносим и раскладываем: xy-x-y+1=0, то есть (x-1)(y-1)=0. Значит оно задаёт пару прямых: x=1 или y=1. Цель — ровно четыре решения.

Подставляем каждую прямую в первое уравнение. При x=1 получаем квадратное относительно y, при y=1 — квадратное относительно x:

x=1:\ ay^2+(a+2)y+(3a+1)=0;\qquad y=1:\ ax^2+2ax+(2a+3)=0.

Четыре различных решения получаются, когда КАЖДОЕ из двух квадратных уравнений даёт по два различных корня, и точки не совпадают.

Записываем условия: оба дискриминанта положительны, a\ne0 (иначе уравнение не квадратное), и проверяем отсутствие совпадений (особая точка a=-\dfrac35).

Сводя неравенства, получаем ответ \left(-\dfrac{2\sqrt{11}}{11};-\dfrac35\right)\cup\left(-\dfrac35;0\right).