Разложим скобку: xy^2-3xy-3y+9=(y-3)(xy-3). Система (y-3)(xy-3)\sqrt{x-3}=0 с y=ax. Цель — ровно три решения. ОДЗ: x\ge3.

Три способа обнуления: (1) \sqrt{x-3}=0, то есть x=3 — точка (3,3a), всегда решение; (2) y=3, то есть x=\dfrac3a (при x\ge3); (3) xy=3, то есть ax^2=3, x=\sqrt{3/a} (при a\gt 0, x\ge3).

Считаем различные точки при x\ge3. Точка x=3 есть всегда; нужно, чтобы ещё ровно два корня попали в зону x\ge3.

Разбор даёт интервал \left(0;\dfrac13\right).