Пункт а. Заменим \cos 2x=1-2\sin^2 x и \cos^2 x=1-\sin^2 x, соберём кубическое по \sin x:

2\sin^3 x+\sqrt2\sin^2 x-2\sin x-\sqrt2=0

Группировка:

(2\sin x+\sqrt2)(\sin^2 x-1)=0

Выпишем все серии корней:

\sin x=1\;\Rightarrow\;x=\frac{\pi}{2}+2\pi n;\ \sin x=-1\;\Rightarrow\;x=-\frac{\pi}{2}+2\pi n,\ n\in\mathbb{Z}

\sin x=-\tfrac{\sqrt2}{2}\;\Rightarrow\;x=-\frac{\pi}{4}+2\pi n,\ x=-\frac{3\pi}{4}+2\pi n,\ n\in\mathbb{Z}

Пункт б. Отберём корни, принадлежащие отрезку \left[\frac{3 \pi}{2};\,3 \pi\right]. Отметим на числовой окружности концы отрезка \left[\frac{3 \pi}{2};\,3 \pi\right], выделим соответствующую дугу и переберём в каждой серии целые значения параметра — оставим корни, попавшие на дугу.

Получаем корни, принадлежащие отрезку:

\frac{3 \pi}{2}, \frac{7 \pi}{4}, \frac{5 \pi}{2}