Пункт а. Перенесём \cos x влево: \cos x(\cos 2x-1)=\sqrt2\sin^2 x и \cos 2x-1=-2\sin^2 x:

-2\sin^2 x\cos x-\sqrt2\sin^2 x=0

Вынесем \sin^2 x:

\sin^2 x\,(2\cos x+\sqrt2)=0

Выпишем все серии корней:

\sin x=0\;\Rightarrow\;x=\pi n,\ n\in\mathbb{Z}

\cos x=-\tfrac{\sqrt2}{2}\;\Rightarrow\;x=\pm\frac{3\pi}{4}+2\pi n,\ n\in\mathbb{Z}

Пункт б. Отберём корни, принадлежащие отрезку \left[- \frac{5 \pi}{2};\,- \pi\right]. Отметим на числовой окружности концы отрезка \left[- \frac{5 \pi}{2};\,- \pi\right], выделим соответствующую дугу и переберём в каждой серии целые значения параметра — оставим корни, попавшие на дугу.

Получаем корни, принадлежащие отрезку:

- 2 \pi, - \frac{5 \pi}{4}, - \pi