Пункт а. Плоскость (CMK) проходит через вершину C и точки M\in AB, K\in AD (AM=AK=6). Она отсекает от тетраэдра многогранник, содержащий вершину A — это тетраэдр AMKC.

Сравним объёмы тетраэдров AMKC и ABDC (последний — это весь тетраэдр ABCD). Возьмём их как пирамиды с общей вершиной C и основаниями AMK и ABD, лежащими в одной плоскости (грань ABD). Высота из C к этой плоскости у обеих пирамид одна и та же, поэтому объёмы относятся как площади оснований:

\dfrac{V_{AMKC}}{V_{ABCD}}=\dfrac{S_{AMK}}{S_{ABD}}=\dfrac{AM\cdot AK}{AB\cdot AD}=\dfrac{6\cdot 6}{10\cdot 10}=\dfrac{9}{25}.

Значит отсечённая часть составляет \dfrac{9}{25} объёма, а оставшаяся — \dfrac{16}{25}. Их отношение равно 16:9, что и требовалось доказать.

Пункт б. Перейдём к координатам. Возьмём основание ABC в плоскости z=0: A(0;0;0), B(10;0;0), C\left(5;5\sqrt{3};0\right). Вершина D стоит над центром треугольника ABC на высоте правильного тетраэдра.

Центр основания G\left(5;\dfrac{5\sqrt{3}}{3};0\right), высота тетраэдра \sqrt{10^2-AG^2}=\dfrac{10\sqrt{6}}{3}, поэтому D\left(5;\dfrac{5\sqrt{3}}{3};\dfrac{10\sqrt{6}}{3}\right).

Так как AM=AK=6 (а рёбра равны 10), точки делят рёбра в отношении 6:4: M\left(6;0;0\right) и K\left(3;\sqrt{3};2\sqrt{6}\right).

Найдём нормаль к плоскости (CMK) как векторное произведение \vec{CM}\times\vec{CK}, затем угол между прямой AC и плоскостью — через синус (отношение модуля скалярного произведения \vec{AC} и нормали к произведению длин). После вычислений синус угла равен \sqrt{1-\dfrac{49}{67}}, а косинус —

\cos\varphi=\dfrac{7}{\sqrt{67}}=\dfrac{7\sqrt{67}}{67}.

Косинус угла между прямой AC и плоскостью (CMK) равен \dfrac{7\sqrt{67}}{67}.

Типичная ошибка: в пункте а сравнивать объёмы «на глаз». Корректно — через отношение площадей оснований \dfrac{S_{AMK}}{S_{ABD}}=\dfrac{AM\cdot AK}{AB\cdot AD} (общий угол A), потому что высота из C общая.