Определим координату центра масс полусферы. Мысленно «разрежем» полусферу плоскостями, параллельными основанию, на тонкие кольца толщиной $h$ каждое. Масса такого кольца пропорциональна площади его поверхности. Пусть кольцо видно из центра полусферы под углом $\varphi$ к ее основанию. Тогда радиус кольца равен $r=R\cos\varphi$. Заметим, что поверхность кольца образует с основанием полусферы угол $\pi/2-\varphi$. Площадь поверхности кольца равна произведению его длины $2\pi r=2\pi R\cos\varphi$ на ширину $h/\sin(\pi/2-\varphi)=h/\cos\varphi$. Как видно из формул площадь кольца не зависит от угла, под которым оно видно из центра, а это означает, что масса полусферы равномерно распределена вдоль радиуса, перпендикулярного ее основанию, значит центр масс находится на расстоянии $R/2$ от центра.
Примечание: Решения, полученные интегрированием или другим способом также засчитываются, если исходят из верных начальных утверждений и корректно реализованы.
Для устойчивости равновесия необходимо, чтобы после отклонения на малый угол волчок стремился вернуться обратно. Рассмотрим ось вращения, проходящую через центр полусферы. Моменты сил давления воды и реакции опоры относительно этой оси равны нулю. Сила трения нас не интересует, так как ее направление будет определяться суммарным моментом двух сил тяжести. Если суммарный момент двух сил тяжести направлен против часовой стрелки (стремится вернуть волчок в положение равновесия), то сила трения будет направлена влево и будет лишь замедлять скорость поворота волчка, но не может изменить направление его вращения.
Из вышеизложенного становится понятно, что устойчивость равновесия волчка никак не зависит от количества налитой воды.
Найдем положение центра масс волчка для случая $M=6m$. Выберем ось $x$, проходящую через центр полусферы и направленную перпендикулярно ее основанию.
$$x_{цм}=\frac{6m R/2-mR}{6m+m}>0,$$ значит центр масс волчка расположен ниже его центра, а именно к нему приложена результирующая двух сил тяжести. Получаем, что в первом случае вне зависимости от объема налитой воды волчок будет находиться в состоянии устойчивого равновесия.
Налитая вода на равновесие не влияет. Для устойчивости равновесия необходимо чтобы центр масс волчка оказался ниже центра полусферы. Рассмотрим ту же ось $x$, что и в первом случае.
$$x_{цм}=\frac{M R/2-mR }{M+m}>0,$$ откуда $M/m>2$.