Для изучения вопроса об устойчивости положения равновесия рассмотрим ситуацию, в которой шарик отклонился от верхнего положения на очень маленький угол $d\alpha$ и определим действующие на него силы.
Первая сила является электростатической, но для изучения равновесия нам нужна только ее составляющая, направленная по касательной к поверхности полусферы. Идея ее вычисления основана на том, что в проекции на радиальное направление электростатические силы будут
скомпенсированы от двух, симметричных относительно нового положения шарика, областей полусферы $I$ и $II$, так что не скомпенсированной останется сила со стороны дольки полусферы $AB$, отсекаемой наклонной плоскостью, проходящей под углом $2d\alpha$. На левом рисунке ниже показано соответствующее сечение в вертикальной плоскости.
Рассмотрим часть дольки сферы (смотрите правый рисунок выше, на котором показан вид сверху), дополнительно отсекаемой углами $\beta$ и $\beta+d\beta$, так что ее площадь составляет
$$dS=2R\cos\beta Rd\beta d\alpha, \tag{1}$$а электрический заряд равен
$$dq=-\sigma dS. \tag{2}$$В декартовой системе координат, начало которой совпадает с вершиной полусферы, а ось $z$ направлена вертикально вниз, радиус-вектор, направленный из точки нахождения частицы в выделенную часть дольки сферы, определяется координатами
$$\vec{r}=(R\cos\beta,R\sin\beta,R), \tag{3}$$а значит вектор искомой силы равен
$$\vec{F}=-\frac{Qdq}{4\pi \varepsilon_0 r^3}\vec{r}. \tag{4}$$Эта сила имеет следующую проекцию на тангенциальное направление
$$F_Q=\frac{Qdq}{4\pi\varepsilon_0(\sqrt{2}R)^3}R\cos\beta. \tag{5}$$поэтому интегрирование по $\beta$ от $-\pi/2$ до $\pi/2$ дает полную по модулю силу от всей дольки в виде
$$F_Q=\frac{Q\sigma}{8\sqrt{2}\pi\varepsilon_0}d\alpha. \tag{6}$$Вторая сила, действующая на шарик, является силой тяжести, проекция которой на тангенциальное направление составляет
$$F_g=mgd\alpha. \tag{7}$$Минимальный заряд шарика определяется равенством сил
$$F_g=F_Q, \tag{8}$$которое приводит к окончательному ответу
$$Q=\frac{8\sqrt{2}\pi\varepsilon_0 mg}{\sigma}. \tag{9}$$Очевидно, что при больших зарядах положение равновесия будет устойчивым.