По закону Снеллиуса $n \sin \alpha=\sin \beta$.
Чтобы луч света вышел из стеклянного шара, необходимо и достаточно $n \sin \alpha \leqslant 1$, т.е. $\sin \alpha \leqslant \frac{1}{n}$.
По теореме синусов в $\Delta OAX$: $$
\frac{O X}{\sin \angle O A X}=\frac{O A}{\sin \angle O X A} \\
\frac{R}{\sin \varphi}=\frac{r}{\sin \alpha} \\
\sin \varphi=\frac{R}{r} \sin \alpha \\
\sin \alpha \leqslant \frac{1}{n} \Leftrightarrow \sin \varphi \leqslant \frac{R}{n r} .
$$Далее возможны два случая.
1) $\frac{R}{n r} \geqslant 1$. В этом случае неравенство выполняется при всех $\varphi$ и весь свет выйдет из стеклянного шара.
2) $\frac{R}{n r} < 1$. В этом случае уравнение равносильно: $$
\varphi \in\left[0 ; \arcsin \frac{R}{n r}\right] \cup\left[\pi-\arcsin \frac{R}{n r} ; \pi\right] .
$$
Каждому отрезку соответствует конус с углом $2 \arcsin \frac{R}{n r}$ при вершине.Одному такому конусу соответствует телесный угол $\Omega=2 \pi\left(1-\cos \left(\arcsin \left(\frac{R}{n r}\right)\right)=2 \pi\left(1-\sqrt{1-\frac{R^2}{n^2 r^2}}\right) .\right.$
Доля вышедшего света $$
\eta=\frac{4 \pi-2 \Omega}{4 \pi}=\left(1-\sqrt{1-\frac{R^2}{n^2 r^2}}\right)
$$$4\pi$ — полный телесный угол.