Найдем сначала изменение плотности жидкости и давления по высоте сосуда:
$$
\rho_{жидкости}(h)=\rho_{\max}\left(1-\frac{h}{H} \right); \ (1) \\
p(h)=\int\limits_h^H\rho(x)g\,dx=\frac{1}{2}\rho_{\max} gH\left(1-\frac{h}{H} \right)^{2}. \ (2)
$$Видно, что в верхней части сосуда давление убывает до нуля. Это значит, что в этой области объем газа превысит объем пробирки, и пузырьки газа будут выходить из нее наружу. Пока газ не выходит из пробирки, происходит его изотермическое расширение, так что
$$
p(h)V(h)=\frac{1}{2}\rho_{\max}gHV_{1}, \ (3)
$$откуда, с учетом $(2)$,
$$
V(h)=\frac{V_{1}}{\left(1-\frac{h}{H} \right)^{2}}. \ (4)
$$Формула $(4)$ справедлива при $V(h) < V_{0}$, т.е. при
$$
h< H\left(1-\sqrt{\frac{V_{1}}{V_{0}}} \right). \ (5)
$$С учетом $(4)$-$(5)$ можно записать среднюю плотность газа в пробирке с учетом массы ее стенок:
$$
\begin{equation*}
\rho_{газа}(h)=\frac{M}{V(h)}=
\begin{cases}
\rho_{1}\left(1-\frac{h}{H} \right)^{2}, h < H\left(1-\sqrt{\frac{V_{1}}{V_{0}}} \right);\\
\rho_{0}, h \ge H\left(1-\sqrt{\frac{V_{1}}{V_{0}}} \right), \ (6)
\end{cases}
\end{equation*}
$$где использованы обозначения $\rho_{0,1} = M/ V_{0,1}$.
Различные варианты хода зависимостей $\rho/\rho_{\max}$ от $h/H$ представлены на рис. 1-3. Кривая $1$ всюду соответствует жидкости, кривая $2$ — средней плотности газа в пробирке с учетом массы ее стенок.
Кривые $1$ и $2$ не пересекаются (рис.1), если при $h=H\left(1-\sqrt{\frac{V_{1}}{V_{0}}} \right)$ выполняется условие $\rho_{газа} > \rho_{жидкости}$, т.е.
$$
\frac{\rho_{0}}{\rho_{\max}} > \sqrt{\frac{V_{1}}{V_{0}}}. \ (7)
$$
В этом случае пробирка всегда будет тонуть. Если одновременно выполняются условия
$$
\frac{\rho_{0}}{\rho_{\max}} < \sqrt{\frac{V_{1}}{V_{0}}}, \quad \rho_{1} > \rho_{\max}, \ (8)
$$кривые пересекаются в двух точках (рис. 2):
$$
h=H\left(1-\frac{\rho_{\max}}{\rho_{1}} \right) \text{ (точка $A$)}; \ (9) \\
h=H\left(1-\frac{\rho_{0}}{\rho_{\max}} \right) \text{ (точка $B$)}. \ (10)
$$
Точка $A$ является неустойчивой, поскольку при отклонении от нее вниз пробирка будет тонуть, а при отклонении вверх — всплывать. Точка $B$ на первый взгляд кажется устойчивой.
Если выполнены условия
$$
\rho_{1} < \rho_{\max}, \quad \frac{\rho_{0}}{\rho_{\max}} < \sqrt{\frac{V_{1}}{V_{0}}}, \ (11)
$$остается только одна точка пересечения $B$ (рис. 3).
Однако при анализе ее устойчивости надо иметь в виду, что на горизонтальном участке кривой $2$ при движении вправо газ все время вытекает из пробирки. Поэтому движение влево будет совсем иным, а именно по параболе
вида $(6)$ (верхняя строка), но с новым (большим) значением $\rho_{1}$, соответствующим оставшемуся в пробирке количеству газа.
