Пусть $R$ — внешний радиус катушки, $r$ — внутренний радиус, $\mu$ — коэффициент трения между стержнем и катушкой. На рисунках ниже показаны силы, действующие на катушку в процессе ее равномерного разматывания под действием силы $F$.
Здесь $\vec{P}=m \vec{g}$ — сила тяжести, $\vec{Q}$ — полная реакция опоры, которую можно представить как сумму силы нормальной реакции опоры $\vec{N}$ и силы трения скольжения $\vec{F_{тр}}\left(\vec{Q}=\vec{F}_{тр}+\vec{N}\right)$.
Из равенства нулю равнодействующей всех сил, приложенных к катушке
$$
\vec{Q}+\vec{F}+\vec{P}=0
$$
следует, что в случае вертикального провода все силы направлены вдоль одной прямой и
$$
Q_{1}=F_{1}+P.
$$
В случае горизонтального провода сила натяжения провода и сила тяжести направлены перпендикулярно друг другу и
$$
Q_{2}=\sqrt{F_{2}^{2}+P^{2}}.
$$
Заметим, что отношение модулей сил трения $F_{тр}$ и реакции опоры $Q$ зависит только от коэффициента трения, но не от силы $F$. Отсюда
$$
\frac{F_{тр 1}}{F_{тр 2}}=\frac{Q_{1}}{Q_{2}}.
$$
Из равенства моментов сил относительно центра катушки
$$
F R=F_{тр} r
$$
получаем
$$
\frac{F_{тр 1}}{F_{тр 2}}=\frac{F_{1}}{F_{2}}=\frac{Q_{1}}{Q_{2}}.
$$
Подставив в это равенства выражения для $Q_{1}$ и $Q_{2}$, находим уравнение на силу тяжести $P$
$$
\frac{F_{1}}{F_{2}}=\frac{F_{1}+P}{\sqrt{F_{2}^{2}+P^{2}}},
$$
из которого получаем искомую массу:
$$
m=\frac{2 F_{1} F_{2}^{2}}{g\left(F_{1}^{2}-F_{2}^{2}\right)}.
$$
$\textit{Примечание}$. Формально одним из решений является $P=0$, однако тогда равнодействующая силы реакции и силы трения должна быть противоположна силе $F_{1}$ и направлена по той же прямой. Это возможно только в случае, если $R=r$.