Пусть $\vec{F}$ – сила, действующая со стороны Земли на Луну. Запишем уравнения движения центров масс Земли и Луны с учётом третьего закона Ньютона:
$$m\vec{a}_\text{Л}=\vec{F}\qquad M\vec{a}_\text{З}=-\vec{F}{,}
$$откуда:
$$\vec{a}_\text{Л}-\vec{a}_\text{З}=\omega^2(\vec{r}_\text{З}-\vec{r}_\text{Л})=\cfrac{\vec{F}}{m}+\cfrac{\vec{F}}{M}=\cfrac{\vec{F}(m+M)}{mM}{.}
$$С учётом закона всемирного тяготения:
$$\vec{F}=\cfrac{GmM(\vec{r}_\text{З}-\vec{r}_\text{Л})}{L^3_0}\Rightarrow \omega^2=\cfrac{G(m+M)}{L^3_0}{.}
$$Окончательно:

Полный момент импульса определяется выражением:
$$\vec{K}=\vec{K}_{C(\text{Л})}+\vec{K}_{C(\text{З})}+\vec{K}_{\text{З}(\text{отн})}{,}
$$где $\vec{K}_{\text{З}(\text{отн})}$ – момент импульса Земли относительно её центра масс, определяемый выражением:
$$\vec{K}_{\text{З}(\text{отн})}=\cfrac{2MR^2_0\vec{\Omega}}{5}{.}
$$Центры масс Луны и Земли расположены соответственно на расстояниях $r_\text{Л}$ и $r_\text{З}$ от центра масс системы, равных:
$$r_\text{Л}=\cfrac{kL_0}{k+1}\qquad r_\text{З}=\cfrac{L_0}{k+1}{.}
$$Тогда вклады моментов импульса, обусловленных орбитальным движением центров масс Луны и Земли в полный момент импульса составляют:
$$K_{C(\text{Л})}=m\omega_0r^2_\text{Л}=\cfrac{M\omega_0L^2_0k}{(k+1)^2}\qquad K_{C(\text{З})}=M\omega_0r^2_\text{З}=\cfrac{M\omega_0L^2_0}{(k+1)^2}{.}
$$Как видно из полученных выражений, $K_{C(\text{З})}/K_{C(\text{Л})}\ll{1}$, поскольку $k\gg{1}$.
Рассчитаем отношение $K_{C(\text{З})}/K_{\text{З}(\text{отн})}$:
$$\cfrac{K_{C(\text{З})}}{K_{\text{З}(\text{отн})}}=\cfrac{5\omega_0L^2_0(k+1)^2}{2R^2_0\Omega_0}\approx 0{.}05\ll{1}{.}
$$Таким образом, вкладом орбитального движения Земли в момент импульса действительно можно пренебречь.

Поскольку направления векторов $\omega$ и $\vec\Omega$ совпадают:
$$K=\cfrac{2MR^2_0\Omega}{5}+\cfrac{ML^2\omega}{k+1}{.}
$$Поскольку $k\gg{1}$:

С учётом $k\gg{1}$ для $\omega$ имеем:
$$\omega=\sqrt{\cfrac{GM}{L^3}}\Rightarrow K=\cfrac{2MR^2_0\Omega}{5}+\cfrac{M\sqrt{GML}}{k}{.}
$$Поскольку момент импульса сохраняется:
$$\cfrac{dK}{dt}=0=\cfrac{2MR^2_0}{5}\cdot\cfrac{d\Omega}{dt}+\cfrac{M}{2k}\sqrt{\cfrac{GM}{L}}\cfrac{dL}{dt}{,}
$$откуда:
$$\cfrac{d\Omega}{dt}=-\cfrac{5}{4kR^2_0}\sqrt{\cfrac{GM}{L}}{.}
$$Подставляя $\omega$, находим

Кинетическая энергия Земли, связанная с движением её центра масс, является пренебрежимо малой, поскольку $\Omega_0R_0\gg \omega_0L_0/k$.
Таким образом, для кинетической энергии Земли имеем:
$$E_\text{З}\approx \cfrac{MR^2_0\Omega^2}{5}\Rightarrow \dot{E}_{k(\text{З})}=\cfrac{2MR^2_0\Omega\dot{\Omega}}{5}{.}
$$Для кинетической энергии движения Луны имеем:
$$E_\text{Л}\approx \cfrac{m\omega^2L^2}{2}=\cfrac{GM^2}{2kL}\Rightarrow \dot{E}_{k(\text{Л})}=-\cfrac{GM^2\dot{L}}{2kL^2}=-\cfrac{M\omega^2L\dot{L}}{2k}{,}
$$откуда:
$$\cfrac{E_\text{З}}{E_\text{Л}}=-\cfrac{4kR^2_0\Omega}{5L\omega^2}\cfrac{\dot{\Omega}}{\dot{L}}{.}
$$Подставляя выражение для $\dot\Omega$, находим:

Поскольку $L$ изменяется слабо, величину $\dot{\Omega}$ можно считать постоянной.
Таким образом:

Запишем условие сохранения момента импульса:
$$K=\cfrac{2MR^2_0\Omega_0}{5}+\cfrac{ML^2\omega_0}{k}=\omega\left(\cfrac{2MR^2_0}{5}+\cfrac{ML^2}{k}\right){.}
$$В установившемся режиме момент импульса, связанный с вращением Земли вокруг собственной оси, пренебрежимо мал по сравнению с моментом импульса, связанным с орбитальным движением Луны, поэтому:
$$\cfrac{2MR^2_0\Omega_0}{5}+\cfrac{ML^2_0\omega_0}{k}\approx \cfrac{ML^2\omega}{k}{.}
$$Избавимся от $L$:
$$\cfrac{ML^2\omega}{k}=\cfrac{M\omega}{k}\left(\cfrac{GM}{\omega^2}\right)^{2/3}=\cfrac{M\omega^{-1/3}\omega^{4/3}_0L^2_0}{k}{.}
$$Окончательно:

Потенциальная энергия материальной точки определяется гравитационными полями Земли и Луны, а также гравитационным полем центробежной силы.
Для потенциальной энергии в гравитационном поле Земли имеем:
$$W_\text{З}=-\cfrac{GMm}{r}{.}
$$Расстояние от Луны определим из теоремы косинусов:
$$r_\text{Л}=\sqrt{r^2+L^2-2rL\cos\varphi}{.}
$$Таким образом, для потенциальной энергии в гравитационном поле Луны имеем:
$$W_\text{Л}=-\cfrac{GMm}{k\sqrt{r^2+L^2-2rL\cos\varphi}}{.}
$$Пусть $\vec{r}_C$ – радиус–вектор частицы относительно центра масс системы. Определим потенциальную энергию в поле центробежной силы:
$$\vec{F}_\text{цб}=m\omega^2\vec{r}_C\Rightarrow W=-\cfrac{m\omega^2r^2_C}{2}+C{.}
$$Считая потенциальную энергию в поле центробежной силы на оси вращения равной нулю:
$$W_\text{цб}=-\cfrac{m\omega^2r^2_C}{2}{.}
$$Используя выражение для угловой скорости:
$$W_\text{цб}=-\cfrac{GMmr^2_C}{2L^3}\left(1+\cfrac{1}{k}\right){.}
$$Центр масс системы расположен на расстоянии $L/(k+1)$ от центра Земли. Тогда из теоремы косинусов определим величину $r_C$:
$$r_C=\sqrt{r^2+\left(\cfrac{L}{k+1}\right)^2-\cfrac{2rL\cos\varphi}{k+1}}{.}
$$Окончательно:

Разложим по формуле Тейлора до второго неисчезающего члена величину $(1+y)^{-1/2}$:
$$f(y)=(1+y)^{-1/2}\approx 1+f'y+\cfrac{f''y^2}{2}{.}
$$Для производных имеем:
$$f'=-\cfrac{1}{2}\qquad f''=\cfrac{3}{4}{,}
$$откуда:
$$\cfrac{1}{\sqrt{1+a^2-2a\cos\varphi}}\approx 1+a\cos\varphi-\cfrac{a^2}{2}+\cfrac{3(a^2-2a\cos\varphi)^2}{8}\approx 1+a\cos\varphi+\cfrac{a^2(3\cos^2\varphi-1)}{2}{,}
$$что и требовалось доказать.

Разложим каждое слагаемое, входящее в потенциальную энергию, по формуле Тейлора.
$$W_\text{З}=-\cfrac{GMm}{r}\approx-\cfrac{GMm}{R_0}+\cfrac{GMmh}{R^2_0}{.}
$$$$W_\text{Л}=-\cfrac{GMm}{k\sqrt{L^2+r^2-2rl\cos\varphi}}\approx -\cfrac{GMm}{kL}-\cfrac{GMmr\cos\varphi}{kL^2}-\cfrac{GMmr^2(3\cos^2\varphi-1)}{2kL^3}{.}
$$$$W_\text{цб}=-\cfrac{GMm}{2L^3}\left(1+\cfrac{1}{k}\right)\left(r^2+\left(\cfrac{L}{k+1}\right)^2-\cfrac{2rL\cos\varphi}{k+1}\right){.}
$$Оставим только переменные члены:
$$W_p\approx \cfrac{GMmh}{R^2_0}-\cfrac{GMmr\cos\varphi}{kL^2}-\cfrac{GMmr^2(3\cos^2\varphi-1)}{2kL^3}-\cfrac{GMm}{2L^3}\left(1+\cfrac{1}{k}\right)\left(r^2-\cfrac{2rL\cos\varphi}{k+1}\right){.}
$$После сокаращения:
$$W_p\approx \cfrac{GMmh}{R^2_0}-\cfrac{GMmr^2(3\cos^2\varphi-1)}{2kL^3}-\cfrac{GMmr^2}{2L^3}\left(1+\cfrac{1}{k}\right){.}
$$Учтём, что $r=R+h$ и пренебрежём членами, содержащими $h^2$:
$$W_p\approx \cfrac{GMmh}{R^2_0}-\cfrac{GMmR_0h}{L^3}\left(1+\cfrac{1}{k}\right)-\cfrac{GMmR^2_0(3\cos^2\varphi-1)}{2kL^2}{.}
$$Второе слагаемое является пренебрежимо малым в сравнении с первым, поэтому:
$$W_p\approx\cfrac{GMmh}{R^2_0}-\cfrac{GMmR^2_0(3\cos^2\varphi-1)}{2kL^2}{.}
$$Поверхность воды является эквипотенциальной. Принимая потенциал поверхности за ноль: