Начнем решение задачи с описания столкновений, которые происходят в рассматриваемой системе. Правильность этого описания подтверждается последующими расчетами. Сначала столкнутся шайбы. После их столкновения большая шайба станет удаляться от стенки, меньшая полетит к стенке и отскочит от неё. Так как зазор со стенкой мал, то столкновение с ней произойдёт сразу после первого, поэтому можно пренебречь изменением расположения шайб за время между соударениями. После отскока меньшая шайба догоняет большую, и происходит еще одно столкновение шайб. После этого шайбы начинают удаляться друг от друга и от стенки, больше соударений не происходит.
Перейдем к рассмотрению столкновения шайб. Через точку контакта шайб при ударе проведём касательную и нормаль через центры шайб (см. рисунок).
Нормаль образует угол $\alpha$ со стенкой и с направлением скорости $v$. Находим, что
$$
\sin \alpha=\frac{R-r}{R+r}=\frac{3}{4}.
$$
Проекция скорости $v$ на нормаль $v_{n}=v \cos \alpha$, а на касательную $v_{\tau}=v \sin \alpha$. Пусть скорости малой и большой шайб после первого удара $v_{1}$ и $u_{1}$ соответственно. Так как трения нет, то силы при столкновении направлены по нормали, и проекции на касательную у шайб не изменятся:
$$
u_{1 \tau}=0, \quad v_{1 \tau}=v_{\tau}.
$$
Применяя законы сохранения энергии и импульса для упругого столкновения тел равной массы, получим нормальные составляющие скоростей шайб после удара
$$
u_{1 n}=v_{n}, \quad v_{1 n}=0.
$$
Скорость меньшей шайбы после первого столкновения равна $v_{\tau}$ и образует угол $\alpha$ с перпендикуляром к стенке. После упругого отражения от стенки она сохранит свою величину и будет направлена под углом $2 \alpha$ к общей касательной шайб (угол падения равен углу отражения) (см. рисунок ниже).
Меньшая шайба догонит большую, если проекция ее скорости на нормаль к касательной больше, чем у большой шайбы:
$$
v_{1 n}^{\prime}=v_{\tau} \sin 2 \alpha>u_{1 n}.
$$
После подстановки значений скоростей это условие принимает вид
$$
\sin \alpha \cdot \sin 2 \alpha>\cos \alpha,
\\
\sin ^{2} \alpha>1 / 2,
$$
что выполнено при данных $r$ и $R$.
Аналогично рассмотрению первого столкновения шайб, находим нормальные составляющие скоростей шайб после второго столкновения
$$
v_{2 n}=u_{1 n}=v_{n}, \quad u_{2 n}=v_{1 n}^{\prime}=v_{\tau} \sin 2 \alpha.
$$
Касательные составляющие не изменились (см. рисунок ниже).
Теперь $u_{2 n}>v_{2 n}$. После второго удара шайбы удаляются от стенки и друг от друга, поэтому столкновений больше не будет. После всех столкновений скорость большой шайбы
$$
u=u_{2 n}=v_{\tau} \sin 2 \alpha=2 v \sin ^{2} \alpha \cos \alpha=\frac{9 \sqrt{7}}{32} v \approx 0.74 v.
$$