1  ^?? При какой массе космического аппарата он может улететь из Солнечной системы?

При раскрытии солнечного паруса на аппарат действуют сила притяжения Солнца и сила давления солнечных лучей. Результирующая этих сил —
$$
\begin{aligned}
F_{эф}=G \frac{M_С m}{R_З^2}-p S=G \frac{M_С m}{R_З^2}-\frac{G m R_З^2 p S}{G m R_З^2}= \\
=G \frac{\left(M_С-p S R_З^2 / G m\right) m}{R_З^2} .
\end{aligned}
$$
Мы видим, что давление солнечных лучей как бы уменьшает силу притяжения аппарата к Солнцу эта сила оказывается такой, как если бы Солнце имело не массу $M_С$, а некую меньшую эффективную массу, равную
$$
M_{эф}=M_{С}-\frac{p S R_З^2}{G m} .
$$
Пользуясь введенной эффективной массой, мы можем дальше решать задачу без учета давления солнечных лучей.
Полная энергия космического аппарата в гравитационном поле тела с массой $M_{эф}$ —
$$
E=\frac{m v^2}{2}-G \frac{m M_{эф}}{R} .
$$
Согласно закону сохранения энергии эта энергия в любой точке орбиты аппарата должна быть равна
$$
E=\frac{m v_З^2}{2}-G \frac{m M_{эф}}{R_З},
$$
где $v_З$ — скорость, которую имел аппарат в момент раскрытия паруса на расстоянии $R_З$ от Солнца. Эту скорость найдем из уравнения движения aппaрата по земной орбите под действием силы притяжения Солнца:
$$
\frac{m v_З^2}{R_З}=G \frac{m M_{С}}{R_З^2} \Rightarrow v_З=\sqrt{G \frac{M_{С}}{R_З}} .
$$
Таким образом,
$$
E=G \frac{m}{R_З}\left(\frac{M_{С}}{2}-M_{эф}\right)=G \frac{m}{R_З}\left(\frac{p S R_З^2}{G m}-\frac{M_{С}}{2}\right) .
$$
Aппарат может улететь из Солнечной системы, если $E \geqslant 0$, то есть при условии
$$
\frac{p S R_З^2}{G m}-\frac{M_С}{2} \geqslant 0 .
$$
Отсюда находим, при какой массе аппарата это возможно:
$$
M \leqslant \frac{2 p S R_З^2}{G M_С} \approx 3.46 \cdot 10^3~кг .
$$

2  ^?? При какой максимальной массе аппарат может достичь орбиты Марса, радиус которой $R_м=2.3\cdot 10^{8}~км$?

При большей массе аппарат будет двигаться по замкнутым орбитам.
Пусть при некоторой массе $m_1$ орбита аппарата касается орбиты Марса. (Из всех возможных масс $m$, при которых аппарат достигает орбиты Марса (пересекает ее), $m_1$ - максимальна.) В этом случае орбита аппарата — эллипс, большая ось которого равна $R_З+R_М$ (см. рисунок). В точках касания скорость аппарата перпендикулярна радиусу-вектору aппapaтa.
Согласно закону сохранения энергии
$$
\begin{aligned}
\frac{m_1 v_З^2}{2}-G \frac{m_1 M_{эф}}{R_З}= & \frac{m_1 v_М^2}{2}-G \frac{m_1 M_{эф}}{R_М} \Rightarrow \\
& \Rightarrow v_З^2-v_М^2=2 G M_{эф}\left(\frac{1}{R_З}-\frac{1}{R_М}\right) .
\end{aligned}
$$
Согласно второму закону Қеплера
$$
v_З R_З=v_{М} R_{М} \Rightarrow v_{М}=v_З \frac{R_З}{R_{М}} .
$$
Подставляя это выражение для $v_М$ и учитывая, что $v_З=\sqrt{G \frac{M_С}{R_З}}$, после несложных преобразований получим:
$$
2 M_{эф} R_{М}=M_{С}\left(R_{М}+R_З\right) .
$$
или
$$
2\left(M_{С}-\frac{p S R_З}{G m}\right) R_М=M_С\left(R_М+R_З\right) .
$$
Отсюда найдем максимальную массу $m_1$ аппарата, при которой аппарат может достичь орбиты Марса
$$
m_1=\frac{2 p S R_З^2}{G M_С} \frac{R_M}{R_М-R_З} \approx 10^4~кг .
$$