несколько мальчиков встретились и поздоровались с друг другом рукой . сколько было мальчиков если рукопожатий 10

Если каждый со всеми поздоровался ровно один раз, то число рукопожатий равно количеству пар мальчиков:
$H=\frac{n(n-1)}{2}$.

Подставляем $H=10$:
$\frac{n(n-1)}{2}=10 \Rightarrow n(n-1)=20 \Rightarrow n^2-n-20=0$.

Решаем квадратное уравнение:
$D=1+80=81$, $\sqrt{D}=9$.
$n=\frac{1+9}{2}=5$ (второй корень отрицателен и не подходит).

Значит, встречалось 5 мальчиков.