При нагревании тело расширяется, при этом плотность вещества, из которого оно сделано, уменьшается.

Коротко: да, обычно при нагревании объём тела растёт, а плотность падает, потому что плотность $\rho=\dfrac{m}{V}$: масса $m$ та же, а объём $V$ увеличивается.

Чуть подробнее по видам веществ:

1. Твёрдые тела
   Линейное расширение: $\Delta L = \alpha L_0 \Delta T$.
   Объёмное расширение: $\Delta V \approx \beta V_0 \Delta T$, где $\beta \approx 3\alpha$.
   Тогда

   $$\rho(T) = \frac{m}{V_0(1+\beta \Delta T)} \approx \rho_0(1-\beta \Delta T).$$

   У металлов $\alpha \sim 10^{-6}\!-\!10^{-5}\,{\rm K^{-1}}$, поэтому изменение плотности заметно только при больших $\Delta T$.

2. Жидкости
   Расширяются сильнее: $\beta \sim 10^{-4}\!-\!10^{-3}\,{\rm K^{-1}}$. Формула для плотности та же:

   $$\rho(T) \approx \rho_0(1-\beta \Delta T).$$

3. Газы
   Для идеального газа:

   • при постоянном давлении $p$: $\rho = \dfrac{p}{R_{\text{уд}} T}$ ⇒ $\rho \propto 1/T$, т.е. при нагревании плотность падает прямо пропорционально $1/T$;

   • при постоянном объёме плотность не меняется (объём фиксирован), а растёт давление.

Исключения и оговорки

• Аномалия воды: от $0^\circ$C до $4^\circ$C вода при нагревании сжимается, её плотность растёт и достигает максимума около $4^\circ$C. Выше $4^\circ$C — обычное поведение: плотность падает с ростом $T$.

• Материалы с отрицательным тепловым расширением (например, некоторые оксиды типа ZrW$_2$O$_8$, композиты, металлоорганические каркасы): при нагревании могут уменьшать объём, и тогда плотность растёт.

• Механические ограничения: если тело зажато и объём не может увеличиться, нагрев повышает внутренние напряжения/давление; плотность при этом может практически не измениться (объём фиксирован).

Небольшой численный пример (твёрдое тело)
Алюминий: $\alpha \approx 23\times10^{-6}\,{\rm K^{-1}}$ ⇒ $\beta \approx 69\times10^{-6}\,{\rm K^{-1}}$.
При нагреве на $\Delta T=100\,{\rm K}$ объём увеличится примерно на $0{,}69\%$, а плотность уменьшится примерно на те же $0{,}69\%$.

Итог: «при нагревании плотность уменьшается» — верно в большинстве случаев, но не всегда; важно, при каком давлении/объёмном режиме происходит нагрев и нет ли у вещества аномалий расширения.