Почему пишем слово разбавить с буквой з?

Коротко — потому что есть правило написания приставки раз-/рас-: пишется «з» перед звонкой согласной или перед гласной, а «с» — перед глухой согласной.

Подробно — приставка исторически звучит как roz-; в современном правописании её форма зависит от следующего звука: если корень начинается на звонкий согласный (б, в, г, д, ж, з, л, м, н, р и т. п.) или на гласную — в письме ставят з (разбирать, разложить, разводить, раздать, разобрать); если корень начинается на глухой согласный (п, ф, к, т, с, ш, х, ц и т. п.) — ставят с (расписать, рассыпать, растопить, раскол).

В слове разбавить после приставки идёт звук б — звонкий, поэтому принято писать раз- → разбавить. При этом в речи слышите именно звонкую «з» [з], потому что соседний звук тоже звонкий — то есть правописание и произношение согласуются по этому правилу.