Без букваря и грамматики не учатся и математики. Слова с выделенным окончанием проверить словами-помощниками.

В этом предложении проверяем окончания у трёх существительных: букваря, грамматики, математики. Пользуемся «словами-помощниками» для падежей:

1. без букваря
   Слово-помощник: нет (родительный падеж).
   Проверка: нет (чего?) букваря. Предлог без требует родительного падежа, у существительного м.р. 2-го склонения на мягкий знак в Р.п. ед.ч. окончание -я.

2. без грамматики
   Слово-помощник: нет (родительный падеж).
   Проверка: нет (чего?) грамматики. Также Р.п. ед.ч., но у 1-го склонения после согласной к пишется -и (правило: после г, к, х, ж, ч, ш, щ — пишем и, не ы).

3. не учатся и математики
   Здесь математики — подлежащее, форма И.п. мн.ч. («даже математики не учатся»).
   Слова-помощники: это/эти (для именительного), а также вопрос кто?
   Проверка: кто не учится? — математик-и; можно подставить: эти математики. Если был бы родительный мн.ч., стояло бы математиков, но по смыслу тут именно именительный мн.ч.

Итог:

• букваря — проверка: нет букваря (Р.п. ед.ч.)

• грамматики — проверка: нет грамматики (Р.п. ед.ч., после «к» — и)

• математики — проверка: кто? — (эти) математики (И.п. мн.ч.)