Изба и избушка — это однокоренные слова?

Да. «Изба» и «избушка» — однокоренные слова.

• Разбор по составу.
  изба → корень изб-, окончание -а.
  избушка → корень изб-, суффикс -ушк- (уменьш.-ласк.), окончание -а. Слово избушка образовано от изба с помощью уменьшительного суффикса и значит «маленькая изба, домик».

• Смысловая связь.
  Значение избушки полностью мотивировано значением избы: это тот же тип жилища, только меньшего размера (в сказках — домик Бабы-Яги и т. п.).

• Коротко об этимологии.
  Изба восходит к древнерусскому истьба/истъба «тёплая комната, баня» (ср. истопить), где согласный т со временем выпал. В современном словообразовании в обоих словах выделяется один и тот же корень изб-.

Итог: это однокоренные слова, при этом избушка — уменьшительная производная от изба.