На какое правило слова "чудище", "щупальце"?

Слова «чудище» и «щупальце» относятся к правилу о правописании гласных и, у, а после шипящих.

В русском языке есть шипящие согласные: ж, ш, ч, щ. После них не все гласные пишутся так, как слышатся. Для этих слов важно правило:

После ч и щ пишутся буквы и, у, а, а не ы, ю, я.

Поэтому:

чудище — пишется чу, потому что после ч пишется у, а не ю.
Не «чюдище», а чудище.

щупальце — пишется щу, потому что после щ пишется у, а не ю.
Не «щюпальце», а щупальце.

Это то же правило, что и в словах: чудо, чулок, щука, щуриться.

Дополнительно в слове чудище есть сочетание щи: после щ пишется и, а не ы. Поэтому пишем чудище, а не «чудищэ» или «чудышэ».

Итак, оба слова проверяются правилом: ча–ща пиши с а, чу–щу пиши с у, жи–ши пиши с и.