Рыжой белке или рыжей белке

Правильный вариант — "рыжей белке".

В русском языке прилагательное "рыжий" в родительном, дательном, творительном и предложном падежах изменяется по модели "рыжий - рыжая - рыжее". В предложном падеже, как и в других падежах, для существительного женского рода (в данном случае "белка") применяется форма "рыжей".

Так что в контексте фразы "о рыжей белке" или "с рыжей белкой" нужно использовать именно форму "рыжей".