Как правильно безымённый или безымянный и почему

Правильно: безымя́нный (с буквой я): безымянный палец, безымянная высота, безымянный ручей.

Почему так

Слово образовано от существительного и́мя:
имя → имян- → без-имян-ный.

В русском языке есть типичная модель словообразования: если прилагательное образуется от существительных на -мя (имя, время, знамя, пламя, семя, бремя, темя, стремя), то в основе прилагательного появляется -енн- / -янн- (в зависимости от слова), и в случае с имя получается именно имянн-:

• имя → именной, безымянный

• для сравнения: время → временный, знамя → знаменный, пламя → пламенный

Форма безымённый ошибочна, потому что она подменяет исходную основу (имя) на основу, которой в этом слове нет. В слове безымянный нет суффикса или корня, которые давали бы звук ё: здесь сохраняется связка с имя → имян-.

Как запомнить

Проверочное слово не по ударению, а по происхождению: имя → без-имя → безымянный (буква я “из имени”).