Пишу ответ для тех, кто прийдёт на этот вопрос через поиск. Моя реализация выглядит одной небольшой проверкой на количество символов в e.key. Только символьные кнопки и пробел называются в этом ключе одним символом, остальные по типу Escape, Enter и т.д. имеют больше символов в наименовании. Поэтому:

if(e.key.length==1){
}