Quando você for salvar o modelo coloque o .keras ao invés do .h5.

No seu caso:

model.save('model.h5')

loaded_model = keras.saving.load_model('model.h5')

Modifique para:

model.save('model.keras')

loaded_model = keras.saving.load_model('model.keras')