В моем случае был косяк, что SingleChildScrollView обернут в виджет Column, у которого у поперечной оси стоит центровка