Попробуй изменить параметры near и far матрицы matrixProjection, это явление часто связано с недостаточной точностью расчетов в шейдере.