Poly... al contrario... al dejar de tomar lácteos, al menos en mi caso, yo me sentí mucho mejor, mi digestión mejoró, no me daba cuenta cuán pesada era la leche y demás lácteos. Y eso que tomaba deslactosada!!.
El tema es ver también porqué estás reemplazando la leche, si tomas leche de avena, soja o etc, debes tratar de hacerlo moderado, para que tu cuerpo se acostumbre. Aunque en general no hay mayores problemas, pero por las dudas.