Devo voltar? O que fazer quando se tem uma família tóxica?

Ola, tive um relacionamento de 1 ano e 8 meses, não era uma maravilha, a gente discutia, ele bebia demais, matava dia de serviço, enfim. Desse relacionamento nasceu meu filho. Tentamos morar juntos mas so durou 3 meses, separamos, eu voltei a morar com a minha vó, so que a minha familia é um pouco toxica, querem cuidar da minha vida, jogam na cara ate o arroz e feijao que eu como, estou procurando serviço mas nao é fácil, ainda mais quando se tem um bebê. Nesse tempo a gente teve recaidas e agora estamos ficando direto, ele quer que eu va morar com ele, mas quero conquistar um lugar so pra mim e meu filho pra nao acontecer como da ultima vez. Minha família descobriu que estamos ficando e estão fazendo fofoca, inventando coisas e uns ate viraram a cara pra mim. Nao sei o que fazer...apesar dele pisar na bola comigo as vezes, gosto muito dele,foi meu primeiro namorado, primeiro tudo...agora não sei o que fazer...