Como reconstruir confiança com o namorado?

Eu conheço meu namorado desde agosto, na época que estavamos nos conhecendo ele sempre dizia que relacionamento não dá certo, que ele tinha aversão a mulheres e que o que a gente tinha não era nada e eu estava livre. Embora ele falassse isso, a gente sempre se via e viajou juntos... e eu sempre perguntava e ele falava que não tinhamos nada. Na minha cabeça ele tinha outras pessoas, nisso eu acabei ficando com um garoto na festa e contei para ele pois me arrependi e gostava muito dele. Não sabia nada da identidade do menino, e descobri que ele o conhecia. Disse que passei doença do beijo porque o cara beijava todo mundo e falou várias características do cara como se fosse ruim. Depois disso continuamos juntos pois não conseguimos ficar longe, continuamos viajando ate que começamos namorar. Ele encara como se eu tivesse traido ele sendo que não tinhamos nada , e sempre julgou minha índole e tinha momentos que me tratava mal ao lembra disso. O último acontecimento foi quando ele lembrou disso, e falou que se sente traindo ele mesmo por gostar de mim depois do que eu fiz e que trai os valores dele . Recentemente descobriu que os amigos virou amigo do cara que eu tinha ficado, ele se afastou dos melhores amigos. Ate então a gente continou se vendo , fui na casa da sogra , saimos e ele estranho. Depois de 3 dias ele fala que quer terminar. Nesses 3 dias descobri que ele tava falando com a ex ficante , me mostrou uma parte deles conversando normal e como se tivesse algo, ele falou que a gente ja ia terminar e que nosso relacionamento tava horrível e que eu trai ele. Ela pediu para se verem quando terminasse e ele concordou...mas depois bloqueou e assumiu que fez isso para se sentir validado ou dar na mesma moeda. O que me dói é que é a mesma menina que eu implicava e tinha me seguido e sabia que eu tava com ele, a mesma menina que ele teve relação no dia seguinte quando a gente terminou por causa do menino que eu fiquei. A gente se gosta mas agora ambos tem desconfiança e insegurança... não sei o que fazer.