Como faço pra parar de me comparar com pessoas do passado do meu namorado?

Antes que começar a namorar com o meu namorado, estávamos ficando sério mas por medos e inseguranças da minha parte decidi terminar, nesse meio tempo ele começou a ficar com uma menina, que eu já tinha mostrado me incomodar, mas eles não faziam questão de esconder de mim, pelo contrário, ficavam na minha frente, nos lugares que eu ficava com ele, foi um dos momentos mais difíceis da minha vida, mas que infelizmente fui eu que dei o ponta pé por ter terminado do nada… um mês depois sentamos e conversarmos, voltamos a ficar (“terminou com ela”) e depois de um mês começamos a namorar.
Nosso relacionamento é muito bom, ele realmente se mostra querer estar do meu lado e me amar, e faz de tudo por mim, mas ao mesmo tempo que estou muito feliz, tenho muita insegurança com essa menina, sempre fico com aquela “voz” falando na minha cabeça que a qualquer momento ele vai me trair/trocar por ela ou que no fundo ele ainda sente alguma coisa por ela (seja atração física ou emocional)… sinto que isso não só me afeta muito como afeta o meu relacionamento, mas não sei como lidar…