第三者

林律师你好
       我和丈夫结婚已经有20年，孩子今年18岁了，孩子还小的时候生活非常艰苦我们的感情还尚好，但是近五六年来收入逐渐增多，他也有了自己的事业，他经常打麻将晚上不回家，我们之间也出现了第三者，是她的一位女秘书，他给她买了房子，还把她的家里人都接到青岛，其实我知道此事已经有好几年了，但是我无能为力，我抓不住任何把柄。我一气之下也找了一个情人，并且故意在他出差领回家，有一次正巧被他碰到。。。所以每次我们吵架他都能够理直气壮骂我，而我却没有证据去指责他，我想跟她离婚，他现在还不肯，我怎样才能更好的来维护我自己的利益？我该怎么办？