オズモール　女性・OLのための情報サイト

同じ職場の上司と付き合っています。
優しくて居心地が良くて、一緒にいると幸せです。
家族も私に彼ができたことを喜んでくれました。
が実際彼を見たら猛反対されました
気持ち悪い、生理的に無理、清潔感がない…等々
わたしも見た目はタイプではなかったのですがそれを性格でカバー出来ていると思っています。今までの恋愛で外見ばかり重視していたところがあるので性格が酷く辛い別れを経験しました。性格でこんなに好きになったのは初めてです。
外見の好みは人それぞれですよね？
他の人が生理的に無理でも私にはそんな事ないんですだから一緒にいれます。でも言ってもわかってもらえません。あれが親戚になるなら縁を切る。さっさと家を出てけなどと言われました。なので別れを告げました。好きだと思ってたけど違ったごめんなさい。と。彼はもちろんいきなりそんなことを言われ納得がいかないようです。
自分から別れを出しましたが辛くてしょうがないです。一緒にいたかったけど私といるせいで彼は何もしてないのに外見から中身まですべて否定され申し訳ないです。だから離れた方が彼のためなのかな？とも思います。しかも家族は彼に会ったら上記のような内容を直接言ってしまいます。でも本心は一緒にいたいです。離れたくないです。
どうすればいいのでしょうか。