Сколько тебе лет? У тебя есть возможность съехать куда нибудь, к матери например или к другим родственникам?
Видимо он не хочет чтобы ты присутствовал рядом с ним и с твоей сестрой. С одной стороны это правильно, так как семейные пары обычно живут отдельно от посторонних людей для личного пространства.
А вообще лучше сесть и поговорить с ним серьёзно с глазу на глаз. И если он не дурак, то думаю обговорите все вопросы и придёте к единому мнению.