왕세손 시절부터 암살위험에 시달리고 어릴적 사도세자 일도있고 (영조와 사도세자 사이 멀어진원인중 하나에는 내시나 궁녀들 이간질도 역할을 했다고 생각했음)내시나 궁녀들을 그닥 믿지않았다고함 

그러니 후궁들여도 멀리하고 궁녀들은 가까이 하지도 않음 

결국 세자도 간택후궁에게서 보고 문효세자도 궁녀출신 후궁은 본인외가 청지기 딸인 의빈성씨 소생이었음