丈夫趙元任懼內，楊步偉說過：「夫婦倆爭辯起來，要是兩人理由不相上下的時候，那總是我贏！」趙元任從來不跟自身爭高低，幽默的答道：「與其說怕，不如說愛；愛有多深，怕有多深。」
楊步偉在花甲之年寫了部英文自傳，自傳裡面談到平時在家裡誰說了算？她說:「我在小家庭裡有權，可是大事情還是讓我丈夫決定。」但補充一句：「不過大事情很少就是了。」跟隨他倆生活多年的侄兒說：「有時他倆多少也有一點爭論，因為姑母嗓子大，性情也急些，姑父也就順從不爭了」。