黄永玉这个“浪荡汉子”生于书香门第。黄家祖屋叫“古椿书屋”，是凤凰有名的私塾馆。当地文庙建起后，黄家还兼守文庙。
黄永玉的爷爷常年在外做事，曾帮熊希龄经营香山慈幼院。爷爷很有威望，偶尔回家一趟，吃饭时儿子们都在旁伺候，即使挨骂也要仪态恭敬。家里有这样一位老人，儿孙从不敢轻浮，都懂得掂量自己。黄永玉说：“爷爷的严峻像明矾，让一屋人的头脑都清澈起来。”
爷爷难得回家一趟，请人吃饭时却不请熟人。爷爷只想跟那些不相干的、有意思的人喝喝酒、看看花，说：“人情中间，不留痕迹最好。”
黄永玉后来成了爷爷的“忘年交”，发现爷爷其实很有趣。关于读书，爷爷给他的教育与学校的不一样：“学堂里那些书读下去是有用的，像砌墙脚，但砌墙脚不等于盖房子，盖房子要靠以后不停地读课外书。然而有些读书人蠢，一辈子都在砌墙脚。”爷爷劝他多交朋友、多长学问，学堂考试过得去就行，不必争做第一。爷爷还准许他随便翻自己的书柜，说：“多懂些稀奇古怪的知识还是占便宜的，起码是个快活人。”
爷爷不在时，家里的气氛最宽松。太婆心怀宽广、通达人情，常安抚在爷爷面前战战兢兢的孙辈。她很爱读书，鼓励儿孙精进学业，曾说：“我家不买田，买田造孽！一块砚田足够了。”女佣不慎打破了家里的鱼缸，太婆一句责备的话也没有，只说：“以后走路慢些，小心伤到自己。”其实那个鱼缸是太婆的陪嫁之物，用了几十年，她很是珍惜。
黄永玉的父亲少时随其父在外漂泊，走南闯北，见了很多世面，又得风气之先受过西式教育。他后来回乡做音乐老师，任文昌阁小学校长。黄永玉的母亲是先进女性，在凤凰担任新创办的女子小学的校长。黄父与黄母经自由恋爱结婚，之前家里为黄父定的亲事就吹了。那女子转嫁他人，后来成了拖儿带女的寡妇，黄父与黄母心地宽厚，时常帮衬她。
黄父温和开通，很有修养，做每件事都会拿出艺术家的派头。他从不打骂孩子，认为真正的教育是浸润。黄永玉少时曾逃学八天，回家路上心惊胆战，准备一有动静转身就跑。结果父亲只是站在门口，微笑着向他轻轻招手。
黄母则个性鲜明，亲自带领学生上街游行，自己抹个花脸扮成“帝国主义”。事后脸上花花绿绿洗不干净，她大大方方地说：“这有什么好笑的？戴上面紗就好。跟学生讲清楚，也算对她们的教育！”
除了读书，黄父还让黄永玉拜师学拳，说：“打拳既能强身也能练精气神，好做个正派人。”后来家里经济条件差了，如果碰上有人租院子教拳，黄父提出的条件是：“不要租金，但要让我的儿子跟着学。”黄母也有侠气。街上来了一对逃荒的母女，黄母先把她们带回家里吃饱饭，然后去找县长。结果县长不管，黄母就让她们在家里做些杂事。在黄母的言传身教下，黄永玉对广大女性尊重并同情，还为那些被封建礼教束缚的女性发声：“那些贤惠，都该叫苦！”
后来时局动荡，黄家败落，产业被一场火烧得干干净净。爷爷过世了，家里七八口人等着吃饭，朋友劝黄父出去做事。黄父放心不下家里，有些犹豫，黄母爽快地说：“太平年月倒无所谓，如今这光景实在不能粘在一起，你要端出男子汉的派头来！”于是黄父远走他乡。
黄母却被学校辞退了，因为领导觉得她家事太多，无法兼顾工作。一家人吃穿都要等黄父每月托人带钱回来，但后来那些钱竟被人吞了，黄永玉只好带着弟弟坐到那人的家门口讨账。别人嘲笑他们穿得破烂，黄永玉心里委屈，黄母说：“你要有头脑，想到自己是读书人，再穷再苦也就不在乎了。”
无论过得多难，黄母总是乐呵呵地说：“娘这前半辈子没吃过苦，如今带着你们‘步步顶上’，也算是件有意思的事。”
黄永玉所受的家教还有：不说空话，吃饭时不出声音，不拿别人的闪失开玩笑……这些对于日常小事的要求就像佛教里的“戒行”，看似简单却自有厉害之处，能让人在苦难岁月里坚守心性。所以黄永玉的奇崛个性里多了几分正气，使“奇崛”不只是一种表演性的姿态，而是一种底色踏实的真性情。
