黄佐（1490—1566），字才伯，别号希斋、太霞子，晚年自号泰泉居士。黄佐的祖籍是广东香山（今中山市）仁厚坊，其实他的先辈是江西筠州（今高安县）人。一世祖名黄汉卿，二世阙名。三世名文敬，文敬的儿子重载。重载是一名迪功郎，他的儿子叫黄雍，是一个正六品的朝奉郎、楚州（今江苏淮安）监税。黄雍的儿子叫宪昭，字符昭，在元朝担任西台侍御史，以直言奏谏闻名。元朝是一个由蒙古族统治的政权，为防止社会动乱，政府打算下令严禁汉人和居住在南方的人收藏兵器，谁若违反将被处死。黄宪昭对此有不同的意见，他上奏疏给皇帝说：“天生五材，谁能去兵？如果将人民分成南、北的话，人人防忌，彼此猜疑，其后果不堪设想。”黄宪昭此举本出自维护国家统一和民族团结的一番好意，谁知却惹怒了皇上，元帝立即下令将黄宪昭贬至岭南。黄宪昭心灰意冷，加上舟车劳顿，竟病死在前往广东的路上。黄宪昭的儿子黄从简孤身一人来到广州，最初落脚在西濠（今沿江西路）一带。于是黄从简成了筠州黄氏入粤第一人，包括黄佐在内的黄氏后人都称黄从简为“高祖”。
元朝末年，广东各地民乱不断，时有元将何真（1322—1388）全力维护粤境安定。黄从简是何真手下一名骁将，他在1366年围捕王成、陈仲玉等乱民的战役中有功，升任专做安抚事务的宣慰副使。黄从简有三个儿子，长子早逝。小儿子名黄敏，博学能文，1393年中明洪武朝举人，未及任官职便死了。次子黄教从省城移居叠滘（今属佛山市南海区），他的儿子名叫黄温德（1352—1392），字朝贵。自幼端谨，喜欢读书，足智多谋，获永嘉侯朱亮祖的赞赏，先后出任广州、南海、东莞、香山守御。黄温德年少时，有一术士见他长得隆准阔颐，英俊潇洒，预测其虽然寿命不长，但会子孙兴旺。1392年，四十一岁的黄温德病逝，其身后有四个儿子。1393年，黄温德长子黄洙前往香山替补军役，黄氏家人随之迁往，这也是后来黄佐说他籍贯香山的由来。
香山县自古以来便有崇文尚武风气。黄氏本是军人后裔，明朝对军属读书从政有特殊政策，军户子弟读书求学不但得到鼓励，成绩好的还可以免充军役。黄洙兄弟四人，或经商，或从军，唯一缺的是读书做官的人才。二弟黄泗（1381—1450），字惟清，号源远，晚号七十翁。黄泗以仁明慈爱待人，常做善事。1416年，香山遭遇饥荒，米价上扬。黄泗是当地颇有势力的商人，他的米铺保持平价售米，甚至送粮食给穷人。曾有住在山里的峒民前来以物换米，店里的伙计误算其值，少给了米。黄泗指责道：“多占他人利益，就好像强盗一样。”他立即派人将少给的大米送还。扶助贫苦是黄泗平生一大心愿。1449年，有土匪围攻香山，县城大门紧闭三月，民众痛苦不堪，黄泗让人施送粥水，救活了数百人。他又出钱赎回流离失散的小孩，让他们与父母团聚。从此，黄泗在香山民众心目中颇有威信。黄泗另一个心愿是期望自己的儿子能考取功名，他知道先辈中有叫黄敏者曾经考取举人，于是便把黄氏后裔读书从政的理想寄托在自己的儿子，也就是黄佐的爷爷黄瑜身上。
黄瑜（1426—1497），字廷美。黄瑜自小聪明伶俐。五岁时，他碰巧来到乡里私塾的课室，老师正出一上联“黄楮题朱字”让学生属对，小学生仍在低头思考，不知深浅的黄瑜突然大声回答：“青梅点白盐。”私塾老师十分惊讶，黄泗闻此高兴不已。他送黄瑜入学读书，学习《论语》《孝经》等经典。黄瑜刻苦攻读，过目成诵。黄泗逢人便说：“日后能够考取功名为黄家争光的，必定是我这个儿子！”
1446年，黄瑜来到广州，师从名儒陈政。陈政（1418—1476），字宣之，广东番禺人，陈大震五世孙。1441年，陈政参加广东乡试，考取第一名。1454年成进士，累官至云南按察副使。黄瑜求学时，陈政正在广州守丧，开门讲授《易经》《尚书》《诗经》《礼记》《春秋》等典籍，从学者数千人，黄瑜能在陈政众多学生里脱颖而出，实属不易。后来，黄、陈联姻，黄瑜的儿子黄畿娶陈政次女为妻，陈氏即是黄佐的母亲。尽管黄瑜参加科举考试占籍香山，但他已住在广州，他在承宣街建一房屋，这就是后来黄佐出生和成长的地方。黄瑜以经学见长，1456年，他参加乡试，中了举人。放榜当日，黄瑜潸然泪下，众人询问原因，黄瑜说：“我之所以这么伤心，是因为父母早逝，他们能够教导我，却看不到我成名的今天。”黄瑜中举后，决定定居广州，他将自己在香山的住宅“友琴堂”让给了兄弟。如果说黄洙是黄氏入籍香山始祖的话，那么黄瑜则是香山黄氏重返广州、以学识闻名岭南的第一人。黄氏家学渊源是从黄瑜开始的。
以后黄瑜先是留在北京太学读书，接连参加会试，却没考中进士，只好留在户部任职。1463年，黄瑜写了一篇数千字的奏疏，从六个方面提倡儒学传统和加强道德教育，主张正身则天下太平，正家则天下安定，正礼则天下开化，正乐则天下和谐，正税赋则天下富裕，正军伍则天下安宁，世称《六事疏》。因此疏态度直率，语气强硬，非但得不到采纳，反而惹怒了朝中权贵。黄瑜差点被问罪入狱，后由吏部尚书王翱、户部侍郎薛远等人出来求情才得幸免。
1469年，黄瑜到广东惠州长乐县任知县。甫至县衙，黄瑜对大家说：“广州与惠州是邻郡，我也算是一个本地人。”在长乐，黄瑜崇礼兴学，推行教化，捐资建设学校，为县学生传授经史典籍，不久果有两名学生考中了举人。黄瑜修葺县郡，重建养济院，惠政于民，老百姓十分拥戴他。有兄弟因争执前来告状，黄瑜开导劝解，当事人备受教育，流泪退让而去。一个叫卢公林的大盗被擒获，黄瑜对他说：“你愿意痛改前非吗？”卢不答应。黄瑜命令部下给予缴械释放。有人劝告说：“这可是一个做了几十年坏事的大盗，若放虎归山，为害无穷。”黄瑜笑答：“据我观察，此人良心已经开窍了，放他不妨。”卢某被释后，果然洗心革面，下田种植，自食其力。黄瑜在长乐当了十五年知县，退休那天，当地人依依不舍，卢公林父子亲自用轿子抬黄瑜翻山越岭，为他送行。长乐老百姓在县城学前直街为黄瑜建立祠堂，奉为名宦，供人参拜。后人也因此称黄瑜为“长乐公”。
黄瑜回到广州，在自家门口种植两棵槐树，旁建一亭，名“双槐亭”，在这里吟咏诗歌，自号“双槐老人”。黄瑜说：“日后我的子孙若能再种一棵槐树的话，我的愿望就达到了。”黄瑜此意源自北宋兵部侍郎王祜曾在庭院里种过三棵槐树，后人称之为“王氏三槐”、“三槐世泽”。此时的黄瑜经过官场沉浮，对功名之事看得很淡，他将《朱子语类》《唐音杜诗》等书放在床头，晨起读书，入暮咏诗。黄瑜抱着“不欺心，不欺人，内外如一，充满诚意”的宗旨撰文著述。他从1456年开始搜集传说见闻、历史故事，对文献典籍加以整理，到他七十岁的时候，终于完成了一部《双槐岁抄》初稿，此书花费了他近四十年的心血，大事不厌其烦，小事不嫌其简，对每一事件都严肃对待。《双槐岁抄》共十卷，二百多个条目，文笔生动，情节曲折，对话精彩，工于描写，是我国古代白话小说的雏形。尽管花费了许多时间和精力，治学严谨的黄瑜觉得书中馆阁诸事的《国子试魁》《甲申庶吉士》等篇的材料仍显不足，有待充实，所以《双槐岁抄》在黄瑜生前尚未定稿。后来黄佐在官方文书中找到相关资料加以补充，1543年，《双槐岁抄》才正式出版。此外，黄瑜还有《双槐集》十卷、《书传旁通》十卷、《七诱》一卷、《櫰景流芳》一卷传世。
黄瑜的儿子黄畿（1465—1513），字宗大，初号清虚子，晚号粤洲，人称粤洲先生。童年时的黄畿聪明伶俐，七岁时便长于属对鼓琴，被誉为玉童。十六岁时，黄畿成了一名郡学生员。黄畿通读《诗经》《春秋》，写文章采纳百家。当时主管教育的广东按察司佥事张习十分赏识他，称其文章有汉魏古风。由于黄畿追求的是庄子、屈原的文风，与八股文大相径庭，因此一直未能考取举人。于是黄畿告别科场，侍奉亲老，绝意仕途。黄畿以孝闻名，其父下葬当日，黄畿守于墓旁整夜哭泣。次日山人廖翼与一和尚发现坟墓旁边伏有一虎，黄畿却丝毫不觉，故廖翼作《黄孝子感虎歌》，称颂黄畿的孝道。1485年，黄畿在粤秀山玄览台（今越秀山公园越井冈）筑一草堂，在此隐居通读儒、道、阴阳、法、名、墨、纵横、杂、农等各家著述，重点研习“三才”（天、地、人）、“五行”（水、火、木、金、土）的精髓，考察其中奥妙，自订乐律和历法，写出《皇极管窥》十三篇。黄畿晚年，攻读《易经》《中庸》等书，编撰《易说》一书。北宋人邵雍的《皇极经世书》是一部以易理、易数推究宇宙起源、自然演化和社会变迁的著作，以图书象数之学著称于世。1485年，黄畿在草堂将《道藏》里的《皇极经世书》手抄下来，潜心研究，全面注释，在1504年撰成《皇极经世书传》八卷，其学问深髓，得到后来学者的肯定。清人屈大均说：“粤人著书之精奥者，以畿为最。”《皇极经世书传》一书在黄畿生前未能出版，1554年，黄佐继续将书中一些未完备的注释完成，付梓面世。黄畿的著述还有《删正黄庭经》一卷、《三五玄书》二十五卷和《粤洲集》六卷。
明弘治三年十一月十七日（1490年12月28日），黄瑜的仆人前来告知，他的孙子刚刚出生。此孙子即黄佐。
黄佐自小在爷爷和父亲的教导下成长。黄佐曾回忆说，他家的客厅上挂着周敦颐、程颐、朱熹等六君子的画像，少年时代，他常常听到爷爷与父亲在厅堂上交流治学“四书”、“五经”的心得。爷爷和父亲边朗诵边讨论，父亲遇有不同看法，即向爷爷提出疑问，爷爷便开玩笑地说：“我的观点是程、朱二人亲口传授给我的，你还要怀疑吗？”黄佐正是在这样一个学术书香环境里长大，耳濡目染，开阔了视野。
黄佐喜欢在地上写写画画，三岁时偶然在地上写出一个“天”字，令周围的人惊奇不已。黄佐四岁开始学习《孝经》，五岁跟随父亲“执养亲礼”，即古人讲求的“养义必薄于自奉而厚于事亲”。七岁时，爷爷教黄佐天文之数。黄佐心有灵犀，拿起笔学着大人的样子画起了“河图洛书”，点画之间，多有异趣。黄瑜看了十分高兴，觉得黄佐可以上学读书了。他将黄佐送到附近的一间私塾就学，谁知刚上学没几天，聪明好学的黄佐向老师发问：“我们经常读的《大学》一书，为什么里面只有纲领条目的文字，这样后人如何对它作全面注释并说清楚其来龙去脉呢？”老师面对一脸稚气的黄佐却无法回答他的问题。事后，老师找到黄瑜说：“您孙子的提问我回答不了，请原谅我不能教他这样的学生。”无奈之下，黄瑜只好将黄佐继续留在家中自读其书。