在前面，我们已经论述过母亲和父亲家庭，以及家庭与古代性道德观的关系。现在，我们要继续探讨家庭问题，因为家庭是限制性自由的惟一合理依据。
人们普遍认为，性和罪是有联系的，建立这种联系虽然不是古代基督教徒的发明，但确实是他们在推波助澜，已经成为我们大多数人自动的道德判断力中的一部分。我不想耗费精力去讨论神学上的观念，由于按照这种观念，性中间存在着某些罪恶的东西，而这些东西只能通过那种以生孩子为目的的婚姻结合才能得以消除。我们现在所要讨论的问题是，孩子们的利益要求父母性关系巩固到何种程度？这就是说，我们必须把家庭看成是稳定的婚姻的理由是什么？这绝不是一个简单的问题。
显然，一个孩子作为家庭中的一员所得到的利益依赖于以下的代替法：我们应当拥有一批极好的育婴堂，这些育婴堂应能胜过绝大多数家庭。我们还要注意父亲在家庭生活中是否起主导作用，因为女性的道德被当作对家庭至关重要全是由于父亲的缘故。我们必须研究家庭对孩子个人心理的影响——这是弗洛伊德曾讨论过的问题。我们必须注意到，经济制度在提高或减少父亲的主导地位方面所具有的影响。我们必须扪心自问，我们是否应当希望国家取代父亲，甚至像柏拉图所说的那样，取代父亲和母亲。即使我们都认为在正常情况下父母能为孩子提供最好的环境，我们还必须注意其他许多情况。因为有时某一方不能承担父母的职责，或者双方都不适合抚养孩子，为了孩子的利益着想，还是与父母分开为好。
在那些根据神学而反对性自由的人中间，流行着一种反对的论调，因为在他们看来，离婚是不利于孩子的。不过，这种论调并不地道，因为既然主张这种论调的人是有神学思想的，所以他们不但不能容忍离婚，也不能容忍避孕，即使父母一方有性病，而且孩子们也许会因遗传而染上性病，也不能容忍离婚或避孕。这种情形告诉我们，如果仅仅为了孩子的利益而反对离婚，那么只能是残酷的借口而已。总之，有关婚姻和孩子利益的关系问题，需要公正地去探讨。同时也要认识到，有关这一问题的答案绝不是唾手可得的。因此，对于这个问题，我还是概括地说几句为好。
家庭乃是最早的一种制度。至于家庭存在的理由，在生理方面看来，是因为在母亲怀孕和哺乳期间父亲的帮助是孩子得以生存的必备条件。但是，正如我们从特罗布里恩德岛的岛民们那里所看到的，而且从类人猿的情况中也可以得出同样的证实，这种帮助，在原始的社会中，并不是父亲存在的理由，这是和文明社会所不同的一点。原始社会中的父亲不知道孩子和他有生理上的联系，以为孩子只是他所钟爱的女人的后代。这是他所知道的事实，因为他曾亲眼目睹孩子的降生，正是这一事实使他有了与孩子之间的本能的联系。在这个阶段，男人在维护妻子的贞操时，并不在意生理上的重要性，虽然当他发现妻子另有新欢时，也会产生本能的妒忌。并且在这一阶段，他并不把孩子当成自己的财产。孩子是妻子及其兄弟的财产，他与孩子只是感情上的关系。
人类随着智力的发展，迟早会吃伊甸园中那智慧之树上的果子。男人逐步意识到孩子是他播种的结果，因此，他必须保证妻子的贞操。于是，妻子和孩子都成了他的私有财产，而且在经济发展的某个阶段中，他们也许是极有价值的财产。他通过宗教使妻子和孩子对他产生责任感。对于孩子，这种责任感尤其重要，因为他虽然比年幼的孩子健壮，但他终究是要衰老的，而孩子们则将进入生命旺盛的成年期。到那时，孩子们应当孝敬他，这对于他老年的幸福是极其重要的。关于这个问题的那句圣训是骗人的鬼话，因为它说：“孝敬你的父母，使你的日子在上帝所赐你的土地上，得以长久。”它应当这样说：“孝敬你的父母，让他们在这块土地上生活得长久些。”我们并不会对一种我们无法想像的自己会犯的罪行（如吃人肉）感到恐怖，因此，我们也不会受到古代文化中杀父弑母的恐怖的影响。
古代畜牧业和农业社会的经济发展，使家庭进入了鼎盛时期。当时，大多数人的经济能力都不可能得到奴隶，因此，获得劳动者的最便利的途径就是繁殖劳动者。为了使孩子们确信为他们的父亲干活是天经地义的，他们不得不借用宗教和道德的全部力量，使家庭成为一种神圣的组织。以后，长子继承权逐渐地使家庭单位扩展为若干附属的小家庭。进而提高了家长的权力。君主和贵族主要就是依据于这一思想，甚至连神祗也不例外，因为宙斯是神和人的父亲。
这样，文化的发展增强了家庭的凝聚力。然而，从那时起，也出现了一种相反的现象，在西方世界，家庭已经变得模糊不清了。家庭制度衰落的原因，一部分是经济的，另一部分是文化的。充分发展的家庭，无论对于城市居民还是对于以航海业为生的人，都是很不适合的。在以往的各个时代，贸易历来是文化发展的主要因素，因为贸易可以使人们与其他民族的风俗习惯发生联系，并能使人们消除种族偏见。因此，可以看到，在以航海业为生的希腊人中，比在他们同时代的人们当中家庭的约束要少得多。另外，我们还可以在威尼斯、荷兰和伊丽莎白女王时代的英国，看到航海对于摆脱家庭束缚的影响。
当然，这些大都是题外话。惟一有关的是，当家庭某一成员长期外出，而其他成员留守家中时，无疑他摆脱了家庭的束缚，而家庭的凝聚力也就相应地减弱了。农村人口涌入城市（这是文化增长时期的特点），也会产生和海上贸易相同的结果，即削弱了家庭的凝聚力。另一种是奴隶制的影响，在下层社会中，这种影响也许更为重要。主人很少重视他的奴隶的家庭关系，他可以按照自己的意愿把男女奴隶配为夫妻，同时，他也可以和任何他喜爱的女佣进行性交。当然，这些影响不会削弱贵族家庭的凝聚力，因为贵族家庭的建立是依据对于门第的欲望，以及古代所特有的城市生活中家庭之争的胜利——这很像中世纪下半叶和文艺复兴时代意大利的城市生活。然而，在罗马帝国最初时期，由于最终获胜的基督教起初是一种奴隶和无产阶级的宗教，导致贵族制度曾失去过它的地位。以前，家庭在社会各阶级中的力量之所以减弱，无疑是因为古代基督教反对家庭，而且规定了一种把家庭放在次要位置上的道德标准的缘故。其位置之低，是以前的道德标准中所没有的，除佛教的道德标准外。在基督教的道德标准中，重要的不是人与人的关系，而是灵魂和上帝的关系。
然而。佛教的情况却提醒我们，不能过于强调宗教的纯粹经济上的原因。我并不十分清楚，当佛教传播的时候，印度是什么样的一种情况。对于佛教所注重个人的灵魂是不是由于经济的原因，同时我也十分怀疑，当时是否存在着这种原因。其实，当初佛教盛行于印度的时候，本来是一种掌权者的宗教，所以有关家庭的思想按理应当对他们比对任何其他阶级更为有利。不过，后来人们开始普遍轻视现实世界而寻求灵魂拯救，结果，在佛教的道德标准中，家庭处于一种极为被忽视的地位。除了穆罕默德之外，所有伟大的宗教领袖（如果孔教可以称为宗教，孔子也在其列）一般都对社会和政治十分淡漠，因为他们的目的在于通过反省、训诫和自我否定，使灵魂达到尽善尽美的净化。
有史以来所产生的那些宗教与有史以前的宗教相反，它们都是以个人为中心的，而且都认为，一个人可以在孤独的生活中履行他的一切责任。当然，这些宗教同时也认为，如果一个人有社会关系，他必须履行那些与社会关系有关，并且为人们所承认的责任。但是，它们一般都不把社会关系的构成视为责任之内的事情。这一点基督教表现得尤为显著，因为基督教对于家庭历来持反对态度。我们在《圣经》中可以看到这样的训诫：“爱父母胜过爱我者，不配做我的门徒。”这句话的意思是，一个人应当做他认为是正确的事情，即使他的父母认为是错误的——这种观念是古罗马人和保守的中国人所无法接受的。
基督教中，这种个人主义的色彩逐渐削弱了一切社会关系，尤其是在那些最热心的人中间。在天主教中这种影响比在新教中要小，因为在天主教中，包含在我们应当服从上帝而不是服从人这样一个原则中，其中的混乱成分最为显著。服从上帝实际上意味着服从良心，但人们的良心是千差万别的。因此，当良心与法律之间发生冲突时，真正的基督徒将会感到，应该尊重服从自己良心的人，而不是法律的命令。在古代文化中，父亲就是上帝，而在基督教中，上帝则是神父，于是，父亲的权威被削弱了。
现代家庭制度的衰落无疑主要是由于工业革命的影响，但是这种衰落早在工业革命之前就已经开始了。家庭制度衰落起源于个人主义的理论。现在，青年人都坚持按照自己的意愿，而不是依从父母之命选择情侣。已婚的儿子住在父母家中的习惯已经不复存在了。儿子从学校一毕业就得出外谋生，这已成为一种习惯。过去，只要儿童可以在工厂做工，他们就会成为父母的财源之一，直到他们死于过度劳累。但是《工厂法令》已经取消了这种剥削形式，虽然那些以此为生的人对此表示抗议。从此，孩子从谋生工具变为经济负担。在这个阶段，人们懂得了运用避孕法，于是，人口出生率开始下降了。人们普遍认为，不论在哪个时代，人类都是根据他们的经济状况而生育孩子的。无论如何，这种情况适用于澳大利亚的土著居民、兰开夏的纺织业工人和英国的贵族。我不敢断言这种观念可以用理论来确定，但它的确与事实相差不远。