1969年，当巴菲特结束他的合伙公司时，他把2500万美元的财产全部投资到一家叫做伯克希尔·哈撒韦的纺织公司，这是一家他不太熟悉、并且有些靠不住的公司。
伯克希尔·哈撒韦纺织公司对巴菲特的一生来说是个奇迹，当时的杂志评价说，巴菲特刚从苏联回来，他是稀奇古怪的伯克希尔·哈撒韦公司的投资者。每个人都认为这家公司生产的是衬衫，但实际上它是一个生产钱的公司。
1962年，巴菲特第一次以每股7美元的价格开始为巴菲特合伙公司购买伯克希尔公司的股票。几年之后，当时任伯克希尔公司总裁的西伯里·斯坦顿向巴菲特许诺说，他将剩余的伯克希尔·哈撒韦公司的股票的投标价格定为每股17.5美元。但是，三个星期以后，股票的投标价格只有17.125美元。这一次巴菲特式的买卖没有做成。西伯里·斯坦顿的言而无信，让巴菲特很生气，他从哈撒韦公司董事会主席马尔科姆·蔡斯手里把伯克希尔公司的股票全部买进。至1965年，巴菲特所拥有的股份就足够让他获取伯克希尔·哈撒韦公司的控制权了。
伯克希尔有限公司最初由奥利弗·蔡斯创建，他是马尔科姆·蔡斯的祖先，该公司1806年在罗得岛州的普罗维登斯开业，渐渐发展为纺织业的龙头，使伯克希尔公司的纺棉量曾一度占到整个国家棉花总量的四分之一。第二次世界大战后这家公司更是迅速发展，具有非常雄厚的实力，管理层也都是非常有远见的人物。到1948年的时候，伯克希尔公司的十几家大型工厂遍布新英格兰州，共有雇员1万人。
后来，一场强大的飓风毁坏了其中一个工厂，对公司最大的综合建筑也造成了严重的损害。伯克希尔公司不得不和哈撒韦公司合并，合并后公司的名字也改为伯克希尔·哈撒韦公司。马尔科姆·蔡斯成为董事会会员，负责检查罗得岛州和马萨诸塞州西部伯克希尔工厂和新贝德福德市哈撒韦公司的合并情况，他的股东资产净值有5545万美元。
由于纺织生意非常难做，在接下来的9年里，蔡斯的股东资产净值持续下跌至2214万美元。即使这样，伯克希尔·哈撒韦公司仍然是新英格兰州最大的棉花和人造纤维纺织品生产厂家。每年大约有100万个锭子和大约12000台织机在运转，年生产量为2.25亿码。产品主要包括色彩夺目的女性衣料、手绢布、上等细麻布、薄纱、凸花条纹布、各种棉缎、人造纤维织物的衬里、的确良薄纱罗窗帘布和的确良棉混合布。但是到1964年，伯克希尔·哈撒韦公司几乎只剩下一堆瓦砾——2座工厂和大约22万美元的资本净值。
这之后的事情就是巴菲特接管伯克希尔·哈撒韦公司了。那是一个春光明媚的日子，巴菲特和该公司董事会成员马尔科姆·蔡斯一同走进前面的一家小公司，巴菲特买了一些冰淇淋和奶油棒。巴菲特单刀直入地问道：“我想让你当伯克希尔·哈撒韦的总裁，你意下如何？”
蔡斯当时48岁，而这个许诺启动他事业的人却只有34岁。他还没来得及答应下来，巴菲特就补充说他已经掌握了足够的股票，可以在下次董事会上办妥这件事情。他让蔡斯暂时先保持沉默，关于伯克希尔的未来，他说：“想想你都需要些什么，它就是你的孩子了。”巴菲特和蔡斯的谈话前后不到10分钟就结束了，而蔡斯却一直没回过神来。
1965年，在蔡斯和奥蒂斯·斯坦顿的帮助下，巴菲特购买了伯克希尔公司的控制权。公司总裁西伯里·斯坦顿和他的儿子杰克离开了公司。很多传统企业都经历了从生产型企业向投资型公司的转变，随着伯克希尔·哈撒韦公司的股票卖给股票市场的投资者，伯克希尔也走上了这条路。公司的主要产品变成用做投资买卖的资金。在纺织业发展了80年后，纺织业和金融业的分界线不再明显了。
此时生意依旧停留在低迷时期，伯克希尔公司在1964年10月3日的资产负债表显示，它拥有2789万美元的资产，以及股东220万美元的资产净值。伯克希尔公司已发行的股票是1137778股。
巴菲特不断地购进股票，到1965年，他的合伙公司已拥有伯克希尔公司70%的股份。巴菲特在伯克希尔公司的总资产达到了1400万美元。当伯克希尔公司拥有大约1800万美元的市场价值时，巴菲特控制了公司。
1970年，巴菲特当上了公司董事会的主席。但是，20世纪70年代后期，纺织业的一些经济优势已渐渐消失。1980年，公司纺织业务的范围大大削减了，一些纺织厂的业务则被终止。一些设备转移到了新贝德福德的工厂，大部分的设备被卖掉，或是连同房地产所有权一起被卖掉了。事实上，伯克希尔公司的纺织生意由于国外竞争、相对低廉的国外工资和大规模服装生意中所遇到的障碍，终于宣告彻底失败。总而言之，伯克希尔公司没有能够在它的竞争者中脱颖而出。它所生产的产品，在任何一个地方都能很便宜地买到。但是，一只凤凰从灰烬中诞生了。就在那一天，伯克希尔公司股票的股价从每股11美元，上升到了每股2600美元。
伯克希尔公司的股价为什么上涨了呢？巴菲特在1991年的伯克希尔公司的年度会议上解释道，纺织业是专营日用品的一种生意，尽管第二次世界大战中大多数男士的服装，用的是伯克希尔·哈撒韦公司生产的衬里。但是，当外国的商家能够以更低的成本生产这种衬里时，公司对我们就没有多大的意义了。现在，他知道与低成本的生产者合作了。巴菲特说，这是一桩很难做的生意，我从中汲取了很多教训，但是，我希望能从别的什么地方得到这些教训。
巴菲特虽然近乎白手起家，事情却进展得十分顺利，生意也越做越大。通过计算，巴菲特得出这样一个结论，在奥马哈地区，伯克希尔公司股票足以让52个人成为亿万富翁。从那时起，伯克希尔公司的股票一路上升。
其他的股东运气也不错，例如保罗·拉普兰德故去的父亲曾为该公司做过一些法律方面的工作，工厂付给他的是欠条。这些以前一文不值的欠条在巴菲特接管伯克希尔公司后变成了66股股票，此人一下发了财。
尽管纺织生意的总部设在新贝德福德，在洛杉矶的西海岸和纽约市的办事处并没有维持多长时间，伯克希尔·哈撒韦这个名字也一样。也许公司原来的名字应是伯克希尔·哈撒韦商业组织，至少在商业组织破产之前应该是这样的。巴菲特于1962年购买了第一批伯克希尔·哈撒韦公司的股票。他第一个以7.5美元的价格购进2000股股票的命令是由特韦迪·布朗公司执行的。伯克希尔公司的副主席查尔斯·芒格，把以严格遵守价值投资方法而闻名的特韦迪·布朗公司描述成年轻时贫穷的巴菲特“经常居住”的地方。
伯克希尔公司的1528217股股票中，巴菲特一个人就拥有477166股，占据31.1%，是最大的所有权者。巴菲特的妻子苏珊拥有34476股股票，占据2.3%，她具有和巴菲特相同的投资能力。另外大多数高级政府官员都拥有伯克希尔公司很大一部分资本净值。大约有15%的股票被各种公共机构所持有。例如：瑞恩卡尼福公司、资金研究和管理公司、诚信管理及研究公司、戴维斯有限顾问公司、前锋集团、美国化学家联合会有限公司、加利福尼亚公众就业组织、迈克森金融公司、橡树价值资金管理公司、资金监护信用公司、富兰克林相互顾问有限公司，这些公共机构拥有的股票从3000股到12000多股不等。公司其余的股票则被大约30万人持有，这些人不经常参与股票的买卖。在纽约股票交易市场，伯克希尔公司的股票比任何一种股票的流通量都少。
考虑到公司多年的家族经营氛围，伯克希尔公司大约80%的股票是股东以每股100美元或低于100美元的价格买进的。在巴菲特的家乡奥马哈就有125位股东。伯克希尔公司的股东分布在美国、英国、德国、印度和加拿大等国。一些人认为持有伯克希尔公司的股票是一种荣耀。曼哈顿第一投资公司的主管桑迪·库蒂斯曼和奥马哈的威廉·盎格鲁博士，他们一生都是伯克希尔公司的主要股东。
伯克希尔的股票价格非常高，不是一般人能够购买的。一股伯克希尔股票（A股）买不起一栋房子，但它足以支付一栋房子的定金。也许，它也足以承担一座城堡的定金。有一个故事说，一位妇女告诉她的经纪人说她自己的银行户头上有2500美元，她想用来购买一股伯克希尔股票。她的经纪人回答道：“亲爱的夫人，你还得在存款账户上加一个零才行！”
另外一个故事说，在一次宴会上，一位股票经纪人向伯克希尔公司的股东打听伯克希尔的股票价格。这位股东回答说：“33。”那位经纪人听罢便转头对妻子说：“他的意思是每股3300美元。”实际上，这还要再加一个零才行。
伯克希尔公司最异乎寻常的事件之一要数其5位数的股票价格了。10股伯克希尔股票可以购买15辆宝马车，就连那种价格是伯克希尔A股价格1/30的B股，也可以买得起一架旧飞机。
布拉格女士服装连锁店奥马哈分店的负责人埃德·康尼恩从来不买伯克希尔的股票，总觉得它太贵了。他关注过这支股票，当时，它的股价超过了每股1000美元。