在那里，年幼的可可没有自己的朋友，经常一个人孤独地玩耍。她在奥弗涅的一座墓园找到了一个属于自己的隐秘空间。那是一座古老的乡间小公墓，几处荒冢在杂乱的草丛中若隐若现，平日里少有人至，可可正好自得其乐。
在那里，她没有遇到过任何人。人们只在固定的日子前来祭祀，平时不闻不问。对这个秘密墓园来说，可可就是它的主人，她说什么就是什么。那些长眠于地下的人静静地听着她的述说，他们从不会呵斥这样一个小孩。可可尤其喜爱那里的两座无名墓碑。墓碑前的石板就是她的休息场所，她玩累了，就会躺在石板上晒太阳，或睡个午觉。有时候，她会带着野花或布娃娃去那里，把它当自己的房间来装饰。在可可之后，母亲让娜很快又生下了第三个孩子，这是一个儿子。家里房子实在太挤，三个小孩挤在一张摇晃的破床上，没有一丁儿她的独立空间。
大概从那时候起，可可就养成了一个人独立思考的习惯。这个习惯一直伴随着她几十年，甚至成为她成功的必要原因。
尽管阿尔伯特常年在外奔波，但一家人的生活还是不见什么起色。他有限的收入还得补贴另一位情人，那位情人为他生下了一个和可可年龄相仿的儿子。对于这一点，可可是从父母的争吵中听来的。
尽管日子过得磕磕碰碰，让娜仍然毫无保留地爱着自己的丈夫，因为这是她自己的选择，怨不得别人。无论丈夫做什么，只要丈夫回家，她就没有一点儿抱怨。她相信丈夫仍是爱这个家的，就像阿尔伯特相信自己一样。每当阿尔伯特从外面回来，她总是用自己的身体热情地款待着这个迷途的羔羊，这样，这个贫寒之家就不停地添丁加口，生活更加穷困。在可可之后，阿方斯、安托瓦内特、鲁西恩，分别每隔两年出生。他们出生时的情形也好不到哪里去，鲁西恩出生在一家廉价酒馆里，接生婆是好心的酒馆老板娘。
那时候，节育措施还没有普及。一个女人结婚了，只要身体许可，就会不停地生孩子，直到不能生育为止，有的人一辈子会生十多个小孩。受生活和医疗条件限制，有不少孩子在出生时或未成年前就夭折了。后来，让娜因为长期营养不良，身体过于贫瘠，才失去怀孕的能力。不过，她还是生了5个小孩，并且都成活了。这在当时几乎是一个奇迹。
生活的沉重显而易见。有一段时间，可可和病重的母亲寄居在一个叫伊索尔的伯父家，她们住在一间贴着红色墙纸的房间。孩子们开始还表现得很乖，不过，他们很快发现了墙纸打湿后就能撕得下来。他们把这当作游戏。后来，他们爬上椅子，一用劲，将一整张墙纸全撕了下来，墙壁上露出玫瑰色的石膏涂层。他们为自己的行为兴奋不已，干脆将椅子放到桌子上，将天花板上的墙纸也撕了下来。
他们为自己的成功尖叫着。
待母亲走进这间屋子，才知道什么叫灾难发生了。母亲痛苦地大叫了一声，就晕倒了。这是他们赔得起的么？待母亲苏醒后，伊索尔伯父什么也没说，将他们带来的行李全部扔到了门外。这以后，可可就再也没有见过这位伊索尔伯父了，因为她的父母一直没有能力赔偿毁坏的墙纸，也就不好意思再上门。
这以后，让娜又带着一群孩子到一位位远房的姨妈家“做客”。其实就是寄居姨妈的门下，以解决一家人的衣食。这个姨妈算是殷实之家，家里有葡萄园，还自己酿酒。可可住的房子的天花板上拉着很多细绳，绳上挂满了葡萄。可可在这里又发现了新的乐趣。她带着姐妹们拿起床上的枕头投向细绳，打下一串葡萄，接着她们又打下另一圈，直到葡萄粒铺满了地板。这次，可可尝到鞭子的滋味，因为这些用来酿酒的葡萄都让浪费了。姨妈当着让娜的面愤愤地说：“到底是牧羊女的后代，干脆把她们卖给波希米亚人去练杂耍。”
这些葡萄可以酿几桶上等葡萄酒。这位姨妈太生气了，一时糊涂得连长幼辈分都忘记了。她说的是可可的祖母是一个牧羊女，并以此来羞辱可可一家人。让娜一句话也没争辩，孩子们给亲戚家带来这么大损失，她已经无地自容。
以前，可可跟父亲到过这个姨妈家，姨妈对她十分客气。看得出来，姨妈对她那帅气的爸爸十分有好感，而帅气的爸爸常说得姨妈心花怒放，他们之间有时表现得很亲昵。不过，可可这次跟着妈妈到姨妈家之后，虽不至于吃不上饭，但姨妈整天绷着一张脸，让可可很不舒服。可可也不知道，自己一时兴起打落那些挂在天花板上的葡萄，究意是一时好玩，还是本身就对这位姨妈心存不满。
由于无休止地怀孕和家族有肺结核病遗传的病史，让娜在生活折磨中病倒了。1895年2月16日，让娜带着对生活的无限遗憾离开了人世，身后留下5个未成年的孩子。她在临死的那一刻，没能等上丈夫回来，所以她的眼睛一直是睁着的。
那一年，可可才12岁，没有了母亲的庇护，更大的生活苦难在等待着她。对于这个重大变故，长大后，她曾这样说过：“我的一切都在这一天被夺走了。”
阿尔伯特得知妻子病故的消息后，赶了回来，给妻子买了一副薄薄的棺材。安葬让娜以后，阿尔伯特将两个儿子——鲁西恩和阿方斯送到了公共救济局，然后将三个女儿送到了薇姿镇的老母亲家，请母亲代为抚养，他自己还是要做一个淘金客，梦想着有一天变成口袋里塞满钞票的百万富翁……阿尔伯特的母亲自己本身就有一堆孩子，无暇它顾，她拒绝了儿子的要求。她的小女儿只比可可大两岁，叫阿德里安娜。后来，这两个女孩长期在一起工作。
阿尔伯特就将可可和安托瓦内特、朱莉送到一所由圣母会办的修道院附设学校。他有着众多发财的梦想，不想被孩子们困住自己。
香奈儿几十年之后还记得当时的情景。
当时，朱莉年纪最大，而安托瓦内特年纪最小，她们俩都表现得很平静，只有可可又哭又闹。
“可可，我亲爱的孩子，我过些日子就来接你，你在这里要乖点，免得挨打。”父亲抚摸着她的脸说。
可可扑到父亲怀里，乞求着：“爸爸，带我一起走，不要把我留在这里，我愿意跟着您过任何一样的生活。”
然而，父亲摇了摇头。“孩子，我现在无法养活你们，等我发了大财之后，再把你接回来。”
说着，阿尔伯特消失在修道院的门外，任凭三个女儿号淘大哭。这是留在香奈儿记忆中永远无法抹去的悲惨一刻，并且从来没有忘记过。
每当看到同伴的亲戚坐着马车来到修道院时，可可都会失望一次。她多么期望那帅气英俊的爸爸坐着簇新的马车，站在修道院的门口对她说：“宝贝，我们回家吧，爸爸有钱了，不用再四处跑了。”
但是，这份希望总是变成失望。
香奈儿只收到过父亲的一封信，信是从美国发出的，说是一切都在朝好的方面发展，但连个具体地址都没有，更没有在信中夹着几张钞票了。一年年过去了，父亲再也没有出现在修道院的门口，也再没有传来只言片语，就像在人间蒸发了一样。
有人说，阿尔伯特从前的那位情人在美国继承了一笔遗产，阿尔伯特跟着去了。当时那位情人提出的一个条件就是，他不能再与这些孩子往来，否则就不会帮助他一分钱。阿尔伯特最终答应了这个女人的要求，跨洋过海过他的好日子去了。
后来，当同伴有亲戚来探望时，可可不再站在门缝里向外看了。因为那窄窄的门缝，从来没有给她带来希望和安慰，她开始学会了对父亲的忘却。
读书，学着自己料理生活，跟着修女们做祷告，几乎就是修道院附设学校的全部生活。可可是一个敏感的孩子，她感到自己被遗弃，没有家庭的温暖和亲人的依傍，这给她幼小的心灵留下深深的创伤，她希望有一天能够出人头地，被很多人簇拥着，不再是这么孤独。
有一次，修道院举行领圣餐仪式，很多孩子都让亲戚朋友帮着做顶新帽子，可可没有新布料，无奈用纸做了一顶玫瑰王冠。这遭到了很多孩子的嘲笑，不过，可可为自己的创意而乐了很久，她甚至发现自己在设计方面的天才。
即使在一群孤儿中，可可和她的姐妹们也是属于被遗弃的一群。修女院里的女孩们多少还有些亲戚，这些亲戚还会带些东西给嬷嬷们，作为换取对女孩们更多的关照。可可的亲人则是穷到没法给她们任何东西的那一类人，所以她们的境况则要惨得多，吃的是兑了水的麦片粥，睡的是没有暖气的宿舍，平时则帮着修道院做卫生，才能保证免费吃住。
在这里，可可不敢高声说话，不敢自由表达自己的意见。那时，她唯一梦想就是：离开这里，重获自由。她往往趁人不注意的时候，朝修道院的大门踢上几脚，以发泄心中的不满。可是，修道院的大门对她来说，坚硬得如同冬天上冻了的地面，踢破了自己的鞋，受伤的是自己的脚指头。
若干年后，回忆当初的自己，香奈儿说：“我很坏，常常发脾气，喜欢偷东西，爱说谎，常溜到别人房门口偷听，有时还梦游。从别人手上抢来的食物，吃起来特别可口。我常常偷偷切下一大块夹肉面包，躲到厕所里开心地吃起来。是谁让我变得这么坏的呢？”
正如当初的墓园一样，在厕所这个小小的世界里，她才是自由的，不用看别人的白眼。这也就不难理解她后来的执拗性格了。
修女们为了教训这个不听话、喜欢梦游的女孩，把她关在黑屋子里，不给她晚餐吃，让她一个人打扫院子……当反抗不能起作用，可可甚至想到了自杀。可是，自杀能起什么作用呢？有一个同伴死了，家里又没有亲人，修女们用席子一裹抬了出去，在山坡上挖了坑埋了，坑前只有一块石头，连个墓碑都没有立，根本就没有人来过问。这个经历，让她觉得自杀对自己也毫无益处，别人也不会受损，除非是傻瓜才这么做。
香奈儿在多年之后回忆这一时期的生活时，曾经发出过这样的感慨：“从13岁以后，我就再也没有想过自杀，在一群孤儿中，我是越来越倔，也越来越坚强。不过，后来我一听到‘孤儿’这个词，就会打哆嗦。至今，遇到孤儿院，我就想绕墙而走。那里的日子，真是太可怕了，也许和坐牢差不多。”
在修道院那段时间，可可有时就靠书本打发时间。好在她识点字，报纸上的连载小说文字浅易，她可以看得懂。她将报纸上的连载小说剪贴下来，一天天地积累着，然后装订成册，写上自己的名字，这就变成了她在修道院里可以与别人交换的唯一财产。她把连载中的故事说给同伴们听，有时还和大家一起按书中内容来举行小型演出，并由她来分配角色。尽管没有前景音乐，没有舞台服装，但修道院的生活太乏味了，孩子们争着要演一个角色。
有一次，有一个女生向可可提出挑战：“你为什么总是把好的角色分给自己？你这样做太不公平。”
“你要是不服气，你就不要参加，想参加的人多着呢。”说着，可可收起了自己的“剧本”。那个女孩乖乖地服从了。那时，她就开始展示出自己强势的一面。
那些小说还教会了可可如何去生活。有时为了应对修女们的查房，一听到过道里的门响，可可在几十秒钟之内从“演出现场”撤回到被窝里。那时的可可，有着像马鬃一样的黑头发，像扫烟囱工人一样的黑眉毛，像火山熔岩一样的黑皮肤。她动作粗野，跑得很快，像个男孩子似的，让修女们很头疼。
到了16岁，可可面临着新的选择：是继续呆在修道院，并成为一名修女；还是离开修女院，到社会上谋生？
可可选择了离开修女院。她在这儿过得很不开心，她一直在孤独中成长着；她不喜欢修女们沉寂的生活，简直可以用难熬来形容。这也许是受他那走南闯北的父亲的影响。
可是，没有一技之长，在社会上谋生谈何容易。她连续几个月找不到一份合适的工作，连养活自己都成了问题。在一位修道院长的帮助下，她进了救济院。这个救济院相当于今天的就业培训机构，除了管基本的生活，还能练就一技之长，在那儿她学得一手针线技巧。比她大两岁的姐姐朱莉到了可以结婚的年龄，就找一个人嫁了。
1900年，可可和小姑阿德里安娜，还有妹妹安托瓦内特结伴来到穆兰，带着自己的梦想，就像今天奔向城市的千千万万打工妹一样。这是可可第一次到大城市来，带着兴奋和茫然，带着无知和无畏。在她们看来，来到城市，就意味着不一样的人生开始了。
阿德里安娜的穆兰之行，除了想找份适合的工作之外，还有一个目的，就是逃婚。阿德里安娜和可可一样身材苗条，可是她们家境太穷，等来提亲的是一个公证部门的小公务员，这个人比阿德里安娜大了十多岁，长相萎琐。阿德里安娜不想嫁给这个小老头，就决定离开家乡。在她看来，可可能识字，又有自己的主见，两人一商量，就带着安托瓦奈特直奔穆兰而来。
穆兰是离家乡最近的城市，虽然只是一座小城，但毕竟已经是城市。街道两旁咖啡馆林立，女工们穿着工装上下班，男人们工作之余则悠闲地在茶馆里喝茶，或到咖啡厅里看演出。
看着街道上川流不息的人们，一切都是那么新鲜，一切又是那么陌生。阿德里安娜彷徨着，不知道前方在哪里；安托瓦内特则开始后悔这么冒失的来到城市，她们的盘缠在买了车票之后已经所剩无几。她担心要流落街头，被那些戴帽子的人到处驱赶。
只有可可充满着憧憬。可可坚定地把小姑和妹妹拉进了咖啡厅，从瘦瘪的钱包中掏出仅有的一点钱，点了一份点心，分成三份，慢慢地品尝起来。她指着这里光鲜体面的人们，坚定地说：“我要成为他们中间的一员。”