追溯
中国与奥林匹克运动的联系最早可以追溯到1894年。当时，中国清政府曾经接到了希腊王储和近代奥运会发起人皮埃尔·德·顾拜旦代表国际奥委会发出的邀请书。但由于昏庸的清政府不知"体育"为何物而未作答复。
1904年许多中国报刊曾报道过第三届奥运会消息。
1906年中国的一家杂志介绍了奥林匹克历史。
1907年10月24日著名教育家中国奥委会第一任主席张伯苓先生在天津学界运动会发奖仪式上，以奥林匹克为题发表了著名的演说。他指出，虽然许多欧洲国家获奖机会甚微，但仍然派出选手参加奥运会。他建议中国组队参加奥运会。
1908年伦敦奥运会后，天津一家报纸再次介绍了奥林匹克运动的历史，还提出要争取这一盛会在中国举行。天津体育界人士用幻灯展示了伦敦奥运会的盛况，举办了奥林匹克专题演讲会。
1910年10月18日至22日，在"争取早日参加奥运会"和"争取早日在中国举办奥运会"口号的鼓舞下，在南京举办了中国历史上第一次全国运动会——"全国学校区分队第一次体育同盟会"。
1913年开始举办的远东运动会（最初名为"远东奥林匹克运动会"），是奥林匹克运动在亚洲的先驱，中国是发起者之一。在远东运动会上中国运动员取得了较好的成绩，表现了良好的体育道德。
1915年国际奥委会致电远东运动会组委会，承认了远东体协，并邀请中国参加下届奥运会和奥委会会议。
1922年，我国的王正延当选为国际奥委会委员。
1924年中华全国体育协进会成立后，中国陆续加入了田径、游泳、体操、网球、举重、拳击、足球、篮球等8个国际单项体育联合会。在第8届奥运会上，我国3名选手参加了表演赛。
1928年第9届奥运会上，我国派观察员宋如海参加，并进行了考察工作。
1931年，当时的中华全国体育协进会被国际奥委会承认为"中国奥林匹克委员会"。中国正式参加奥运会的历史由此开始。
1932年，第10届奥运会在美国洛杉矶举行。我国本不想派选手参加，仅由全国体育协进会总干事沈嗣良前往观礼。而日本帝国主义扶持的伪满，为了骗取世界各国的承认，竟然电告国际奥委会：拟派刘长春、于希渭作为"满州国"选手参加奥运会。举国一片哗然，刘长春也予以拒绝。在强大的舆论压力下，国民党政府决定，刘长春、于希渭作为运动员，宋君复为教练员，沈嗣良为领队，代表中国参加奥运会。在开幕式上，刘长春执旗前导，沈嗣良、宋君复以及中国留学生和美籍华人刘雪松、申国权、托平等6人组成了中国代表团。于希渭因日方阻挠破坏，未能成行。刘长春在100米、200米预赛中位于小组的第五、六名，未能取得决赛权，但他以我国第一位参加奥运会的选手而留名于中国奥运会史。
1936年，第11届奥运会在德国柏林举行。中国派出了140人组成的代表团，其中运动员69人，参加篮球、足球、游泳、田径、举重、拳击、自行车等7个项目的比赛。另外，还有11人的武术表演队和34人组成的体育考察团。其中篮球比赛胜过法国队，撑竿跳选手符宝卢取得复赛权。中国武术队的多次表演轰动了欧洲。
1945年抗日战争胜利后，中国第一位国际奥委会委员王正延和体育家袁敦礼、董守义等人提出请求第15届奥运会（1952年）在中国举行，引起了国人的兴奋。
1948年，第14届奥运会在英国伦敦举行。我国派出了33名男运动员参加了篮球、足球、田径、游泳和自行车等5个项目的比赛，但没有一人进入决赛。奥运会结束后，代表团在当地华侨总会的帮助下，解决了路费，运动员才得以返回祖国。
1952年，第15届奥运会在芬兰的赫尔辛基举行。中国正式接受邀请较晚，只派出了40人的代表团，可当代表团到达赫尔辛基时，比赛已接近尾声。只有吴传玉参加了百米仰泳比赛，但是将五星红旗升起在赫尔辛基奥林匹克体育场，就是新中国的骄傲。
1954年在雅典举行的国际奥委会第50届全会上，国际奥委会以23票赞成21票反对通过决议，接受中国奥委会，中华人民共和国在国际奥委会中的合法地位得到承认。但是，与此同时，在当时的国际奥委会主席美国人布伦戴奇为首的少数人的操纵之下，却又将台湾所谓的“中华奥委会”继续保留在国际奥委会承认的成员名单上，继续搞“两个中国”。中国奥委会于1958年8月19日宣布断绝与国际奥委会的关系。
1956年到1979年间，中国奥委会没有派代表参加奥运会。但是中国台北选手杨传广在1960年罗马奥运会上夺取十项全能比赛的银牌。他是第一位获得奥运会奖牌的中国运动员。1968年墨西哥城奥运会上，台北女选手纪政获80米栏铜牌，她是第一位获得奥运会奖牌的中国女子运动员。
重返奥运
新中国成立之后，尽管中国派出代表团首次参加了1952年赫尔辛基奥运会，但是在奥运会上还是出现了“一中一台”两个中国的问题，为此，中国奥委会向国际奥委会发出抗议，要求解决这一问题。
1979年11月26日，国际奥委会在洛桑宣布，经过国际奥委会全体委员通讯表决，以62票赞成，17票反对，通过了国际奥委会执委会前此于10月在名古屋作出的承认中国奥委会为全国性奥委会的决定。中国体育代表团参加大会时，使用中华人民共和国国歌和国旗。同时，为了照顾台湾的现实情况，仍将台北的奥委会作为中国的一个地方机构，以"中国台北奥委会"名称保留在国际奥委会内，但必须使用有别于迄今使用的歌曲、旗帜和会徵。至此，国际奥委会同我国的关系，才得到了解决。
1980年，新中国第一次派队出席了在美国普莱西德湖举行的第13届冬季奥运会。男女运动员共28人，参加了滑冰、滑雪和现代冬季两项等18个单项的比赛。但与世界先进水平差距较大，无一人进入各项前十名。我国未参加同年在莫斯科召开的夏季奥运会。1981年10月，国际奥委会第84次会议选出了我国何振梁为国际奥委会委员。
中国于1984年重返奥运会，并实现了中国在奥运会历史上金牌零的突破。至2004年，中国共在奥运会上夺得100多枚金牌。中国在奥运会上的传统强项为男子体操、跳水、乒乓球、女子竞走、射击、女子游泳等。