翻開奧運歷史，1896年第一屆現代奧運會在雅典舉行，清廷就曾接獲邀請，但當時中國並未派隊參加，直到1932年第十屆奧運會在洛杉磯舉行，中華民國才首度派教練及選手劉長春與會，當時被日本統治的台灣，也有留日學生張星賢代表日本參加，台海兩岸選手首度在奧運會上相逢。自1932年後，每屆奧運會中華民國都派隊參賽，除1976年蒙特婁奧運，，中華民國代表團因政治因素遭到加拿大拒絕入境，而宣布退出這屆奧運賽，以及1980年莫斯科奧運因未恢復會籍而無法派隊參賽。

中共政權於1949年建立，國民政府播遷台灣，因為台海兩岸特殊政治環境，影響國際奧會與奧運主辦國干預，使中華民國參賽名稱不斷變更，其中曾使用中華民國及中文「中華民國」，但英文為「台灣」等名稱，直到1981年，中華民國奧會與國際奧會簽訂協議，確定使用「中華台北」名稱參加奧運會。1984年第二十三屆奧運在洛杉磯舉行，中國大陸重返奧運，中華台北也派隊參典賽，洛杉磯奧運成為海峽兩岸選手同時參與的盛會。

1956第十六屆墨爾本奧運是國民政府遷台後中華民國第一次派團參賽，「亞洲鐵人」楊傳廣首次參加奧運，挾著第二屆亞運金牌的光芒，在田徑十項全能中獲得第八名的成績。

經過四年的磨練和準備，楊傳廣在1960年第十七屆羅馬奧運會的十項全能項目中，以打破奧運紀錄的8334分奪銀，為中華民國贏得第一面奧運獎牌。

1968年第十九屆墨西哥奧運會，田徑女傑紀政奪得女子八十公尺低欄銅牌，成為台灣女子選手在奧運奪牌的第一人，享有「飛躍的羚羊」美譽。

1984年，中華民國以「中華台北」名稱重返在洛杉磯舉行的第二十三屆奧運，舉重選手蔡溫義在舉重六十公斤級拿下銅牌，開啟了台灣舉重項目在奧運的光榮時代。號稱「史上最強中華隊」的棒球代表隊，也在洛杉磯奧運棒球表演賽中獲得銅牌。

1988年漢城奧運，「中華台北」在示範項目跆拳賽(表演賽)中表現出色，陳怡安、秦玉芳分別奪金，白允瑤、吳聰哲、陳君鳳先後摘銅，開啟了台灣跆拳運動的風潮。

1992年巴塞隆納奧運，女將陳怡安、羅月英、童雅琳再度於跆拳道表演賽為中華台北贏得三面金牌，周桂名和王明松也摘下兩面銅牌，打開了台灣跆拳運動盛世。另外，巴塞隆那奧運棒球首次列正式比賽項目 中華隊勇奪銀牌，締造台灣棒球史上最高成就。

1996年亞特蘭大奧運會，前中國奧運金牌女將陳靜改披中華隊戰袍，在女子單打奪銀，為中華台北在亞特蘭大奧運贏得唯一的一面獎牌。

2000年雪梨奧運，中華台北代表團共獲得一面銀牌和四面銅牌，是歷來最好的成績；黎鋒英贏得女子五十三公斤級舉重銀牌，郭羿含摘下女子七十五公斤級舉重銅牌，陳靜奪得桌球女子單打銅牌，黃志雄踢下跆拳道男子第一量級銅牌，紀淑如勇奪跆拳道女子第一量級銅牌。

2004年雅典奧運，中華台北終於突破奧運零金目標，陳詩欣女子在跆拳道第一量級決賽奪金，為台灣贏得奧運正式比賽項目第一面金牌，在陳詩欣獲金牌後，朱木炎也傳捷報，贏得男子跆拳道第一量級金牌，同時，黃志雄也摘下男子跆拳道第二量級銀牌。除了跆拳項目「穿金戴銀」，中華台北在射箭項目也大放異彩，劉明煌、王正邦、陳詩園贏得男子射箭團體賽銀牌，袁叔琪、吳蕙如、陳麗如射下女子射箭團體賽銅牌。中華台北在雅典奧運贏得二金、二銀、一銅，參賽全體排名三十一名，寫下歷年最佳成績。