稀有氣體在自然界中的含量很少，並且不容易和其他物質作用，因此發現它們是一件很困難的事。稀有氣體的發現前後共經歷了一個多世紀，整個過程既曲折又有趣。在地球上，人類首先發現的稀有氣體是氬（argon, Ar）。早在 1785 年，在之前已經先發現氫的英國化學家開文迪虛（H. Cavendish）在空氣中通入過量的氧氣，用放電法使空氣中的氮氣和氧氣反應生成一氧化氮，然後用鹼溶液吸收它，剩餘的氧再用紅熱的銅除去。但即使把所有的氮氣和氧氣都除去了，仍然存在著少量的殘餘氣體。
開文迪虛報導了他觀察到的這項實驗結果，但在當時沒有引起其他化學家的注意，他本人也沒有再進一步研究。其實，在這「殘餘氣體」內就隱藏著另外一族的化學元素。如此一來，發現新元素的機會就這樣從他身邊溜走了。
大約再過一個世紀後，英國物理學家瑞禮男爵三世（Lord J.M.S. Rayleigh）在研究大氣中各種氣體的密度時，發現從空氣中除去氧以後，所得到「氮氣」的密度是 1.2572 克／公升，然而從氮化物中製得氮的密度是 1.2507 克／公升。雖然，兩者之間的差異只顯現在第三位小數上，但已經超過了當時的實驗誤差範圍。瑞禮並無法給予合理的解釋，便把這個實驗事實公布於世，徵求解答。
後來，英國化學家瑞姆賽爵士（Sir W. Ramsay）開始了這項新研究，經過瑞禮和瑞姆賽反覆精確地實驗，最後都得到一種空氣的殘餘氣體，這種氣體的體積約占原空氣體積的 1％，而且比氮氣稍重，經過光譜分析後才斷定這種氣體是一種新元素。在 1894 年，瑞禮和瑞姆賽宣布了這一元素的發現，並且把它定名 argon，有「懶惰」的意思，中文的譯名是氬。這也就是在科學界中廣被傳說的「第三位小數的勝利」。
氦（helium, He）的發現有些湊巧，它是唯一先在地球以外發現到的一種元素。1868 年 8 月 10 日在印度發生日全蝕，法國天文學家楊森（P.C. Janssen）在觀測這次日全蝕時，從太陽光譜中得到一條波長 587.49 奈米的澄黃色光譜線。同時，英國天文學家洛克伊爾（J.N. Lockyer）也在不同的場合從太陽光譜中得到相同的發現。兩個人都寫信把這個結果通知巴黎科學院。
後來經過仔細分析，反覆核對當時地球上所有已發現元素的光譜線，都沒有這一條，因而認定這是一種在地球上尚未發現的新元素的光譜線。由於是在太陽上發現的，因此把它命名為有「太陽」意義的 helium。這是人類首次在地球上發現「地球以外的元素」。在這以後的二十多年間，人們都一直認為「氦」只存在於太陽上，而不存在於地球上。
在 1888 ~ 1890 年間，美國化學家希爾布蘭德（W.F. Hillebrand）用硫酸處理瀝青鈾礦時，得到一種不活潑的氣體。雖然，這一種氣體實際上就是氦氣，但是他當時錯把它誤認成氮氣，也使他錯過了發現新元素的重大機會。
後來，瑞姆賽讀到這篇論文時，不同意他的看法。瑞姆賽隨即用另一種鈾礦（釔鈾礦）重複希爾布蘭德的實驗。瑞姆賽在取得氣體以後，借助光譜實驗，證明了這種氣體正好就是 27 年前在太陽光譜中發現的那種元素，進而證明了地球上也有氦的存在。在 1895 年的英國化學學會年會中，正式宣布在地球上也發現了元素氦。有些人也把氦的發現一起歸功給楊森、洛克伊爾和瑞姆賽 3 人。
在 1894 年宣布氬的誕生後，在 1895 年宣布地球上也有「氦」的存在。但是在當時的元素週期表中，並沒有這兩個元素的位置，而且它們的性質和鹼金屬（1A 族）和鹵素（7A 族）差別很大。因此聰明的瑞姆賽根據週期表的規律性，推測氦和氬可能是另一族的新元素，而且除了氦和氬以外，還有其他新元素。或者在氦和氬之間，很可能有另外一種元素。為此，他開始了新元素的探索工作。
最初瑞姆賽和他的助手崔弗斯（M.W. Travers）認為新元素可能與氦相似，存在於稀有礦物中。因此，他們對地球上所能得到的礦物，甚至包括從天空落下的隕石，都一一做了實驗，但都未能成功。後來受到「氬存在於空氣中」這一事實的啟發，又把希望寄託在空氣的分餾產物上。經過他們兩人的大量實驗，終於在 1898 年 6 月從空氣中取得了新元素－氖，英文名是 neon（Ne），含有「新」的意思。
稀有氣體氪是在尋找氖的期間，幾乎可以說是順便發現的。瑞姆賽他們在液態空氣分餾產物中尋找氖時，蒸發液態空氣到最後只剩下很少的一部分，再把其中的氮氣和氧氣去掉。在確定留下來的是一種不活潑氣體以後，做鑑定並確定是新元素氪。它被命名為 krypton（Kr），含有「隱藏」的意思，這時候已經是 1898 年5月30日了。
然後，他們用液態空氣的前餾部分，經過再處理，再借助光譜分析從中找到了氖，這是 6 月分的事情。瑞姆賽他們本來想要找氖，反而先得到了氪。他們無比地激動，當晚就測定了這種元素的原子量，測量結果是 82.92，剛好處在溴（Br）和銣（Rb）之間，說明氪、氦和氬是同類，都是稀有氣體的成員。
在 1898 年 7 月 12 日，瑞姆賽和崔弗斯用新的空氣液化機，從空氣中又成功地分餾得到了 xenon（Xe，氙），它的名字有「陌生人」的意義。從 1898 年 5 月底到同年的 7 月 12 日，短短的兩個月內，瑞姆賽他們就發現了 3 種稀有氣體，氖、氪和氙。由此可見，在發現新元素的過程中，化學元素週期表起了巨大的導引作用。
在 1900 年，德國物理學家同恩（F.E. Dorn）教授從放射性礦物中發現了常溫下最重的氣體－－氡。它是鐳（Ra）釋放出阿爾法粒子後，放射性蛻變產物中的一種。起初，同恩教授把這種氣體叫做「鐳射氣」。一直到 1923 年才正式把它定名成氡（radon，Rn），是稀有氣體的第 6 個成員。
6 個稀有氣體的發現差不多都和瑞姆賽有關，首先他和瑞禮在 1894 年發現了氬，1895 年繼楊森、洛克伊爾在發現太陽光譜中的氦以後，他是第1個從地球上找到氦的人。而氖、氪和氙是他與崔弗斯合作所得的成果。即使在 1900 年發現氡以後，瑞姆賽還與英國的索迪（F. Soddy）教授在 1903 年確定氡是由鐳蛻變以後的產物，並確認這個放射性氣體是一種新元素，因此瑞姆賽不愧是稀有氣體的開創者。
由上述的稀有氣體發現史，可以知道在科學實驗中不放過一點點細微的差異，鍥而不捨，以及認真嚴肅的科學態度和一絲不苟的科學作風，是科學工作者成功的重要因素。