1915年秋，中国教育家、出版家、中华书局创办人陆费逵与时任中华书局总编辑范源廉，《中华大字典》主编徐元诰商议编辑一部10万词条的大辞书，定名为《辞海》，并由徐元诰主编。徐元诰后调任上海道尹，《辞海》几易主编。在陆费逵的诚心相邀下，舒新城于1928年出任《辞海》主编，主持《辞海》编纂工作。
陆费逵“以改良吾国字典为己任”，认为中国字典太陈旧，不合时宜，他在《辞海》“编印缘起”中写道：“原稿中已死之旧辞太多，流行之新辞太少”。舒新城负责主编《辞海》时，参考美国《韦氏大词典》，确定《辞海》的收词范围：
旧籍中常见的词类、历史上重要的名物制度、流行较广的新词、行文时常用的成语故典、社会上农工商各业之重要用语、行文时常用的古今地名、最重要的名人名著以及科学文艺上常见常用的术语等。
旧词尚可依据从前的字书类书，新词搜集则非常困难，舒新城让同人遍阅新书新报，博采慎择，撰成三十多万词条。后几经删改，披沙拣金，《辞海》（第一版）总条目数85803个，收单字条目13955个；多字条目中的语词条目21724个，百科条目50124个。在释文方面，克服以往辞书的缺点，取长补短，词语解释确切；引证完善，并出作者、书名和篇名，便于读者查考；体例严整。
自1915年动议编纂，1936—1937年《辞海》第一版面世。
1949年10月，中华人民共和国成立，世界格局发生了重大变化，《辞海》（第一版）已不能满足读者的需求。舒新城酝酿修订《辞海》的计划。
1958年5月，中华书局辞海编辑所成立，1959年夏辞海编辑委员会成立。1960年3月，《辞海》试写稿问世，11月，在初稿基础上，形成《辞海》二稿。1961年10月，按学科分类编排的16分册试行本在内部出版发行。1963年4月《辞海》（未定稿），在内部发行。几番风雨，几度春秋，《辞海》在时代嬗变之间进入了全新时期。1979年三卷本的《辞海》正式出版，五千多名专家用二十余年完成了夙愿，向国庆三十周年献上一份厚礼。以增新、补缺、改错为总方针，1989年版的《辞海》出版后，第三代领导人江主席欣然题词，对辞海精神作了高度概括和总结。在新千年到来之际，作了大量增补修订的《辞海》1999版问世，并新增彩图本作为主体版本。
第六版《辞海》的编纂工作始于2005年初。2008年夏征农去世，陈至立继任《辞海》主编。2009年10月，中华人民共和国成立六十周年之际，第六版彩图本（五卷本）率先面世。之后相继推出普及本（三卷本）、缩印本（一卷本）、世博珍藏版（一卷本）和典藏版（九卷本），2010年3月，又推出数字化的《辞海》手持阅读器。