宝月楼建成于清朝乾隆二十三年。《北京传统文化便览》中关于宝月楼建造的原因是这样写的：（宝月楼）是乾隆帝为讨香妃的欢心所建。香妃，回族和卓氏女，为乾隆宠妃。她深居宫禁，思念故乡。乾隆得知，下令将新疆回民迁来一部，在长安街以西建房而居……俗称回民营。每当香妃思念故土，她便登楼相望云云。
西长安街以南曾确有回民营和清真寺。但宝月楼是否为了香妃而建则大可质疑。按照史料记载，乾隆皇帝后宫只有一个来自新疆维吾尔族的容妃。她于乾隆二十五年（1760）入宫封为和贵人，乾隆二十六年（1761）晋封为容嫔，乾隆三十三年晋升为容妃。清朝平定大小和卓木是乾隆二十四年秋天的事。而乾隆帝纳一个维吾尔族女子为妃，应该是在此之后，这时，宝月楼已经建成一年多了。
乾隆帝为什么要建这座宝月楼？按照乾隆《御制宝月楼记》中所说，西苑（即中南海）中的建筑都是明朝遗留的，清朝只是“岁时修葺增减，无大营造”。但是乾隆皇帝觉得南海南岸长长一道皇城过于空旷，“每临台南望，嫌其直长鲜屏蔽”，于是命工程部门根据地形位置添一建筑。最初设计为三层，乾隆觉得“太侈”，减了一层。建成之后，“池不觉其窄，岸不觉其长”，高矮大小合适。
为什么叫宝月楼呢，“池与月适当其前，抑亦有乎广寒之亭也”，就是说，看到月亮正临液池（南海）之上，因而联想到月中的广寒宫，所以叫宝月楼。乾隆二十四年御制《题宝月楼》诗说：“南岸嫌长因构楼，楼临直北望瀛洲。”注解说：瀛台皆前明所建，惟南岸向无殿宇，顾为楼以配之。这是乾隆帝自己做的注解，为建造宝月楼原因的最有力证明。
至于说宝月楼南的回民营，大约出现在宝月楼建成的十年之后。乾隆三十三年御制《宝月楼》诗中有“西宇向南凭”之句，意思是，向南眺望可见西域（风格的）房屋。注释说：“（宝月）楼临长安街，街南俾移来西域回部居之，室宇即肖其制。”回民营中的礼拜寺也是这个时候修建的。乾隆三十四年御制《宝月楼》诗中说：“鳞次居回部，安西系远情”。注释说：墙外长安街内属回人，衡宇相望，人称回民营，新建礼拜寺正与（宝月）楼相望。
趣闻解密点评：史记中记载，乾隆乾隆只有一个维吾尔族的妃子，是容妃。其实容妃就是香妃。容妃是她的封号，“香”只是她的名字。香妃原名叫伊帕尔汗，伊帕尔汗也作“包尔汉”就是“香”的意思。她叫香，并非身上有香味儿。宝月楼之建也与香妃毫无关系。