เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 เสด็จพระราชดำเนินกลับจากยุโรปครั้งที่สอง เมื่อปี พ.ศ.2450 ...
ได้มีพระราชดำริให้ขยายเขตพระราชฐานออกไปยัง “ข้างหลัง” ที่ประทับ คือพระที่นั่งอัมพรสถาน โปรดเกล้าฯ ให้ขยายขอบเขตออกไปในที่ดินรูปสี่เหลี่ยมผืนผ้าขนาดประมาณ 122 ไร่เศษ ทิศเหนือจดถนนซังฮี้ (ราชวิถี) ทิศใต้จดถนนใบพร (อู่ทองนอก) ทิศตะวันออกจดถนนดวงดาว (นครราชสีมา) ทิศตะวันตกจดถนนสามเสน เขียนแบบและกำหนดภูมิทัศน์ให้คล้ายกับพระราชวังเบิร์นสตอฟ ของประเทศเดนมาร์ก และมีลักษณะเป็นสวนป่า มีโขดเขาคูคลอง เหมือนที่วิลลาโนเบล เมืองซานเรโม ประเทศอิตาลี ตั้งพระทัยที่จะให้เป็นสถานที่สำหรับเสด็จประพาสส่วนพระองค์เพื่อสำราญพระราชหฤทัย ปรากฏชื่อสถานที่ว่า “สวนสุนันทา”
สวนสุนันทานี้ เดิมทีเขตพื้นที่นั้นเชื่อมต่อเป็นผืนเดียวกันกับพระราชวังสวนดุสิต ต่อมาได้ตัดถนนดวงดาว (นครราชสีมา) ผ่ากลางพื้นที่ จึงทรงพระกรุณาโปรดเกล้าฯ ให้สร้างกำแพงกั้นเขต และสร้างประตูที่ปลายถนนบ๋วยในพระราชวังสวนดุสิตไปสู่สวนสุนันทา เรียกว่า ประตูสี่แซ่ (สมัยรัชกาลที่ 6 พระราชทานนามว่า ประตูสุนันทาทวาร) ลายพระราชหัตถเลขาพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงมีไปถึงพระยาสุขุมนัยวินิต (ปั้น สุขุม) เกี่ยวกับเรื่องการจัดสร้างและวางพื้นที่ภูมิทัศน์ของสวนสุนันทา มีความตอนหนึ่งว่า
...ที่ซึ่งจะทำดังนี้ ก่อกำแพงด้านหลังขึ้นใหม่ยืนไปตามถนนใบพร (ถนนอู่ทองนอก) และถนนซางฮี้ (ถนนราชวิถี) จนถึงถนนตะพานทอง ขยายถนนตะพานทองให้ใหญ่ขึ้นเท่าถนนซางฮี้และถนนใบพร เอาถนนดวงดาว (ถนนราชสีมา) เข้าไว้ในวัง… ที่ในบริเวณกำแพงชั้นนอกนี้คิดจะกันไว้เป็นสวนหลังพระที่นั่ง เสมอแนวถนนบ๋วยฟากข้างห้องเครื่อง… เพราะฉะนั้นจะได้สวนหลังพระที่นั่งเท่ากันกับด้านหน้า จะเป็นห้าเส้นสี่เหลี่ยมฤา ห้าเส้นเศษ...
นอกเหนือจากเรื่องที่ประทับ
พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงตระหนักดีว่า พระองค์ทรงเป็นผู้มีครอบครัวมาก วันข้างหน้า ถ้าสิ้นพระองค์แล้ว บรรดาเจ้าจอมมารดาที่มีแต่พระราชธิดา และเจ้าจอมทั้งหลายจะลำบาก ส่วนเจ้าจอมที่มีพระเจ้าลูกยาเธอพระองค์ชายคงไม่มีปัญหา เพราะสามารถออกไปอยู่วังกับพระราชโอรสได้ เรื่องนี้พระองค์ทรงมีพระราชหัตถเลขาพระราชทานสมเด็จฯ กรมพระยาดำรงราชานุภาพมีความตอนหนึ่งว่า
...ถ้าคิดจะไปตามราชประเพณีก็ไม่ควรจะเป็นห่วงอันใด ถ้าล่วงแผ่นดินไปแล้ว เขาก็ทำราชการต่อไป เป็นเจ้าจอมฤาพนักงาน… แต่การทุกวันนี้เปลี่ยนแปลงไปชอบกลอยู่ จะบ่นอย่างพระพุทธเลิศหล้าห่วงท้าววรคณามาลัยว่ากลัวเขาจะไม่เลี้ยงเองต่อไป…ข้อที่คิดว่าเป็นพนักงานต่อไปนั้นคนที่โตเคยเสียมากเช่นนี้ เห็นจะทนไปนั่งกับพนักงานไม่ได้ ผลประโยชน์ที่เจ้าแผ่นดินจะสามารถให้แก่พนักงานก็คงไม่พอกิน เมื่อทางที่จะอยู่ทำราชการไม่แลเห็นเช่นนั้น ก็ยังมีแต่จะอยู่กับหลานเฉยๆ ในวัง ทางนั้นก็แลไม่เห็น เพราะการในอนาคตคงจะต้องย้ายเหย้าเรือน ร่นเล็กลงแคบลงตามที่คิดใหม่ฤาความไม่พอใจที่พึ่งพิงกันเพราะว่าไม่ต้องอาไศรยกินอย่างใดอย่างหนึ่ง คงทำให้ไม่อยากอาไศรยเรือนเขาอยู่ ลงปลายคงต้องเป็นไปอยู่นอกวัง… เป็นอันว่าเราทำความลำบากให้เขาเมื่อแก่ เพราะไม่คิดหาทุนรอนที่อยู่ให้เขาเลย…
ด้วยเหตุนี้จึงได้มีการวางแผนสร้างตำหนักเจ้านายฝ่ายใน และเรือนเจ้าจอม และเรือนบริวาร แต่ยังมิทันแล้วเสร็จก็สิ้นรัชกาลเสียก่อน พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว รัชกาลที่ 6 ได้มีพระราชอุตสาหะสนองพระราชดำริสืบต่อมา ทั้งได้สร้างพระที่นั่งองค์หนึ่ง เป็นท้องพระโรงสำหรับเจ้านายฝ่ายใน พระราชทานนามว่า พระที่นั่งนงคราญสโมสร การก่อสร้างตำหนักต่างๆ แล้วเสร็จเมื่อปี พ.ศ. 2462
เจ้านายฝ่ายในที่เสด็จออกจากพระราชวังสวนดุสิต มาประทับที่สวนสุนันทาในชั้นแรกนั้นคือ พระอัครชายาเธอ กรมขุนสุทธาสินีนาฏ (พระวิมาดาเธอฯ ในเวลาต่อมา) พร้อมด้วยพระราชธิดา 2 พระองค์ คือสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ามาลินีนพดารา และสมเด็จเจ้าฟ้านิภานภดล ตั้งแต่ปี พ.ศ. 2462 จากนั้นก็มีเจ้านายฝ่ายใน และเจ้าจอมในรัชกาลที่ 5 ขอพระราชทานพระบรมราชานุญาตมาประทับและพักอาศัยในสวนสุนันทามากขึ้นตามลำดับ จึงกลายเป็นพื้นที่สำหรับ “ฝ่ายใน” ที่มีความสำคัญตั้งแต่นั้นมาจนเปลี่ยนแปลงการปกครองเมื่อปี พ.ศ. 2475

