ಅಕ್ಕನು ಜೆಮಿನಿಯನ್ನು ಅಧ್ಯಯನಕ್ಕಾಗಿ ರಾಮಕೃಷ್ಣ ಆಶ್ರಮಕ್ಕೆ ಕಳುಹಿಸಿದಾಗ, ತಾಯಿಯಿಲ್ಲದೆ ಅವನು ಉಳಿಯಲು ಸಾಧ್ಯವಾಗಲಿಲ್ಲ. ದೂರವನ್ನು ಸಹಿಸಿಕೊಳ್ಳಲಾರದೆ ಜೆಮಿನಿ ಆಶ್ರಮವನ್ನು ತೊರೆದು ತಾಯಿಯ ಬಳಿಗೆ ಓಡಿಹೋದನು.
ಜೆಮಿನಿ ಅವರ ಅತ್ತೆ ಮುತ್ತುಲಕ್ಷ್ಮಿ ಅವರು ಓದಿದ ಬುದ್ಧಿವಂತೆ ಮಹಿಳೆಯಾಗಿದ್ದರು, ಅವರಿಗೆ ದೇವದಾಸಿ ಪದ್ಧತಿಯ ಬಗ್ಗೆ ತೀವ್ರ ಅಸಹ್ಯವಿತ್ತು. ಅವರು ಜೆಮಿನಿಯ ಕುಟುಂಬಕ್ಕೆ ಸಹಾಯ ಮಾಡಿದ್ದರು
1920ರಲ್ಲಿ ತಮಿಳು ಬ್ರಾಹ್ಮಣ ಕುಟುಂಬದಲ್ಲಿ ಜನಿಸಿದ ಜೆಮಿನಿ ಅವರ ಹೆಸರು ರಾಮಾಸಾಮಿ ಗಣೇಶನ್ ಎಂದು ಇಡಲಾಗಿತ್ತು.
ಜೆಮಿನಿ ತಮ್ಮನ್ನು ಮಗಳೆಂದು ಎಂದಿಗೂ ಒಪ್ಪಿಕೊಳ್ಳಲಿಲ್ಲ, ಮತ್ತು ರೇಖಾ ಅವರ ಮರಣಾನಂತರ ಅವರ ಮುಖವನ್ನೇ ನೋಡಲಿಲ್ಲ.