പഠനത്തിനായി അമ്മായി ജെമിനിയെ രാമകൃഷ്ണ ആശ്രമത്തിലേക്ക് അയച്ചപ്പോൾ, അമ്മയെ പിരിഞ്ഞിരിക്കാൻ അവന് കഴിഞ്ഞില്ല. ദൂരം സഹിക്കാനാവാതെ ജെമിനി ആശ്രമം വിട്ട് അമ്മയുടെ അടുത്തേക്ക് ഓടിയെത്തി.
ജെമിനിയുടെ അമ്മായി മുത്തുലക്ഷ്മി വിദ്യാസമ്പന്നയായ ഒരു സ്ത്രീയായിരുന്നു, അവർ ദേവദാസി സമ്പ്രദായത്തെ വെറുത്തിരുന്നു. അവർ ജെമിനിയുടെ കുടുംബത്തിന് താങ്ങും തണലുമായിരുന്നു.
ജെമിനി 1920-ൽ ഒരു തമിഴ് ബ്രാഹ്മണ കുടുംബത്തിൽ രാമസ്വാമി ഗണേശൻ എന്ന പേരിലാണ് ജനിച്ചത്.
ജെമിനി ഒരിക്കലും മകളെ അംഗീകരിച്ചില്ല, അതിനാൽ രേഖ മരണശേഷം അദ്ദേഹത്തിൻ്റെ മുഖം പോലും കണ്ടില്ല.