જ્યારે જેમિનીની બુઆએ તેમને અભ્યાસ માટે રામકૃષ્ણ આશ્રમ મોકલ્યા, ત્યારે તેઓ માતા વગર રહી શક્યા નહીં. દૂર રહેવાનો દુઃખ સહન ન થતાં, જેમિની આશ્રમ છોડીને માતા પાસે ભાગી આવ્યા.
જેમિનીની ફુઆ મુથુલક્ષ્મી એક ભણેલી-ગણેલી સ્ત્રી હતી, જે દેવદાસી પ્રથાથી નાફરત કરતી હતી. તેમણે જેમિનીના પરિવારને ટેકો આપ્યો હતો.
જેમિનીનું જન્મ ૧૯૨૦માં તામિલ બ્રાહ્મણ પરિવારમાં થયું હતું. તેમનું નામ રામાસામી ગણેશન રાખવામાં આવ્યું હતું.
જેમિનીએ ક્યારેય પોતાની દીકરી તરીકે સ્વીકારી નહીં, અને રેખાએ પણ તેમના મૃત્યુ બાદ તેમનો ચહેરો જોયો નથી.