ಖರ್ಗೆ ಪತ್ನಿ ರಾಧಾಬಾಯಿ ಅವರ ತಮ್ಮ ರಾಧಾಕೃಷ್ಣ ದೊಡ್ಡಮನಿ ಅವರು ಖರ್ಗೆ ಪುತ್ರಿ ಡಾ. ಜಯಶ್ರೀ ಅವರನ್ನು ಮದುವೆಯಾಗಿದ್ದಾರೆ. ಯಾದಗಿರಿ ಜಿಲ್ಲೆಯ ಗುರಮಿಠಕಲ್ ವಿಧಾನಸಭಾ ಕ್ಷೇತ್ರದಲ್ಲಿ ಖರ್ಗೆ ಅವರು 1972ರಿಂದ 2004ರವರೆಗೆ ಸತತವಾಗಿ ಪ್ರತಿನಿಧಿಸಿ, ಗೆಲುವಿನಲ್ಲಿ ರಾಧಾಕೃಷ್ಣ ಅವರ ಪಾತ್ರ ಹಿರಿದಾಗಿದೆ. ಖರ್ಗೆ ಅವರು ಕಲಬುರಗಿ ಲೋಕಸಭಾ ಕ್ಷೇತ್ರದಿಂದ ಮೊದಲ ಬಾರಿ ಗೆದ್ದು, ಕೇಂದ್ರ ಕಾರ್ಮಿಕ ಮಂತ್ರಿಯಾಗುವಲ್ಲಿ ರಾಧಾಕೃಷ್ಣ ಅವರ ಪಾತ್ರ ಮರೆಯುವಂತಿಲ್ಲ.