ಯುಪಿಎ ಜತೆ ಮೈತ್ರಿ ಹೊಂದಿದ್ದ ಎಡರಂಗ,ಭಾರತ–ಅಮೆರಿಕ ಪರಮಾಣು ಒಪ್ಪಂದಕ್ಕೆವಿರೋಧ ವ್ಯಕ್ತಪಡಿಸಿ ಸರ್ಕಾರಕ್ಕೆ ನೀಡಿದ್ದ ಬೆಂಬಲವನ್ನು ವಾಪಸ್ ಪಡೆದಿತ್ತು. ಈ ಸಮಯದಲ್ಲಿ ಚಟರ್ಜಿ ಅವರು ಸ್ಪೀಕರ್ ಸ್ಥಾನ ತೊರೆದು, ವಿಶ್ವಾಸ ಮತ ಯಾಚನೆ ವೇಳೆ ಸರ್ಕಾರದ ವಿರುದ್ಧ ಮತ ಹಾಕುವಂತೆ ಸಿಪಿಎಂ ಆಗ್ರಹಿಸಿತ್ತು. ಆದರೆ, ಚಟರ್ಜಿ ಅವರು ರಾಜೀನಾಮೆ ನೀಡಲು ನಿರಾಕರಿಸಿ ಸ್ಫೀಕರ್ ಸ್ಥಾನದಲ್ಲಿ ಮುಂದುವರಿದರು. 2008ರಲ್ಲಿ ಸಿಪಿಎಂ ಅವರನ್ನು ಪಕ್ಷದಿಂದ ಹೊರಗಿಟ್ಟಿತು.