MBC 청룡 출신의 내야수 김인식의 아들이며 아버지의 영향을 받아 본인도 야구에 전념하였는데, 오른팔이 펴지지 않는 치명적인 장애가 있었다. 이 때문에 타격이 힘들어 투수에 전념했다고 한다. 2004년SK 2차 9순위로 지명받았으나, 본인이 LG 트윈스에 가고 싶어하여 고려대학교로 진학하였다. 새내기인 1학년 때부터 정기전에 등판할 정도로 촉망받는 인재였다. 이후 춘계연맹전 우승, 2008 베이징 올림픽 야구국가대표팀 예비엔트리 승선 등 주가를 높였으며 2007년 정기전에서도 선발투수로 등판, 완투하며 팀을 승리로 이끌었다.[1]그리고 김준이 졸업하던 날, 연세대에 150km 좌완 파이어볼러 나성범이 입학하면서 이후 4년간 양교의 처지는 뒤바뀌고 만다
그러나 2008년 신인 드래프트에서도 결국 SK 와이번스에 2차 5라운드로 지명되면서 사실상 무의미한 행동이 되었는데 김준은 인터뷰에서 프로에 바로 나가는 것보다 대학교에 가서 실력을 기르고 인정 받는 게 좋다고 생각했다라면서 무엇보다도 고려대학교가 주는 이미지와 졸업 후 사회로 나갔을 때 대우를 무시할 수 없었다고 전했다.
2008년4월 19일두산 베어스와의 경기에서 1군 첫 등판을 하였다. 그런데 이 경기에서 유재웅에게 위협구를 던지게 되면서 데뷔 경기 퇴장이라는 진기록을 남기게 되었다. 그런데 이 위협구는 절대 본인의 의지가 아니었다. 당시 KBO에서는 제구불안으로 인한 사구(死球)에는 꽤나 관용적이었고[2]김준이 그렇게 제구가 안되는 투수도 아니었기 때문. 사실 이 당시 3연전에서 두산과 SK 간에 이전 해부터 이어진 신경전이 있었고, 특히 김재호가 병살을 막는 과정에서 SK를 벤치마킹하여 스파이크를 세우면서 돌격하는 비매너 플레이를 하는 바람에 이어진 장면에서 김성근이 김준에게 빈볼을 지시한 것. 움짤로 이 당시 김성근 "야 쟤 맞춰라" 하는 듯한 입 모양 장면도 돌아다닌다. 유재웅이 침착하게 사인을 보내 벤치 클리어링으로 이어지진 않았지만 김성근의 명백한 고의빈볼이었고 그래서 퇴장당한 것이다. 그 이후로 감독이 짤릴 때까지 1군에 올라오는 일이 없었다(...).
2010년에 공익근무요원으로 근무, 2012년에 소집해제 후 다시 1군에 등판하여 좌완 원 포인트 릴리프로 활약하게 되었다.
2013년5월 5일한화 이글스와의 경기에서 첫 승을 남기는 등 좌완 불펜으로 활용되었지만, 진해수가 KIA에서 오게 된 이후 활용도가 줄어들면서 기회가 오지 않게 되었다.