김영삼 대통령의 숙군(肅軍) 작업은 그야말로 김영삼답다는 소리가 나올 만큼, 김영삼의 대통령 시절 다른 업적들(금융실명제 등)과 유사한 행보를 보여 준다. 기존 행정 조직이 아니라 철저히 측근들하고만 의논하며 철저히 비밀을 유지하다가, 결정적인 시점에서 깜짝쇼를 하듯이 터트리는 것. 사실 김영삼은 '민주정의당의 배신자'라 불릴 정도로 기존 민정당의 주류 세력(이른바 '민정계', 특히 군 출신)들을 철저하게 탄압하고 숙청했다. 사실 3당 합당이 이루어진 이유도 김대중과 후보 단일화 문제로 싸우기 귀찮았던 김영삼과, 노태우 이후 마땅한 대통령 후보가 없던 민정당의 이해 관계가 맞아떨어져 이루어진 것이었다. 김영삼이 대통령이 된 후에는 전두환과 노태우를 반란죄 및 횡령, 살인죄로 체포하고 법정 최고형인 사형까지 구형하였다. 노태우의 경우 징역 22년, 그러나 두 사람 모두 김영삼 임기 말에 특별 사면되었다. 사면 자체는 김영삼의 이름으로 이루어졌으나 임기 막바지였기 때문에, 당시 대통령 당선인이었던 김대중의 요청에 의한 사면이라는 게 대체적인 정론. 사실 사면은 임기 막바지에 당선자와 함께 논의해서 정하는데 임기 막바지인 대통령은 끈 떨어진 갓 신세이고 가장 힘이 쌜때가 당선자때이다. YS도 당선자 신분때 장세동을 날렸으니...기사 또한 군 출신 인사들이 많았던 민주자유당을 민간인 정당인 신한국당으로 싹 갈아엎어 버린다. 하나회라는 조직이 극단적으로 반발할 경우 쿠데타 가능성까지 언급될 정도의 조직이었던 만큼, 하나회 숙청에 있어서는 이러한 기습적인 방식이 더 알맞기도 했다. 12.12 군사반란 당시 정승화 육군참모총장이 하나회 세력을 조용히, 천천히 물갈이하려다가 역으로 전두환을 위시한 쿠데타 세력에 당한 전력도 있었으니.

1993년 당시 김영삼은 대통령에 취임하자마자 하나회 출신인 서완수 기무사령관에게 "앞으로는 대통령과 독대하지 말고 국방장관을 통해 보고하라"고 말했다. 한편, 동년 3월 5일 육군사관학교 49기 졸업식 연설에서 국군의 명예와 영광을 되찾아주는 일에 앞장서겠다는 말을 통해 에둘러서 군을 엎겠다는 의지를 드러냈다.

임무에 충실한 군인이 조국으로부터 받는 찬사는 그 어떤 훈장보다도 값진 것입니다. 그러나 올바른 길을 걸어온 대다수 군인에게 당연히 돌아가야 할 영예가 상처를 입었던 불행한 시절이 있었습니다. 나는 이 잘못된 것을 다시 제자리에 돌려놓아야 한다고 믿습니다. 나는 오늘 이 자리에서 국군의 명예와 영광을 되찾는 일에 앞장설 것을 여러분에게 다짐합니다. (이하 중략)

그리고 용산구 국방부 내부 주차장에 하나회 척결을 주장하는 전단이 살포된다. 비하나회파가 뿌린 것으로 추정되는 이 전단에 대해서 권영해 국방장관은 조사를 명령하는 것과 함께 김영삼에게 보고를 했다. 

김영삼이 본격적인 숙청에 들어간 건 취임 11일째인 1993년 3월 8일. 이 순간까지 군 수뇌부는 물론 청와대 비서진들까지도 김영삼의 의도를 모르고 있었다. 김영삼은 몇몇 최측근들과 일을 의논하다 3월 6일 오후 늦은 시각 국방부 장관 권영해(육사 15기)를 3월 8일 오전 7시 30분까지 오라고 한후 당일 독대했다. "군인들은 그만둘 때 사표를 제출합니까?"라고 김영삼이 묻자 권 장관은 "군대엔 사표 내는 일 없이 인사명령에 따라 복종하는 각오가 언제나 돼있습니다"라고 답했다. 그러자 김영삼이 "아 그래요. 그럼 됐구만"이라고 말하더니 "내가 육참총장하고 기무사령관을 오늘 바꾸려고 합니다"라고 선언했다. 장관이 극비리에 육군본부, 기무사, 수방사, 특전사 등의 동향을 점검하도록 지시를 내린 상황에서 바로 그 자리에서 김영삼과 권영해가 수뇌부에 대한 인선에 들어갔고, 하나회 출신 육군참모총장이었던 김진영과 기무사령관이었던 서완수를 군 통수권자 권한으로 전격 해임했다. 그렇게 공석이 된 자리에는 非하나회 출신인 김동진 연합사 부사령관(육사 17기)과 김도윤 기무사 참모장을 각각 육군총장과 기무사령관에 임명했다. 기무사령관 교체시에 작은 해프닝이 있었는데, 서완수 사령관이 해임된 뒤 김도윤 참모장이 취임하는데 원래 기무사령관은 중장이 보임한다. 그러나 너무 빨리 교체되는 바람에 진급시킬 시간이 없어 물러날 때까지 김도윤 기무사령관은 소장으로서 직무를 수행했다.사실 이미 취임했는데 그 후에야 진급한다는 것도 웃긴 일이긴 하지만 중장이 보임된 건 다음 기무사령관에서였다. 여기까지 과정이 단 네 시간. 여기에 이르러서도 이 일이 군 수뇌부 교체 정도가 하나회 숙청 과정 중 하나라는 사실을 아는 사람은 김영삼 자신과 몇몇 측근에 불과했다. 한 가지 웃긴 점은 김영삼 대통령의 명령을 하달받고 시행할 것을 공지한 사람이 바로 김영삼에 의해 잘리는 김진영 육군참모총장이었다. 이 공지를 요약하자면 "군 내 사조직을 해체하라"였는데, 김진영의 출신이 출신이다보니 이를 들은 하나회 구성원들은 그 대상을 하나회가 아닌 학군장교(ROTC) 그룹으로 여겼다.

1993년 4월 2일에는 당시 대령이던 백승도(육사 31기, 당시 교육사 근무. 2004년 준장 예편)가 하나회 명단을 용산구 군인 아파트에 뿌리는 일을 벌였고, 이것이 언론에 보도되면서 하나회의 깊은 뿌리가 제대로 알려지기도 했다. 장성급까지의 하나회 구성원들은 어느 정도 드러나 있었고 그래서 그들을 대상으로 숙청이 진행되었는데, 이 하나회 명단 살포와 그 후 명단 확인 소동 등이 일어나면서 하나회 소속 영관급 장교들까지 전부 드러나게 되었고, 이후 이들 하나회 출신 영관급 장교들은 이전과 반대로 하나회 출신이라는 이유로 진급에서 지속적으로 불이익을 받으며 차례차례 밀려나게 되었다. 그리고 그 당일로 안병호 수방사령관(육사 20기)과 김형선 특전사령관(육사 19기)까지 경질 후 교체되었다. 이 교체에는 한 가지 일화가 있는데, 육참총장과 기무사령관이 목이 날아가는 것을 보고 두 사람은 다음은 자기 차례라는 것을 직감했는지 특전사령관은 아예 포기하고 퇴역하면 운전병이 없어질 거라며 운전연습을 하고 있었고, 수방사령관은 어떻게든 살아남으려고 이곳저곳에 줄을 대고 있었다 한다. 물론 결과는 사이좋게 모가지. 이런 교체 의도를 권영해 국방부 장관이 알게 된 건 겨우 발표 하루 전이었을 정도로 이러한 진행은 김영삼과 측근들에 의해 극비리에 진행되었다. 그리고 불과 며칠 후인 4월 8일에 각 야전군사령관급 인사로 하나회 출신 장군들이 자리에서 밀려났으며, 또 바로 며칠 후인 4월 15일에는 사단장급 인사까지 벌여서 하나회 출신 장군들을 자리에서 몰아냈다. 4월 동안 벌인 이런 기습적인 세 번의 교체로 군 주요 보직에서 하나회 인사들은 순식간에 밀려나고 만다. 이 과정에서 떨어진 별 40개가 넘었는데, 이는 전두환이 12.12를 일으켜서 상급장성들의 목을 다 날리고 하나회로 군을 장악한 이후 처음 있었던 대규모의 숙청작업이었다.

한편, 1차 숙청 과정 이후 하나회 출신들은 군 내 주요 자리에서 밀려난 상태였다. 1993년 7월 9일 하나회 소속인 합참 작전부장 이충석 소장(육사 21기)이 합참 회식 자리에서 물컵으로 탁자를 몇 차례 내려치면서 정부가 군을 막 대한다며 불만을 토로해 회식 자리가 서둘러 마무리된 일이 있었다. 이를 하나회 청산에 대한 하나회의 저항이라고 간주한 대통령과 주요 지도부는 아예 하나회에 대해 이전의 득세를 모조리 다 없던 것으로 할 만큼의 대대적 탄압을 하기로 한다. 이후 하나회 출신의 주요 장성들은 진급에서 멀어진 것도 모자라 아예 강제 전역까지 당하는 2차 숙청을 당했으며 그렇게 하나회 출신 장군들은 군을 완전히 떠나게 되었다.

그 뒤 하나회 출신은 계급을 막론하고 하나회 출신이라는 이유로 진급과 직위에서 계속 배격당했고, 그렇게 하나회는 이전의 권력을 완전히 잃고 망하고 만다. 더 웃긴 일은 2차 숙청 이후에 하나회 회원들을 배격한 장관은 하나회 출신이면서 김영삼의 경남고 후배인 이병태(육사 17기. 예비역 중장) 장관이었다는 것. 그는 1992년 대선 때 김영삼 후보의 군 문제 담당 자문역을 맡았다. 김영삼 정부가 출범한 후 청산 대상인 하나회 출신으로는 유일하게 고위공직인 국가보훈처장에 임명되었고, 전임인 권영해 장관의 후임으로 국방장관에 기용되었다.

하나회 숙청 과정에서 공군참모총장이었던 이양호가 합참의장이 되고 국방부 장관까지도 되는 초유의 일이 벌어지기도 했다. 다만, 이 합참의장은 린다김 사건으로 대표되는 율곡사업 비리에 연루되었으며 후임 공군참모총장인 조근해 전 참모총장은 생도 임관식 예행연습을 위해 공군사관학교로 이동 중 헬기 추락사건으로 순직하고 만다. 참고로 당시 사고 기종은 하필이면 국군의 주력 헬기로 쓰이던 UH-60 블랙호크였다.

하나회 숙청 과정에서 하나회 출신들에 대한 자진신고를 받았는데, 하나회라는 군 내 사조직의 특성상 명단이나 체계가 따로 있을 필요가 없어서 하나회 출신들과 잘 어울리고 진급이 잘 되던 장교들은 나도 하나회인 것 같다며 자신신고를 해 오는 웃지 못할 일도 있었다. 하나회 명단이 살포된 후에야 그들은 누명을 벗을 수 있었다.

김영삼 대통령은 훗날 인터뷰에서 "내가 하나회를 해체하지 않았다면 김대중, 노무현 대통령은 당선되지 못했을 것"이라면서 너스레를 떨기도 했다. 사실 하나회 자체가 군을 실제로 동원할 수 있는 군 장성들의 사조직이었던 만큼, 그들이 해체에 반발하여 쿠데타를 일으킬 가능성도 있었기 때문이다. 대표적인 이야기가 '군 김대중 비토(veto)설'이다. 이 주장은 5공 때부터 흘러나오기 시작해서, 김대중이 대통령 선거에 나설 때마다 흘러나왔다. 심지어 하나회가 완전히 숙청된 이후인 1997년 대선까지도 김대중 비토설이 흘러나왔다. 하나회 해체는 매우 어려운 일이었고, 자칫 잘못하면 애써 이루어낸 민주화가 도로아미타불이 될 수도 있었던 절체절명의 순간이기도 했다. 실제로 남미 등의 나라를 보면 오랜 군부독재 후 민주주의가 정착되는 과정에서 과거 기득권 세력이 쿠테타를 일으켜 군사정권으로 회귀하는 현상이 자주 보인다. 대표적으로 아르헨티나, 칠레 등. 다만 칠레는 군사정권으로 돌아간 건 아니고 기존의 독재자가 여전히 사회 전반에 강력한 영향력을 행사한 사례다. 처벌? 물론 그런 건 없다. 자세한 내용은 아우구스토 피노체트 참조.

실제로 하나회 출신 군 수뇌부를 제거하는 상황 때 국방부 장관을 비롯한 군 지도부가 쿠데타 상황까지 경계하며 보름 동안 밤샘 대비를 하기도 했고, 실제 일어나지는 않았지만 숙청 과정에서 쿠데타설이 돌기도 했다. 아무튼 김영삼이었기 때문에 가능한 일이었다는 평가가 대세이다. 김영삼은 노태우 대통령 이후 민정당 측이 대통령 후보를 물색하다가 사람이 안 나와서 모셔간 사람이기 때문에(물론 여기에는 김영삼의 계산도 작용했다), 대통령 취임 이후 여당인 민자당을 전부 휘어잡을 명분을 얻었고 이를 바탕으로 생각보다 쉽게 하나회를 해체했다. 만약 김영삼이 다른 당이었거나, 김대중이 대통령이 된 상태에서 하나회 해체를 시도했다면 12.12 군사반란 시즌 2를 찍었을 가능성도 있다.

그런데 하나회를 숙청하고 빈자리에 주요 인사를 하는 과정에서 비밀 유지를 위해 김영삼은 국방부나 군 관련 인물을 배제한 채 최측근들하고만 일을 논의했는데, 이런 인선 과정에서 김영삼의 아들인 김현철이 상당한 영향력을 행사했고, 이후 김현철은 권력 실세로 우뚝 섰다. 헌데 아이러니하게도 이렇게 권력 실세가 된 김현철은 이후 부패권력의 상징이 되어 몰락하고 만다.

하지만 김현철 본인은 하나회 숙청 과정에서 브레인이었다는 설을 부인했는데, 본인에게 가장 큰 업적이 될 수 있는 일을 부인한 것을 보면 정말 몰랐던 것이 사실인 것으로 보인다.

하나회 척결은 금융실명제 실시 등과 더불어 김영삼 대통령의 주요업적 중 하나로 평가받는다.