어릴 때, 부유했던 집에서 파티를 하면 전화번호부를 통째로 외워서 읽어주는 묘기를 하였다.
또, 파티에 온 사람들의 정보를 물어보고 모두 외웠다고.
IBM 직원이 그가 머릿속으로 50자리의 기계어 코드를 암산했다고 증언한 적이 있다.
뛰어난 수학자였던 포여 죄르지는 취리히 대학에 다닐 적 폰 노이만에 대해 이렇게 회상했다. “예전에 그가 있던 클래스에서 강의할 때, 어떤 정리를 소개하고 아직 증명되지 않았으며 아마 꽤 어려울 거라고 이야기했다. 폰 노이만은 5분 후 가만히 손을 들더니 칠판에 나와 증명을 바로 써 내려갔다. 그때부터 나는 폰 노이만을 두려워했다”라는 말을 남겼다.
한 교수가 증명되지 않은 정리를 수업에 설명했는데
수업이 끝나고 폰 노이만이 증명한 종이를 들고 찾아왔다는 기록이 있다.
또 다른 뛰어난 수학자 친구가 며칠 동안 밤을 새서 푼 문제를 갖고 폰 노이만에게 장난을 치려고 문제를 풀었다는 것을 숨긴 채 같이 문제를 풀자고 제안했다. 그런데 폰 노이만이 문제를 순식간에 술술 풀어나가고 동료 수학자가 밤을 새워서 풀었던 가장 어려운 부분만 남겨놓자 화난 수학자가 답을 말하고 나가 버렸다. 1분 후 폰 노이만은 그가 말한 답이 옳다고 말한 뒤 30분 동안 어떻게 자신보다 빨리 풀었는지 고민하다가 물리학자가 사실을 이야기해 주자 그제야 웃으면서 밥 먹으러 갔다.
프린스턴에선 그가 인간의 언어를 완벽하게 터득한 외계인이라는 소문이 돌았다.
이렇게 너무나 놀라운 재능을 가진 그를 두고 주변 사람은 혹시 그가 악마가 아닐까 의문을 제기했지만 그 의견은 동료 수학자의 한마디에 의하여 각하되었다.“악마가 인간을 연기한 거라면 그렇게 연기를 못할 리가 없다.”
(파인만의 머리만 되더라도 인생 치트친거 마냥 완전 핵 꿀잼일 것 같은데.....)
7개의 외국어를 모국어같이 자유자재로 사용할 수 있었으며 발음도 원어민과 흡사하였다. 어릴 때 영어를 배웠지만 미국에 오면서 좀 더 수준을 높이기 위해 브리태니커 백과사전을 통째로 외우기도 했다.
누군가 “200마일 길이의 철로의 양쪽 끝에 서 있는 두 대의 기차가 시속 50마일의 속도로 서로를 향해 출발했습니다. 이때부터 두 기차가 서로 충돌할 때까지파리가 시속 75마일의 속도로 두 기차 사이를 왔다 갔다 했습니다. 파리가 이동한 거리는 모두 몇 마일일까요?”라는 질문을 폰 노이만에게 했다. 폰 노이만은 1초의 지체도 없이 150마일이라고 대답했다. 질문을 한 사람은 실망하면서 “역시 당신은 속임수에 걸리지 않는군요. 대개 사람들은 이 문제를 무한급수를 이용해서 풀려고 하지만 그렇게 하면 매우 많은 시간이 걸립니다. 하지만 간단한 논리를 이용해서 파리가 2시간 동안 움직인 거리를 알아내면 금방 풀리죠. 당신은 그렇게 풀어낸 거죠?” 폰 노이만은 대답했다. “아뇨. 무한급수로 풀었는데요.”