2026년 2월 PIE 60장 <서울대학교 산업공학과 이재욱 교수님>

AI와 금융, 그리고 산업공학.
빠르게 변화하는 기술 환경 속에서 “이 기술은 어디까지 확장될까?”,

“그 안에서 산업공학은 어떤 역할을 할 수 있을까?”라는 질문을 한 번쯤 해보셨을지도 모릅니다.

 

2026년 2월호 PIE에서는 비선형 시스템의 안정성 분석이라는 이론을 바탕으로 Safe AI와 핀테크 연구를 이어오며, 학계와 산업 양쪽에서 기술의 변화를 지켜봐 온 서울대학교 산업공학과 이재욱 교수님을 모셨습니다.

 

수학과 응용수학에서 출발해 공학 시스템, 머신러닝, 금융공학을 거쳐 최근에는 AI의 안전성과 블록체인 기반 금융 시스템까지 연구를 확장해 오신 교수님은, 한 분야에 머무르기보다 시대의 변화에 맞춰 연구의 방향을 조정해 온 연구자이기도 합니다.

이번 인터뷰에서는 교수님의 연구 여정을 따라가며 AI가 가진 한계와 가능성, 금융과 기술이 만나는 지점에서의 고민, 그리고 빠르게 변하는 환경 속에서 학생들이 어떤 준비를 하면 좋을지에 대한 현실적인 조언을 담았습니다.

 

AI·금융·데이터에 관심이 있거나, 앞으로의 진로와 공부 방향을 고민하고 있다면 이번 인터뷰가 하나의 출발점이 되어줄 수 있을 것입니다.

 

Q1. 인터뷰에 응해 주셔서 감사합니다. 먼저 자기소개 부탁드립니다.

저는 학부에서는 수학을 전공했고, 박사는 응용수학으로 받았습니다. 지도교수님은 전기·컴퓨터공학 분야에서 회로, 전력, 제어를 연구하시는 분이었고, 저는 그 안에서 수학적인 관점의 연구를 수행했습니다.

그래서 제 원래 주전공은 비선형 시스템의 안전성 분석입니다. 회로, 전력, 제어와 같이 미분방정식으로 표현되는 시스템이 불안정해질 때, 언제 안정성이 깨지는지, 그리고 이를 어떻게 다시 안정화시킬 수 있는지를 수학적으로 분석하고 알고리즘으로 구현하는 연구를 해왔습니다.

이후 2001년부터 약 11년 반 동안 포스텍에 재직했고, 2012년 3월에 서울대학교 산업공학과로 옮기게 되었습니다. 금융 연구를 시작하게 된 계기는 비교적 자연스러웠습니다. 포스텍에 재직하던 당시에는 경영대가 없는 환경이다 보니 금융 분야에 대한 학생들의 관심과 수요가 상당히 컸습니다. IMF 이후 금융권 진출을 희망하는 학생들도 많았고요.

마침 제가 박사 과정 당시 재학했던 코넬대학교에서는 금융공학이 매우 활발한 분야였고, 산업공학과 내에 대규모 금융공학 석사 프로그램이 운영되고 있었습니다. 직접 연구를 하지는 않았지만, 세미나 등을 통해 관련 내용을 꾸준히 접하고 있던 상황이었습니다.

그러다 보니 포스텍에서 학생들과 함께 스터디를 시작하게 되었고, 이후 금융공학 수업을 개설하면서 본격적으로 이 분야를 공부하게 되었습니다. 그렇게 시작한 금융공학 연구가 어느덧 20년 가까이 이어지고 있습니다.

 

Q2. 교수님의 연구를 보면 안정성 분석이라는 이론을 바탕으로 Safe AI와 핀테크라는 두 응용 분야를 다루고 계신데요. 이 두 분야를 연구하게 된 배경과 각각의 연구 초점을 간단히 소개해 주실 수 있을까요?

제 연구를 하나로 묶어 보면 핵심은 “안정성 분석(stability analysis)”이라고 할 수 있습니다. 학부 시절 혼돈 이론을 접하면서, 어떤 시스템이 작은 외부 충격에도 무너지지 않고 원래 상태로 돌아오는지, 혹은 왜 특정 순간에 갑자기 불안정해지는지에 자연스럽게 관심을 갖게 되었습니다.

안정성 분석을 쉽게 말하면, 시스템에 교란(perturbation)이 발생했을 때 어떤 조건에서 시스템이 다시 복원되는지를 살펴보는 것입니다. 약간 흔들려도 제자리를 유지하면 안전한 시스템이고, 작은 충격에도 구조가 깨지면 불안정한 시스템이라고 할 수 있죠.

이러한 관점에서 처음에는 전력망이나 제어 시스템과 같은 공학 시스템을 연구했고, 이후 금융 시스템으로 관심이 확장되었습니다. 금융 시장 역시 확률적 노이즈와 외부 충격이 끊임없이 발생하는 시스템이기 때문에, 안정성 분석이라는 도구가 매우 잘 맞았습니다.

최근에는 이 관점을 인공지능으로 확장하고 있습니다. AI 시스템은 학습 과정 자체가 불확실성을 내포하고 있고, 데이터나 환경이 조금만 변해도 결과가 크게 달라질 수 있습니다. 그래서 저는 공정성, 프라이버시, 보안, 해석 가능성을 포함해 ‘교란에도 무너지지 않는 AI’, 즉 Safe AI를 설계하는 데 초점을 두고 연구를 진행하고 있습니다.

한편 핀테크 연구에서는 이러한 이론적 기반을 바탕으로 금융 상품의 설계, 모델의 안정성, 그리고 최근에는 이를 활용한 핀테크 및 블록체인 시스템까지 다루고 있습니다.

겉으로 보면 Safe AI와 핀테크라는 서로 다른 분야를 연구하는 것처럼 보일 수 있지만, 실제로는 모두 “시스템이 불확실성과 충격 속에서도 얼마나 안정적으로 작동할 수 있는가”라는 하나의 질문에서 출발한 연구라고 보시면 될 것 같습니다.

 

Q3. 교수님께서 연구를 오래 해오시면서, 연구자로서의 방향에 영향을 준 에피소드나 기억에 남는 순간이 있으셨을까요?

특별히 한 가지 사건이 있었다기보다는, 연구를 해오면서 몇 차례 중요한 전환점이 있었습니다. 원래 제 전공은 비선형 시스템의 안정성 분석이었는데, 솔직히 말씀드리면 수학적 도구들이 어느 정도 완성 단계에 이르러 있었기 때문에, 그 분야 자체가 아주 도전적인 영역은 아니었습니다.

그러던 중 포스텍에 처음 교수로 부임한 이후 대학원생 논문 심사를 하면서 데이터 마이닝이나 클러스터링과 같은 기계학습 문제의 수식을 접하게 되었습니다. 그 수식들을 보면서 “이건 확률적으로 교란된 비선형 최적화 문제이고, 내가 해왔던 동적 시스템 이론으로 충분히 풀 수 있겠다”는 생각이 들었습니다.

이후 동적 시스템 관점을 기계학습 문제에 적용한 연구를 진행했고, 그 논문이 제 연구 인생에서 첫 번째 큰 전환점이 되었습니다. 당시에는 기계학습 분야에서 이러한 접근이 거의 없었기 때문에 오히려 새롭게 받아들여졌고, 운이 좋게도 최상위 저널에 바로 게재되었습니다. 그 이후로 안정적인 머신러닝과 데이터 분석 알고리즘 연구를 본격적으로 시작하게 되었고, 이 흐름이 자연스럽게 현재의 AI 연구로까지 이어졌습니다.

또 하나의 중요한 전환점은 금융 분야였습니다. 금융공학은 2000년대 후반까지 굉장히 인기가 있었지만, 2008년 글로벌 금융위기 이후 상황이 급변했습니다. 금융공학 전공자들의 진로가 급격히 좁아졌고, 연구 자체도 정체되는 시기를 겪었습니다.

다행히 저는 금융만을 해온 연구자는 아니었기 때문에, 그동안 축적해 온 머신러닝과 안정성 분석을 금융 문제에 접목하는 방향으로 연구를 이어갈 수 있었습니다. 이후 알파고 이후로 AI가 급격히 주목받으면서 금융과 AI를 결합한 연구에 더욱 집중하게 되었고, 이것이 지금의 핀테크 연구로 이어졌습니다.

특히 2015년 전후로 블록체인 기술이 주목을 받으면서 또 한 번 큰 방향 전환을 하게 되었습니다. 블록체인은 단순한 기술적 유행이 아니라, 기존의 중앙화된 금융 시스템 자체를 구조적으로 바꿀 수 있는 가능성을 가진 혁신적인 기술이라고 보았습니다. 글로벌 금융위기 이후 비트코인이 등장했다는 점 자체도 매우 상징적이었고요.

이후 스테이블 코인, ETF 승인 등 제도권 금융이 블록체인을 점차 받아들이는 과정을 보면서, 이 흐름은 되돌릴 수 없겠다는 확신을 갖게 되었습니다. 그래서 현재는 블록체인을 기반으로 한 새로운 금융 시스템과 핀테크 연구를 장기적인 관점에서 이어가고 있습니다. 돌아보면 제 연구는 항상 한 분야에 머무르기보다는, 환경의 변화와 현실의 문제에 따라 방향을 조금씩 조정해 오면서 이어져 왔다고 생각합니다.

 

Q4. 최근 AI 분야의 발전 속도가 매우 빠른데, 이런 변화가 교수님의 연구 방향에는 어떤 영향을 미쳤나요?

초기에 기계학습 연구를 시작했던 2000년대 초반에는 연구 결과가 비교적 천천히 축적되었고, 하나의 논문을 저널에 제출한 뒤 약 2년 정도를 기다리며 revision을 받는 과정 자체가 자연스러웠습니다. 그러나 2016년 알파고의 등장과 함께 AI 붐이 본격화되면서 연구 환경은 급격하게 변화했습니다.

특히 2017~2018년을 기점으로 AI 주요 학회에서는 불과 한 달 전에 발표된 연구 결과가 다음 발표에서 바로 뒤집히는 일이 반복되기 시작했습니다. 대규모 GPU 자원과 인력을 투입한 연구가 쏟아지면서, 저희와 같은 소규모 연구실이나 개인 연구자가 동일한 방식으로 경쟁하기는 현실적으로 어려워졌습니다.

학회 환경 역시 크게 달라졌습니다. 예전에는 학회에 가면 자신이 잘 아는 분야의 세션을 중심으로 듣고, 나머지 시간은 비교적 여유롭게 보낼 수 있었습니다. 하지만 이 시기에는 최신 AI 기술의 흐름을 따라가기 위해 아침부터 저녁까지 세션을 듣고, 구두 발표만으로 이해되지 않는 부분은 포스터 세션에서 직접 질문하며 따라가야 했습니다. 이러한 상황이 지속되면서 연구자로서 체력적·정신적으로도 상당한 부담을 느꼈습니다.

이러한 고민 끝에 2018~2019년경, 약 2년에 걸쳐 연구 방향을 정리하게 되었고, 그 결과 현재의 Safe AI 연구를 본격적으로 시작하게 되었습니다. 당시에는 AI 기술이 아직 완성 단계에 이르렀다고 보기는 어려웠지만, LLM을 비롯한 다양한 형태의 AI가 가까운 시일 내에 사회 전반으로 확산될 것으로 판단했습니다. 이에 따라 단순한 성능 향상뿐만 아니라, 그 과정과 결과가 얼마나 안전하고 신뢰할 수 있는지가 점점 더 중요한 문제가 될 것이라고 보았습니다.

현재 저희 연구실에서 다루는 Safe AI의 핵심은 크게 프라이버시와 안정성으로 나눌 수 있습니다. 프라이버시 측면에서는 사용자가 시스템에 질문을 하거나 데이터를 제공하는 과정에서, 의도하지 않게 개인정보가 유출될 수 있다는 점에 주목하고 있습니다. 특히 클라우드 환경에서는 데이터가 중앙화되어 처리되기 때문에, 보안 사고나 해킹이 발생할 경우 민감한 정보가 그대로 노출될 위험이 큽니다.

이러한 문제를 해결하기 위한 한 가지 접근으로, 데이터를 암호화한 상태에서 연산을 수행하는 방법을 연구하고 있습니다. 동형 암호 기법을 활용하면 서버는 원본 데이터를 알 수 없는 상태에서도 연산을 수행할 수 있고, 사용자는 암호화된 결과를 복호화하여 최종 결과를 얻을 수 있습니다. 저는 2019년 UCLA에서 연구년을 보내며 암호학과 사이버 보안 분야를 본격적으로 공부했고, 이를 바탕으로 Safe AI에서의 프라이버시 보호 문제를 연구실 차원에서 처음으로 다루게 되었습니다.

또 다른 중요한 연구 주제로는 차분 개인정보 보호(differential privacy)가 있습니다. 동일한 데이터베이스에 대해 반복적으로 질의가 이루어질 경우, 개별적인 응답을 그대로 제공하면 개인의 정보가 점진적으로 드러날 수 있습니다. 이를 방지하기 위해 응답에 통계적 노이즈를 추가함으로써 전체적인 경향은 유지하되, 개인 단위의 정보는 보호하는 방법을 연구하고 있습니다.

안정성 측면에서는 적대적 공격(adversarial attack) 문제를 중점적으로 다루고 있습니다. 적대적 공격이란 인간이 인지할 수 없을 정도의 미세한 노이즈만으로도 AI가 전혀 다른 판단을 내리도록 유도하는 공격 기법을 의미합니다. 예를 들어 정지 표지판에 미세한 노이즈를 추가했을 때, 자율주행 AI가 이를 제한 속도 표지판으로 오인하는 경우와 같이 안전이 중요한 응용 분야에서는 치명적인 문제를 초래할 수 있습니다. 이러한 취약성을 분석하고, 교란이 존재하더라도 안정적으로 작동하는 강건한 모델을 설계하는 것이 핵심적인 연구 과제입니다.

한편 이러한 기법이 반드시 부정적인 목적으로만 사용되는 것은 아닙니다. 예를 들어 개인이 SNS에 이미지를 게시할 때, 사람에게는 자연스럽게 보이면서도 AI가 특정 속성을 정확하게 추출하지 못하도록 미세한 조정을 가해 프라이버시를 보호할 수도 있습니다. 이처럼 적대적 공격, 프라이버시, 안정성 문제는 서로 긴밀하게 연결되어 있으며, 이러한 주제들을 종합적으로 다루는 것이 Safe AI 연구의 핵심이라고 할 수 있습니다.

 

 

Q5. 교수님께서 생각하시는 ‘좋은 연구’ 혹은 ‘의미 있는 연구’의 기준은 무엇인가요?

제가 생각하는 의미 있는 연구란, 결국 지금 가장 주목받고 있으면서도 사회적으로 중요한 문제를 다루는 연구라고 생각합니다. 예를 들어 최근 LLM을 직접 사용해 보면 기술적으로는 매우 인상적이지만, 동시에 할루시네이션과 같은 명확한 한계도 확인할 수 있습니다. 이러한 경험은 자연스럽게 “이 문제를 어떻게 해결할 수 있을까”라는 연구 질문으로 이어집니다.

블록체인과 관련한 연구 역시 비슷한 맥락에서 접근하고 있습니다. 블록체인과 암호화폐 시장은 특히 기존 금융 시스템에 익숙한 세대에게 부정적으로 인식되는 경우가 많습니다. 저 역시 처음에는 잃을 확률이 높은 예측 시장과 같은 새로운 형태의 금융 시스템에 사람들이 왜 참여하고 투자하는지 쉽게 이해하기 어려웠습니다.

그러나 이러한 시스템은 이미 우리 삶의 일부가 되었고, 많은 사람들이 실제로 그 안에서 경제적 의사결정을 하고 있습니다. 그렇기 때문에 연구자로서 왜 사람들이 참여하는지, 그 메커니즘이 얼마나 합리적인지, 그리고 궁극적으로 사회에 도움이 되는 구조인지를 끊임없이 질문하고 분석해야 한다고 생각합니다.

이러한 연구 방향은 제가 학부 시절 수학을 전공하며 느꼈던 답답함을 어느 정도 해소해 준 측면도 있습니다. 과거에는 ‘문제를 위한 문제’ 자체에 의미를 두는 공부를 했다면, 지금은 실제 사회와 맞닿아 있는 문제를 이해하고 이를 개선하는 데 목적을 두고 있습니다. 그런 점에서 제 연구가 지향하는 방향이 제가 생각하는 ‘좋은 연구’에 가깝다고 생각합니다.

 

Q6. Safe AI, 핀테크, 데이터 기반 금융 연구에 관심이 있는 학생들이 학부 시절 어떤 경험을 하면 좋을지 조언해 주실 수 있을까요?

지금은 시장과 기술 환경이 매우 빠르게 변화하고 있기 때문에, 예전과 같은 기준으로 학부 시절의 준비를 생각하기는 어렵다고 봅니다. 과거에는 코딩 실력 자체가 매우 중요했지만, 최근에는 이른바 ‘바이브 코딩’ 환경이 확산되면서 코딩의 진입 장벽이 많이 낮아졌습니다. 다만 이러한 환경에서는 오히려 코드가 구조 없이 복잡해지기 쉽기 때문에, 소프트웨어를 체계적으로 설계하고 정리하는 설계와 디자인에 대한 감각을 기르는 것이 점점 더 중요해지고 있다고 생각합니다.

또 하나 강조하고 싶은 점은 수학적 기반입니다. 요즘에는 AI를 직접 활용하기만 해도 상당히 많은 결과를 얻을 수 있고, 실제로 대학원 초반 수준의 문제까지는 해결이 가능한 경우도 많습니다. 그래서 “굳이 수학을 깊이 배워야 하는가”라는 질문을 자주 받습니다. 하지만 저는 AI 시스템이 어떻게 작동하는지, 그 내부 메커니즘을 이해하지 않은 채 결과만 사용하는 것은 연구자나 기술자의 역할과는 거리가 있다고 생각합니다. 이러한 문제의식에서 출발해, 최근에는 AI 전반을 이해하는 데 필요한 수학적 내용을 교재 형태로 정리하는 작업도 진행하고 있습니다.

아울러 산업공학 분야의 경우, 최근에는 소프트웨어 중심으로 다소 과도하게 치우쳐 있는 경향이 있는데, 앞으로는 피지컬 AI나 하드웨어와 결합된 시스템에 대한 이해도 점점 더 중요해질 것으로 보입니다. 전자, 하드웨어, 물리적 시스템과 연관된 주제에 관심이 있다면, 동아리 활동이나 프로젝트 등을 통해 한 번쯤 직접 경험해 보는 것도 충분히 의미가 있을 것이라고 생각합니다.

결국 학부 시절에는 특정 기술 하나에 자신을 한정하기보다는, 기초를 탄탄히 다지면서 시야를 넓게 열어 두는 것이 중요합니다. 변화가 빠른 시대일수록 스스로 어떤 방향으로 나아가고 싶은지를 일찍부터 고민하고, 그에 맞춰 수업과 경험을 선택해 나가는 태도가 필요하다고 생각합니다.

 

Q7. 학계 연구와 산업 연구의 차이점, 그리고 그 사이에서 진로를 고민하는 학생들에게 조언을 해주신다면 무엇일까요?

학계 연구는 기본적으로 논문 발표가 중요한 목표이기 때문에, 기존 알고리즘을 이론적으로 개선하거나 새로운 방법론을 제안하는 형태의 연구가 중심이 됩니다. 반면 산업체에서의 AI 연구는 훨씬 더 현실적이고 절실한 성격을 띱니다. 기업이 AI를 도입하는 이유는 크게 두 가지라고 볼 수 있는데, 하나는 AI를 활용하지 않으면 경쟁에서 도태될 수 있다는 점이고, 다른 하나는 업무 효율화와 인력 감축입니다.

예를 들어 최근 법률 분야를 보면, 반복적으로 판례를 검색하거나 위험 조항을 검토하는 업무를 AI가 상당 부분 대신하고 있습니다. 금융권에서도 새로운 기업이 등장해 상장을 준비할 경우 기존 기업들과의 비교가 필요한데, 과거에는 이러한 작업을 대부분 수작업으로 수행했습니다. 반면 지금은 LLM의 API나 AI 에이전트를 활용해 관련 기업군을 자동으로 추출하고, 이를 바탕으로 도구와 인터페이스를 만들어 최종 판단은 사람이 하는 방식으로 훨씬 빠르게 처리하고 있습니다. 실제 현장에서는 과거에 100명이 필요하던 일을 10여 명 정도의 인력으로도 더 빠르게 수행할 수 있게 된 경우도 많습니다.

다만 이러한 작업들은 학술 논문으로 직접 이어지기 어렵기 때문에, 학계 연구의 주제로 삼기에는 한계가 있습니다. 반면 기업 입장에서는 비용 절감과 생산성 향상이라는 효과가 분명하기 때문에, 이러한 흐름은 앞으로도 계속될 수밖에 없다고 생각합니다.

 

Q8. 앞으로 교수님께서 각 연구 분야에서 장기적으로 도전해 보고 싶으신 연구 주제나 목표가 있다면 말씀 부탁드립니다.

특정한 새로운 목표를 설정하기보다는, 지금까지 해오던 연구를 계속 확장하며 이어가고 싶다는 생각이 큽니다. AI 시스템이나 Physical AI 시스템이 점차 완성 단계에 가까워질수록, 이를 어떻게 하면 조금 더 안전하게 만들 수 있을지에 대한 연구는 아마 은퇴 전까지 계속하게 될 것 같습니다.

핀테크 분야와 관련해서는, 블록체인이 아직까지는 실생활에 본격적으로 깊이 들어왔다고 보지는 않습니다. 현재는 투자나 투기적인 측면이 상대적으로 많이 부각되어 있고, NFT가 잠시 큰 주목을 받았다가 빠르게 사그라든 것도 이러한 맥락에서 이해할 수 있다고 생각합니다. 다만 스테이블 코인이 본격적으로 상용화되기 시작하면, 송금과 같은 금융 활동은 훨씬 자유로워질 것이고, 중앙은행이 독점적으로 발행하던 화폐를 민간에서도 발행하는 단계로 넘어가게 될 가능성도 있습니다. 그렇게 되면 금리 동결과 같은 기존의 통화 정책 구조 역시 크게 흔들릴 수 있습니다.

그래서 이러한 변화가 지나치게 극단적인 방향으로 흘러가지 않도록, 어떻게 하면 보다 안전하고 안정적인 방향으로 제도와 기술이 발전할 수 있을지를 계속 고민하고 있습니다. 그런 점에서, 이러한 흐름 속에서 균형을 잡는 데 기여할 수 있는 연구를 수행하는 것이 앞으로 제가 하고 싶은 역할이라고 보시면 될 것 같습니다.

처음에는 AI 연구와 핀테크 연구가 완전히 다른 방향에서 출발했고, 이후 두 분야를 하나로 통합해 보려는 시도도 해보았지만, 반드시 하나로 묶어야 할 필요는 없다는 결론에 이르렀습니다. 그래서 지금은 각각의 축을 유지하되, 서로가 서로를 보완하며 도와주는 방식의 연구를 선택하고 있습니다.

이와 관련해 제가 좋아하는 책 한 권을 소개하고 싶은데, 바로 『세상을 보는 지혜(The Art of Worldly Wisdom)』입니다. 이 책에는 “Double your Resources. You thereby double your life.”는 내용의 문장이 나오는데, 이 구절이 제 연구 방식과도 잘 맞는다고 느꼈습니다. 하나의 분야에 깊이 집중하는 것도 의미가 있지만, 서로 다른 두 개의 트랙을 함께 가져가면 한쪽이 흔들릴 때 다른 한쪽이 버팀목이 되어줄 수 있다고 생각합니다.

그래서 2001년에 연구실을 설립한 이후 지금까지 줄곧 이 두 가지 연구 트랙을 병행해 왔고, 앞으로도 이러한 연구 방향을 유지하며 계속 이어갈 계획입니다.

 

Q9. 나에게 산업공학이란?

기술로 현실을 더 잘 굴러가게 만들면서, 그 결과가 더 나은 세상으로 이어지도록 설계하는 학문이다.