일을 해주는 AI 프로덕트를 보고 만든 프로덕트

AI 확산의 주역, 인프라

AI의 전파는 23년도 이후에 눈에 띄게 빨라졌습니다. 사실 머신러닝 기반 제품들은 알파고 이후에 꾸준히 산업에서 알게 모르게 사용중이었는데요. 대부분은 광고 추천이나 컴퓨터 비전쪽에 기술이 많이 쓰였고, B2B의 영역이 많다보니 "사람이 직접 AI를 사용한다"라는 느낌을 가지기는 힘들었습니다. 그런데 chatGPT 이후에는 정말 남녀노소 AI를 사용하게 됐어요. 그리고 사람들이 자연스럽게 일을 하는데 chatGPT와 같은 LLM 기반 서비스를 적극 도입하기 시작했습니다.

위 그래프는 맥킨지에서 발표한 25년도 자료입니다. 기업 조직에서 최소 1개 이상의 기능 혹은 제품을 사용하는지에 대한 그래프인데, chatGPT 등장 이후에 잠잠하던 기업의 AI 도입이 적극적으로 변한 것을 확인할 수 있습니다.

이미 잘 구성된 하드웨어(컴퓨터, 휴대폰), 소프트웨어(브라우저) 인프라가 있어서 전파 속도가 빠른 것도 있지만, 채팅과 검색이라는 친숙한 UX가 한 몫했다고 생각합니다. 사람들이 상상할 수 있는 레벨에서 UX설계가 되어있다보니 그 전파속도가 더 경계없이 빠르지 않았나 싶습니다.

구현을 위한 기술 인프라도 이 변화를 만들어낸 주역중에 하나라고 생각합니다. 아마존의 sageMaker 같이 모델을 쉽게 만들 수 있게 해주는 서비스와, Hugging Face와 같이 입맛에 맞는 AI 모델을 가져다 사용할 수 있는 플랫폼은 빠르게 성장하여, AI 서비스 구현 코스트를 과거에 비해서 엄청나게 낮춰 놓았습니다.

제일 잘쓰고 있는 AI 프로덕트: onyx와 aider

좋아진 환경 덕분에 제품 역시 쏟아져 나오는 중인데요. 저는 개인적으로 업무에서 AI 기반 정보 검색과 google deep research를 많이 이용합니다. 회사차원에선 Fireflies라는 녹음 앱 많이 쓰고 있습니다. 저희 회의를 모두 녹음해서 문서화 한 뒤에 저장하고 있어요.

그리고 onyx.app이라는 지식관리 서비스 도입을 해보려고 실험중입니다. OpenAI에 초기부터 투자했던 회사중 하나인 코슬라 벤처스의 투자를 받았고, 실리콘밸리에서 요즘 제일 주목받는 서비스중에 하나라고 하네요.

어떤 서비스인지 간단하게 설명드리자면, slack과 같은 여러 협업 툴과 구글 드라이브와 같은 문서관리 툴을 연결 해놓으면, AI Agent가 정보에 접근해서 사용자의 요구를 더 구체적으로 해결해줄 수 있는 서비스입니다.

이 서비스를 눈여겨 보고 있는 이유는 문서를 통합적으로 관리하고 검색하는데 그치지 않고, AI의 가치중립적인 성격을 이용해서 정보에 대한 다각적 시각을 제공해줄 수 있을 것이라는 기대가 있습니다. 아직 한계가 있어서 원하는 수준의 결과가 나오진 않는데요. 그래도 발전할것을 기대하고 도입을 시도하고있습니다.

75%이상 개선된 생산성

그 외에 개인적으로 잘쓰고 있는 AI툴은 aider인데요. 많이 들어보신 Cursor나 wind surf, copilot과 비슷한 서비스입니다. 요새 이야기 많이 나오고 있는 Vibe coding을 할 수 있게 도와주는 툴인데요. vibe coding은 잘 아시겠지만, 요구사항을 직접 코딩하는게 아니라, AI에게 코드 작성을 위임하는 형태의 코딩이에요. 그래서 비개발자도 몇가지 지시만으로 서비스를 실제로 만들 수 있습니다.

실제로 시연 영상을 간단하게 만들어봤는데요. 아래 영상에서 보시는 처럼 사용자 시나리오를 허술(?)하게 넣고 돌려도 코드를 잘 작성해줍니다.

저는 과거 스타트업 전문 외주개발사에서 다양한 서비스 개발을 많이 했었는데, 그 회사에는 내부용 서비스가 있었어요. 외주 개발시에 만들어지는 기능을 모듈화 해서, 나중에 재활용 할 수 있는 형태로 가공하고, 다음 프로젝트때 이 모듈을 가져다 쓸 수 있는 서비스였어요. 프로젝트 시작시에 필요한 모듈을 클릭하면 자동으로 기본 기능과 체크한 모듈이 탑재된 상태로 개발을 시작할 수 있었는데요. 그래서 혼자서 약 2달 정도 걸릴 기능 구현을 2주 이내에 끝낼 수 있게 도와줬어요. 대략 계산해보자면, 내부 서비스로 약 75% 정도의 비용을 절감했어요.

그런데 한 회사가 축적하고 있던 노하우를 Aider가 더 훌륭하게 대체 했다고 느꼈습니다. 제가 사용해본적 없는 기술 스택으로 개발을 했는데, 비슷한 속도에 비슷한 제품 퀄리티가 나옵니다.

물론 한계도 명확히 있는데요. 복잡한 문제나 작은 문제를 잘 못풀고, context 전달이 힘든 것들은 결과가 좋지 못합니다. 그래서 대규모의 복잡한 서비스에 적합할지는 잘 모르겠습니다. 하지만 새로운 시작을 할 때는 정말 강력합니다.

이런 Vibe coding의 가능성을 확인하고, 사내 기술 스택 변경을 했습니다. 과거에는 익숙하고 잘 아는 기술 위주로 선택해서 사용을 했는데, 이제는 익숙하지 않아도 세계적으로 좋은 개발자들이 대거 포진해있는 기술로 변경했습니다.

실제로 대기업 개발자 채용은 그 개발자의 경험을 산다고 할 정도로 사례가 중요한데, 인터넷에 좋은 사례가 많이 공유되어있을 수록, AI시대에는 좋은 코드를 짜줄 가능성이 높아져서 유명 IT회사의 기술 스택 위주로 재편성했습니다. 개인적으로는 메타에 훌륭한 개발자들 밀도가 높다고 생각해서 메타의 기술 스택을 주로 이용하고 있습니다.

다른 분야에서도 이런 일들이 일어나고 있는데요. 조사를 해보니, 법률 문서 검토 쪽과 의료 영상진단 쪽도 비슷한 일이 일어나고 있습니다.

법률쪽에서는 대부분 시간이 오래걸리던 부분이 문서 검토인데, AI기반 법률 문서 검토 도구의 도입으로 시간과 비용을 압도적으로 단축 되었다네요. 대표적인 사례로 Control Risks라는 국제 법률 회사에서 특정 프로젝트에서 12만 건 이상의 문서를 검토해야 했는데, Relativity라는 회사의 aiR이라는 서비스를 사용하여 1차 검토비용의 50%, 시간의 80%를 단축한 사례를 찾을 수 있었습니다.

AI는 계약서에서 주요 조항, 정의된 용어, 의무 및 권리 등을 자동으로 추출, 모호하거나 모순되는 내용 식별, 문서의 관련성 평가, 우선순위를 지정하는 일을 주로 하고. 이제 변호사는 검토 시간을 단축하고 핵심적인 법률 분석 및 전략 수립에 시간을 더 많이 쓴다고 합니다.

의료 영상 진단쪽에서 역시 방대한 양의 영상을 의사가 직접 보고 질병 징후를 찾았어야했는데, 이 과정을 AI를 통해 증상진단 정확도를 크게 늘리고 시간을 크게 줄였다고 합니다.

전문의 단독으로 했을때 폐 결절 검출같은 경우 정확도가 65-70%였는데, 93% 까지 높였고, 뇌종양 분류시간 기존 20-30분 걸리던 것을 2분 이내로 단축시켰다고 합니다. 그래서 도입 이후에는 긴급 소견이 있는 검사를 자동으로 우선순위로 올려서, 의료진이 중요한 사례에 먼저 집중하고 대응할 수 있도록 바뀌었다고 합니다.

변하지 않을 것들에 대한 배팅

이 사례들과 비슷하게 저는 현재까지 나온 AI 프로덕트에게 많은 일들을 위임하게 되다보니 자연스럽게 집중하는 영역이 들어나더라구요. 자연스럽게 관리자모드가 되어서, 자료가 실제로 유효한지 검토하고, 그 다음에 어떤 액션을 하지와 같은 의사결정에 집중하게 됐습니다.

이 경험을 해보니, AI시대에 인간이 해야만 하는 일이 계속 변해갈 것이라는 판단이 섰습니다. 현재 인간이 하고 있는 일을 AI가 대체하고 남는 일을 인간이 하다보면 또 AI에게 위임할 수 있는 형태의 일이 생길 것입니다. 그리고 그 일마저 위임하고 나면 그때 인간이 할 일은 지금의 인간이 할 일과 다를 것입니다. 그래서 계속 변화를 쫒아가기보단, 그 끝에 꼭 인간이 가지고 있는 원천적인 문제를 더 잘 풀어나갈 수 있도록 도와주는 프로덕트를 만들어 보는 것이 좋겠다는 결론에 도달했습니다.

결론 이후에도 한번 더 배팅이 필요했는데요. 어느 가설에 배팅하냐에 따라서 위 처럼 다른 결과물이 나올 수 있는 것 같습니다. 왼쪽의 Humper는 저희가 만들고 있는 MVP이고, 오른쪽은 더벤쳐스의 '더벤쳐스AI' 입니다. 저희는 심사역이 AI에게 대체되지 않을 것이라는 쪽에 배팅하고 있기 때문에 심사역을 위한 AI 프로덕트를 만들었습니다.

다수의 VC 고객을 인터뷰를 먼저 진행했고, 이를 바탕으로 가설 하나를 세웠습니다. VC 심사역이 업무를 위임하고 집중을 하게 될 영역이 “내러티브 빌딩과 브랜딩일 것이다"라는 가설을 세웠고, 이를 검증하기 위한 AI 네이티브 CRM 프로덕트를 만들어 봤습니다.

인터뷰를 통해 알게 된 것인데, VC업은 투자를 위해서 스타트업을 많이 만나고, 시장에 대해서 잘 알아야 하기 때문에, 관리해야하는 고객과 context가 타 직업군에 비해 많더라구요. 정말 수 많은 정보에 노출되기 때문에, 방향성 설정에도 어려움을 많이들 겪으시고요. 그래서 저희가 만드는 프로덕트는 VC가 가장 시간을 많이 쓰는 업무인 미팅을 통해서 사용자가 방향을 잘 설정하고, 인지할 수 있도록 AI를 이용해서 도와줍니다.

간단하게 저희 프로덕트의 생김새에 대해 설명드려볼게요. 가장 처음 사용자는 목표와 목표를 이루기 위한 행동을 적습니다. 그리고 평소처럼 업무 미팅을 합니다. 미팅을 할 때 녹음 앱을 이용해서 녹음을 하면, 미팅록을 자동으로 작성해주고, 문서 형태로 저장 해줍니다. 미팅 정보에 고객 정보가 있다면, 자동으로 추출하여 정리해줍니다.

업무를 마칠 때쯤인 19시가 되면, wrap up 이라는 것을 생성 해주는데요. 오늘 한 미팅의 transcript 중 중요한 내용을 AI가 chunk로 잘라서 보여줍니다.

사용자는 이 chunk의 내용을 보면서, 오늘 미팅의 중요한 내용을 회고하고, 각 chunk를 앞에서 적었던 행동이 적힌 서랍에 옮겨 담습니다. 이 과정에서 사용자는 방향성에 대한 재고와 다음 액션에 대한 계획을 세울 수 있습니다. chunk중에 중요한 내용이지만, 행동 서랍에 담기지 않는 chunk가 있을 수 있는데, 이들은 미분류 서랍에 넣어둡니다.

이렇게 모인 미팅 정보를 바탕으로, 추후에는 다양한 기능들을 추가해 볼 예정인데요. 사용자가 미팅을 다녀온 이후에, 미팅록에서 목표를 이루기 위해서 만나면 좋을 사람을 추천해줄 수 있습니다. 미분류에 쌓인 정보를 바탕으로, 내가 인지하지 못하는 중요 행동 정보를 제시해 주는 기능을 만들어 볼 수 도 있을 것 같습니다. 또 목표와 다른 행동을 하고 있는데, 인지하고 있지 못하다면, 행동교정을 제시할 수 있거나, 새로운 목표 액션을 추가할 수 있도록 제안하는 기능을 넣어볼 수도 있을 것 같습니다.

이제 막 만든 MVP이다보니, 베타테스터분들에게 최초로 배포하여 피드백을 받아볼 예정입니다. 아마 나중에 출시하면 지금의 모습과 많이 다를 수 도 있을 것이나, 최초에 세운 "방향을 찾아가는 과정을 함께 할 AI native CRM"을 만들어 나가는데 집중할 예정입니다. 이 블로그를 통해서 Humper가 어떤 방향으로 가고 있는지에 대해서 종종 소식 전해보겠습니다.

그리고 직접 AI 프로덕트 만들면서 여러 고민들이 생기더라구요. AI native한 프로덕트는 어떻게 생겼을지, 소비자들은 어떻게 반응할 지 등등 고민할 거리가 한두가지가 아닌데, 저만 이런 고민을 하고 있을 것 같지는 않더라구요. AI 프로덕트에 관심이 많으시고, 함께 이야기 나눠보고 싶으신 분들이 있으시다면 아래에 정보 남겨주세요. 감사합니다.