로봇 [1]

일찍 접했지만 깊이있게 공부하지 않았던 ai를 공부하기 시작했다.

대학생 때, 결국 모든 기술의 끝은 딥러닝, 강화학습이겠구나 라는 생각을 했었다.

또한, 언리얼 엔진 환경에서 기본 캐릭터를 기립 강화학습 시키면서 이걸 로봇에 적용하면 되지 않나라고 생각했던 기억이 났다. (그때 로봇을 전공하던 친구한테 얘기하니, 게임과 로봇의 차이는 정교함이라고 했었다. 게임에서는 휴리스틱하게 작용해도 되지만, 로봇은 그러면 안 된다!고 했었다.) 그리고 현재 그것은 흔한 접근 방식이 된 것 같다.

현재 공장이나 서비스 현장에 투입되는 대부분의 로봇은 ‘사전 학습된 단순 반복 업무’에 최적화되어 있다. 아무래도 내가 아는 강화학습으로는 그게 당연했다. 하나의 에이전트에 하나의 단순한 업무를 학습시키는 정도는 가능하지만, 경험상 복잡한 업무를 학습시키는 것은 어려울 것 같았다. 그래서 여러 에이전트에 각각의 업무를 학습시키는 방식이 될 것 같았다. 그리고 업무를 전환하는 방식으로 로봇이 여러 업무를 수행할 수 있도록 하는 방식이 될 것 같았다. 그게 아니라면, 실시간으로 서버에 업무를 전송해서 로봇이 서버에서 학습된 모델을 다운로드해서 업무를 수행하는 방식이 될 것 같았다.

하지만, 최근에는 하나의 에이전트가 여러 업무를 학습하는 방식이 연구되고 있다. 세계 모델(World Model)이다. 이는 영상을 학습하여 다음에 일어날 일을 예측해 실행하는 방식이다. 세상에 존재하는 많은 영상들과, AI가 생성한 영상들을 학습해서 미래를 예측하고 이를 행동으로 옮기는 것이다.

’’’ 모델의 규모와 데이터양이 커지면, 의도하지 않은 능력, 창발적 능력(emergent ability)이 나타난다. 따로 가르치지 않은 추론, 수학 문제 풀이, 코딩, 심지어 유머 이해 능력까지 갑자기 스스로 깨우치기 시작한다. AI는 오직 인터넷 글을 통해서 사람이 하는 다양한 방식을 모방할 수 있게 된 것이다. 예를 들어, Q&A 글을 학습하다보니 질문 문장 뒤에는 답변 문장이 올 확률이 높아지면서 질문에 답할 수 있는 능력이 생겼다. 또한, ‘글을 요약하는 방법’. 이와 같은 이유로, AI가 ‘지식’을 이해한 것이 아니지만 사람들이 쓰는 방식을 모방하다 보니 마치 사람처럼 생각하는 것처럼 보이는 수준이 됐다. ‘’’

이처럼, 로봇이 많은 영상을 학습하면서 물리를 모방하는 능력이 나타났다. 영상만으로 물리를 예측하고(정확히는 모방이겠지만 결과적으로는 예측이 될 것이다), 이를 행동으로 옮기는 방식이 연구되고 있다.

이런 학습 방식으로 엄청나게 많은 데이터를 학습시킨다면 로봇이 하나의 업무가 아닌, 사람 같은 로봇 비서가 될 수 있을지도 모른다.