몇 년 전까지 AI에게 무언가를 시키는 일은 이렇게 작동했습니다. 내 질문이 인터넷을 타고 거대한 데이터센터로 가서, 그곳의 컴퓨터가 계산한 답이 다시 내 기기로 돌아오는 방식. 그런데 요즘 스마트폰 광고를 보면 분위기가 다릅니다. 통역, 사진 편집, 문서 요약이 인터넷 없이도 폰 안에서 바로 됩니다. AI가 클라우드에서 내 손안으로 이사 오고 있는 것입니다. 이걸 온디바이스(on-device) AI라고 부릅니다.
왜 굳이 기기 안에서 돌릴까요
데이터센터의 컴퓨터가 훨씬 강력한데 왜 작은 기기 안에서 AI를 돌리려는 걸까요. 이유는 크게 세 가지입니다.
첫째, 속도입니다. 왕복 통신이 사라지니 반응이 즉각적입니다. 실시간 통역이나 카메라 인식처럼 지연이 치명적인 기능에서는 이 차이가 결정적입니다. 둘째, 프라이버시입니다. 내 사진과 대화가 외부 서버로 나가지 않고 기기 안에서 처리되면 유출 걱정이 줄어듭니다. 셋째, 비용과 안정성입니다. 수억 명이 클라우드 AI를 쓰면 그 계산 비용은 어마어마합니다. 기기가 스스로 처리하면 인터넷이 끊겨도 작동하고요.
진짜 승부처는 반도체입니다
문제는 AI 계산이 엄청나게 무겁다는 것입니다. 데이터센터에서는 전기를 쏟아부으면 되지만, 스마트폰은 배터리로 버텨야 하고 주머니 속에서 뜨거워져도 안 됩니다. 제한된 전력으로 무거운 계산을 해내는 것, 이게 온디바이스 AI의 핵심 난제입니다.
그래서 승부는 반도체에서 갈립니다. AI 계산에 특화된 전용 칩(NPU라고 부릅니다)이 스마트폰의 필수 부품이 됐고, 얼마나 적은 전력으로 얼마나 많은 계산을 하느냐가 칩 경쟁력의 척도가 됐습니다. 더불어 거대한 AI 모델을 성능 손실을 최소화하며 작게 압축하는 기술도 함께 발전하고 있습니다. 하드웨어와 소프트웨어가 맞물려 돌아가는 영역인 셈입니다.
공학 지망생에게 열리는 문
온디바이스 AI는 공학 계열 안에서도 여러 갈래의 관심을 수용하는 소재입니다.
전자·반도체 쪽이라면 NPU 같은 AI 전용 칩이 일반 프로세서와 무엇이 다른지가 정면 주제입니다. 컴퓨터·소프트웨어 쪽이라면 큰 모델을 작은 기기에 맞게 줄이는 경량화 기법의 원리가 흥미로울 겁니다. 물리·에너지에 관심 있다면 계산과 전력 소모, 발열의 관계를 파볼 수 있습니다. 2022 개정 교육과정에서 ‘정보’, ‘인공지능 기초’, ‘데이터 과학’ 같은 과목을 선택한 학생이라면 수업 내용과 직결되는 소재이기도 합니다.
사회적 질문도 있습니다. AI가 기기 안으로 들어오면 개인정보 보호는 정말 나아지는가, 반도체 경쟁이 국가 간 산업 전략에서 갖는 의미는 무엇인가. 공학 소재지만 사회 과목의 탐구로도 이어질 수 있습니다.
손안의 변화를 재료로
온디바이스 AI의 좋은 점은 탐구 재료가 손안에 있다는 것입니다. 지금 쓰는 폰에서 어떤 기능이 인터넷 없이 작동하는지 확인해 보는 것부터가 관찰의 시작입니다. 거창한 실험실이 없어도, 일상의 기기에서 출발해 반도체 산업까지 닿는 탐구. 공학 지망생에게 이만한 소재는 흔치 않습니다.