음성·시선으로 드론 지휘…안두릴·메타, 군용 스마트 글래스 개발 박차

안두릴과 메타가 공동 개발 중인 군용 증강현실(AR) 헤드셋의 구체적인 구상이 공개됐다. 병사가 음성 명령과 시선 추적만으로 드론과 전투 시스템을 통제하는 미래형 전장 개념이 핵심이다.

방산 기술 기업 안두릴이 메타와 공동 개발 중인 군용 증강현실(AR) 헤드셋의 새로운 세부 내용을 공개했다. 여기에는 병사가 시선 추적과 음성 명령만으로 드론 공격을 지시하는 미래형 전투 개념도 포함돼 있다.

미 육군 특수작전사령부 출신인 퀘이 바넷(Quay Barnett) 안두릴 부사장은 자신의 목표가 ‘무기 체계로서의 인간(human as a weapons system)’을 최적화하는 것이라고 설명했다. 바넷은 드론과 병사가 하나의 시스템처럼 함께 보고, 정보를 공유하며, 공동으로 의사결정을 내리는 전장을 구상하고 있다.

안두릴은 현재 두 개의 프로젝트를 동시에 진행 중이다. 첫 번째는 미 육군의 ‘솔저 본 미션 커맨드(Soldier Born Mission Command, 이하 SBMC)’ 프로그램이다. 안두릴은 지난해 메타와 협력해 기존 군용 헬멧에 부착할 AR 안경 시제품을 개발하는 1억 5,900만 달러(약 2,400억 원) 규모의 계약을 수주했다.

안두릴은 또한 자체 자금으로 ‘이글아이(EagleEye)’라는 독자적인 헬멧·헤드셋 통합 시스템도 개발하고 있다. 이는 군이 직접 요구한 사업은 아니지만, 안두릴은 결국 군이 이 시스템을 선호하게 될 것이라고 보고 있다.

다만 두 시스템 모두 실제 배치까지는 최소 몇 년의 시간이 걸릴 전망이다. 미 육군은 SBMC 프로그램 최종 후보를 선정하더라도 2028년 이후에야 양산 여부를 결정할 것으로 예상된다. 앞서 이 사업을 주도했던 마이크로소프트는 최대 220억 달러(약 33조 원) 규모의 계약을 추진했지만, 실용성 문제가 제기되면서 사업이 사실상 무산된 바 있다.

안두릴에 따르면 이 스마트 글래스는 병사의 시야 위에 다양한 정보를 실시간으로 표시하게 된다. 나침반처럼 단순한 정보부터 해당 지역의 전체 지도, 인근 드론의 비행 위치 정보, 또는 트럭과 같은 표적을 AI로 인식하는 복잡한 정보에 이르기까지 다양할 수 있다.

병사는 자연어 음성 명령으로 시스템을 조작할 수 있다. 예를 들어 부상자 후송 요청이나 위험 지역을 피한 이동 경로 계획 등을 지시하는 방식이다. 안두릴은 이를 위해 구글의 제미나이, 메타의 라마, 앤트로픽의 클로드 등 다양한 대형언어모델(LLM)을 시험 중이라고 밝혔다. 이 모델들은 병사의 말을 소프트웨어가 실행할 수 있는 명령으로 변환하는 데 활용될 예정이다. 그리고 이 모든 것을 구동하는 엔진은 다양한 군사 장비의 데이터를 하나의 통합된 화면으로 묶는 안두릴의 소프트웨어 ‘래티스(Lattice)’가 될 예정이다. 미 육군은 지난 3월 래티스를 사실상 모든 인프라에 통합하는 데 200억 달러(약 30조 원)를 투자하겠다고 발표했다.

안두릴은 단순 정보 표시를 넘어 다단계 전투 임무를 수행할 수 있는 헤드셋도 설계하고 있다. 예를 들어 병사가 드론에 특정 지역 정찰을 지시하고, 포병 부대처럼 보이는 목표물을 발견하면 복귀하도록 설정할 수 있다. 그러면 시스템은 인근 드론을 보내 공격하도록 하는 등의 행동 방안을 제안하게 된다. 단, 이는 일반적인 지휘 계통의 승인을 받아야 한다. 모든 일이 계획대로 진행된다면, 이 과정을 수행하는 데 말조차 필요 없을 수도 있다. 병사는 대신 눈동자 움직임 추적과 미세한 터치만으로 의사소통할 수 있다.

어쨌든 현재로서는 구상 단계에 가깝다. 바넷에 따르면 초기 시제품에서는 이런 기능이 작동했지만, 육군이 대규모로 테스트할 수 있는 버전은 아직 준비되지 않았다. 구성 부품들은 3월부터 도착하기 시작했다. 연방 군사 계약 규정 때문에 이 부품들은 메타의 상용 스마트 안경과 달리 중국 기업에 의존하지 않는 새로운 공급망이 필요했다.

다만 전문가들은 정보 과부하 문제를 우려하고 있다. 미 해병대 출신으로 랜드연구소(RAND)에서 육군의 신기술 도입을 연구하는 선임 정책연구원 조너선 웡(Jonathan Wong)은 이 헤드셋이 이미 정보 과부하에 시달리고 있는 병사들에게 큰 부담이 될 수 있다고 지적했다.

그는 “주변 상황을 인지하면서 동시에 이런 기술까지 효과적으로 운용하려면 상당한 정신적 여유가 필요하다”고 말했다. 이어 자신이 소대장 시절 여러 무전 채널을 동시에 듣다가 상황 인식 자체가 무너졌던 경험을 소개하며 “사람이 동시에 받아들일 수 있는 정보량에는 한계가 있다”고 설명했다.

안두릴은 이러한 문제를 해결하기 위해 음성 명령과 시선 추적 등 보다 직관적인 인터페이스를 도입하고 있다고 밝혔다. 그러나 웡은 실제 전장에서 병사들에게 유용한 시스템인지 확인하려면 수년간의 현장 검증이 필요할 것이라고 평가했다.

이 시스템은 군이 AI에 의존하는 방식 자체를 크게 바꿀 가능성도 있다. 군은 이미 컴퓨터 비전 기반 표적 식별 기술을 사용하고 있지만, 최전선 병사들이 AI의 공격 권고를 직접 활용하는 수준까지는 아직 발전하지 않았다. 전문가들은 스마트 글래스가 위협 식별과 공격 추천까지 담당하게 되면 새로운 형태의 오류 위험도 커질 수 있다고 지적한다.

안두릴만 이 시장에 뛰어든 것은 아니다. 군용 웨어러블 센서 기업 리벳(Rivet)은 1억 9,500만 달러(약 2,900억 원) 규모의 시제품 계약을 따냈고, 이스라엘 방산 기업 엘빗(Elbit)도 지난 3월 1억 2,000만 달러(약 1,800억 원) 규모의 계약을 수주했다.

안두릴은 두 시제품 모두에서 전자 센서와 알고리즘을 활용해 저조도 환경을 보강하는 새로운 디지털 야간 투시 시스템을 테스트하고 있다. 이 기술은 수십 년간 기대를 모아왔지만 실제 사용에서는 반응 속도가 느리고 화질이 거칠다는 한계가 있었다. 안두릴은 새로운 생성형 AI와 기존 머신러닝 기술을 결합한 기법을 통해 이전 시제품보다 개선된 결과를 얻었다고 밝혔다.

두 프로젝트의 다른 하드웨어 대부분은 메타가 제작하고 있다. 여기에는 디스플레이와 시야를 가리지 않고 사용자의 눈에 영상을 전달하는 도파관(導波管)도 포함된다. 이 사실은 배경 사정을 아는 사람이라면 놀라울 수 있다. 2017년 페이스북(현 메타)은 도널드 트럼프 대통령 지지를 둘러싼 내부 갈등 끝에 안두릴 창립자 팔머 럭키(Palmer Luckey)를 회사에서 내보낸 바 있다. 이후 두 사람은 다시 증강현실 사업에서 손을 잡았고, 마크 저커버그 역시 트럼프 2기 행정부에 보다 우호적인 태도를 보이고 있다.

육군 프로젝트의 경우 스마트 안경, 야간 투시경, 센서 세트는 별도의 배터리 팩과 함께 병사들이 기존에 착용하는 헬멧 등 장비에 부착될 예정이다. 반면 이글아이(EagleEye) 버전은 해당 기술을 헬멧 자체에 통합한다. 바넷은 설령 육군이 최종적으로 이글아이를 선택하지 않더라도 안두릴이 이 시스템을 해외 군대에 판매하려 할 것이라고 말했다.

여전히 극복해야 할 과제는 많다. 메타의 레이밴 스마트 글래스와 달리 안두릴의 시제품은 먼지와 폭발, 연기가 가득한 환경에서도 작동해야 한다. 필요한 연산 능력과 배터리 수명을 확보한다는 것은 이미 약 45kg이 넘는 장비를 지고 있는 병사들에게 더 큰 무게 부담을 안긴다는 의미이기도 하다.

이 기술은 또한 5G 통신망이 항상 확보되지 않은 환경에서도 작동해야 하며, 강력한 컴퓨터 비전 및 AI 모델이 기기 내부에서 로컬로 구동돼야 한다.

웡은 “미 육군이 이 시스템을 대규모로 구매하려면 제대로 작동해야 하고 상당히 매끄러워야 한다”며 “기준이 매우 높다”고 말했다.

The post 음성·시선으로 드론 지휘…안두릴·메타, 군용 스마트 글래스 개발 박차 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.