Meta, 두 번째 맞춤형 프로세서 공개

Meta "MTIA" V1(Meta Training and Inference Accelerator) 다이샷

대부분의 사람들은 Meta에 대해 생각할 때 Facebook, Instagram, WhatsApp 또는 곧 출시될 메타버스를 포함한 해당 앱을 생각합니다. 많은 사람들은 회사가 이러한 서비스를 운영하기 위해 세계 최대 규모의 가장 정교한 데이터 센터를 설계하고 구축했다는 사실을 모릅니다.

AWS, GCP 또는 Azure와 같은 클라우드 서비스 제공업체와 달리 Meta는 구매자에게 깊은 인상을 주기 위해 OCP 설계 외에 실리콘 선택, 인프라 또는 데이터 센터 설계에 대한 세부 정보를 공개할 필요가 없습니다. 메타 사용자는 그것이 어떻게 일어나는지에 상관없이 더 좋고 일관된 경험을 원합니다.

전례 없는 공개

오늘 회사의 최신 AI 추론 가속기, 제작 중인 비디오 트랜스코더, AI용으로 설계된 차세대 데이터 센터 아키텍처 및 16,000개의 GPU AI 연구의 두 번째 단계에 대한 세부 정보에 대한 전례 없는 공개로 인해 세부 사항의 부족이 바뀌었습니다. LLaMA 생성 AI 모델을 지원하는 첫 번째 단계인 슈퍼컴퓨터입니다.

이 공개는 출시 기간, 차별화 및 비용에 영향을 미치기 때문에 투자자를 포함한 Meta 이해관계자의 관심을 끌 것입니다.

이번 주 초, 저는 Meta의 인프라 담당 부사장인 Alexis Björlin을 만나 자사의 실리콘에 대한 회사의 풀 스택 접근 방식에 대해 알아보고 새로운 AI 추론 및 비디오 가속기에 대한 자세한 내용을 얻었습니다.

지금까지 Meta의 발전에 깊은 인상을 받았지만 이것은 시작에 불과합니다.

Meta의 풀스택 접근 방식

"MTIA" 또는 "Meta Training and Inference Accelerator"에 대해 이야기하기 전에 실리콘에 대한 Meta의 접근 방식을 검토하고 싶었습니다. 1년 반 전 회사와 이야기를 나눴을 때부터 실리콘 전략에는 변함이 없었다고 말할 수 있어 기쁘다. 여기에서 해당 글을 읽을 수 있습니다. Meta는 계속해서 AMD, Broadcom, Intel, Marvell 및 NVIDIA로부터 수많은 상용 실리콘을 구매할 것입니다. 그러나 상용 실리콘이 와트당 최고의 성능과 TCO를 제공하는 데 최적이 아닌 고유한 워크로드를 위해 자체적으로 설계합니다.

Meta는 인프라부터 앱까지, 그리고 그 사이의 모든 스택 수준을 거의 모두 소유하는 "풀 스택" 인프라 접근 방식을 갖고 있기 때문에 이 접근 방식은 저에게 완벽한 전략적 의미가 있습니다. 업계 표준이 풀 스택에 맞게 최적화되면 해당 표준을 사용하고, 그렇지 않은 경우 OCP 및 PyTorch와 같은 업계 표준을 만드는 데 도움이 됩니다.

Meta의 앱과 서비스는 독특하고 놀라운 규모로 운영되므로 맞춤형 실리콘의 필요성과 이점이 더욱 커집니다. Facebook과 Instagram 사용자는 엄청난 양의 동영상을 시청하며 연결할 사람, 상호작용할 게시물, 클릭할 광고에 대한 추천을 지속적으로 받고 있습니다. AI가 주입된 메타버스와 생성 AI가 어떻게 저전력, 더욱 고도로 최적화된 솔루션에 대한 요구를 촉진하는지 상상할 수 있습니다.

MSVP: 메타 확장 가능한 비디오 프로세서

MTIA는 Meta의 첫 번째 맞춤형 실리콘이 아닙니다. MSVP("Meta Scalable Video Processor")가 생산 중입니다. 비디오 트랜스코더에 대한 몇 가지 세부 사항은 작년에 공개되었지만 회사는 오늘 더 많은 정보를 공개하기로 결정했습니다.

Meta에 따르면 Facebook 사용자는 하루에 40억 개의 동영상을 시청하는 데 시간의 50%를 소비합니다. 각 비디오는 업로드 및 저장 후 압축되며, 사용자가 보고 싶을 때 적절한 형식으로 압축이 해제됩니다. 이러한 비디오는 H.264 및 VP9와 같은 표준 형식을 사용하여 트랜스코딩(압축/압축 해제)됩니다. 비결은 파일을 빠르게 작게 만들고, 빠르게 저장하고, 적절한 장치(예: 휴대폰, 태블릿, PC)에 대해 최고 품질로 가능한 최고 품질로 스트리밍하는 것입니다.

Meta의 MSVP V1(Meta Training and Inference Accelerator) 패키지 칩입니다.

이러한 유형의 워크로드 특성은 고정된 표준 전체에서 가장 높은 효율성이 필요한 워크로드인 ASIC(주문형 집적 회로)에 적합합니다. ASIC은 가장 효율적이지만 CPU나 GPU만큼 프로그래밍 가능하지는 않습니다. 향후 비디오 표준이 H.264 및 VP9에서 AV1로 변경될 경우 Meta는 MSVP의 새 버전인 새로운 ASIC을 만들어야 합니다.