최신뉴스

전기,전자,반도체 뉴스 소식

[와이즈맥스 뉴스] 하이퍼엑셀, 고성능 생성AI전용 서버 오리온 출시

페이지 정보

작성자 와이즈맥스 댓글 0건 조회 7,883회 작성일 23-11-03 14:08

본문

2112238a894663d8992e23cb59419acd_1698987267_4412.jpg
 

- 반도체 뉴스 -

인공지능(AI) 반도체 스타트업 하이퍼엑셀이 고성능 서버 제품 오리온을 출시했다고 밝혔습니다. 챗GPT 등에 사용되는 기존 고성능 GPU(그래픽처리장치)보다 두 배 이상으로 가격과 성능에서 뛰어난 제품입니다.

하이퍼엑셀은 초거대 AI에 특화된 반도체 프로세서 'LPU(Latency Processing Unit)'을 개발했고 자사의 LPU를 8개 탑재해 오리온 서버 제품을 이번에 출시했습니다.

오리온 서버는 오픈AI의 거애언어모델(LLM)' GPT와 메타의 라마 등 LLM을 효율적으로 수행할 수 있고 서버당 최대 66B(매개변수 660억개) 크기의 모델까지 처리 가능합니다. 특허 출원중인 모델 병렬화 기술 및 확장 네트워크 기술을 활용해 기존 GPU 플랫폼과 다르게 가속기 개수에 비례해 성능이 좋아지는 확장성을 보여준다고 회사 측은 설명했습니다.

오리온은 메타의 최신 모델인 라마2 7B 모델의 기준 초당 174 토큰, OPT 66B 모델 기준 초당 23 토큰 등 실시간 토큰 생성이 가능합니다.

김주영 하이퍼엑셀 대표는 "최근 공급망 문제와 높은 비용 문제를 가지고 있는 GPU 서버를 하이퍼엑셀 오리온 서버가 앞으로 대체할 것"이라고 밝혔고 GPU 서버 대비 낮은 가격과 높은 전력 효율성으로 데이터센터 운영비용을 획기적으로 낮출 것이라고 회사 측은 전망했습니다.

하이퍼엑셀은 김주영 KAIST 전기 및 전자공학부 교수가 2023년 1월에 창업한 스타트업으로 지난 7월 트랜스포커 기반 거대 언어 모델에 특화된 AI 반도체인 LPU를 개발했고 LPU는 거대 거대 언어 모델 연산에서 가장 중요한 메모리 대역폭 사용을 극대화했습니다. 뿐만아니라 모델 연산에 특화된 매트릭스와 벡터 엔진 로직을 집적했고 LLM 다수를 LPU로 효율적으로 분산할 수 있는 모델 병렬화 기술과 LPU간의 데이터 동기화를 위한 자체 네트워킹 기술도 개발했습니다.


2112238a894663d8992e23cb59419acd_1698988132_4858.jpg
 

Tag Box
#RN400 #RN400-H2PS #RN400-H2EX #RN400-T2PS #RN400-T2EX #RN400-T2TS #RN400-T2CS #RN400-T2GS #RN400-T2PM #RN171 #RN172 #UA10 #UA11-K #UA11-T #UA13 #UA20 #UA20-A #UA20-B #UA20-C #4-20mA #UA50 #UA52-O2 #UA52-CO2 #UA53-CO #UA53-SO2 #UA53-NO2 #UA54-NH3 #UA54-H2S #UA54-HCL #UA54-EO #UA54-C2H4 #UA54-H2 #UA54-O2 #UA59-CO2 #온도 #습도 #가스 #미세먼지 #루프전류 #센서연동 #센서모니터링 #실시간모니터링 #이탈알람 #IOT #산업용IOT #센서 #tVOC #실내공기질 #산소 #이산화탄소 #일산화탄소 #이산화황 #이산화질소 #암모니아 #황화수소 #염화수소 #산화에틸렌 #에틸렌 #수소 #광학식센서 #전기전자식센서

공유하기

Copyrightⓒ2015 WISMAX All rights reserved. ©