여러 개의 SOPHGO AI 프로세서를 하나의 섀시에 결합하여 대당 최대 576 TOPS INT8을 제공하는 2U 랙 마운트 AI 서버입니다. DeepSeek, Qwen, QwQ-32B 등 프라이빗 LLM, 모델 학습 및 튜닝, 대규모 영상 분석을 귀사의 자체 서버실에서 실행합니다.
개요
엣지 박스 한 대로 부족할 때, 2U AI 학습 및 추론 서버는 데이터센터급 AI 연산 성능을 표준 19인치 랙에 제공합니다. 칩당 7.2~64 TOPS INT8의 SOPHGO AI 프로세서 여러 개가 합쳐져 대당 최대 576 TOPS INT8을 제공하며, 8코어 Arm A53 / RISC-V 호스트 프로세서가 스케줄링, 스토리지, 네트워킹을 관리합니다.
이 서버는 모델과 데이터를 자체 시설 내에 보관하려는 조직을 위해 설계되었습니다. DeepSeek, QwQ-32B, Qwen2.5 등 오픈소스 대규모 언어 모델과 프라이빗 모델을 함께 호스팅합니다. TouchVision의 AI 모델 학습 및 추론 플랫폼과 함께 사용하면 데이터셋 준비부터 배포까지 전체 워크플로를 처리할 수 있습니다. 하드웨어 H.264/H.265 코덱으로 동일한 장비에서 대규모 카메라 환경의 영상 구조화를 실행할 수 있으며, Docker, Python, OpenCV, FFmpeg로 기존 시스템과 간편하게 통합할 수 있습니다.
주요 특징
- 8코어 Arm A53 / RISC-V 호스트 프로세서를 탑재한 SOPHGO AI 컴퓨팅 플랫폼
- 대당 최대 576 TOPS INT8(칩당 7.2~64 TOPS INT8)
- 오픈소스 LLM(DeepSeek, QwQ-32B, Qwen2.5) 및 프라이빗 모델 호스팅
- TouchVision AI 플랫폼을 통한 모델 학습, 튜닝, 양자화, 내보내기, 추론
- 멀티채널 영상 분석을 위한 H.264/H.265 하드웨어 인코딩 및 디코딩
- TensorFlow, Caffe, MXNet, PyTorch, ONNX, PaddlePaddle 지원
- Docker 배포, Python 개발, OpenCV 및 FFmpeg 가속
- 전면 접근형 드라이브 베이를 갖춘 표준 19인치 2U 랙 섀시
사양
| 항목 | 사양 |
|---|---|
| 폼 팩터 | 19인치 2U 랙 마운트 |
| AI 플랫폼 | SOPHGO AI 프로세서 |
| AI 성능 | 대당 최대 576 TOPS INT8 |
| 호스트 프로세서 | 8코어 Arm A53 / RISC-V |
| 비디오 | H.264/H.265 실시간 HD 인코딩 및 디코딩 |
| 대규모 모델 | DeepSeek, QwQ-32B, Qwen2.5, 프라이빗 모델 |
| 프레임워크 | TensorFlow, Caffe, MXNet, PyTorch, ONNX, PaddlePaddle |
| 소프트웨어 | Docker, Python, OpenCV, FFmpeg |
| 전력 효율 | TOPS당 1 W 미만(INT8) |
사양은 제조사 데이터를 기준으로 하며 변경될 수 있습니다. 귀사 구성에 맞는 최신 데이터시트를 요청해 주십시오.
적용 분야
- 기업 전용 프라이빗 LLM 및 지식 베이스 호스팅
- 산업단지, 캠퍼스, 도시를 위한 중앙 AI 영상 분석
- 산업용 결함 검출을 위한 모델 학습 및 파인튜닝
- 스마트 건설, 화학 공장, 전력망, 주유소 프로젝트
- 데이터 주권 요건이 있는 조직
관련 산업 솔루션: AI 영상 분석 및 스마트 안전 · 산업 자동화 및 장비 제조사 · 에너지 및 전력 자동화
맞춤 제작 및 주문
2U AI 서버는 OEM 프로젝트에 맞게 맞춤 제작할 수 있으며, 소량 파일럿 주문도 가능합니다. 견적 또는 샘플을 요청하시거나 WhatsApp으로 상담(+86 135 0532 6001)하시고, OEM/ODM 서비스에 대해서도 확인해 보십시오.
이 카테고리의 다른 제품: 온프레미스 LLM 및 AI 에이전트 어플라이언스 · 관련 제품: 엣지 AI 컴퓨터 및 영상 분석 박스
자주 묻는 질문
2U 서버의 AI 연산 성능은 어느 정도입니까?
하나의 2U 섀시에 탑재된 여러 개의 SOPHGO AI 프로세서로 대당 최대 576 TOPS INT8을 제공합니다.
추론뿐 아니라 모델 학습도 가능합니까?
네. TouchVision의 AI 모델 학습 및 추론 플랫폼과 함께 사용하면 데이터셋 준비, 학습, 검증, 양자화, 내보내기, 추론 배포까지 처리할 수 있습니다.
어떤 대규모 언어 모델을 지원합니까?
DeepSeek, QwQ-32B, Qwen2.5 등 오픈소스 모델을 로컬에서 실행할 수 있으며, 프라이빗 모델도 호스팅할 수 있습니다.
엣지 박스 대신 2U 서버를 선택해야 하는 경우는 언제입니까?
다수의 카메라 스트림을 중앙에서 처리하거나, 많은 사용자를 위해 더 큰 LLM을 호스팅하거나, 현장에서 모델을 학습해야 할 때 2U 서버를 선택하십시오. YZ-B011 등 엣지 박스는 최대 16개 분석 스트림을 처리하는 단일 사이트에 적합합니다.