top of page
COVERPHOTO.jpg

On-premise
Plug-and-Play LLM

구매 즉시 내 손안에 챗봇이!

데이터 유출 없는 나만의 AI 챗봇을 온프레미스로 사용하세요.

AI 챗봇을 온프레미스로 설치하여 데이터 유출을 방지하세요.

센티언스의 온프레미스 플러그앤플레이 LLM은 나만의 AI 챗봇으로 바로 학습시키고 사용할 수 있도록 강력한 CPU, GPU 하드웨어와 사전학습된 최신 LLM 모델로 구성한 Plug and Play 제품입니다.

제품 특징

1. 최신 온프레미스 LLM 모델

Meta의 Llama3, Microsoft Phi3 등 MMLU¹, HumanEval², GSM-8K³ 검증을 거친 최신 모델

메타와 마이크로소프트 로고
외부와 차단된 안전한 사내망에서 회사 기밀 유출 걱정 없이 안전하게 작동하는 온프레미스 AI 챗봇

2. 데이터 유출 없는 강력한 보안

사내 데이터베이스와 인프라만을 활용한 온프레미스로 데이터 유출 방지

3. 나에게 맞게 파인튜닝

바로 설치해서 우리 회사에 맞게 데이터 학습하고 개량하세요.

파인 튜닝을 위한 학습데이터를 엑셀로 만들고 온프레미스 서버 내의 공유폴더에 업로드하면, AI 챗봇 훈련 후 사용할 수 있습니다.
1. MMLU (Massive Multitask Language Understanding): 수학, 물리학, 역사, 법률, 의학, 윤리 등 57개의 주제에 대한 지식과 문제 해결 능력
2. HumanEval: LLM 모델의 코딩 능력
3. GSM-8K (Grade School Math 8K): 단계별 추론을 요하는 기본적인 수학 능력

​이용 사례

금융회사

가끔 들어오는 문의에 대하여 사내 메뉴얼을 찾아야 하는 경우

금융회사의 온프레미스 llm 이용 사례. 가끔 들어오는 문의에 대하여 사내 매뉴얼을 탐색.

대학 연구실

장기 및 다수의 연구 과제를 진행하고 있는데, 이 연구를 확장하고 다른 학생에게 인수인계를 해야 하는 경우

대학 연구실의 온프레미스 llm 이용 사례. 진행하고 있는 연구를 확장하고 다른 학생에게 인수인계.

인플루언서 마케팅 회사

내부에 축적되어 있는 DB 및 노하우를 활용해야 하는 경우

인플루언서 마케팅 회사의 온프레미스 llm 이용 사례. 내부에 축적된 DB 및 노하우를 활용.

​제품 스펙

COMPACT

학교/관공서용

AI 모델

Llama 3 70B

400 Tokens/sec Throughput

20 Users

AI 성능

MMLU: 82.0

HumanEval: 81.7

GSM-8K: 93.0

장비스펙

64 CPU Cores
0.5TB Memory

10TB Storage
96GB GPU Memory

지원

​하드웨어 무상보증 1년

Finetuning 컨설팅: X

AI 사내 클라우드

AI 선도기업

FOUNDRY 플랜 포함
+

AI 모델 마켓플레이스로 챗봇 외에 다양한 AI 모델 구축

+
AI 모델을 활용할 수 있는 데이터 플랫폼
+
MLSecOps로 한 단계 더 높은 보안

FOUNDRY

기업용

AI 모델

Llama 3 140B (Meta에서 7월 출시 예정)

Tokens/sec Throughput-추후 확정

Users-추후 확정

AI 성능

MMLU: 추후 확정

HumanEval: 추후 확정

GSM-8K: 추후 확정

장비스펙

128 CPU Cores
2TB Memory

20TB Storage
640GB GPU Memory

지원

하드웨어 무상보증 3년
Finetuning 컨설팅: 4회

도입절차

1.구매

홈페이지에서 원하는

제품을 구매합니다

2.배송

제품이 배송 및 설치됩니다

3.파인튜닝

Plug-and-Play LLM을
나에게 맞게 학습 시킵니다

4.사용시작

업무 능률이 향상됩니다!

Photo-server_edited.png

센티언스는 디지털화와 지능화를 돕는 AI 전문가입니다.

About Sentience

Apparatus for recommending game contents based on the psychology of a game user and an operation thereof

11642597

미국 특허 등록

Apparatus for data preprocessing for classifying the psychology of a game user and an operation thereof

11376507

미국 특허 등록

Data security maintenance method for data analysis application

11263338

미국 특허 등록

[24년 5월]
Apparatus for generating standardized table for classifying the psychology of a game user and an operation thereof

17/565,763

미국 특허 등록 결정

Partners

우리 회사만의 AI 챗봇으로 AI 주권을 지키고 지속적으로 학습시켜 자체 역량을 확보하세요!

​문의 창구는 언제든지 열려있습니다!

저희 팀이 빠른 시일 내에 연락드리도록 하겠습니다.

bottom of page