LLM (Non-Think)

NLP(Natural Language Processing) 기술을 활용한 채팅 서비스는 사용자의 질문이나 요청을 실시간으로 이해하고 대응하는 대화형 인터페이스를 제공합니다. 이 서비스는 고객 지원, 교육, 엔터테인먼트 등 다양한 분야에서 더 정확하고 유용한 대화 경험을 제공합니다.

지원 언어 : 한국어, 영어

Available models

Model

Description

llm-251203

최적화된 파라미터 구성과 경량화된 모델 아키텍처를 기반으로 고속·고정밀 추론 성능을 제공하는 LLM에 TTS 기능이 추가되었습니다. 이를 통해 모델은 대규모 연산 환경에서도 안정성을 유지하며, 텍스트 출력뿐 아니라 자연스럽고 명료한 음성 생성까지 수행할 수 있습니다. 이번 데모에서는 이러한 확장된 음성 합성 기능과 실시간 추론 기반 TTS 파이프라인의 성능을 직접 확인하실 수 있습니다.

Request

Method

EndPoint

post

https://aiplatform-api.rest.univa.co.kr/rest/v1/text/llm

Request Headers

Name

Value

Content-Type

application/json

x-api-key

UNIVA-API-KEY

curl -X POST 'https://aiplatform-api.rest.univa.co.kr/rest/v1/text/llm' \
    -H 'Content-Type: application/json' \
    -H 'x-api-key: UNIVA-API-KEY' \ # API 키를 입력하세요.
    -d '{
        "data": {
            "model": "llm-251203", 
            # 버전 설정 방법 : llm-{version}
            "stream": false,
            "messages": [
                {
                    "role": "system",
                    "content": "당신은 AI 챗봇 입니다. 사용자의 질문에 자세하고 친절하게 답변하세요."
                },
                {
                    "role": "user",
                    "content": "사용자 입력 텍스트"
                }
            ],
            "max_tokens": 120000, 
            # max_tokens 길이 최대값 120000
            "temperature": 0.7,
            "top_p": 1,
            "top_k": -1,
            "repetition_penalty": 1.15
        }
    }'

const axios = require('axios')

const apiKey = 'UNIVA-API-KEY' // API 키를 입력하세요.
const apiUrl =
  'https://aiplatform-api.rest.univa.co.kr/rest/v1/text/llm'

const data = {
  data: {
    model: 'llm-251203',
    //  버전 설정 방법 : llm-{version}
    stream: false,
    messages: [
      {
        role: 'system',
        content:
          '당신은 AI 챗봇 입니다. 사용자의 질문에 자세하고 친절하게 답변하세요.',
      },
      {
        role: 'user',
        content: '사용자 입력 텍스트',
      },
    ],
    max_tokens: 120000, 
    // max_tokens 길이 최대값 120000
    temperature: 0.7,
    top_p: 1,
    top_k: -1,
    repetition_penalty: 1.15,
  },
}

async function komodoPostRequest() {
  try {
    const response = await axios.post(apiUrl, data, {
      headers: {
        'Content-Type': 'application/json',
        'x-api-key': apiKey,
      },
    })

    // 응답 처리
    if (response.status === 200) {
      console.log('응답 데이터:', response.data)
      // response.data를 파일로 저장하거나 다른 작업을 수행할 수 있습니다.
    } else {
      console.log('요청 실패:', response.statusText)
    }
  } catch (error) {
    console.error('에러 발생:', error)
  }
}

komodoPostRequest()

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.ContentType;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import java.io.IOException;

public class HttpPostExample {
    public static void main(String[] args) {
        String apiKey = "UNIVA-API-KEY"; // API 키를 입력하세요.
        String url = "https://aiplatform-api.rest.univa.co.kr/rest/v1/text/llm";

        CloseableHttpClient httpClient = HttpClients.createDefault();

        HttpPost httpPost = new HttpPost(url);
        httpPost.setHeader("Content-Type", "application/json");
        httpPost.setHeader("x-api-key", apiKey);

        // JSON 형식의 body 데이터
        String json = "{\"data\":{\"model\":\"llm-251203\",\"stream\":false,\"messages\":[{\"role\":\"system\",\"content\":\"당신은 AI 챗봇 입니다. 사용자의 질문에 자세하고 친절하게 답변하세요.\"},{\"role\":\"user\",\"content\":\"사용자 입력 텍스트\"}],\"max_tokens\":120000,\"temperature\":0.01,\"top_p\":1,\"top_k\":-1,\"repetition_penalty\":1.15}}";
        // 버전 설정 방법 : llm-{version}
        // max_tokens 길이 최대값 120000

        StringEntity entity = new StringEntity(json, ContentType.APPLICATION_JSON);

        httpPost.setEntity(entity);

        try {
            HttpResponse response = httpClient.execute(httpPost);
            HttpEntity responseEntity = response.getEntity();
            String responseString = EntityUtils.toString(responseEntity, "UTF-8");
            System.out.println(responseString);
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                httpClient.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

import requests
import json

url = 'https://aiplatform-api.rest.univa.co.kr/rest/v1/text/llm'
api_key = 'UNIVA-API-KEY' # API 키를 입력하세요.

headers = {
    'Content-Type': 'application/json',
    'x-api-key': api_key
}

data = {
    "data" :  {
        "model": "llm-251203",
        #  버전 설정 방법 : llm-{version}
        "stream": False,
        "messages": [
                {
                    "role": "system",
                    "content": "당신은 AI 챗봇 입니다. 사용자의 질문에 자세하고 친절하게 답변하세요."
                },
                {
                    "role": "user",
                    "content": "사용자 입력 텍스트"
                }
        ],
        "max_tokens": 120000, 
        # max_tokens 길이 최대값 120000
        "temperature": 0.7,
        "top_p": 1,
        "top_k": -1,
        "repetition_penalty": 1.15
    }
}

response = requests.post(url, headers=headers, data=json.dumps(data))

# API 호출 결과 확인
if response.status_code == 200:
    result = response.json()

else:
    print("Error Code :", response.status_code)
    result = response.json()

result

Request Body (* required)

Name

Type

Description

model*

string

사용할 model의 id

messages* messages[]["role"] - role : system -> optional - role : user -> required

array

사용자가 입력하는 input text

stream (Defaults to false)

boolean

메시지 출력 방식을 결정하는 매개변수. True로 설정되면 생성되는 토큰 단위로 메시지를 출력하게 됩니다.

temperature (Defaults to 0.7)

number

응답의 다양성을 조절하는 매개변수 값이 높을수록 텍스트를 생성할 때 가능한 다음 단어의 선택 범위가 넓어져 더 창의적인 응답을 생성할 가능성이 높아집니다. 0~1 사이 값으로 설정합니다.

max_tokens

integer

생성할 수 있는 최대 토큰 수를 지정합니다. 최대 120000까지 설정 가능합니다.

top_p (Defaults to 1)

number

기준 확률을 설정하는 매개변수. 예측 확률의 순서대로 설정 값 p 이하인 토큰들 중 하나를 선택합니다. 0~1 사이 값으로 설정합니다.

top_k (Defaults to -1)

integer

다음 예측 토큰의 후보군의 수를 제한하는 설정하는 매개변수.

다양성을 조정하고 텍스트 품질을 향상시킬 수 있습니다. 1~200 사이 값을 사용합니다.

Response

{'success': True,
 'result': {'id': 'chatcmpl-49858509-f4af-4ee5-9613-571dde239279',
  'object': 'chat.completion',
  'created': 1756836934,
  'choices': [{'index': 0,
    'message': {'role': 'assistant',
     'reasoning_content': None,
     'content': '모델 응답 텍스트',
     'tool_calls': []},
    'logprobs': None,
    'finish_reason': 'stop',
    'stop_reason': None}],
  'usage': {'prompt_tokens': 222,
   'total_tokens': 1238,
   'completion_tokens': 1016,
   'prompt_tokens_details': None},
  'prompt_logprobs': None}}

API 호출에서 발생하는 오류는 API Error code 페이지를 확인해주세요.

PreviousPrice NextLLM-base(Think)

Last updated 10 days ago

import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.client.methods.HttpPost; import org.apache.http.entity.ContentType; import org.apache.http.entity.StringEntity; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; import java.io.IOException; public class HttpPostExample { public static void main(String[] args) { String apiKey = "UNIVA-API-KEY"; // API 키를 입력하세요. String url = "https://aiplatform-api.rest.univa.co.kr/rest/v1/text/llm"; CloseableHttpClient httpClient = HttpClients.createDefault(); HttpPost httpPost = new HttpPost(url); httpPost.setHeader("Content-Type", "application/json"); httpPost.setHeader("x-api-key", apiKey); // JSON 형식의 body 데이터 String json = "{\"data\":{\"model\":\"llm-251203\",\"stream\":false,\"messages\":[{\"role\":\"system\",\"content\":\"당신은 AI 챗봇 입니다. 사용자의 질문에 자세하고 친절하게 답변하세요.\"},{\"role\":\"user\",\"content\":\"사용자 입력 텍스트\"}],\"max_tokens\":120000,\"temperature\":0.01,\"top_p\":1,\"top_k\":-1,\"repetition_penalty\":1.15}}"; // 버전 설정 방법 : llm-{version} // max_tokens 길이 최대값 120000 StringEntity entity = new StringEntity(json, ContentType.APPLICATION_JSON); httpPost.setEntity(entity); try { HttpResponse response = httpClient.execute(httpPost); HttpEntity responseEntity = response.getEntity(); String responseString = EntityUtils.toString(responseEntity, "UTF-8"); System.out.println(responseString); } catch (IOException e) { e.printStackTrace(); } finally { try { httpClient.close(); } catch (IOException e) { e.printStackTrace(); } } } }