목록ThreadPool (1)

뭐요

스프링에서 OpenAI API 성능 개선기

라이브러리 사용모델 선택의 고민1. text-davinci-0032. gpt-43. gpt-3.5-turbo프롬프트 엔지니어링Spring에서 API 호출1. 동기 호출 by OpenFeign2. 비동기 호출 by OpenFeignComletableFuture 객체ExecutorExecutorsThread PoolWorkStealingPool 라이브러리 사용정식 지원 ⇒ Python, NodeJS따라서 AWS Lambda 활용 모델 선택의 고민추천 사유 요약에 대한 목적에 맞게 모델을 변경하며 적합한 모델을 heuristic하게 찾아감. 1. text-davinci-003엄청엄청 느림…! 2. gpt-4한번의 API 호출 ⇒ 10.95srequest_input = ' '.join(event) + " 이 문..
Spring 2023. 9. 3. 01:16
이전 Prev 1 Next 다음