분류 전체보기 (233) 썸네일형 리스트형 [AI] 쉬운 vLLM vLLMLLM을 쉽게 실시간 서비스화 해주는 오픈 소스 라이브러리. LLM의 KV(key value) 캐시 메모리 관리 비효율성을 해결하기 위한 시작 되었다.https://docs.vllm.ai/en/latest/ 이 글은 공식문서를 참조하여 번역, 작성했습니다. 피드백은 환영입니다.vLLM이 빠른이유 1. PagedAttention을 통한 효율적인 KV(key/value) 메모리 관리= LLM은 토큰마다 생성된 KV를 저장해야한다. 이것을 연속된 큰 메모리 블록에 할당할 경우 공간 낭비, 성능 저하가 일어날 수 있다. 그래서 운영체제(OS)의 paging 개념에 영감을 받아 PagedAttention을 만들어냈다. KV 캐시를 고정 크기 블록 단위로 나누고 요청에 대해 블록 테이블을 사용해서 필요한.. [백준] 15654. N과 M (5) 문제https://www.acmicpc.net/problem/15654풀이[dfs]코드#include #include #include using namespace std;#define MAX 9int N, M;int original[MAX];int visited[MAX];void dfs(vector& arr) { if (arr.size() == M) { //RESULT for (int i = 0; i > N >> M; for (int i = 0; i > original[i]; sort(original, original + N); vector arr; //CHECK dfs(arr); return 0;} [백준] 15652. N과 M (4) 문제https://www.acmicpc.net/problem/15652풀이[dfs]코드#include #include using namespace std;int N, M;bool dfs(int start, vector& arr){ if (arr.size() == M) { for (int i = 0; i > N >> M; vectorarr; dfs(1, arr); return 0;} [백준] 15650. N과 M (2) 문제https://www.acmicpc.net/problem/15650풀이[DFS]코드#include #include using namespace std;int N, M;void dfs(int start, vector arr){ if (arr.size() == M) { for (int i = 0; i > N >> M; vectorarr; dfs(1, arr); return 0;} [Oracle Cloud] HTTPS 접속 허용 설정 (443번 포트) "도메인을 HTTPS로 서비스 해보자 Nginx Cerbot 사용 "Cerbot 설치 및 인증서 발급= Nginx가 자동으로 HTTPS 설정하고 인증서까지 완성해준다sudo apt install certbot python3-certbot-nginx -ysudo certbot --nginx -d 도메인Successfully received certificate. 와 같은 내용이 뜬다면 성공https 확인이제 https://주소 에 접속했을 때 아래처럼 주소 왼쪽에 자물쇠 같은 것이 생기는걸 볼 수 있다. edge의 경우chrome의 경우+) Docker container를 nginx proxy로 연결외부에서 https://도메인 으로 접속 시내부 Docker 컨테이너의 localhost:8888 (원하는 .. [DuckDNS] 무료 도메인 등록 "duck dns로 무료로 도메인을 등록해보자"1. 로그인Duck DNS 아래 사이트 접속후 회원가입 및 로그인https://www.duckdns.org/ Duck DNSDuck DNS free dynamic DNS hosted on AWS news: login with Reddit is no more - legal request support us: become a Patreonwww.duckdns.org+) google 로그인일 경우Google로그인 했을 경우 사람 인증을 위해 reCaptcha를 눌러주자2. 도메인 얻기로그인 완료시 내 token을 확인할 수 있다.도메인 등록도 가능.등록 후에는 연결할 ip를 기입하고 update해준다.3. 동적 DNS 설정install 탭에서 원하는 OS를 선택하.. [Oracle Cloud] HTTP 접속 허용 설정 (80번 포트) "도메인을 Oracle Cloud와 연결하고 HTTP로 서비스 해보자 Nginx 사용 "준비물) 도메인유로 혹은 무료 도메인이 필요하다. 무료로 도메인 얻는법은 아래와 같다https://yun000.tistory.com/335 [DuckDNS] 무료 도메인 등록"duck dns로 무료로 도메인을 등록해보자"로그인Duck DNS 아래 사이트 접속후 회원가입 및 로그인https://www.duckdns.org/ Duck DNSDuck DNS free dynamic DNS hosted on AWS news: login with Reddit is no more - legal request support uyun000.tistory.com1. 방화벽 설정oracle cloud console에서 Virtual C.. [Docker] 이미지 생성 및 테스트 "python fastapi 프로젝트를 docker 이미지로 만들고 테스트 해보자"1. requirements.txt 정리pywin32는 Windows 전용 패키지이므로 Linux 환경(Docker, 서버 등)에서는 오류를 발생시킬 수 있다.그렇기에 requirements.txt에 아래 항목이 있다면 삭제 하자pywin32 2. Docker 이미지 빌드docker build -t [이미지이름] .ex) docker build -t my-server . 3. Docker 컨테이너로 테스트docker run -d -p [호스트포트]:8000 [이미지이름]ex) docker run -d -p 8888:8000 my-serverex) FastAPI 서버가 http://localhost:8342에서 실행됨+) 상.. 이전 1 2 3 4 ··· 30 다음
