속도 < 방향

도커 이미지를 올려서 사용자가 WebUI에서 학습을 요청하면 (학습 시작 버튼을 누르면) 학습용 컨테이너가 생성되도록 모듈을 만들던 와중 잘 올라가던 백엔드 컨테이너가 갑자기 로그에서 에러를 뱉는다. Failed to initialize NVML: Driver/library version mismatch 버전이 맞지 않는다? 우선 nvidia-smi 를 쳐보니 역시나 안된다. 우선 로그를 확인한다.sudo dmesg | grep -i nvrm결국 버전이 안맞는다는 이야기이다. 가장 빠른 방법은 sudo reboot 이지만 저번에 sudo reboot 했다가 커널에서 boot 자체가 안된 경우가 있어서 굉장히 조심스럽다..당시 램 빼고 강제로 주입한다음 램 하나씩 꼽으면서 겨우 서버를 살렸기 때문에 ..

테스트 서버에 설치 스크립트 테스트 중 tempo 2.7.1-amd64 버전 설치 시 자꾸 설치가 실패한다. 서버 환경이 v2를 지원하지만 avx2는 지원하지 않고 avx까지만 지원하기 때문에 에러가 발생하는 것이다.서버 환경에 맞춰 avx를 지원하는 1.5.0을 설치하면 된다.

확인하고자 하는 docker 서비스 명에 bash 로 들어가서 아래 명령어를 입력하면 된다.apt search nccl NCCL 버전을 알아서 어디에 쓰냐면, user guide를 참고할 수 있기 때문이다.워낙 하루가 다르게 릴리즈 되니 dependency 때문에 충돌이 생기는 경우가 많다.버전 별 유저가이드 링크 : https://docs.nvidia.com/deeplearning/nccl/archives/index.html#nccl_2

Open WebUI 깃허브 : https://github.com/open-webui/open-webui GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)User-friendly AI Interface (Supports Ollama, OpenAI API, ...) - open-webui/open-webuigithub.com  Open WebUI란? OpenWebUI는 오픈 소스 LLM(대규모 언어 모델) 웹 인터페이스로, 로컬 AI 모델과 다양한 AI 서비스를 쉽게 사용할 수 있도록 만들어졌다. 처음엔 Ollama를 위해서 만들어진 프레임워크라 이름이 Ollama Web UI였으나, 현재는..

aws s3 ls 명령어로 aws cli를 통해 s3 목록을 보려고 했는데 조회가 안된다.분명 IAM에서 administrator aceess 추가했는데 에러가 뜬다   aws configure 도 제대로 되어있고  IAM 권한에 AmazonS3FullAccess 도 추가했다.--user-name 뒤에 본인의 IAM 사용자명을 넣어야 한다.aws iam attach-user-policy --user-name jihyun --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess 혹은 aws 콘솔 - IAM - 사용자 - 권한 추가 섹션 내에서 직접 정책을 추가해도 된다. 추가하고 s3 를 조회하니 에러가 더이상 나지 않는다.aws iam list-attached-..

개요리눅스에서 작업을 하다보면 마주치게 되는 다양한 명령어가 있다. 기본적으로 자주 사용되는 cat, tail, grep, find 등 명령어만 숙지해도 작업이 훨씬 수월해지므로 이에 대해 정리해보려 한다.  1. cat 명령어 : 파일 내용을 출력하거나 여러 파일을 연결하여 보여준다.cat [옵션] [파일명] 주요 옵션-n : 각 줄 번호를 붙여 출력-b: 빈 줄을 제외한 줄 번호 붙이기예제# file.txt 파일 내용 출력cat file.txt# 여러 파일 내용을 연결해서 출력cat file1.txt file2.txt# 각 줄 번호를 붙여 출력cat -n file.txt  2. tail 명령어 : 파일의 마지막 몇 줄을 출력한다.tail [옵션] [파일명] 주요 옵션-n N : 마지막 N줄 출력-f ..

3개월 체불의 시간이 지나갔다. 자의가 아닌 강제로 등떠밀려 이직하는 최악의 상황은 동료들에게도 나에게도 유쾌한 상황은 아니었다. 어느 누구도 예상하지 못했을 것이다. 어려운 시장 경기를 반영이라도 하듯 여러 기업의 구조조정 소식이 들려왔다. 그래도 희망퇴직을 받고 그에 상응하는 보상을 해주는 기업은 내게는 정말 신사적인 대우를 하는 곳으로 느껴졌다.큰 선심이라도 쓰듯 권고사직 처리를 해주겠다는 사내공지와 일말의 성의도 보이지 않는 복붙 형태의 임금체불 사과공지문은 그나마 남아있던 책임감과 애사심을 가진 구성원마저도 뒤돌게했다. 내색은 크게 하지 않으려했지만 적금은 물론이거니와, 취미생활, 개인적인 약속 등 지출이 예상되는 모든 구멍을 통제했다. 여건이 궁핍해지고 그나마 들어놨던 적금도 깨니 자연스레 자..

작성일 : 2024-10-18레퍼런스 : 엘라스틱서치 실무 가이드1.1 검색 시스템의 이해1.1.1 검색 시스템이란?네이버, 구글 등에서 제공하는 다양한 서비스 중 가장 큰 비중을 차지하는 것은 사용자가 원하는 검색어에 대한 결과를 검색 서비스일 것이다. 이를 부르는 용어도 다양한데 검색엔진, 검색 시스템, 검색 서비스 등 다양한 용어가 혼용되어 불리고 있다.  우선 검색엔진은 광활한 웹에서 정보를 수집하여 검색 결과를 제공하는 프로그램인데, 제공되는 데이터 특성에 따라 구현 형태가 각각 달라진다. 야후(Yahoo)는 디렉터리 기반의 검색 결과를 세계 최초로 제공했다. 요즘에는 대범주(뉴스, 블로그, 카페)에 따른 카테고리별 검색 결과를 대부분의 검색 엔진에서 제공한다. 검색 시스템은 대용량 데이터를 기..

last update : 2024-09-26참고 도서 : 러스트 웹 개발 러스트 웹 개발 - 예스24러스트로 뼈대부터 웹 서비스, 테스트, 배포까지!더 빠르고 안전한 웹 애플리케이션을 만드는 최상의 방법!러스트는 시스템 프로그래밍을 위한 안전하고 빠르며 생산적인 언어다. 또한, 개발자www.yes24.com 위 책을 리뷰합니다.1. 개요러스트는 시스템 프로그래밍 언어로, interpreter 언어와 달리 컴파일러가 있다. Go의 garbage colletion 이나 Java의 JVM으로 인한 성능 저하가 없고, 파이썬/루비처럼 읽기 쉽다. C언어만큼 좋은 성능을 발휘하는데, 그 이유는 런타임 에러를 제거해주는 컴파일러 덕분이다. 메모리 안정성과 성능 및 편의성에 중점을 둔 언어로, 가비지 컬렉터 없이 메..

last update : 2024-08-16개요Key, Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈소스 기반 비관계형 데이터베이스 관리 시스템(DBMS) 이다. 데이터베이스, 캐시, 메시지 브로커로 사용되며 인메모리 데이터 구조를 가졌다. Key, Value 저장소 중 가장 순위가 높다. 목적Q. 데이터베이스가 있는데도 Redis라는 인메모리 데이터 구조 저장소를 사용하는 이유는?A. 데이터베이스는 데이터를 물리 디스크에 직접 쓰기 때문에 서버가 다운되더라도 데이트가 손실되지 않지만, 매번 디스크에 접근해야 하기 때문에 사용자가 많아질수록 부하가 많아져서 느려질 수 있다. 초반에는 WEB-WAS-DB 구조로도 무리가 가지 않지만, 사용자가 많아질수록 DB 과부하 걸릴 확률이 높기 때문에..