분류 전체보기78 [파이썬] 클라우드에서 작업한 대용량 파일 쉽게 로컬로 다운받는 법 (파이썬 http 서버 오픈) 최근에 클라우드에서 대용량으로 파일을 작업해야 할 일이 있었다. 저렴한 가격에 좋은 GPU를 제공해주는 엘리스 클라우드 온디맨드를 사용하여 작업을 했다. https://elice.io/ko/products/cloud/on-demand 엘리스클라우드 온디맨드 | 고성능 GPU/NPU 자원을 글로벌 최저가로 제공AI 전용 클라우드 엘리스클라우드에서 고성능 GPU를 글로벌 최저가로 꼭 필요한 만큼만 이용해보세요.elice.io 기관(서버)을 만들고 인스턴스 이미지 수 백장을 업로드해서 작업을 마치고 파일을 다시 다운받으려는데, 무슨 이유인지 다운로드 버튼을 계속 눌러도 다운로드가 되지 않았다. 혹시 폴더라서 다운이 안 되는 건가 싶어서 (코랩에서는 폴더 다운로드가 안 됨) 몰라서 zip 파일로 압축해서 눌러.. 2024. 12. 10. [CV] opencv ImportError: libGL.so.1: 오류 해결법 엘리스클라우드에서 코딩을 하고 있었는데 처음 opencv를 설치하고 import하니 다음과 같은 오류가 발생했다. ImportError: libGL.so.1: cannot open shared object file: No such file or directory 이런 문제는 코랩 같은 클라우드 환경을 사용할 때 자주 일어나는 것으로 보인다. 다행히 어렵지 않게 해결법을 찾아서 공유한다. https://hufs4programming.tistory.com/59 [opencv]ImportError: libGL.so.1: cannot open shared object file: No such file or directory 에러 발생시 해결1. 문제 발생 쿠버플로우 환경의 주피터노트북에서 opencv를 사용하고.. 2024. 12. 8. [CV] OpenCV cv2 imread() 할 때 can't open/read file: check file path/integrity 오류 해결 요즘 이미지 처리 작업을 하고 있어서 cv2 라이브러리를 많이 사용하는데, 하루는 이런 오류가 발생했다. integrity가 맞지 않아서 오류가 발생하는 것.구글링을 해본 결과 해답을 얻을 수 있었다.https://stackoverflow.com/questions/72022176/warning-cant-open-read-file-check-file-path-integrity warning can't open/read file: check file path/integrityimages_per_class = 80 fixed_size = tuple((500, 500)) train_path = "dataset/train" train_labels = os.listdir(train_path) for trainin.. 2024. 12. 4. [딥러닝] 역전파를 단 한 줄로 가능하게 해주는 backward() 함수 탐구 많은 사람들이 딥러닝 이론을 공부할 때 가장 열심히 공부하는 부분이 역전파 부분일 것이다.그 이유는 단순한데, 역전파가 있어야 딥러닝이고 또 그 과정이 만만치 않게 복잡하기 때문이다.https://www.youtube.com/watch?v=tIeHLnjs5U8&ab_channel=3Blue1Brown 내가 공부하면서 본 유튜브 채널 중 하나인데, 간단한 예제로 역전파 계산 방법에 대해서만 10분짜리 영상이 나올 정도로 그 계산이 쉽지 않다. 미분이 떡칠되어 있기 때문이다. 그래서 이 부분으로 필기시험을 본다면 아마 그 시험에서 가장 계산량이 많은 파트일 것이다. 그런데 코딩을 하게 되면 말이 다르다. 가장 어려운 부분인 기울기 계산은 pytorch 기준으로는 backward() 함수 한 줄이면 끝나고, .. 2024. 11. 20. [LLM] LLM으로 Tabular Data 학습해보기 3 - Langchain으로 데이터 증강하기 Langchain을 소개하는 칼럼 하나를 읽다가 Langchain으로 Tabular Dataset을 증강시키는 방법이 있다고 해서 궁금했다. https://tiabet0929.tistory.com/72 [LLM] LLM으로 Tabular Data 학습해보기 - 1. GPT4o Finetuning (경정데이터분석)https://www.kboat.or.kr/contents/customPlaza/noticeView.do?seqId=21256&cPage=1 KBOAT 경정2024 전국 대학생 경정 데이터 분석 경진대회 개최 안내 작성자 관리자 작성일 2024.07.24 조회 4191 첨부파일 파일 첨부됨 [양식]tiabet0929.tistory.com 위 대회에 참가할 때도 학습을 하려고 했던 이유가 LLM을.. 2024. 11. 13. [NLP] Transformer의 Attention Head 파이썬으로 정리 미루고 미루다 다시 한 번 Transformer 구조 정리를 시작하고자 한다. 이번 포스팅에선 Attention Head와 Scaled-dot Product Attention을 파이썬 코드와 함께 정리해보고자 한다. -이전 포스팅-https://tiabet0929.tistory.com/66 [NLP] Transformer의 Positional Encoding 정리이번 포스팅에선 Positional Encoding과 Embedding에 대해 정리해보고자 한다. 더보기https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need)드디어 오랜 시간 공부해온 트랜스포tiabet0929.tistory.comhttps://tiabet.. 2024. 10. 30. 이전 1 2 3 4 ··· 13 다음
