본문 바로가기

파이썬12

[파이썬] 클라우드에서 작업한 대용량 파일 쉽게 로컬로 다운받는 법 (파이썬 http 서버 오픈) 최근에 클라우드에서 대용량으로 파일을 작업해야 할 일이 있었다. 저렴한 가격에 좋은 GPU를 제공해주는 엘리스 클라우드 온디맨드를 사용하여 작업을 했다. https://elice.io/ko/products/cloud/on-demand 엘리스클라우드 온디맨드 | 고성능 GPU/NPU 자원을 글로벌 최저가로 제공AI 전용 클라우드 엘리스클라우드에서 고성능 GPU를 글로벌 최저가로 꼭 필요한 만큼만 이용해보세요.elice.io  기관(서버)을 만들고 인스턴스 이미지 수 백장을 업로드해서 작업을 마치고 파일을 다시 다운받으려는데, 무슨 이유인지 다운로드 버튼을 계속 눌러도 다운로드가 되지 않았다. 혹시 폴더라서 다운이 안 되는 건가 싶어서 (코랩에서는 폴더 다운로드가 안 됨) 몰라서 zip 파일로 압축해서 눌러.. 2024. 12. 10.
[CV] opencv ImportError: libGL.so.1: 오류 해결법 엘리스클라우드에서 코딩을 하고 있었는데 처음 opencv를 설치하고 import하니 다음과 같은 오류가 발생했다. ImportError: libGL.so.1: cannot open shared object file: No such file or directory 이런 문제는 코랩 같은 클라우드 환경을 사용할 때 자주 일어나는 것으로 보인다. 다행히 어렵지 않게 해결법을 찾아서 공유한다. https://hufs4programming.tistory.com/59 [opencv]ImportError: libGL.so.1: cannot open shared object file: No such file or directory 에러 발생시 해결1. 문제 발생 쿠버플로우 환경의 주피터노트북에서 opencv를 사용하고.. 2024. 12. 8.
[CV] OpenCV cv2 imread() 할 때 can't open/read file: check file path/integrity 오류 해결 요즘 이미지 처리 작업을 하고 있어서 cv2 라이브러리를 많이 사용하는데, 하루는 이런 오류가 발생했다.  integrity가 맞지 않아서 오류가 발생하는 것.구글링을 해본 결과 해답을 얻을 수 있었다.https://stackoverflow.com/questions/72022176/warning-cant-open-read-file-check-file-path-integrity warning can't open/read file: check file path/integrityimages_per_class = 80 fixed_size = tuple((500, 500)) train_path = "dataset/train" train_labels = os.listdir(train_path) for trainin.. 2024. 12. 4.
Colab에 도입된 AI 사용해보기 - ChatGPT, Bard 와 코드 생성 수준 비교 Colab에 코드를 생성해주는 Colab AI가 생겼다. 사용하기도 아주 간편하게 만들어놨다. 그래서 똑같은 프롬프트를 줘보고, 생성하는 코드에 어떠한 차이가 있는지 한 번 비교해보았다. 우선 간단하게 " load any datasets from huggingface and change it to pandas dataframe" 이란 명령을 줘보았다. 올바르게 실행되는지 돌려보았다. 안타깝게도 실행엔 실패했다. 내가 알기로 to_pandas라는 메소드가 실제로 존재하긴 하는데 왜 작동을 안 하나 살펴봤더니, DatasetDict 에는 to_pandas 메소드는 없다. 아무래도 Dictionary 형태이다 보니 dataframe으로 바꿀 수 없나보다. 정답에 거의 근접하긴 했지만 데이터셋 선정엔 실패한 모.. 2023. 12. 17.
Pandas 판다스 데이터프레임 열 추가, 합치기 등 (concat, merge, join) + 삭제된 append 교수님이 수업시간에 배포해주신 실습 코드에 다음과 같은 코드가 있었다. copy_titanic_df.append({'passengerId':1, 'survived':1, 'pclass':1, 'name':1, 'sex':1, 'age':1, 'sibsp':1, 'parch':1, 'ticket':1, 'fare':1, 'cabin':1, 'embarked':1}, ignore_index=True) 그래서 같은 코드를 주피터 노트북에서 돌려봤더니, 다음과 같은 에러메시지가 떴다. DataFrame에는 append라는 메소드가 없다는 것이다. 순간 뇌정지가 왔지만 판다스의 버젼을 확인해보니, 실습 코드가 실행된 코랩에서의 판다스 버젼은 1.5.3, 내가 올해 4월 경에 주피터에 설치한 판다스 버젼은 2.0... 2023. 10. 22.
파이썬 - 텍스트 데이터 전처리 파이프라인 (2) : Sklearn Pipeline 1편에서 텍스트 데이터를 전처리하기 위해 전각-반각 변환, 정규식 적용, 맞춤법 검사 등을 살펴보았다. 2편에서는 파이프라인을 설계하기 위한 Sklearn의 Pipeline 함수에 대해서 간략하게 정리해보고자 한다. 코드 전문 : https://github.com/Tiabet/Project_Market/blob/master/%ED%85%8D%EC%8A%A4%ED%8A%B8%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%A0%84%EC%B2%98%EB%A6%AC/text_preprocessing_pipeline.py Pipeline 이란? Pipeline, 파이프라인이란 데이터에 대하여 여러 작업을 수행하되 한 작업의 결과값이 다음 작업의 입력값이 되게끔 설계하는 것을 말한다. 따라서 Pipe.. 2023. 8. 28.