본문 바로가기

분류 전체보기78

머신러닝 - 스태킹 앙상블과 그 변형에 대해 이번엔 스태킹 앙상블을 적용하는 방법에 대해 살펴보고자 한다. 스태킹 앙상블은 메인스트림이 된 배깅, 부스팅과 같은 앙상블 모델하고는 느낌이 조금 다르다. 같이 앙상블이라고 불리긴 하지만, 약간 이런 느낌? 보팅이야 다수결의 원리라는 워낙 간단명료한 기법이라 설명이 필요없고, 스태킹의 개념이 조금 복잡하기도, 다양하기도 한 감이 있다. 그래서 짧게 정리해보고자 한다. 참고자료 : https://www.yes24.com/Product/Goods/69752484 파이썬 머신러닝 완벽 가이드 - 예스24 자세한 이론 설명과 파이썬 실습을 통해 머신러닝을 완벽하게 배울 수 있다!『파이썬 머신러닝 완벽 가이드』는 이론 위주의 머신러닝 책에서 탈피해 다양한 실전 예제를 직접 구현해 보면서 www.yes24.com .. 2024. 1. 7.
Colab에 도입된 AI 사용해보기 - ChatGPT, Bard 와 코드 생성 수준 비교 Colab에 코드를 생성해주는 Colab AI가 생겼다. 사용하기도 아주 간편하게 만들어놨다. 그래서 똑같은 프롬프트를 줘보고, 생성하는 코드에 어떠한 차이가 있는지 한 번 비교해보았다. 우선 간단하게 " load any datasets from huggingface and change it to pandas dataframe" 이란 명령을 줘보았다. 올바르게 실행되는지 돌려보았다. 안타깝게도 실행엔 실패했다. 내가 알기로 to_pandas라는 메소드가 실제로 존재하긴 하는데 왜 작동을 안 하나 살펴봤더니, DatasetDict 에는 to_pandas 메소드는 없다. 아무래도 Dictionary 형태이다 보니 dataframe으로 바꿀 수 없나보다. 정답에 거의 근접하긴 했지만 데이터셋 선정엔 실패한 모.. 2023. 12. 17.
머신러닝 - ROC Curve에 대한 확장 : 임계값 캐글에서 진행하는 LLM 관련 대회 중, 아래 대회에 참가하려고 마음먹었다. https://www.kaggle.com/competitions/llm-detect-ai-generated-text/overview LLM - Detect AI Generated Text | Kaggle www.kaggle.com 그래서 평가 지표를 살펴보던 중, 특이하게 AUC를 평가 지표로 삼고 있는 것을 보았다. 나는 자연스럽게 그러면 test data에 대해 사람이 만들었는지, 기계가 만들었는지를 0과 1로 분류하면 되겠구나, 싶었는데 알고 보니 test data에 들어있는 텍스트 데이터가 사람이 썼을 확률을 구해서 제출하는 것이었다. 하지만 내 개념으론 이해가 가지 않았다. 내가 알기로 0 또는 1로 분류되어야 AUC를.. 2023. 12. 13.
R - RStudio 패키지 업데이트가 불가능할 때 대처법 RStudio로 작업을 하다가 특정 패키지들은 사용하다 보면 다른 패키지에 의존하고 있어 버전에 굉장히 예민하게 군다. 그래서 패키지들을 수시로 업데이트해줘야 한다. 하지만 다음과 같은 에러창도 뜨고, 결국에 패키지를 업데이트하는 데에 실패했다는 내용만 계속 반복될 때가 있다. 한동안 이걸 어떻게 해결해야 할 지 몰라서 굉장히 애를 먹었다. 어떤 분들은 백신 프로그램 때문이라고 하는데, 내가 해결한 방법은 다음과 같다. 1. R 메모리를 싹 청소한다. 2. RStudio를 종료한다. 3. 오류가 나고 있는 패키지의 폴더를 찾아간다. 4. 해당 패키지를 수동 삭제해버린다. 5. RStudio에 재접속하고 해당 패키지를 재설치한다. 이러면 오류가 발생하는 해당 패키지를 삭제하고 재설치하는 셈이 되기 때문에,.. 2023. 12. 10.
[NLP Study] - Attention Mechanism이 특별한 이유 사실상 세상을 바꾼 아키텍쳐라고 봐도 무방한 트랜스포머의 어텐션 매커니즘에 대해서 정리해보고자 한다. 참고자료 https://wikidocs.net/22893 15-01 어텐션 메커니즘 (Attention Mechanism) 앞서 배운 seq2seq 모델은 **인코더**에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, **디코더**는 이 컨텍스트 벡터를 통해서 출력 … wikidocs.net 당연히 트랜스포머를 처음 제시한 구글 연구원들의 "Attention is All You Need" 도 참고했다. https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction m.. 2023. 12. 10.
LLM - RAG 란 무엇일까? 간단하게 이론 정리 진로를 LLM과 NLP 쪽으로 설정해놓긴 했고, 또 관련 공부를 많이 하고 있지만 블로그에 정리를 제대로 안 하고 스윽 넘어가기만 했었다. 사실 포스팅을 한 번 쓰면 하루가 그냥 날아가버려서 시간도 모자라고, 그러다 보니 마음도 잘 안 잡혔기 때문이다. 그래서 너무 완벽한 포스팅을 쓰는 것보단 정말 간단하게 LLM 관련 이론들을 하나씩 정리해보고자 한다. 사실 정리하면서 확실히 개념을 잡고 싶은 생각이 더 크지만. 가장 먼저 아주 핫한 토픽들 중 하나인 RAG, Retrieval-Augmented Generation 에 대해 정리하려고 한다. RAG와 Hallucination https://www.youtube.com/watch?v=T-D1OfcDW1M&t=15s&ab_channel=IBMTechnolo.. 2023. 12. 7.

티스토리툴바