[바둑 ai 만들기 프로젝트] 2일차 - alphago 관련 논문 정리

오늘은 바둑 ai 만들기 프로젝트 2일차이다. 우선 당분간은 관련 논문들을 간단하게 읽어보면서 내가 나아가야 할 방향을 정립해보고자 한다. 논문을 읽는 데에는 시간이 꽤 오래 걸리므로, 오늘은 관련 페이퍼들을 찾아보고 정리해보고자 한다.

 

알파고 관련 논문

알파고를 설명한 원본 논문은 다음과 같다.

https://www.nature.com/articles/nature16961

그런데 이걸 읽으려면 네이처지에 접근해야 하는데 내가 다니는 학교랑 네이처가 연결이 안 되어 있는 것 같았다. 그래서 이런 논문들을 가져와서 읽을 수 있게 해주는 사이트를 이용했다.

https://sci-hub.wf/10.1038/nature16961

Sci-Hub | Mastering the game of Go with deep neural networks and tree search | 10.1038/nature16961

sci-hub 이란 사이트인데 url 이나 doi 주소를 검색하면 등록된 논문을 읽을 수 있었다. 확인해보니 논문은 네이처지에 Article 형식으로 소개되었던 것 같다. 길이는 생각보다 길지 않았다.

 

https://medium.com/@antoine.louis/mastering-the-game-of-go-with-deep-neural-networks-and-tree-search-3869f85bf8a3

Mastering the game of Go with deep neural networks and tree search

알파고야 워낙 유명한 만큼 요약해놓은 칼럼들도 많아서 같이 읽어봐야겠다.

 

https://sci-hub.se/10.1038/nature24270

https://sci-hub.se/10.1038/nature24270

이건 똑같이 구글 딥마인드 팀에서 발표한 논문이다. 역시나 nature지에 게재되어 있었다. 게재 시간이 1년 정도 뒤인 것으로 보아 알파고보다 뭔가 더 업그레이드된 내용이 있는 것 같은데, 널리 알려진 알파고 뒤의 모델인 알파고-제로의 설명이 담긴 논문이라고 한다. (알파고-제로는 알파고를 100대0으로 이겼다고 한다.)

 

강화 학습

강화 학습은 딥러닝 분야에서 굉장히 뜨거운 분야인데 아직까지 제대로 공부해본 적이 없다.

https://spinningup.openai.com/en/latest/index.html

Welcome to Spinning Up in Deep RL! — Spinning Up documentation

관련 논문들도 많지만 openAI에서 제공하는 튜토리얼을 진행해보는 것도 나쁘지 않겠다 싶다. 과정을 살펴보니 굉장히 세세하고 수준이 높아서 많은 도움이 될 것 같다.

 

바둑 AI 코드

바둑 ai를 직접 만드려는 시도를 나 하나만은 아닐 것이다. 찾아보니 유명 ai 데이터 분석가인 David Foster가 미디엄에 포스팅한 글에 이런 것이 있었다.

https://medium.com/applied-data-science/how-to-build-your-own-alphazero-ai-using-python-and-keras-7f664945c188

How to build your own AlphaZero AI using Python and Keras

깃헙에 코드도 공유되어 있고, 관련 개념들을 상세히 알려주고 있어서 만드는 데에 아주 유용할 것 같다.

 

2일차에 할 일은 이정도로 정리하고, 앞으로 한 달 가량은 논문을 읽고 코드를 만드는 데에 집중해야 할 것 같다. 틈틈히 공부한 내용을 블로그에 정리하는 것은 덤!