Learning to Learn

Paper Dissected: “Attention is All You Need” Explained

“Attention is All You Need”, is an influential paper with a catchy title that fundamentally changed the field of machine translation. Previously, RNNs were regarded as the go-to archite…

mlexplained.com

The Illustrated Transformer

Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Chinese (Simplified), Korean Watch: MIT’s Deep Learning State of the Art lecture referencing this post In the previous post, we looked at Atten

jalammar.github.io

Knowledge Distillation

Knowledge distillation is model compression method in which a small model is trained to mimic a pretrained, larger model.

medium.com

클러스터링 평가하기 (Clustering Evaluation)

Goal : 클러스터링 간에 비교하여 적절한 클러스터 개수를 구하기 1. Elbow method - K-means의 경우 cost function이 존재 - 이걸로 평가하면 안될까? 문제가 있다! => 클러스터의 개수가 증가할수록 centroid와..

astralworld58.tistory.com

precision, recall의 이해

자신이 어떤 기술을 개발하였다. 예를 들어 이미지에서 사람을 자동으로 찾아주는 영상 인식 기술이라고 하자. 이 때, 사람들에게 "이 기술의 검출율은 99.99%입니다"라고 말하면 사람들은 "오우...!!!" 하면서 감..

darkpgmr.tistory.com

'PR curve' 태그의 글 목록

평범하게 살고 싶은 월급쟁이 기술적인 토론 환영합니다.같이 이야기 하고 싶으시면 부담 말고 연락주세요:이메일-bwcho75골뱅이지메일 닷컴.

bcho.tistory.com

논리 기호 ∀, ∃에 대한 설명

▦ 기호 기호 ∀는 All의 A를 뒤집어 만든 모양으로, '모든 ~에 대해' 이라는 의미를 가집니다. LaTeX에서는 \forall라고 입력하면 이 기호를 얻을 수 있습니다. 기호 ∃는 Exist의 E를 뒤집어 만든 모양으로, '어..

meiryo.tistory.com

Kernel-SVM · ratsgo's blog

이번 글에서는 서포트 벡터 머신(SVM)의 변형인 Kernel-SVM에 대해 살펴보도록 하겠습니다. 이 글 역시 고려대 강필성 교수님과 역시 같은 대학의 김성범 교수님 강의를 정리했음을 먼저 밝힙니다. SVM의 일반적인 내용에 대해서는 이곳을, C-SVM에 대해서는 이곳을 참고하시기 바랍니다. 그럼 시작하겠습니다. SVM은 두 범주를 잘 분류하면서 마진(margin)이 최대화된 초평면(hyperplane)을 찾는 기법입니다. 기본적으로 선형분류를 한다는

ratsgo.github.io

RL — Policy Gradient Explained

Policy Gradient Methods (PG) are frequently used algorithms in reinforcement learning (RL). The principle is very simple.

medium.com