dastu�IJ��ͣ���������Hierarchical Softmax���� _ ��IIS7վ��֮�ҡ�

��ǰλ�� ������ҳ > dastu�IJ��ͣ���������Hierarchical Softmax����

��� ��С

    dastu�IJ��ͣ���������Hierarchical Softmax����

    ���ߣ�[db:����] ʱ�䣺2021-09-19 19:25

    Hierarchical Softmax�����ù��������ṹ�����ټ�������һ�ַ�ʽ����word2vec����Ӧ��，

    �ܹ��ӿ�ģ�͵�ѵ���ٶȡ�

    ԭʼ����

    ԭʼ��word2vec���ᵽ�ļ����������ʵĹ�ʽΪ：

    P （ v �O v i ) = e x p ( ( v �� ) T ? v i ) �� w = 1 W e x p ( v w �� ? v i ) P（v| v_i) =\frac{exp((v')^{T} *v_i)}{\sum_{w=1}^{W} exp(v'_w*v_i)} P（v�Ovi?)=��w=1W?exp(vw��??vi?)exp((v��)T?vi?)?

    ����，��ĸ������Ҫ�������е�word,��Ȼ��һ���dz���ʱ�IJ���������ʿ�����W������，

    ��ôʱ�临�ӶȽ�����O(W)，Wһ����˵��dz���（��Ϊ������������ܴ�）��

    ����Hierarchical Softmax���Ժܴ�̶ȼ���ʱ�临�Ӷȡ�

    Hierarchical Softmax

    Hierarchical Softmax��˼�������ù���������������߼��ع����������һ���ġ�

    1. �߼��ع�Ķ����

    One VS Rest

    ��class1����������，����ȫ������������，ѵ����һ��������C1；

    ���Ž�class2����������，��������（����class1）ȫ������������，ͬ���õ�������C2；

    �Դ�ѭ��，���ǿ��Եõ�n��������（nΪ�����）��

    ��ʱÿ�������� i i i ���в��� w i w_i wi? �� b i b_i bi?，����Softmax������������x�����ࡣ

    ��Ϊ��i��ĸ���Ϊ： p ( X = k ) = e x p ( w i T ? x k + b ) �� j = 1 n e x p ( w j T ? x k + b ) p(X=k)=\frac{exp(w_i^T*x_k+b)}{\sum_{j=1}^n exp(w_j^T*x_k+b)} p(X=k)=��j=1n?exp(wjT??xk?+b)exp(wiT??xk?+b)?

    2. Hierarchical Softmax

    ��Hierarchical��，��word�Դ�Ƶ��Ϊ����������Ȩֵ��������������，

    �����������ֵĵ���·���ͻ���̡�

    ����������һ�ֶ�����，ʵ���Ͼ����ڲ��ϵ���������，��������ÿһ��ķ��������One VS Rest��

    ����ͼΪ��，����Ҫ���ҵ����� C C Cʱ，�Ӹ��ڵ㿪ʼ��������，�ж�����������，�õ����ҵĸ���Ϊ p 1 = 1 ? 1 1 + e x p ( w d x + b d ) p1=1-\frac{1}{1+exp(w_dx+b_d)} p1=1?1+exp(wd?x+bd?)1?, ����ڵ�14，�����ж����ҵĸ���Ϊ p 2 = 1 ? 1 1 + e x p ( w b x + b b ) p2=1-\frac{1}{1+exp(w_bx+b_b)} p2=1?1+exp(wb?x+bb?)1?,����ڵ�7，�ж�����ĸ���Ϊ p 3 = 1 1 + e x p ( w c x + b c ) p3=\frac{1}{1+exp(w_cx+b_c)} p3=

    ��һƪ��dastu�IJ��ͣ�����dz����������Ƕ���㷨DeepWalk
    ��һƪ��û����