246 lines (246 with data), 18.5 kB
B
k¯èaLe ã @ sª d dl Z d dlm mZ d dlZd dlmZ d dl Z d dl
m Z d dl m
Z
dd ZG dd deZG d d
d
eZG d d d eZd
d Zdd Zdd Zdd ZdS )é N)ÚVariable)Ú calc_weight)Úevaluatec C s x| ¡ D ]}| |¡ q
W d S )N)Ú
parametersÚrequires_grad_)ÚmodelÚ
requires_gradÚp© r
ú1C:\Users\Xin\Desktop\mscETM\Demo code_BS\train.pyÚ toogle_grad
s r c @ sP e Zd Zdd Zdd Zdd Zdd Zd d
Zd d ZdddZ dddZ
dS )Ú
Trainer_moETMc C s || _ || _|| _|| _d S )N)Ú encoder_mod1Ú encoder_mod2ÚdecoderÚ optimizer)Úselfr r r r r
r
r Ú__init__ s zTrainer_moETM.__init__c C sº t | jd t | jd t | jd | j ¡ | j ¡ | j ¡ | j ¡ | |¡\}}| |¡\}}| jd|jd |jd fdd\} }
t j
| | d¡| d¡fdd} t j
|
| d¡| d¡fdd} | | | ¡\}
}t
j| |
|¡dd}| ||¡\}}| | d¡ ¡ }| | d¡ ¡ }| |
|¡ ¡ }|| || }| ¡ t jj | j ¡ d¡ t jj | j ¡ d¡ t jj | j ¡ d¡ | j ¡ | ¡ | ¡ | ¡ | ¡ fS )NTé r )Úuse_cuda)Údiméÿÿÿÿé2 )r r r r Útrainr Ú zero_gradÚ prior_expertÚshapeÚtorchÚcatÚ unsqueezeÚexpertsÚFÚsoftmaxÚreparameterizeÚsumÚmeanÚget_klÚbackwardÚnnÚutilsÚclip_grad_norm_r ÚstepÚitem)r Úx_mod1Úx_mod2Ú
batch_indicesÚ KL_weightÚmu_mod1Úlog_sigma_mod1Úmu_mod2Úlog_sigma_mod2Úmu_priorÚlogsigma_priorÚMuÚ Log_sigmaÚmuÚ log_sigmaÚThetaÚrecon_log_mod1Úrecon_log_mod2Únll_mod1Únll_mod2ÚKLÚLossr
r
r r s2
$
zTrainer_moETM.trainc C s t |¡}t |¡}|| | S )N)r ÚexpÚ
randn_like)r r9 r: ÚstdÚepsr
r
r r# @ s
z Trainer_moETM.reparameterizec C s, d| }dd| | d¡ | ¡ d¡ S )a0 Calculate KL(q||p) where q = Normal(mu, sigma and p = Normal(0, I).
Args:
mu: the mean of the q distribution.
logsigma: the log of the standard deviation of the q distribution.
Returns:
KL(q||p) where q = Normal(mu, sigma and p = Normal(0, I).
é g à¿r r )ÚpowrB r$ )r r9 Úlogsigmar
r
r r& F s zTrainer_moETM.get_klc C sÞ | j ¡ | j ¡ | j ¡ t ¡ | |¡\}}| |¡\}}| jd|jd |jd fdd\}}tj|| d¡| d¡fdd} tj|| d¡| d¡fdd}
|
| |
¡\} } W d Q R X i }
t |
d¡¡|
d< |
S )Nr r T)r )r ÚcpuÚdelta)r Úevalr r r Úno_gradr r r r r ÚnpÚarrayÚto)r r- r. r1 r2 r3 r4 r5 r6 r7 r8 r9 r: Úoutr
r
r Ú get_embedR s
$ zTrainer_moETM.get_embedc C s | j ¡ | j ¡ | j ¡ t ¡ ä | |¡\}}| |¡\}}| jd|jd |jd fdd\}} tj|| d¡| d¡fdd}
tj| | d¡| d¡fdd} |
|
| ¡\} }
t j |
| |
¡dd}| ||¡\}}| | d¡ ¡ }| | d¡ ¡ }W d Q R X | ¡ | ¡ fS )Nr r T)r )r r )r rK r r r rL r r r r r r! r" r# r$ r% r, )r r- r. r/ r1 r2 r3 r4 r5 r6 r7 r8 r9 r: r; r< r= r> r? r
r
r Úget_NLLe s
$ zTrainer_moETM.get_NLLFc C s: t t |¡}t t |¡}|r2| ¡ | ¡ }}||fS )a Universal prior expert. Here we use a spherical
Gaussian: N(0, 1).
@param size: integer
dimensionality of Gaussian
@param use_cuda: boolean [default: False]
cast CUDA on variables
)r r ÚzerosÚcuda)r Úsizer r9 Úlogvarr
r
r r ~ s
zTrainer_moETM.prior_expertç:0âyE>c C sj t d| ¡| }d|| }t j|| ddt j|dd }dt j|dd }dt || ¡ }||fS )NrF g ð?r )r g à?)r rB r$ Úlog) r r9 rH rE ÚvarÚTÚpd_muÚpd_varÚ pd_logsigmar
r
r r s zTrainer_moETM.expertsN)F)rW ) Ú__name__Ú
__module__Ú __qualname__r r r# r& rQ rR r r r
r
r
r r
s )
r
c @ s` e Zd Zdd Zdd Zdd Zdd Zd d
Zd d Zd
d Z dd Z
dddZ dddZ dS )ÚTrainer_moETM_OTc C s" || _ || _|| _|| _|| _d S )N)r r r Ú
classifierr )r r r r rb r r
r
r r s
zTrainer_moETM_OT.__init__c C s0 t | jd t | jd t | jd t | jd | j ¡ | j ¡ | j ¡ | j ¡ | j ¡ | |¡\}}| |¡\}} | jd|j d |j d fdd\}
} t
j |
| d¡| d¡fdd} t
j | | d¡| d¡fdd}
|
| |
¡\}}tj| ||¡dd}| |¡\}}| | d¡ ¡ }| | d¡ ¡ }| ||¡ ¡ }| |¡}t ||¡}| jjjj ¡ }| |||¡}|| | d| || }| ¡ t
jj | j ¡ d¡ t
jj | j ¡ d¡ t
jj | j ¡ d¡ t
jj | j ¡ d¡ | j ¡ | ¡ | ¡ | ¡ | ¡ | ¡ | ¡ fS ) NTr r )r )r r g¹?r ) r r r r rb r r r r r r r r r r! r" r# r$ r% r& Ú
cross_entropyÚweightÚdataÚcloneÚ domain_lossr' r( r) r* r r+ r, )r r- r. ZcelltypeÚ
celltype_propr0 r1 r2 r3 r4 r5 r6 r7 r8 r9 r: r; r< r= r> r? r@ ÚlogitsÚcls_lossÚprotocolrg rA r
r
r r s@
$
zTrainer_moETM_OT.trainc
C s t ||j¡}t |¡}|d | }tj|dd}tj|d dd}| ||¡} d| | d¡ ¡ }
d| | d¡| d¡ ¡ } |
| } | S )Nr r )r g à?)
r ÚmatmulrZ rX r! r" Úpairwise_cosine_distr$ r% Úsqueeze)
r rk Úfeaturerh Zsim_matZ log_priorZ
new_logitsZs_distZt_distZcost_matZ source_lossZ target_lossÚlossr
r
r rg Ò s
z Trainer_moETM_OT.domain_lossc C s2 t j|ddd}t j|ddd}dt ||j¡ S )NrF r )r r )r! Ú normalizer rl rZ )ZselfselfÚxÚyr
r
r rm ã s z%Trainer_moETM_OT.pairwise_cosine_distc C s t |¡}t |¡}|| | S )N)r rB rC )r r9 r: rD rE r
r
r r# é s
z Trainer_moETM_OT.reparameterizec C s, d| }dd| | d¡ | ¡ d¡ S )a0 Calculate KL(q||p) where q = Normal(mu, sigma and p = Normal(0, I).
Args:
mu: the mean of the q distribution.
logsigma: the log of the standard deviation of the q distribution.
Returns:
KL(q||p) where q = Normal(mu, sigma and p = Normal(0, I).
rF g à¿r r )rG rB r$ )r r9 rH r
r
r r& ï s zTrainer_moETM_OT.get_klc C sÞ | j ¡ | j ¡ | j ¡ t ¡ | |¡\}}| |¡\}}| jd|jd |jd fdd\}}tj|| d¡| d¡fdd} tj|| d¡| d¡fdd}
|
| |
¡\} } W d Q R X i }
t |
d¡¡|
d< |
S )Nr r T)r )r rI rJ )r rK r r r rL r r r r r rM rN rO )r r- r. r1 r2 r3 r4 r5 r6 r7 r8 r9 r: rP r
r
r rQ û s
$ zTrainer_moETM_OT.get_embedc C s | j ¡ | j ¡ | j ¡ t ¡ â | |¡\}}| |¡\}}| jd|jd |jd fdd\}}tj|| d¡| d¡fdd} tj|| d¡| d¡fdd}
|
| |
¡\} } t j |
| | ¡dd}
| |
¡\}}| | d¡ ¡ }| | d¡ ¡ }W d Q R X | ¡ | ¡ fS )Nr r T)r )r r )r rK r r r rL r r r r r r! r" r# r$ r% r, )r r- r. r1 r2 r3 r4 r5 r6 r7 r8 r9 r: r; r< r= r> r? r
r
r rR s
$ zTrainer_moETM_OT.get_NLLFc C s: t t |¡}t t |¡}|r2| ¡ | ¡ }}||fS )a Universal prior expert. Here we use a spherical
Gaussian: N(0, 1).
@param size: integer
dimensionality of Gaussian
@param use_cuda: boolean [default: False]
cast CUDA on variables
)r r rS rT )r rU r r9 rV r
r
r r ' s
z Trainer_moETM_OT.prior_expertç:0âyE>c C sj t d| ¡| }d|| }t j|| ddt j|dd }dt j|dd }dt || ¡ }||fS )NrF g ð?r )r g à?)r rB r$ rX ) r r9 rH rE rY rZ r[ r\ r] r
r
r r 5 s zTrainer_moETM_OT.expertsN)F)rt )
r^ r_ r` r r rg rm r# r& rQ rR r r r
r
r
r ra s 4
ra c @ sP e Zd Zdd Zdd Zdd Zdd Zd d
Zd d ZdddZ dddZ
dS )ÚTrainer_coboltc C s || _ || _|| _|| _d S )N)r r r r )r r r r r r
r
r r ? s zTrainer_cobolt.__init__c C s¸ t | jd t | jd t | jd | j ¡ | j ¡ | j ¡ | j ¡ | |¡\}}| |¡\}}| jd|jd |jd fdd\}} t j
|| d¡| d¡fdd}
t j
| | d¡| d¡fdd} | |
| ¡\} }
t
j| | |
¡dd}| |¡\}}| | d¡ ¡ }| | d¡ ¡ }| | |
¡ ¡ }|| || }| ¡ t jj | j ¡ d¡ t jj | j ¡ d¡ t jj | j ¡ d¡ | j ¡ | ¡ | ¡ | ¡ | ¡ fS )NTr r )r )r r r )r r r r r r r r r r r r r r! r" r# r$ r% r& r' r( r) r* r r+ r, )r r- r. r0 r1 r2 r3 r4 r5 r6 r7 r8 r9 r: r; r< r= r> r? r@ rA r
r
r r F s2
$
zTrainer_cobolt.trainc C s t |¡}t |¡}|| | S )N)r rB rC )r r9 r: rD rE r
r
r r# o s
z Trainer_cobolt.reparameterizec C s, d| }dd| | d¡ | ¡ d¡ S )a0 Calculate KL(q||p) where q = Normal(mu, sigma and p = Normal(0, I).
Args:
mu: the mean of the q distribution.
logsigma: the log of the standard deviation of the q distribution.
Returns:
KL(q||p) where q = Normal(mu, sigma and p = Normal(0, I).
rF g à¿r r )rG rB r$ )r r9 rH r
r
r r& u s zTrainer_cobolt.get_klc C sÞ | j ¡ | j ¡ | j ¡ t ¡ | |¡\}}| |¡\}}| jd|jd |jd fdd\}}tj|| d¡| d¡fdd} tj|| d¡| d¡fdd}
|
| |
¡\} } W d Q R X i }
t |
d¡¡|
d< |
S )Nr r T)r )r rI rJ )r rK r r r rL r r r r r rM rN rO )r r- r. r1 r2 r3 r4 r5 r6 r7 r8 r9 r: rP r
r
r rQ s
$ zTrainer_cobolt.get_embedc C s | j ¡ | j ¡ | j ¡ t ¡ â | |¡\}}| |¡\}}| jd|jd |jd fdd\}}tj|| d¡| d¡fdd} tj|| d¡| d¡fdd}
|
| |
¡\} } t j |
| | ¡dd}
| |
¡\}}| | d¡ ¡ }| | d¡ ¡ }W d Q R X | ¡ | ¡ fS )Nr r T)r )r r )r rK r r r rL r r r r r r! r" r# r$ r% r, )r r- r. r1 r2 r3 r4 r5 r6 r7 r8 r9 r: r; r< r= r> r? r
r
r rR s
$ zTrainer_cobolt.get_NLLFc C s: t t |¡}t t |¡}|r2| ¡ | ¡ }}||fS )a Universal prior expert. Here we use a spherical
Gaussian: N(0, 1).
@param size: integer
dimensionality of Gaussian
@param use_cuda: boolean [default: False]
cast CUDA on variables
)r r rS rT )r rU r r9 rV r
r
r r s
zTrainer_cobolt.prior_expertç:0âyE>c C sj t d| ¡| }d|| }t j|| ddt j|dd }dt j|dd }dt || ¡ }||fS )NrF g ð?r )r g à?)r rB r$ rX ) r r9 rH rE rY rZ r[ r\ r] r
r
r r » s zTrainer_cobolt.expertsN)F)rv ) r^ r_ r` r r r# r& rQ rR r r r
r
r
r ru > s )
ru c # C sð t t d|¡}|\}} }
|\} } }
}xt|D ]}d}d}d}d}t ¡ }tj |¡ t||dddd}x°t|| D ] }|||| |d |
d d
f }| ||| |d |
d d
f }|
||| |d |
}| ||||¡\}}} } ||7 }||7 }|| 7 }|| 7 }q|W t ¡ } |d dkr2| | | ¡} |
| | |
¡\} }!|j | ¡ t
f ||dd|}"td|| | ||||| |!f td |"d
|"d |"d |"d
|"d |"d f q2W | | | ¡} |
| | |
¡\} }!| | |!fS )Nr gUUUUUUÕ?gü©ñÒMbP?r éd T)ÚadataÚn_epochÚ
return_figzk[epoch %0d finished time %4f], Loss=%.4f, NLL_mod1=%.4f, NLL_adt=%.4f, KL=%.4f, NLL_mod1=%.4f, NLL_adt=%.4fzZCell_ARI=%.4f, Cell_NMI=%.4f, Cell_ASW=%.4f, Cell_KBET=%.4f, Batch_ASW=%.4f, Batch_GC=%.4fÚariÚnmiÚaswÚk_betÚ batch_aswÚbatch_graph_score)ÚlistrM ÚarangeÚrangeÚtimeÚrandomÚshuffler r rQ rR ÚobsmÚupdater Úprint)#ÚtrainerÚ Total_epochÚ train_numÚ
batch_sizeÚ Train_setÚTest_setÚ Eval_kwargsÚLISTÚX_mod1ÚX_mod2Ú batch_indexÚ test_X_mod1Ú test_X_mod2Úbatch_index_testÚ
test_adateÚepochÚLoss_allÚ NLL_all_mod1Ú NLL_all_mod2ÚKL_allÚtstartr0 Ú iterationÚx_minibatch_mod1_TÚx_minibatch_mod2_TÚbatch_minibatch_Trp r> r? ÚklÚtendÚembedÚ
nll_mod1_testÚ
nll_mod2_testÚresultr
r
r Ú Train_moETMÄ s>
$$ 4 r© c # C sð t t d|¡}|\}} }
|\} } }
}xt|D ]}d}d}d}d}t ¡ }tj |¡ t||dddd}x°t|| D ] }|||| |d |
d d
f }| ||| |d |
d d
f }|
||| |d |
}| ||||¡\}}} } ||7 }||7 }|| 7 }|| 7 }q|W t ¡ } |d dkr2| | | ¡} |
| | |
¡\} }!|j | ¡ t
f ||dd|}"td|| | ||||| |!f td |"d
|"d |"d |"d
|"d |"d f q2W | | | ¡} |
| | |
¡\} }!| | |!fS )Nr gUUUUUUÕ?gü©ñÒMbP?r rw T)rx ry rz zk[epoch %0d finished time %4f], Loss=%.4f, NLL_mod1=%.4f, NLL_adt=%.4f, KL=%.4f, NLL_mod1=%.4f, NLL_adt=%.4fzZCell_ARI=%.4f, Cell_NMI=%.4f, Cell_ASW=%.4f, Cell_KBET=%.4f, Batch_ASW=%.4f, Batch_GC=%.4fr{ r| r} r~ r r )r rM r r r r
r r r rQ rR r r r r )#r r r r r r r r r r r r r r r r r r r r r r0 r r r¡ r¢ rp r> r? r£ r¤ r¥ r¦ r§ r¨ r
r
r ÚTrain_moETM_BSï s>
$$ 4 rª c ( C s t t d|¡}|\}} }
} |\} }
}}xºt|D ]¬}d}d}d}d}d}d}t ¡ }tj |¡ t||dddd}xÆt|| D ]¶}|||| |d |
d d
f }| ||| |d |
d d
f }|
||| |d |
} | ||| | |¡\} } } } }!}"|| 7 }|| 7 }|| 7 }|| 7 }||!7 }||"7 }qW t ¡ }#|d dkr4| | |
¡}$|
| |
¡\}%}&|j |$¡ t
f ||dd|}'td||#| |||||%|&f td|'d |'d
|'d |'d |'d
|'d f q4W | | |
¡}$|
| |
¡\}%}&|$|%|&fS )Nr gUUUUUUÕ?gü©ñÒMbP?r T)rx ry rz zk[epoch %0d finished time %4f], Loss=%.4f, NLL_mod1=%.4f, NLL_adt=%.4f, KL=%.4f, NLL_mod1=%.4f, NLL_adt=%.4fzZCell_ARI=%.4f, Cell_NMI=%.4f, Cell_ASW=%.4f, Cell_KBET=%.4f, Batch_ASW=%.4f, Batch_GC=%.4fr{ r| r} r~ r r )r rM r r r r
r r r rQ rR r r r r )(r r r r r r r r r r Ú cell_typeZcell_type_propr r r r r r r r r ZDomain_loss_allZ Cls_loss_allr r0 r r r¡ Zcelltype_minibatch_Trp r> r? r£ rg rj r¤ r¥ r¦ r§ r¨ r
r
r ÚTrain_moETM_OT sF $$ 4 r¬ c " C sÎ t t d|¡}|\}} }
|\} } }
}x~t|D ]p}d}d}d}d}t ¡ }tj |¡ t||dddd}xt|| D ]}|||| |d |
d d
f }| ||| |d |
d d
f }| |||¡\}}}} ||7 }||7 }||7 }|| 7 }q|W t ¡ } |d dkr2| | | ¡} |
| | ¡\} } |j | ¡ t
f ||dd|}!td|| | ||||| | f td |!d
|!d |!d |!d
|!d |!d f q2W | | | ¡} |
| | ¡\} } | | | fS )Nr gUUUUUUÕ?gü©ñÒMbP?r rw T)rx ry rz zk[epoch %0d finished time %4f], Loss=%.4f, NLL_mod1=%.4f, NLL_adt=%.4f, KL=%.4f, NLL_mod1=%.4f, NLL_adt=%.4fzZCell_ARI=%.4f, Cell_NMI=%.4f, Cell_ASW=%.4f, Cell_KBET=%.4f, Batch_ASW=%.4f, Batch_GC=%.4fr{ r| r} r~ r r )r rM r r r r
r r r rQ rR r r r r )"r r r r r r r r r r r r r r r r r r r r r r0 r r r¡ rp r> r? r£ r¤ r¥ r¦ r§ r¨ r
r
r Ú Train_coboltI s<
$$ 4 r )r Ztorch.nn.functionalr( Ú
functionalr! ÚnumpyrM Ztorch.autogradr r r) r Ú
eval_utilsr r Úobjectr
ra ru r© rª r¬ r r
r
r
r Ú<module> s" * ++/
Datasets
Models
