Downloads: 1
283 lines (280 with data), 32.1 kB
B
®e·¥ ã @ sØ d Z ddlZddlZddlZddlmZ ddlmZ ddlm Z ddl
Z
ddl m Z ddl
mZ ddlmZ ddlmZ ddlmZ ddlmZ ddlZddlZddlZddlmZ ddl Z ddl Z ddl Z ddl Z ddlZddl!Z!ddl"Z"ddl#m#Z# ddl$Z%dd l&m'Z'm(Z(m)Z)m*Z*m+Z+m,Z, ddl-Z-ddl.Z.ddlZ/dd
l0m1Z1m2Z2 dd lm3Z3m4Z4m5Z5m6Z6 dd l7m8Z8 ddl9m m:Z; ddl<Z<ddl.Z.dd
l m=Z= ddlZ/ddl>m>Z> ddlm3Z3 ddlZddl?m@Z@ ddlAZAddlBZBddlmZ ddl>m>Z> ddlCmDZD ddlEmFZF ddlGmHZHmIZImJZJmKZKmLZLmMZMmNZNmOZOmPZPmQZQmRZRmSZS ddlTmUZU ddlVmWZW ddlXmYZY ddlZm[Z[m\Z\m]Z]m^Z^m_Z_ e< `¡ Zae bdeajc¡ZbdddZdd d Zed d ZfG d d! d!e Zgd"d# Zhe i¡ de'ejje)ejj f ekekele(e*ekekf elekejjd'd(d)Zme i¡ de'ejje)ejj f e'e+e-jne,f e(eo dd*d+d,Zpdd.d/Zqd0d1 Zrdd3d4ZsG d5d6 d6Zte/jue/jud7d8d9ZvG d:d; d;eZwd<d= Zxd
d?d@ZydAdB ZzdCdD Z{dEdF Z|G dGdH dHejj}Z~ddddIdJd$e~d&dKf dLdMZdNdO ZddddIdJd$e~d&dKf dPdQZddSdTZdUdV ZdWdX ZddYdZZ
G d[d\ d\Zd]d^ Zdd`daZdbdc ZddddeZdfdg Zdhdi Zdjdk Zdldm ZddndoZddpdqZddsdtZdudv ZddydzZdd|d}Zd~d ZdS )z helper function
author junde
é N)ÚFunction)Ú _LRScheduler)Ú
DataLoader)ÚVariable)Úautograd)Údatetime)ÚUnionÚOptionalÚListÚTupleÚTextÚBinaryIO)ÚlabelÚ find_objects)ÚImageÚ ImageDrawÚ ImageFontÚ
ImageColor)Úvgg19)Ú OrderedDict)Útqdm)r )Ú
Discriminator)Ú
DiceCELoss)Úsliding_window_inference) Ú
AsDiscreteÚComposeÚCropForegrounddÚ
LoadImagedÚ OrientationdÚ RandFlipdÚRandCropByPosNegLabeldÚRandShiftIntensitydÚScaleIntensityRangedÚSpacingdÚ
RandRotate90dÚ EnsureTyped)Ú print_config)Ú
DiceMetric)Ú SwinUNETR)ÚThreadDataLoaderÚ CacheDatasetÚload_decathlon_datalistÚdecollate_batchÚset_track_metaÚcudaTc C s |dkr>ddl m}m} ddlm} |d | | jd t¡}ntd t
¡ |r|dkrt j j
|d d
| j d ¡D d }|j|d
}n |j|d
}|S )z return given network
Úsamr )Ú SamPredictorÚsam_model_registry)ÚResizeLongestSideÚvit_b)Ú
checkpointz6the network name you have entered is not supported yetÚnonec S s g | ] }t |qS © )Úint)Ú.0Úidr6 r6 úB/Users/hanxuegu/Documents/Documents/bone/bone_paper_codes/utils.pyú
<listcomp> s z get_network.<locals>.<listcomp>ú,)Ú
device_ids)Údevice)Ú
models.samr0 r1 Úmodels.sam.utils.transformsr2 Zsam_ckptÚtor> ÚprintÚsysÚexitÚtorchÚnnÚ DataParallelÚ distributedÚsplit)ÚargsÚnetÚuse_gpuÚ
gpu_deviceÚ distributionr0 r1 r2 r6 r6 r: Ú get_networks s " rO c C sÔ t tddgddtdgdddddd tddgdd
tddgd d tddgd
ddtddgtddtddgd| j | j | j
fdd| j dddt ddgdgddt ddgdgddt ddgdgddt
ddgdddtdgdddg }t tddgddtdgdddddd tddgdd
tddgd d tddgd
ddtddgtddg}| j}d }tj ||¡}t|dd }t|dd }t||d dd d!}t|d| jdd"} t||dddd!}
t|
ddd#} td | | ||||fS )$NÚimager T)ÚkeysÚensure_channel_firstiQÿÿÿéú g g ð?)rQ Úa_minÚa_maxÚb_minÚb_maxÚclip)rQ Ú
source_keyÚRAS)rQ Úaxcodes)g ø?g ø?g @)ÚbilinearÚnearest)rQ ÚpixdimÚmodeF)rQ r> Ú
track_metaé r )rQ Ú label_keyÚ spatial_sizeÚposÚnegÚ num_samplesÚ image_keyÚimage_thresholdg¹?)rQ Ú spatial_axisÚprobé é )rQ rj Úmax_kg à?)rQ Úoffsetsrj zdataset_0.jsonÚtrainingÚ
validationé é )ÚdataÚ transformÚ cache_numÚ
cache_rateÚ num_workers)rw Ú
batch_sizeÚshuffle)rw rx )r r r" r r r# r% r> r Úroi_sizeÚchunkZ
num_sampler r$ r! Ú data_pathÚosÚpathÚjoinr+ r* r) Úbr- ) rJ Ztrain_transformsZval_transformsÚdata_dirZ
split_JSONÚdatasetsÚdatalistZ val_filesZtrain_dsÚ train_loaderZval_dsÚ
val_loaderr6 r6 r: Úget_decath_loader s r c C s4 t t | ¡t |¡¡}| ¡ }| ¡ }||| S )N)rE ÚdotÚflattenÚnorm)Z
gram_featureAZ
gram_featureBZ scaled_hsicZnormalization_xZnormalization_yr6 r6 r: Úcka_lossð s r c s* e Zd ZdZd fdd Zdd Z ZS )ÚWarmUpLRzwarmup_training learning rate scheduler
Args:
optimizer: optimzier(e.g. SGD)
total_iters: totoal_iters of warmup phase
éÿÿÿÿc s || _ t ||¡ d S )N)Ú total_itersÚsuperÚ__init__)ÚselfÚ optimizerr Ú
last_epoch)Ú __class__r6 r: r þ s zWarmUpLR.__init__c s fdd j D S )zhwe will use the first m batches, and set the learning
rate to base_lr * m / total_iters
c s g | ]}| j jd qS )g:0âyE>)r r )r8 Úbase_lr)r r6 r: r; s z#WarmUpLR.get_lr.<locals>.<listcomp>)Úbase_lrs)r r6 )r r: Úget_lr s zWarmUpLR.get_lr)r )Ú__name__Ú
__module__Ú __qualname__Ú__doc__r r Ú
__classcell__r6 r6 )r r: r ø s r c C sJ | ¡ \}}}}| || || ¡}t || ¡ ¡}| || | | ¡S )N)ÚsizeÚviewrE ÚmmÚtÚdiv)ÚinputÚar ÚcÚdÚfeaturesÚGr6 r6 r: Ú gram_matrix s r§ rr rk F)ÚtensorÚnrowÚpaddingÚ normalizeÚ value_rangeÚ
scale_eachÚ pad_valueÚreturnc sr t | ¡s8t| tr&tdd | D s8tdt| d| ¡ krZd}t |¡ |d }t| trrt j
| dd} | ¡ dkr| d¡} | ¡ d kr¾|
d¡d
kr´t | | | fd¡} | d¡} | ¡ d krê|
d
¡d
krêt | | | fd
¡} |d kr^| ¡ } |d k rt|tstd
dd fdd} |d krTx$| D ]}
| |
| q>W n
| | | |
d¡d
krx| d¡S |
d¡} t|| } tt t| | ¡}
t|
d¡| t|
d ¡| }}|
d
¡}| |||
| || | f|¡}d}xtt|
D ]h}x`t| D ]T}|| kr P | d
|| | || ¡ d|| | || ¡ | | ¡ |d
}qW qW |S )Nc s s | ]}t |¡V qd S )N)rE Ú is_tensor)r8 r r6 r6 r: ú <genexpr>$ s z make_grid.<locals>.<genexpr>z(tensor or list of tensors expected, got Úrangez9range will be deprecated, please use value_range instead.r )Údimrk rl ra é TzNvalue_range has to be a tuple (min, max) if specified. min and max are numbersc S s, | j ||d | |¡ t|| d¡ d S )N)ÚminÚmaxgñhãµøä>)ÚclampÚsub_Údiv_r¶ )ÚimgÚlowÚhighr6 r6 r: Únorm_ip@ s zmake_grid.<locals>.norm_ipc s> |d k r | |d |d n | t | ¡ t | ¡ d S )Nr ra )Úfloatrµ r¶ )r r¬ )r½ r6 r: Ú
norm_rangeD s z make_grid.<locals>.norm_range) rE r° Ú
isinstanceÚlistÚallÚ TypeErrorÚtyperQ ÚwarningsÚwarnÚstackr³ Ú unsqueezer ÚcatÚcloneÚtupleÚAssertionErrorÚsqueezerµ r7 ÚmathÚceilr¾ Únew_fullr² ÚnarrowÚcopy_)r¨ r© rª r« r¬ r r® ÚkwargsÚwarningr¿ r ÚnmapsÚxmapsÚymapsÚheightÚwidthÚ num_channelsÚgridÚkÚyÚxr6 )r½ r: Ú make_grid s\
&
"
rß )r¨ ÚfpÚformatr¯ c K sX t | f|}| d¡ d¡ dd¡ ddd¡ dtj¡ ¡ }t
|¡}|j ||d dS ) a"
Save a given Tensor into an image file.
Args:
tensor (Tensor or list): Image to be saved. If given a mini-batch tensor,
saves the tensor as a grid of images by calling ``make_grid``.
fp (string or file object): A filename or a file object
format(Optional): If omitted, the format to use is determined from the filename extension.
If a file object was used instead of a filename, this parameter should always be used.
**kwargs: Other arguments are documented in ``make_grid``.
éÿ g à?r ra rk Úcpu)rá N) rß ÚmulÚadd_Úclamp_ÚpermuterA rE Úuint8Únumpyr Ú fromarrayÚsave)r¨ rà rá rÓ rÛ ÚndarrÚimr6 r6 r: Ú
save_imageh s 0
rî Útrainc C sj t d¡}d ||¡}tj | |¡}d}tjt||d t ¡ }|
tj ¡ t ¡ }t d¡
|¡ |S )Nz%Y-%m-%d-%H-%Mz {}_{}.logz%(asctime)-15s %(message)s)Úfilenamerá Ú )ÚtimeÚstrftimerá r} r~ r ÚloggingÚ basicConfigÚstrÚ getLoggerÚsetLevelÚINFOÚ
StreamHandlerÚ
addHandler)Úlog_dirÚphaseÚtime_strZlog_fileZfinal_log_fileÚheadÚloggerÚconsoler6 r6 r: Ú
create_logger s
r c
C s¼ i }t j| dd t j | |¡}t tj ¡ ¡}| d¡}|d | }t |¡ ||d< t j |d¡}t |¡ ||d< t j |d¡}t |¡ ||d < t j |d
¡} t | ¡ | |d < |S ) NT)Úexist_okz%Y_%m_%d_%H_%M_%SÚ_ÚprefixÚModelÚ ckpt_pathÚLogÚlog_pathZSamplesÚ sample_path)
r} Úmakedirsr~ r r ÚnowÚdateutilÚtzÚtzlocalró )
Úroot_dirZexp_nameZ path_dictZexp_pathr Ú timestampr r r r
r6 r6 r: Ú set_log_dir s$
r úcheckpoint.pthc C s4 t | tj ||¡¡ |r0t | tj |d¡¡ d S )Nzcheckpoint_best.pth)rE rë r} r~ r )ÚstatesZis_bestÚ
output_dirrð r6 r6 r: Úsave_checkpoint s r c @ sT e Zd Zdd Zdd Zdd Zdd Zd d
Zd d Zd
d Z dd Z
dd Z dS )Ú RunningStatsc C s$ d| _ d| _|| _tj|d| _d S )Nr )Úmaxlen)ÚmeanÚrun_varÚWIN_SIZEÚ collectionsÚdequeÚwindow)r r r6 r6 r: r µ s zRunningStats.__init__c C s | j ¡ d| _d| _d S )Nr )r Úclearr r )r r6 r6 r: r ¼ s
zRunningStats.clearc C s t | j| jkS )N)Úlenr r )r r6 r6 r: Úis_fullÁ s zRunningStats.is_fullc C s´ t | j| jkrj| j ¡ }| j |¡ | j}| j|| | j 7 _| j|| | | j || 7 _nF| j |¡ || j }| j|t | j 7 _| j||| j 7 _d S )N)r r r ÚpopleftÚappendr r )r rÞ Z x_removedZold_mÚdeltar6 r6 r: ÚpushÄ s
&
zRunningStats.pushc C s t | jr| jS dS )Ng )r r r )r r6 r6 r: Úget_meanÔ s zRunningStats.get_meanc C s" t | jdkr | jt | j S dS )Nra g )r r r )r r6 r6 r: Úget_var× s zRunningStats.get_varc C s t | ¡ ¡S )N)rÎ Úsqrtr' )r r6 r6 r: Úget_stdÚ s zRunningStats.get_stdc C s
t | jS )N)rÁ r )r r6 r6 r: Úget_allÝ s zRunningStats.get_allc C s d t| j¡S )NzCurrent window values: {})rá rÁ r )r r6 r6 r: Ú__str__à s zRunningStats.__str__N) r r r r r r! r% r& r' r) r* r+ r6 r6 r6 r: r ´ s r )ÚoutputsÚlabelsc C s8 d}| |@ d¡}| |B d¡}|| || }| ¡ S )Ngíµ ÷Æ°>)ra rk )Úsumr )r, r- ÚSMOOTHÚ intersectionÚunionÚiour6 r6 r: r2 ã s
r2 c @ s e Zd ZdZdd Zdd ZdS )Ú DiceCoeffz"Dice coeff for individual examplesc C sd | ||¡ d}t | d¡| d¡¡| _t |¡t |¡ | | _d| j ¡ | | j ¡ }|S )Ng-C ëâ6?r rk )Úsave_for_backwardrE r r Úinterr. r1 r¾ )r r¡ ÚtargetÚepsr r6 r6 r: Úforwardñ s zDiceCoeff.forwardc C sV | j \}}d }}| jd r@|d || j | j | j| j }| jd rNd }||fS )Nr rk ra )Úsaved_variablesÚneeds_input_gradr1 r5 )r Ú grad_outputr¡ r6 Ú
grad_inputÚ grad_targetr6 r6 r: Úbackwardû s
$
zDiceCoeff.backwardN)r r r r r8 r> r6 r6 r6 r: r3 î s
r3 c C sp | j r t d¡j| jd ¡ }nt d¡ ¡ }x4tt| |D ]"\}}|t |d |d ¡ }q>W ||d S )zDice coeff for batchesra )r> r )
Úis_cudarE Ú FloatTensorrA r> Úzero_Ú enumerateÚzipr3 r8 )r¡ r6 ÚsÚir£ r6 r6 r: Ú
dice_coeff s rF Úmultic
C s |p| }|pd}|pd}
||
|| g} |r,t nt} | d k rJt} | | \}
}n| | |d\}
}|dkrpt|||}n&|dkrt||}n|dkrt||}|
|fS )Nra rl )ÚsdrG ÚsegÚraw)Z fft_imageZ pixel_imageZ
init_imageÚ to_valid_outÚgene_outÚraw_out)ÚwÚhrº r_ rI rH ÚbatchÚfftÚchannelsÚinitÚchÚshapeÚparam_fÚparamsÚmaps_fÚoutputr6 r6 r: Ú
para_image s
rZ c s fdd}|S )Nc sL } | j jd} tjjdd| } t | ¡jddd}t |fd¡S )N)r> ra )r³ T)r³ Úkeepdim)rA r> rE rF ÚSoftmaxÚmultiplyr. rÉ )ÚmapsZ final_seg)rº rX rI r6 r: Úinner+ s
zto_valid_out.<locals>.innerr6 )rX rº rI r_ r6 )rº rX rI r: rK * s rK c s fdd}|S )Nc s$ } | j jd} t | fd¡S )N)r> ra )rA r> rE rÉ )r^ )rº rX r6 r: r_ 5 s zgene_out.<locals>.innerr6 )rX rº r_ r6 )rº rX r: rL 4 s rL c s fdd}|S )Nc s } | j jd} | S )N)r> )rA r> )r^ )rº rX r6 r: r_ > s zraw_out.<locals>.innerr6 )rX rº r_ r6 )rº rX r: rM = s rM c @ s e Zd Zdd ZdS )ÚCompositeActivationc C s& t |¡}t |d || d gd¡S )Ngq=
×£på?g333333ã?ra )rE ÚatanrÉ )r rÞ r6 r6 r: r8 I s
zCompositeActivation.forwardN)r r r r8 r6 r6 r6 r: r` G s r` ra é zcuda:0c s¾ d} t | | |¡} | dd¡ d| d¡¡}
| dd¡ | d¡d¡}t j|
|gdd d¡ |ddd¡ |
¡ g }d}x²t|D ]¦}|}|d }|dkr d}||d kr°|}| d
|¡t j |||¡f¡ | rð| d
|¡t j
|¡f¡ ||d k r| d
|¡| f¡ q| d
t j ¡ f¡ qW t j t|¡ |
¡d d } |¡ t j j t ¡ d
|d ¡ j¡ | jd
krt fdd|nt fdd||} ¡ |fS )NgªLXèz¶û?r ra r )r³ rk zconv{}znorm{}zactv{}rY c S sL t | tjjrHtjj | jdt d| j ¡¡ | j
d k rHtjj | j
¡ d S )Nr ra ) rÀ rE rF ÚConv2drS Únormal_ÚweightÚnpr( Ú in_channelsÚbiasÚzeros_)Úmoduler6 r6 r: Ú weights_initn s
zcppn.<locals>.weights_initrJ c s S )Nr6 r6 )Ú input_tensorrK r6 r: Ú<lambda>v ó zcppn.<locals>.<lambda>)rE Úlinspacer Úrepeatr rÇ rÈ rA r² r# rá rF rc ÚInstanceNorm2dÚSigmoidÚ
Sequentialr ÚapplyrS ri ÚdictÚnamed_childrenre ÚnetyperM rK Ú
parameters)rJ r rº rI rP Únum_output_channelsÚnum_hidden_channelsÚ
num_layersÚ
activation_fnr« r> ÚrZ coord_rangerÞ rÝ ÚlayersÚ kernel_sizerE Úout_cÚin_crk Úoutimgr6 )rl rK r: ÚcppnO s4 *
&6r c C s t | d| jt d| j¡| jd}t d¡}|j|d dd t d¡}t | d | jt d| j¡| jd}|j|d dd ||fS )
NÚsirenr. )rL rM rN zE./logs/siren_train_init_2022_08_19_21_00_16/Model/checkpoint_best.pthÚ
state_dictF)ÚstrictzC./logs/vae_standard_refuge1_2022_08_21_17_56_49/Model/checkpoint500Úvae)rO ÚgpurE r> rM rH ÚloadÚload_state_dict)rJ Úwrapperr4 r r6 r6 r: Ú get_sireny s
r c sd t j d¡|} | | ¡ d¡ ¡ | jdkrBt fdd|nt fdd||}
¡ |
fS )Né@ r rJ c s
dS )N)Úlatentr6 r6 )r r r6 r: rm rn zsiren.<locals>.<lambda>)
Ú torchvisionÚ
transformsÚResizeÚencoderr Údetachrw rM rK rx )rJ r r rº rI rP ry rz r{ r| r« r> Zvae_imgr r6 )r r r: r s 4 r ©é c 5 C sÀ |dkrd}n|dkr d}n
t d| | jr2| }| jr<d}t ¡ }| d¡}t \}}|d krhdd }| \}}|d krdd }||}|d krg }| ¡ }| j}|d k r´|}n"|d d
k sÌ|d d
k rÒd
}nd }|rò| t
j j |d d
d¡ t
|¡} t||} t |¡}|r6|| | t d || ¡ g } y¤xttdt|d |
dD ]z} | ¡ y|| | W n@ tk
r¾ } z | dkr®t d| d¡ W d d } ~ X Y nX | jrx| ¡ D ] }!d
|!_ qÒW x¾t| j D ]°}"| ¡ |}#| }$t
j dt
j d}%|%d }&|% | j!¡}%|& | j!¡}&||#}'|' "¡ }'|' #|&¡ ||$}(|( "¡ }(|( #|%¡ t$||#j%|$j%})|) #¡ |(|' |) }*|'|( }+| &¡ qîW x| ¡ D ] }!d|!_ q¬W | },||,}-|- "¡ }-|-}.|- }/| d dkrt d|( d|' t d|- | jr.||| | j'|. }0n ||| }0|0 #¡ | &¡ | |kr^t(| }1| rÎ|
d )d¡d )d¡d d t*| d }2||2 }2| j+r¦| j+n| j,d }3t-j. /|3t*|2¡}4t0| |4 | |1¡ q^W W nN t1k
r. t d | ¡ |rt d | || ¡ | t(| ¡ Y nX | r|
d )d¡d )d¡d d }2||2 }2| j+rl| j+n| j,d }3t-j. /|3t*|2¡}4t0| |4 |rªt2t(| n| rºt3| | S ) Nra r r zlabel is wrong, label isz%m-%d-%Y, %H:%M:%Sc S s
t d¡S )Nrb )ÚparamrP r6 r6 r6 r: rm  rn z render_vis.<locals>.<lambda>c S s t jj| ddS )Ng à?)Úlr)rE ÚoptimÚAdam)rW r6 r6 r: rm É rn rk éà rl r\ T)r r_ Ú
align_cornerszInitial loss of ad: {:.3f})Údisablez¼Some layers could not be computed because the size of the image is not big enough. It is fine, as long as the noncomputed layers are not used in the objective function(exception details: 'z'))ÚdtypeFé z loss_fake: z
, loss_real: zGenerator g_loss: ú\Ú.r z.pngr
z&Interrupted optimization at step {:d}.zLoss at step {}: {:.3f})4rB ÚreverseZ
multilayerr r ró Úpre_dÚcopyrU r# rE rF ÚUpsamplert ÚcomposeÚ
hook_modelZ
objectivesZ as_objectiverá r r² r¶ Ú zero_gradÚ RuntimeErrorrÅ rÆ Údiscrx Ú
requires_gradZdrecr¨ r¾ r. rM r r> Úcalculate_gradient_penaltyrs ÚstepÚpwÚtensor_to_img_arrayrI rö Z
quickcheckZ path_helperr} r~ r ÚexportÚKeyboardInterruptÚshowr )5rJ ÚmodelZ objective_fZreal_imgrV r r Ú
thresholdsÚverboseÚ
preprocessÚprogressZ
show_imagerî Ú
image_nameZ show_inlineZfixed_image_sizer Zraw_imgÚpromptÚsignr Ú date_timeÚnetDZoptDrW Úimage_fÚ image_shapeÚnew_sizeZ transform_fÚhookÚimagesrE ÚexÚpr ÚrealÚfakeÚoneZmoneZ d_loss_realZ d_loss_fakeZgradient_penaltyÚd_lossZ
Wasserstein_DÚ fake_imagesÚg_lossZdom_lossZg_costÚlossrP ÚnaZoutpathÚimg_pathr6 r6 r: Ú
render_vis sØ
&
,
rÌ c C s( | ¡ ¡ ¡ }t |ddddg¡}|S )Nr rk rl ra )rã r ré rf Ú transpose)r¨ rP r6 r6 r: r® k s r® c C sd t | }t|jdks&td |j¡|d tj¡}t|jdkrRtj|dd}t
|¡ ¡ d S )N)rl r´ z;Image should have 3 or 4 dimensions, invalid image shape {}râ r´ ra )Úaxis) r® r rU rÌ rá Úastyperf rè Ú concatenater rê r± )r¨ rP r6 r6 r: r q s r c C sÐ | d¡}|dkr"tj| |d nª| d d
dd
d d
d d
f }| d d
dd d
d d
f d¡}t|}dt| ¡ }t|jdkstd |j¡|d
t j ¡}|d
t j ¡}t
|d ¡ |¡ d S )
Nra rl )rà r r )rl r´ z;Image should have 3 or 4 dimensions, invalid image shape {}râ ÚL)r Úvutilsrî rÈ r® rÍ r rU rÌ rá rÏ rf rè r rê rë )r¨ rË r£ rP Zw_mapr6 r6 r: r¯ ~ s
"r¯ c @ s$ e Zd Zdd Zdd Zdd ZdS )Ú
ModuleHookc C s | | j¡| _d | _d | _d S )N)Úregister_forward_hookÚhook_fnr¿ rj r¥ )r rj r6 r6 r: r s zModuleHook.__init__c C s || _ || _d S )N)rj r¥ )r rj r¡ rY r6 r6 r: rÕ ¦ s zModuleHook.hook_fnc C s | j ¡ d S )N)r¿ Úremove)r r6 r6 r: Úclose« s zModuleHook.closeN)r r r r rÕ r× r6 r6 r6 r: rÓ s rÓ c s2 t g f fdd | fdd}|S )Nc sZ t | drVxJ| j ¡ D ]<\}}|d kr(qt| d ||g ¡< |||g d qW d S )NÚ_modulesr )r )ÚhasattrrØ ÚitemsrÓ r )rK r ÚnameÚlayer)r¥ Ú hook_layersr6 r: rÝ ² s
z hook_model.<locals>.hook_layersc sb | dkr }n>| dkr,t ¡ d j}n"| ksDtd| d | j}|d k s^td|S )Nr¡ r- r zInvalid layer zR. Retrieve the list of layers with `lucent.modelzoo.util.get_model_layers(model)`.z
There are no saved feature maps. Make sure to put the model in eval mode, like so: `model.to(device).eval()`. See README for example.)rÁ Úvaluesr¥ rÌ )rÜ Úout)r¥ r¼ r6 r: r¿ ½ s
zhook_model.<locals>.hook)r )r² r¼ r¿ r6 )r¥ rÝ r¼ r: r¦ ¯ s
r¦ ç à?c C s | ¡ \}}} }
| ¡ } t|d} t |¡dks>t |¡dk rHt |¡}t ||k¡}|dkrnd| }d| }|dkrh|d d
dd d
d d
f d¡ |d| |
¡|d d
dd d
d d
f d¡ |d| |
¡ }
}|d d
dd d
d d
f d¡ |d| |
¡|d d
dd d
d d
f d¡ |d| |
¡ }}| d |
d d
d d
d d
f |
d |
d d
d d
d d
f |d |
d d
d d
d d
f |d |
d d
d d
d d
f |d |
d d
d d
d d
f f}t |
d |
d d
d d
d d
f |d |
d d
d d
d d
f |d |
d d
d d
d d
f |d |
d d
d d
d d
f fd¡}t
j ||| dd nªt j
| |
f¡| } | d¡dkrº| d d
dd d
d d
f d¡ |d| |
¡} |d d
dd d
d d
f d¡ |d| |
¡}|d d
dd d
d d
f d¡ |d| |
¡}|d krxrt|D ]d}tjr`t | ¡ tj tj ¡jtjd }n$t | ¡ tj tj ¡jtjd }xt|jd D ]ö}d
||d|||df d |||df d
|||df d |||df d
f< d||d|||df d |||df d
|||df d |||df d
f< d||d|||df d |||df d
|||df d |||df d
f< qW q,W | d |
d d
d d
d d
f |d |
d d
d d
d d
f |d |
d d
d d
d d
f f}t |d¡}t
j ||| dd d S ) Nr´ ra r Trk rl é
)rà r© rª )r râ )r Ú
get_devicerµ rE r¶ Úsigmoidr¨ rÈ ÚexpandrÉ rÒ rî r r r r² rJ Úthdrf Úroundrã rz Úout_sizerA r7 Ú
image_sizerU )ÚimgsZ
pred_masksÚgt_masksÚ save_pathr¡ ÚpointsZthrer r£ rO rN ÚdevÚrow_numZ pred_discZpred_cupZgt_discZgt_cupÚtupr¥ rE r Zpmt_idr6 r6 r: Ú vis_imageÊ sB
^^...
&$PP\^ rð c
C sÊ | ¡ \}}}}|dkrÐd\}}} }
xz|D ]p} || k ¡ } | | k ¡ }
|
¡ }|dd
ddd
dd
f ¡ d¡}|dd
ddd
dd
f ¡ d¡}| dd
ddd
dd
f d¡ ¡ ¡ d¡}| dd
ddd
dd
f d¡ ¡ ¡ d¡}|t||7 }|t||7 }| t|
dd
ddd
dd
f | dd
ddd
dd
f ¡ 7 } |
t|
dd
ddd
dd
f | dd
ddd
dd
f ¡ 7 }
q.W |t | |t | | t | |
t | fS d\}}xÔ|D ]Ì} || k ¡ } | | k ¡ }
|
¡ }|dd
ddd
dd
f ¡ d¡}| dd
ddd
dd
f d¡ ¡ ¡ d¡}|t||7 }|t|
dd
ddd
dd
f | dd
ddd
dd
f ¡ 7 }qÞW |t | |t | fS dS )zU
threshold: a int or a tuple of int
masks: [b,2,h,w]
pred: [b,2,h,w]
rk )r r r r Nr Úint32ra )r r )
r r¾ rã ré rÏ rÍ r2 rF Úitemr )ÚpredZ true_mask_pÚ thresholdr r£ rO rN Ziou_dZiou_cZ disc_diceZcup_diceÚthZ
gt_vmask_pÚvpredZ vpred_cpuZ disc_predZcup_predZ disc_maskZcup_maskZeiouZedicer6 r6 r: Úeval_seg÷ s4
&&00BF,
&0Hr÷ c s fdd}|S )Nc sR | | d ¡ }t t | d d ¡¡}|d| }| | S )Nr rk gíµ ÷Æ°>)r. rE r( )ÚTr ÚmagZcossim)rP Ú
cossim_powrÜ r6 r: r_ ) s zdot_compare.<locals>.innerr6 )rÜ rP rú r_ r6 )rP rú rÜ r: Ú dot_compare( s rû c C sd | j j}| d¡dkr,tj | jjdd¡ n4| d¡dkr`tj | jjdd¡ tj | j jd¡ d S )NÚConvr g g{®Gáz?Ú BatchNormg ð?r )
r r ÚfindrF rS rd re rs Ú constant_rh )ÚmÚ classnamer6 r6 r: Úinit_D0 s r c C s6 t d t¡} d}d}tj| ¡ ||dfd}| |fS )Nrl g à?gñhãµøô>g+ÙÎ÷ï?)r Úbetas)r rA r> r r rx )r» Úbeta1Zdis_lrÚ
optimizerDr6 r6 r: r¢ 8 s
r¢ c
C s t ¡ }tj| jfdtjtd}|| d¡}|||}| ¡ | ¡
¡ } | d¡ || ¡ d¡}|||}
|
¡ | ¡
¡ } ||
} |
¡ | | | fS )Ng ð?)r r> r g )rF ÚBCELossrE Úfullr r¾ r> r r> r rò Úfill_r r¬ )
rJ r» r rà rÄ Ú criterionr rY Z errD_realZD_xZ errD_fakeZD_G_z1ZerrDr6 r6 r: Úupdate_d@ s
r
c C s t tjddd¡ dd¡}| tj| d¡| d¡| d¡¡jtd}|| d| | jtd}t |dd}| |}t
j ||t | ¡ ¡jtddddd }|j
ddd d d ¡ d
}|S ) Nra r rk rl )r> T)rª )r, ÚinputsÚ grad_outputsÚ create_graphÚ retain_graph)r³ rá )rE r@ rJ r Úuniform_rä r rA r> r r ÚgradÚonesr r )r» Z real_imagesrÇ ÚetaÚ interpolatedZprob_interpolatedÚ gradientsZ grad_penaltyr6 r6 r: r« Z s , r« c C s" t | |k¡}|t j t|¡ S )N)rf ÚargwhereÚrandomÚrandintr )ÚmaskÚ point_labelsÚinoutÚindicesr6 r6 r: Ú random_clickp s r c C sd g }g }| ¡ \}}}}} |d d
dd d
d d
d d
f }xöt| D ]ê}
g } g } x¬t|D ] }
||
d d
d d
|
f }t |¡}| d¡dkr®t d|d¡j|jd}|}n:t |¡}||d |d f }t |¡}||kjtj
d}| |¡ | |¡ q\W tj | dd}tj | dd}| |¡ | |¡ qFW tj |dd}tj |dd}|
d¡}| ||fS )Nr )rk )r> ra )r )r³ r )r r² rE Únonzeror rA r> r ÚchoiceÚ
zeros_liker¾ r# rÇ rÈ )rº ÚmskZpt_labelZpt_listZmsk_listr r£ rO rN r¤ rE Z pt_list_sZ
msk_list_sÚjZmsk_sr Z random_indexZnew_sr ÚptsZmsksÚptr6 r6 r: Úgenerate_click_promptu s6 "
r$ çé?c C s\ t t |¡t jt j¡\}}| ¡ }t | |d||¡ t t | ¡|t |¡d| d¡} | S )zKDraw edges of contour 'c' from segmented image 's' onto 'm' in colour 'RGB'r ra r ) Úcv2Ú findContoursrf rè Ú RETR_LISTÚCHAIN_APPROX_SIMPLEr£ Ú drawContoursÚ addWeighted)r rD ÚRGBr r¢ Úcontoursr Zm_oldr6 r6 r: Ú drawContour s
"r. c C s6 t t | |¡¡}t | ¡t |¡ | d }|| S )Ng:0âyE>)rf r. Ú bitwise_and)ÚpmÚgtr¢ r r6 r6 r: ÚIOUª s r2 ©g
×£p=
ß?gÉv¾/Ý?gClçûÙ?©g Zd;ßOÍ?gyé&1¬Ì?gÍÌÌÌÌÌÌ?c C sl t j|| j| jd}t j|| j| jd}|jdkr@| ddd¡}|jdkrX| ddd¡}| |¡ |¡ | S )N)r r> ra r )rE Ú as_tensorr r> Úndimr Úmul_rå )r¨ r Ústdr6 r6 r: Úinverse_normalize° s
r9 é c C s^ t jdtd}t| |\}}x<td|d D ]*}t ||k¡}t|d |k r,d| |< q,W | S )zÏ
Removes small objects from a 2D array using only NumPy.
:param array_2d: Input 2D array.
:param min_size: Minimum size of objects to keep.
:return: 2D array with small objects removed.
)rl rl )r ra r )rf r r7 r r² Úwherer )Zarray_2dÚmin_sizeÚ structureÚlabeledÚ ncomponentsrE Ú locationsr6 r6 r: Úremove_small_objects¼ s rA c C s |j \}}}}t |||f¡}xpt|D ]d}| | }xV|D ]N} t| d t| d t| d t| d f\}
} } }
d||| |
|
|
f< q:W q(W |S )Nr ra rk rl )rU rE Úzerosr² r7 )Úboxesré r r rN rO Zbox_maskrÜ Zk_boxÚboxÚx1Úy1Úx2Úy2r6 r6 r: Úcreate_box_maskÐ s
4 rI )Tr T)rr rk FNFr )N)rï )r ) NNrG NNNFNN)NNNr TTTTFNFNra NN)N)FNrà )ra r )ra ra )ra )r% )r3 r4 )r: )r rC ré rE Útorch.nnrF Útorch.autogradr Útorch.optim.lr_schedulerr r Útorchvision.transformsr Ú torch.optimr Ztorchvision.utilsÚutilsrÒ Útorch.utils.datar r r r rÎ ÚPILÚmatplotlib.pyplotÚpyplotÚpltÚseabornZsnsr rô r& r} rò r Ú dateutil.tzr
Útypingr r r
r r r
ÚpathlibrÅ rf Ú
scipy.ndimager r r r r r Ztorchvision.modelsr Útorch.nn.functionalÚ
functionalÚFÚcfgr r Zmodels.discriminatorr ÚshutilÚtempfileZ monai.lossesr Úmonai.inferersr Úmonai.transformsr r r r r r r r! r" r# r$ r% Ú monai.configr& Ú
monai.metricsr' Úmonai.networks.netsr( Ú
monai.datar) r* r+ r, r- Ú
parse_argsrJ r> rM rO r r r r§ Úno_gradÚTensorr7 Úboolrß ÚPathrö rî r r r r Úarrayr2 r3 rF rZ rK rL rM ÚModuler` r r r rÌ r® r r¯ rÓ r¦ rð r÷ rû r r¢ r
r« r r$ r. r2 r9 rA rI r6 r6 r6 r: Ú<module> sø 8
e ,F(
/
)
?
!
-1
&