Cpp-整型上下限INT_MAX和INT_MIN及其运算
INT_MAX,INT_MIN数值大小因为int占4字节32位，根据二进制编码的规则，INT_MAX = 2^31-1，INT_MIN= -2^31.C/C++中，所有超过该限值的数，都会出现溢出，出现warning，但是并不会出现error。如果想表示的整数超过了该限值，可以使用长整型long l
...
梯度消失和梯度爆炸问题详解
1.为什么使用梯度下降来优化神经网络参数？反向传播（用于优化神网参数）：根据损失函数计算的误差通过反向传播的方式，指导深度网络参数的更新优化。
采取反向传播的原因：首先，深层网络由许多线性层和非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数$f(x)$(非线性来自于非线性激活函数），因此整
...
各种激活函数整理总结
常用激活函数及其导数
激活函数
形式
导数形式
Sigmoid
$f(x) =\frac{1}{1+e^{-x}}$
$f’(x) = f(x)(1-f(x))$
Tanh
$f(x) = tanh(x)= \frac{e^x-e^{-x}}{e^x+e^{-x}}$
$f’(x)
...
Batch-Normalization深入解析
InceptionV2 在 V1 的基础上引入了 BN 层, 减少了 Internal Covariate Shift(内部神经元的数据分布差异), 使得每一层的输出都可以规范化到一个标准高斯分布上.
为什么要进行归一化在神经网络中, 数据分布对训练会产生影响. 当数据较大时, 有的激活函数比如
...
《牛客网算法进阶班》视频教程笔记
第一章大部分机器一秒钟可接受的操作大约在 $10^8$.
题目一: 判断一个整数是否为回文数解法一: 先转成字符串再计算回文至少需要遍历两遍
解法二: 借助 helphelp 代表最高位的阶数, 于是 num/help 就可以得到第一位的数字, num%10 就可以得到最后一位的阶数, 然后对 nu
...
训练过程中遇到的问题及解决方案
在图像分类任务中, 训练数据不足会带来什么问题, 如何缓解数据量不足带来的问题?(百面: 1.07.1)带来的问题: 过拟合处理方法
基于模型的方法: 采用降低过拟合风险的措施,包括简化模型(如将非线性简化成线性), 添加约束项以缩小假设空间(如L1和L2正则化), 集成学习, Dropout超
...
Detectron 源码解析-网络工具函数
源码文件:
detectron/utils/net.py
detectron/utils/c2.py
detectron/utils/vis.py: 结果可视化
utils/net.py这个文件经常会被使用到, 它主要的作用提供一些可以使 Caffe2 networks 更方便使用的辅助函数,
...
Group Normalization
作者: Yuxin Wu and Kaiming He发表: ECCV 2018, Best Paper Honorable Mention
核心亮点针对BN对batch size的依赖问题, 提出了一种新的通用型归一化方法提出了一个用于替代BN的简单算法, 称之为GN(Group Normaliz
...
R-FCN (NIPS, 2016)
文章: R-FCN: Object Detection via Region-based Fully Convolutional Networks
核心亮点
全卷积网络怎分类任务上表现较好, 但是在目标检测任务往往精度不行, 这是因为在一般情况下, 分类任务具有平移不变性, 而检测任务却要求对目标的
...
Soft-NMS(ICCV, 2017)
作者: Navaneeth Bodla, Bharat Singh, Rama Chellappa, Larry S.Davis发表: ICCV2017机构: Center For Automation Research
核心亮点提出了一种NMS的变体, 通过利用该变体, 基本上可以提升任何模型的检
...
NMS 算法源码实现
【链接】非极大值抑制算法(NMS)及python实现https://blog.csdn.net/Blateyang/article/details/79113030
【链接】NMS-非极大值抑制-Python实现https://blog.csdn.net/u011436429/article/det
...
LeetCode 算法题(记录总结)
解题细节:
LeetCode-Easy
LeetCode-Medium
LeetCode-Hard
熟练程度:
优: 看到题目立马想到正确的解题思路, 并且可以一次AC
良: 看到题目后有相对正确的解题思路, 但是在编码实现时经过多次调试才完全正确
中: 看到题目后想到的是次优的解题思路, 在
...
OHEM (CVPR, 2016)
文章: Training Region-based Object Detectors with Online Hard Example Mining作者: Abhinav Shrivastava, Abhinav Gupta, Ross Girshick
核心亮点提出了一种在线的难样例挖掘算法:作者
...