Activation function in Neural network | Explained in 90 seconds ЁЯШ│

An activation function is a decision gate that tells a neuron whether to fire, introducing non-linearity so neural networks can learn complex patterns instead of behaving like a single straight line. ReLU and Leaky ReLU are the most popular ones used in practice.
Chapters
рдиреЗрдЯрд╡рд░реНрдХ рдореЗрдВ рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдХреНрдпрд╛ рд╣реЛрддрд╛ рд╣реИред рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдмреЗрд╕рд┐рдХрд▓реА 1 рдореИрдЪ рдХрд╛ рд╕рд╛ рдлрдВрдХреНрд╢рди рд╣реИ рдЬреЛ рдбрд┐рд╕рд╛рдЗрдб рдХрд░рддрд╛ рд╣реИ рдХреА рдиреНрдпреВрд░реЙрди рдХреЛ рдЖрдЙрдЯрдкреБрдЯ рджреЗрдирд╛ рд╣реИ рдпрд╛ рдирд╣реАрдВ рд╣реИред рдорддрд▓рдм рдХреА рд╕рдордЭ рд▓реЛ рдХреА рдЗрдирдкреБрдЯ рдЖрдпрд╛ рдФрд░ рдиреНрдпреВрд░реЙрди рдиреЗ рдкреНрд░реЛрд╕реЗрд╕ рднреА рдХрд░ рд▓рд┐рдпрд╛ред рд▓реЗрдХрд┐рди рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рд╣реИ рдЬреЛ рдбрд┐рд╕рд╛рдЗрдб рдХрд░реЗрдЧрд╛ рдХреА рдлрд╛рдЗрдирд▓ рдЖрдЙрдЯрдкреБрдЯ рдХреНрдпрд╛ рд╣реЛрдЧрд╛ред рдлрд╛рдЗрдирд▓ рдЖрдЙрдЯрдкреБрдЯ рдбрд┐рд╕рд╛рдЗрдб рдХрд░рдиреЗ рдХреЗ рд╕рд╛рде рд╕рд╛рде рдпреЗ рдмрд┐рд▓реНрдХреБрд▓ рд╣рдорд╛рд░реЗ рдмреНрд░реЗрди рдХреА рддрд░рд╣ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред рдЬреИрд╕реЗ рд╣рдорд╛рд░реЗ рдмреНрд░реЗрди рдореЗрдВ 1 рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдЬреИрд╕рд╛ рд╣реЛрддрд╛ рд╣реИред рдЬрдм рднреА рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдХреЛрдИ рд╕рд╡рд╛рд▓ рдЖрддрд╛ рд╣реИ рд╣рдо рджреЗрдЦрддреЗ рд╣реИрдВ рдХрд┐ рдИрдЬреА рдФрд░ рддреБрд░рдВрдд рдЬрд╡рд╛рдм рджреЗ рджреЗрддреЗ рд╣реИрдВред рдмрдЯ рдЬрдм рд╣рд╛рд░реНрдб рд╣реЛрддрд╛ рд╣реИ рддреЛ рд╣рдо рдереЛреЬрд╛ рд╕реЛрдЪрддреЗ рд╣реИрдВ рдФрд░ рдЕрдЧрд░ рдирд╣реАрдВ рднреА рдЖрддрд╛ рд╣реИ рддреЛ рд╣рдо рдЗрдЧреНрдиреЛрд░ рднреА рдХрд░ рджреЗрддреЗ рд╣реИрдВред рд╡рд╣реА рд╕реЗрдо рдЪреАрдЬ рд╣рдорд╛рд░рд╛ рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдХрд░рддрд╛ рд╣реИред рдпреЗ рдбрд┐рд╕реАрдЬрди рд▓реЗрдиреЗ рдХрд╛ рдЬреЛ рдкреНрд░реЛрд╕реЗрд╕ рд╣реИ рдпреЗ рд╡рд╣реА рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдЬреИрд╕рд╛ рд╣реИред рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдореЗрдВ рдЗрдирдкреБрдЯ рдЖрддрд╛ рд╣реИ рдЪрд╛рд╣реЗ рдирдВрдмрд░ рд╕рд╣ рдЪрд╛рд╣реЗ рдХреЛрдИ рдбреЗрдЯрд╛ рд╣реИ рдЙрд╕рдореЗрдВ 2 рдЪреАрдЬреЗрдВ рд╣реЛрддреА рд╣реИрдВ, 1 рдорд▓реНрдЯреАрдкреНрд▓рд╛рдИ рд╣реЛрддрд╛ рд╣реИ рдФрд░ 1 рдПрдб рд╣реЛрддрд╛ рд╣реИред рдорд▓реНрдЯреАрдкреНрд▓рд╛рдИ рд╣реЛрддрд╛ рд╣реИ рд╡реЗрдЯ рдПрдб рд╣реЛрддрд╛ рд╣реИ рдмрд╛рдпрд╕ред рдФрд░ рдЬрдм рдпреЗ рджреЛрдиреЛрдВ рдЪреАрдЬ рддреА рд╣реИред рдлрд┐рд░ рд▓рдЧрддрд╛ рд╣реИ рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдЕрдЧрд░ рдирд╣реАрдВ рд╣реЛрдЧрд╛ рддреЛ рд╣рдорд╛рд░рд╛ рдиреЗрдЯрд╡рд░реНрдХ рдмрд╣реБрдд рд▓реАрдирд┐рдпрд░ рд╣реЛ рдЬрд╛рдПрдЧрд╛ред рдорддрд▓рдм 1 рд╕реАрдзреА рд▓рд╛рдЗрди рдХреА рддрд░рд╣ рд╣реЛ рдЬрд╛рдПрдЧрд╛ рдЪрд╛рд╣реЗ рдЙрд╕рдореЗ рдХрд┐рддрдиреА рднреА рд▓реЗ рдХреНрдпреЛрдВ рди рд╣реЛред рдЖрдЙрдЯрдкреБрдЯ рд╣рдореЗрд╢рд╛ рд╕рд┐рдВрдкрд▓ рд╣реА рд░рд╣реЗрдЧрд╛ред рдФрд░ рдпрд╣ рдХреЙрдореНрдкреНрд▓реЗрдХреНрд╕ рдкреНрд░реЙрдмреНрд▓рдо рдХреЛ рдХрднреА рднреА рд╕реЙрд▓реНрд╡ рдирд╣реАрдВ рдХрд░ рдкрд╛рдПрдЧрд╛ред рд╡рд╣реАрдВ рдкрд░ рдЕрдЧрд░ рдореИрдВ рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдХреЗ рд╕рд╛рде рдЕрдЧрд░ рдиреЗрдЯрд╡рд░реНрдХ рдХреЛ рджреЗрдЦреЗрдВ рддреЛ рдпреЗ 9 рдирд┐рдпрд░ рдиреЗрдЯрд╡рд░реНрдХ рд╣реЛрдЧрд╛ред рдорддрд▓рдм рдХрд┐ рдЬреЛ рднреА рдХреЙрдореНрдкреНрд▓реЗрдХреНрд╕ рдкреНрд░реЛрдмреНрд▓рдо рд╣реЛрдВрдЧреЗ рд╡реЛ рдЙрдирдХреЗ рдкреИрдЯрдиреНрд╕рдХреЛрд▓рд░реНрди рдХрд░рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХрд░реЗрдЧрд╛ред рд╕рд╛рде рд╣реА рдпрд╣ рдЗрдореЗрдЬреЗрдЬ рд╡реЙрдЗрд╕ рдЯреИрдХреНрд╕ рд╕рдм рд╕рдордЭ рдкрд╛рддрд╛ рд╣реИ рдФрд░ рд░рд┐рдпрд░ рд╡рд░реНрд▓реНрдб рдкреНрд░реЙрдмреНрд▓рдо рдХреЛ рднреА рд╕реЙрд▓реНрд╡ рдХрд░ рдкрд╛рддрд╛ рд╣реИред рдорддрд▓рдм рдпрд╣ рдЧреЗрдЯ рдХреАрдкрд░ рдХреА рддрд░рд╣ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред рд▓реЛрдЧ рдЖрддреЗ рд╣реИ рдЬреЛ рдбреЗрдЯрд╛ рд╣реИ рдФрд░ рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рдЧрд╛рд░реНрдб рдХреА рддрд░рд╣ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИред рдЗрд╕рдореЗрдВ 3 рдкреЙрдкреБрд▓рд░ рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрдВрдХреНрд╢рди рд╣реЛрддреЗ рд╣реИрдВ рдЬреЛ рд╣рдорд╛рд░реЗ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рдореЗрдВ рдпреВрдЬ рд╣реЛрддреЗ рд╣реИрдВред рдЖрд░ рдПрд▓ рдФрд░ рд╣рдорд╛рд░рд╛ рд▓рд┐рдХреА, рдЖрд░реА рдПрд▓рдпреВ рдФрд░ рдпреЗ рдирд╛рдо рдЖрдкрдХреЛ рдпрд╛рдж рд╣реЛрдиреЗ рдЪрд╛рд╣рд┐рдПред рдпреЗ рдирд╛рдо рдЖрдкрдХреЛ рдпрд╛рдж рд╣реЛрдиреЗ рдЪрд╛рд╣рд┐рдПред рдЗрдиреНрд╣реАрдВ рд╕реЗ рд╣рдорд╛рд░рд╛ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рд╡рд░реНрдХ рдХрд░рддрд╛ рд╣ред










