La question de la stricte-monotonie est centrale en mathématique. Elle permet d'obtenir des bijections et aussi de passer à l'étude des fonctions inverses. Elle est souvent mal-traitées dans les copies de première année mais aussi en préparation au CAPES.
Quite à prendre $-f$, on se limite au cas croissant. On commence par une remarque
Proposition 1 : Soit $f:[a,b]\to \mathbb{R}$ une fonction continue. $f$ est strictement croissante sur $[a,b]$ si et seulement si elle est strictement croissante sur $]a,b[$.
Preuve : Un sens est trivial. On suppose qu'elle est strictement croissante sur $]a,b[$. On traite le cas $[a,b[$. Pour tout $a<x<y$, on a \[f(x)<f((x+y)/2)<f(y).\] En laissant $x\to a^+$, on obtient alors, par continuité de $f$ que
\[f(a)\leq f((a+y)/2)\leq f(y).\]
Les inégalités sont larges car il y a un passage à la limite. Maintenant comme $(a+y)/2<y$ et les deux points sont dans $]a,b[$ et que $f$ est strictement croissante sur $]a,b[$, on en déduit :
\[f(a)\leq f((a+y)/2)<f(y).\]
En particulier, pour tout $y\in ]a,b[$, $f(a)<f(y)$ donc $f$ est strictement croissante sur $[a,b[$. On procède de manière similaire en $b$. QED
Remarque : La même preuve (en plus simple) donne
Proposition 1' : Soit $f:[a,b]\to \mathbb{R}$ une fonction continue. $f$ est croissante sur $[a,b]$ si et seulement si elle est croissante sur $]a,b[$.
On passe maintenant au second point.
Proposition 2 : Soit $f:[a,b]\to \mathbb{R}$ une fonction continue et dérivable sur $]a,b[$. $f$ est croissante sur $[a,b]$ si et seulement si $f'(x)\geq 0$ pour tout $x\in]a,b[$.
Preuve : Au vu de la proposition 1', il suffit de démontrer que $f:]a,b[\to \mathbb{R}$ est croissante si et seulement si $f'(x)\geq 0$ pour tout $x\in]a,b[$.
Supposons la croissance. Soit $x\in ]a,b$
\[f'(x) = \lim_{y\to x} \frac{f(y)-f(x)}{y-x}\]
Or $f(y)-f(x)$ est du même signe que $y-x$ car $f$ est croissante. On en déduit que $f'(x)\geq 0$ pour tout $x\in ]a,b[$.
Supposons maintenant que $f'(t)\geq 0$ pour tout $t\in ]a,b[$. Soit a<x< y<b, Par le théorème des accroissements finis on a qu'il existe $\alpha \in [x,y]$ tel que
\[f(x)-f(y) = f'(\alpha) (x-y).\]
en particulier $f(y)\geq f(x)$. C'est-à-dire que $f$ est croissante. QED
On regarde maintenant le cas de la stricte croissance. Il faut tout d'abord se méfier. Il n'est pas possible d'obtenir un si et seulement avec $f'(x)>0$ sur $]a,b[$. En effet, prenons par exemple $f(x)=x^3$ sur $]-1,1[$. Cette fonction est strictement croissante mais la dérivée s'annule en $0$.
Nous obtenons donc une seule direction.
Proposition 3 : Soit $f:[a,b]\to \mathbb{R}$ une fonction continue et dérivable sur $]a,b[$. $f$ est strictement croissante sur $[a,b]$ si $f'(x)> 0$ pour tout $x\in]a,b[$.
Preuve : Supposons que $f'(t)\geq 0$ pour tout $t\in ]a,b[$. Soit a<x< y<b, Par le théorème des accroissements finis on a qu'il existe $\alpha \in [x,y]$ tel que
\[f(x)-f(y) = f'(\alpha) (x-y).\]
en particulier $f(y)>f(x)$. C'est-à-dire que $f$ est strictement croissante. QED
La Proposition 3 permet de montrer le résultat plus général suivant :
Proposition 4 : Soit $f:[a,b]\to \mathbb{R}$ une fonction continue et dérivable sur $]a,b[$. Si
$f'(x)> 0$ pour tout $x\in]a,b[$ sauf pour un nombre fini de points alors $f$ est strictement croissant.
Preuve : Soit $x_0:=a$, $x_{n+1}:=b$ et $(x_i)_{i=1, \ldots, n}$ les points où la dérivée s'annule. On applique la Proposition 3 sur $[x_i, x_{i+1}]$ avec $i\in \{1, \ldots, n\}$. On obtient la stricte croissante sur chacun de ces intervalles et on déduit le résultat. QED
