　数列 $\lbrace b_n\rbrace_{n=1,2,\cdots}$ を $b_n=\sqrt{4a_n-3}$ と定めると，
$$ \frac{b_{n+1}^2 + 3}{4} = \frac{b_n^2 + 3}{4} \cdot \left( \frac{b_n^2+3}{4} - b_n + 1 \right) $$
であるから，これを整理して
$$\begin{aligned}
4b_{n+1}^2
&=(b_n^2 + 3)(b_n^2 - 4b_n + 7) - 12 \\\\
&=b_n^4 - 4 b_n^3 + 10 b_n^2 - 12 b_n + 9 \\\\
&= (b_n^2 - 2b_n + 3)^2
\end{aligned}$$
を得る．これと $b_n \gt 0$ より $2b_{n+1} = b_n^2 - 2b_n + 3$ がわかる．これは
$$ b_{n+1} - 1 = \frac12 (b_n - 1)^2 $$
と変形できるので，$b_1 - 1 = 6$ と合わせて $b_n = 2 \cdot 3^{2^{n-1}} + 1$ を得る．これより
 $$
a_{2024}=3^{2^{2024}}+3^{2^{2023}}+1
 $$
である．ここで $2^{2021}\equiv 2^1= 2\pmod5$ および $2^{2021}\equiv 0\pmod{2^4}$ より，$2^{2021}\equiv 32\pmod{80}$ であることに注意すると，二項定理により次の計算が可能である．
$$\begin{aligned}
3^{2^{2023}}&=(80+1)^{2^{2021}}\\\\
&\equiv 2^{2021}\cdot 80+1\pmod{80^2} \\\\
&\equiv 32\cdot 80+1\pmod{80^2}
\end{aligned}$$
したがって $3^{2^{2024}}=\Big(3^{2^{2023}}\Big)^2\equiv(32\cdot 80+1)^2\equiv 64\cdot 80+1\pmod{80^2}$ であるので，
$$a_{2024}\equiv 96\cdot 80+3\equiv 16\cdot 80+3=\mathbf{1283}\pmod {80^2}$$
である．
公式解説
https://onlinemathcontest.com/contests/omcb018/editorial/11077
　解説のモチベーションです．

---

　$\sqrt{4a_n-3}$ があります．この中身は何もいじれなさそうなので，$4a_n-3$ をベースに考えていきたいです．もとの式を $4$ 倍して $3$ を引くと，
$$4a_{n+1}-3 = 4a_n^2 - 4a_n\sqrt{4a_n-3} + 4a_n - 3$$
(ここで，右辺にも $4a_n-3$ があるので方針は間違ってなさそうだと思います．) \
　右辺は因数分解ができそうです．見やすいように $c=a_n, ~ d=\sqrt{4a_n-3}$ とおけば，左辺は $4c^2-4cd+d^2$ で
$$4c^2-4cd+d^2 = (2c-d)^2$$
なので，右辺は $(2a_n-\sqrt{4a_n-3})^2$ だったと分かりました．

　置換をしていきます．$b_n = \sqrt{4a_n-3}$ とおきましょう．すると $2a_n = \dfrac{b_n^2 + 3}{2}$ なので
$$b_{n+1}^2 = \bigg( \dfrac{b_n^2 + 3}{2} - b_n \bigg)^2 \rightarrow b_{n+1} = \dfrac{b_n^2 - 2b_n + 3}{2}$$
となります．(ただまだ解ける形ではなさそうです．) 右辺は $2$ 次式なので平方完成してみると，
$$\dfrac{b_n^2 - 2b_n + 3}{2} = \dfrac{1}{2} (b_n-1)^2 + 1$$
うまくいきました．つまり，
$$b_{n+1}-1 = \dfrac{1}{2} (b_n-1)^2$$
となり，$b_n-1$ を一かたまりとして見れるようになりました．$b_n-1$ をまた $c_n$ として置いてもいいですが，
$$\dfrac{b_{n+1}-1}{2} = \bigg(\dfrac{b_n-1}{2} \bigg)^2$$
なので $c_n  = \dfrac{b_n-1}{2}$ とするとより見やすいかもしれません．こうすると，
$$c_1 = 3,　c_{n+1} = c_n^2$$
なので $c_{n} = 3^{(2^{n-1})}$ です．あとは順に戻していくと $a_n$ が求まります．
思考過程
https://onlinemathcontest.com/contests/omcb018/editorial/11077/583
【発想に至るまで】\
　この手の問題は，とりあえず実験してみるというのも悪くない方針である．$a_3$ くらいまで求めてみると，$a_2=91$，$a_3=6643$ となる．ここまで求めれば，$a_n$ は全て正整数になりそうで，このことから，$\sqrt{4a_n-3}$ も全て正整数になるのではないかと推測できる．\
　かくして（$4a_n-3$ は奇数なので）$4a_n-3=(2b_n+1)^2$ と置いてみてはどうかという発想に至る．

---

　$a_n=b_n^{\ 2}+b_n+1$ とおく．与えられた漸化式に代入すると，
$$a_{n+1}=(b_n^{\ 2}+b_n+1)(b_n^{\ 2}-b_n+1)=(b_n^{\ 4}+b_n^{\ 2}+1)$$
よって $b_{n+1}=b_n^{\ 2}$ である．\
　$a_1=13=3^2+3+1$ より $b_1=3$ ．あとは $b_n$ についての漸化式を活用して $a_n=3^{2^{n}}+3^{2^{n-1}}+1$ を得る．
b_n の別の置き方
https://onlinemathcontest.com/contests/omcb018/editorial/11077/589
　数列 $\lbrace a_n\rbrace$ を $a_1 = 13$ および
 $$
a_{n+1}=a_n(a_n-\sqrt{4a_n-3}+1) \quad (n = 1, 2, \ldots)
 $$
によって定めます．このとき $a_{2024}$ は整数となるので，これを $80^2$ で割った余りを求めてください．