解:(1)∵OA、OB的长是关于x的方程x2-25x+144=0的两个根(OA>OB),
∴OA=16,OB=9,
∴A(-16,0),
∵∠ACB=∠AOC=∠BOC=90°,
∴∠ACO+∠BCO=90°,∠OAC+∠ACO=90°,
∴∠BCO=∠OAC,
∴△AOC∽△COB,
∴=,即OC2=OA?OB=144,
∴OC=12,即C(0,-12),
设直线AC解析式为y=kx+b,
将A与C坐标代入得:,
解得:k=-,b=-12,
则直线AC解析式为y=-x-12;
(2)在Rt△OBC中,OB=9,OC=12,
根据勾股定理得:BC==15,
同理得到AC=20,AB=OA+OB=25,
过P作PM⊥BA,垂足为M,
∵BP为∠AC平分线,且PC⊥BC,
∴BM=BC=15,PM=PC,AM=AB-BM=10,OM=AO-AM=16-10=6,
在Rt△APM中,设MP=x,则AP=AC-PC=AC-PM=20-x,
根据勾股定理得:AP2=AM2+PM2,即(20-x)2=102+x2,
解得:x=,即MP=,
∴P(-6,-),
设过P点的反比例解析式为y=,
将P坐标代入得:m=45,
则反比例解析式为y=;
(3)存在,如图所示,在x轴负半轴上,以O为圆心,OB长为半径截取OK=OB=9,在y轴正半轴上,以O为圆心,OC长为半径截取OQ=OC=12,连接BQ,KQ,KC,
∵OQ=OC,OB=OK,
∴四边形BQKC为平行四边形,
∵BQ=BC,
∴四边形BQKC为菱形,
则此时K坐标为(-9,0).
同理,(9,-15),(9,15),(9,-)也满足条件.
综上所述,K的坐标为(-9,0)或(9,-15)或(9,15)或(9,-)