如果只有婚外情的证据而没有转账记录，您仍然可以起诉第三者返还财产，但需要满足一定的条件并承担相应的举证责任。配偶任何一方婚外情的行为，均是对夫妻之间相互忠实义务的违反，严重伤害夫妻感情；而一方擅自将夫妻共同财产赠与“第三者”，更是对配偶一方共同财产权益的损害，违背公序良俗，有悖于社会主义核心价值观，依法应属无效。

然而，在通常情况下，婚内一方的外遇行为是不可直接起诉第三方的。尽管这种行为无疑是违背道德伦理的，然而从法治角度来看，它并不一定构成违法事实，无法据此启动司法程序进行起诉。因此，起诉第三者返还财产的关键证据包括：一是配偶和第三者存在不正当关系的证据；二是配偶给第三者转账的证据。

在起诉过程中，建议您咨询专业律师，了解相关法律法规和程序，以确保您的权益得到充分保障。同时，注意保持冷静和理智，避免情绪化的行为影响到诉讼的结果。