オズモール　女性・OLのための情報サイト

はじめまして、よろしくお願いします。
相談の前にまずは背景を。
私は妻持ち男子30代後半です。妻とは20年ほどの長い付き合いで、過去に妻の不倫相手の伴侶から自宅に電話がかかってきたこともあり、自分も別の痛い経験をしてきました。セックスレスの期間も長いのですが、互いを必要としているため非常に良好な関係にある一方で、お互い異性の交遊関係には干渉せず、知られないことを最低限のマナーとしています。

本題ですが、先日私の知人の女性（20代後半独身、彼氏無）と東京湾の納涼船に乗りました（こちらが妻帯者であることは先方も承知）。数年前に勉強会で知り合った女性で好意を感じています。以前から就職祝いに食事をご馳走する約束をしており、夜景が好きということで新宿の高層ビルで夕食を食べる約束があったのですが、ずっとお流れになっていました。2か月前、男友達が参加するイベントに誘ったところ、会場に来てくれ、他の知り合いも一緒に飲み食いしながら盛り上がり、その日は普通に解散しています。解散後は彼女から「すごく楽しかった。今日は誘ってくれてありがとう」という絵文字付メールをもらっています。
約束を果たすことを口実に再度「新宿で夜景付夕食or東京湾納涼船」を誘ったところ、職場から遠いながらも「船に乗りたい」とご機嫌なメール。手をつないだこともないので、相手への配慮から、納涼船は人がごったがえす賑やかなクルーズであることを事前に伝えています。約束した日に予約が取れなかったこともあり、普段着なら今夜実行という話になりました。乗船場に向かう途中や乗船後も気分も上々、夜景や星空を非常に楽しんくれました。とはいえ付かず離れずの距離で、身体を支える以外に肩や腰に手を回すには微妙。周遊コースの折り返し後もしばらくご機嫌で夜景の写真を撮っていました。
ところが到着も間近になると、前触れもなく「寒い！」と言いだし急に不機嫌になりました。下船後はまっすぐ電車にのり、その間普通に会話しましたが、後から振り返ると完全に怒っていたように思います。男としてどう振る舞うべきだったのか、女心がわからず、その後も悩んでいます。経験豊富な皆様、是非アドバイス下さい。よろしくお願い致します。