大正三年（一九一四）十月一日，他萬喜在此前「鶴屋」的基礎上，又在日本橋附近開了一爿新店「港屋」，這是一個經營木版畫、石版畫、繪本、明信片、詩集及各種畫紙、信箋、人形（日本傳統人偶）、手繪遮陽傘的小店，與其說是文具店，不如說是面向女性的精品店。因夢二的關係，很快又成了畫家、詩人、文化人的據點。儘管名義上是他萬喜為自謀經濟出路而開的店，但實際上處處離不開夢二的心血，從店招到各種帶圖案的信封、信箋、祝儀袋、包袱皮、包裝袋等等，統統是夢二的設計。乃至當時的「港屋」儼然成了東京名店，尤其在年輕女性中，頗有人氣。對女孩子們來說，使用「港屋」的文具，用夢二設計的信封、信箋寫信意味著一種品味。大正時期的名詩人荻原朔太郎就曾從「港屋」買來半襟送給妹妹作禮物。

在傳統日本美術界，歷來有種重藝術、輕設計的傾向，覺得只有畫參加官辦畫展的架上作品是「純藝術」（Fine Art），是藝術家的工作，而後者則是「職人」（匠人）的活計。夢二作為「體制外」藝術家，頭腦中根本沒有這些門戶之見，覺得自己只是一個以畫畫為天職的人，無論再普通的日常性裝幀設計，只要有圖案，便能讓他投入。因此，夢二不僅是畫家，同時也是書籍裝幀設計家、人形設計家、攝影家，其藝術觸角幾乎觸及了那個時代視覺藝術的所有領域。

夢二一邊旅行，一邊在旅行途中速寫、攝影，在旅次為東京的刊物畫插畫，偶爾會愛上某個淺草的藝伎，在這種「藝術人生」逐漸展開的過程中，與他萬喜的關係開始變得險惡起來。大正二年（一九一三）二月，在富山的海岸溫泉旅館，發生了夢二用刀砍刺他萬喜的事件。隨後，是年五月，夢二結識了十九歲的笠井彥乃（Sakai Hikono），並迅速墜入情網。當時夢二三十一歲，比彥乃整長一輪。

彥乃是日本橋一間專門向宮內省提供御用古紙的古紙屋老闆的千金，作為女子美術學校日本畫科的學生，是不折不扣的藝青。其出入當時已成文化人沙龍的「港屋」，一方面是因為自己是畫生，另一方面是慕夢二的畫名，是忠誠的「夢二迷」。雖然是富人家的千金小姐，但因為母親是繼母，這讓從他萬喜那裡時常感到某種「壓迫」的夢二深以共鳴。大正四年（一九一五年）五月，兩人關係取得了決定性發展：當時，夢二正在郊外的落合村獨居，彥乃突然現身造訪⋯⋯客觀上，與彥乃的愛情，加速了夢二京都時代的到來。

大正五年（一九一六年）十一月二十日，夢二逃到京都，寄宿於舊友堀內清家，開始了長達三年的京都時代。夢二為何要逃往京都呢？照他萬喜在〈憶夢二〉中的說法，是年十一月，發生於葉山日陰茶屋的大杉榮刺殺事件對夢二刺激不小，震驚之餘，「他擔心同樣的事體也會發生在自己身上，便匆忙打點行李逃往京都。」但事實上，夢二的逃難無疑有彥乃的原因，即使未必是決定性的。夢二預感到，與彥乃的愛情，在東京是絕對無從展開的。
夢二內心並非沒有掙扎。作為與他萬喜所生的兩個孩子（當時）的父親，年長彥乃整整一輪的男人，夢二當然不願看到彥乃因自己的原因而墮入不幸。但同時，他又有種分外強烈的實感，覺得自己就是為了這個愛情才被降生到世上。

同時，性格強悍的他萬喜的行動從側面反而推動了事態的發展也是一個事實。據夢二在自傳小說《出帆》中流露，與夢二離婚後仍保持同居關係的他萬喜在得知兩人關係的實態後， 曾對夢二說：「我會為了孩子而生活下去。而對你來說，若是為藝術的話，吉野小姐（即彥乃） 那樣的人是必要的。把吉野小姐娶過來吧，然後大家一起過。」說著，還特意去彥乃家，對其雙親說：「請讓您的女兒嫁給我的良人吧．．．」

雖說是自傳小說中的情節，但以他萬喜的性格，絕對做得出來的。對此，夢二知之甚深。就他萬喜而言，之所以心甘情願如此「仁至義盡」，未必不是因為在潛意識中，期待著彥乃父親反彈後的逆效果，客觀上反過來給自己幫忙。果不其然，彥乃的老爹聞後震怒，折斷畫筆、撕碎畫帖，對女兒放出狠話「不必再去上什麼鳥學」，連彥乃去「錢湯」（日本的公共浴池）都在後面悄悄盯梢。生性敏感的夢二聽到這些，心痛不已，羞愧難當，惟一的選擇是從「港屋」逃亡，越快越好。

甭管怎麼說，夢二逃到了京都。一到京都，馬上就對彥乃發出了緊急「召集令」：想方設法速至京都！而後者，則早已被置於其父的嚴密監控之下。

兩人把元祿年間赤穗義士（「四十七士」）替主復仇時的暗語「山、川」拆開來，作為各自的暗號，開始了京都與東京之間的「兩地書」：三十一歲的「川」（夢二）像孩子似的一味地激情燃燒，而十九歲的「山」（彥乃）反作少年老成狀對夢二的焦慮、急躁不無嗔怪。

至此，夢二一家完全破碎：「夫妻」二人終於勞燕分飛，分道揚鑣；長子虹之助本來就寄養在九州的老家，最小的兒子草一過繼給河合武雄做養子（後戰死）；次子不二彥翌年被送到京都與父同居。經過在友人家借宿的過渡期，翌年二月夢二開始了在京都賃屋而居的生活。大正六年（一九一七年）六月，通過女子美術學校前輩栗原玉葉的斡旋，以跟隨在京都的老師寺崎廣業學藝為藉口，彥乃終於被父親許可赴京都。夢二親赴米原車站出迎，然後一起回到高台寺附近的家裡，開始了與夢二次子不二彥一起的三人「家庭生活」。