张大千的家族原住广东番禺，在清康熙廿二年迁到四川，住在内江。父亲号悲生，和母亲曾太夫人育有十男一女，兄弟都是单名，大哥荥，二哥泽（善子），三哥信，四哥楫，五哥、六哥、七哥早故，他行八，名爰，九弟名端，十弟名玺。他生在1898年旧历四月一日。
1916年，张大千到重庆求精中学念书，放暑假时回内江途中，被土匪绑去当了一百天黑笔师爷。押到一个叫“千斤磅”的地方，土匪们一面休息，一面清查俘虏的底细。张大千这才弄明白，土匪把他们当肉票，要他们写信回家去勒索钱。轮到张大千写信时，一个姓邱的土匪一看到他的字，赞赏的叫：“这娃儿字写得漂亮，我看留他作黑笔师爷好了！”
虽然张大千不肯，但在生死关头，由不得他。第二天，土匪还要去打劫峰高铺，那个姓邱的土匪派了两个兄弟伙，一乘轿子，送张大千回龙井口窝子里去。一路上，在路边放哨的土匪，居然对着他的轿子行举手礼，他弄不清该不该神气？到了龙井口，土匪头送他一对象牙章，带红结子的瓜皮帽，把他打扮成师爷样。可是，在龙井口没有安顿两天，政府军要来攻了，土匪们赶紧转移阵地，把他移交给一个叫老康的另一个土匪头子。
有一回，张大千被迫跟着老康去抢劫，他站在一旁看热闹。有人警告他说：“你也要动手拿东西，否则要犯忌讳的，黑道上的朋友不能空手而回。”他看看四周，有不少书，就在书房里拿了一部《诗学涵英》。另一个土匪马上训他：“什么不好抢？怎么抢书？‘输’是犯忌的。”逼他换别的，他只得拿了墙上挂的四幅《百忍图》，和《诗学涵英》一起带走。
“抢”到匪窟的《诗学涵英》，真派上用场。张大千学作诗，就从那时候起。俘虏中，一个受虐待的老进士还教他平仄对仗，真是少见的奇人奇事。
后来，老康暗中与官方的人接头，接受招安，到松溉去接受改编。老康被改编作了连长，恢复本姓赵，而张大千就成了赵连长的司书了。过了一个多月，地方军队来打赵连长，把整个连都消灭了。张大千被捕后才知道，当时地方军队虽说招安土匪，但绝不是真的信任土匪，等到机会，安排妥当了就围剿。所幸，张大千被捕后不久，他的四哥就赶来营救他，结束了前后整整一百天的绑票。
历险归来，张大千原想到上海二哥处寻师学画，可是，父母不同意，他只得在1919年，到日本京都学染织。跟日本人赌气在日本四年，因为赌气，他雇用一位翻译，而不肯说一句日本话。张大千说，世界上有两国人最没有语言天才，一是日本人，二是印度人，他们说英语的发音真难听。他忍不住对一个日本人说，日本人的英文真蹩脚，而那个日本人却说：“你不知道？亡国奴的舌头是软的，要侍候人当然先得学好话。”“自己学不好，反而刻薄别人！”张大千发了火，“好！我就是不学日本话，我出钱，雇日本人来侍候我。”于是，他花了几百块钱，雇了一个在天津长大的日本人作翻译。