俞伯牙是一代杰出的琴师，但真心能听懂他的曲子的人却不多。有一次，俞伯牙乘船沿江旅游。船行到一座高山旁时，突然下起了大雨，船停在山边避雨。伯牙耳听淅沥的雨声，眼望雨打江面的生动景象，琴兴大发。伯牙正弹到兴头上，突然感到琴弦上有异样的颤抖，这是琴师的心灵感应，说明附近有人在听琴。伯牙走出船外，果然看见岸上树林边坐着一个叫钟子期的打柴人。
伯牙琴技高超，钟子期则善于听琴。伯牙有了钟子期这样的知音，便抛弃了愁闷，整日与钟子期为伴。
有一天，伯牙与钟子期在高山上游玩，忽然，天上的乌云聚集起来，天立刻变得阴沉沉的，从第一滴雨点开始，很快便下起了倾盆大雨。伯牙心中不悦，望空中像蒙了一缕轻纱似的，朦朦胧胧；山上的绿树、石头被雨洗得焕然一新，这景色甚美。俞伯牙想：我正愁没事干，何不把这美景用琴声表达出来？于是，伯牙把瑶琴搬来，坐定后，伯牙一挥巧手，这雨、这山、这美景全都化作美妙的音符，从伯牙的手中流淌出来。钟子期陶醉其中，叹道：“好啊，高峻的样子像见到了泰山！”俞伯牙大悦，听见山上岩石缝中潺潺流水声，又发灵感，高山巍峨之声变成了哗哗流水声。钟子期闭眼倾听，不觉心旷神怡，说：“妙啊，水势浩荡的样子像看到了江河！”伯牙微笑着想：我所想的，我所弹出的，钟子期都能准确地道出，真是我的知音啊！
时隔几年，伯牙未能与钟子期相见。今日，伯牙赶去看望钟子期，未料见到的却是钟子期的墓。伯牙热泪长流，悔恨交加，悲痛万分。于是，他操起瑶琴，最后一次为钟子期弹奏一首曲子，边弹边高声吟诵——“……此曲终兮不复弹，三尺瑶琴为君死！”
唱完，伯牙高举瑶琴，重重地摔在地上——弦“崩”地一声断了，瑶琴摔成了碎片。伯牙在钟子期墓前高声发誓：终身不再弹琴！