物が回れば、中に入っているものが遠心力を受ける、という表現は、間違ってはいないのですが、遠心力というものが独立して存在するというのは、違います。
「車を運転して、ハンドルを右に切れば、左に体が引っ張られるじゃないか！」と言いますが、ハンドルを切る方向に力をかけたから、左に「見かけの力」が働いただけなのです。
つまり、遠心力も同じで、向心力（中心に引っ張る力）があるから、外側に離れていくような見かけの力（遠心力）が生じるということです。
このような話をすると、禅問答のように聞こえがちですよね。「あなたの言ってることは、わからないではないが、ピンとこねぇ」なんて声が聞こえそうです。。。
では、明快な例を示しましょう。糸の先に物体を付け、糸の先をもって回してみます。下の絵を見てください。
二つの絵がありますが、いずれもBの場所で糸を離しています。もし、遠心力が実在した力であれば、左の絵のように、離れた時点で、外側に物体が飛んでいくはずです。
しかし、現実は、右の絵のように円運動の接戦方向に飛んでいきます。つまり、遠心力というのは、そもそも物体には、かかっていないのです。
多少の混乱はあるでしょうが、「本物」の力と見かけの力の違いというのは、物理学を矛盾なく進めていくのに重要である、と覚えてもらえれば、うれしいです。
補足： ご指摘にもありましたように、ここでの説明は、あくまで初歩的なものになります。ですから、誤解を招くような表現もあるかもしれません。ただ、実際に、円運動をしている物体にかかっているのは、向心力だけです。そうでなければ、円運動を物理学的に記述できないのです。また、上の図例は、遠心力が独立して物体に働いていないことを示しているだけということも、ご了承ください。
現実には、遠心力などは非慣性系を考慮したときに出てくる力で、これを物理の用語で「見かけの力」（英語でfictitious force）と言います。もちろん、それらの力で説明できる現象などもあり、ここでは、すべてを解説していませんので、ご興味のある方は、正規の教科書を参照したり、授業を取ることをお勧めします。
「二つの絵がありますが、いずれもBの場所で糸を離しています。もし、遠心力が実在した力であれば、左の絵のように、離れた時点で、外側に物体が飛んでいくはずです。」という表現は間違ってると思います。遠心力が実在しないのではなく、糸を離した時点で向心力が失われるので、その結果として遠心力も消えて、慣性によって接線方向へ直進する、と言うべきでしょう。
「見かけの力」との表現は誤解を招くので避けるべきだと思います。
遠心力含め、慣性力は非慣性系（加速度をもつ系とともに、観測者が加速している場合）でものを考える上で、辻褄を合わせるために仮想的に考える架空のものです。
慣性系で見る、つまりともに回転しない地上から見る場合はハナから考えない力なんです
> 糸を離した時点で向心力が失われるので、その結果として遠心力も消えて、
いや、違います。遠心力は見かけの力なので、慣性系では力として扱えません。ニュートン力学では、dP/dt=Fに従わないものは、力の定義に当てはまりません。糸が切れていない時も遠心力は上式のFにはなり得ません。従って遠心力を力として扱えず、見かけの力としてしか扱えません。なので、本文の表現の方が正しいです。