It is important to ensure the long term viability of any systems selected, whether built in-house,  developed from open source systems or bought from a vendor.

It is important to ensure that you not only have the requisite skills to build the system but that you  will be able to retain them to continue developing and supporting the system.

Care is needed in selecting open source systems.  The vast majority of such systems do not get a  large user base and stop being supported and developed.  In looking at open source systems it is  therefore important to look at the size of the installed user base and the amount of activity in  support of the systems.  Almost all open source systems have discussion boards etc. associated  with them.  A good idea of the level of support can be obtained by looking at these.  look for the  level of activity but also the speed of response to queries, problems and bugs.  With the most  popular systems the response time is usually much better than from commercial software.

Thought also needs to be given to the development of the system.  Of course, development and  adaption can be done in-house (and as with in-house development  you will need the requisite  technical skills), but good open source software has a large community of developers who are  continually improving and upgrading the software.  However, this may mean that there is little  control over the direction that the software takes.  

Besides all the usual things that one has to consider like the viability of the company, provision of  support etc. it is essential to look at their development plans for the system.  Many of the systems  you are looking at will be designed for other markets as well as education.  If education (and in  particular your sector) are not a major part of their market then are things that are a priority for you  going to be a priority for them.  For instance, when the funding council changes the reporting rules  will they be in a position to ammend their system accordingly.